江陵秦氏祖上世代经商，以茶业为主。手下经营茶园数家，多数为朝廷贡茶。先祖秦崇之乐善好施，时常接济穷苦百姓，素有“大善人”之名。
秦崇之育有两子两女。长子秦尧，德才兼备，侧室裴氏所出；次子秦宇，正室蒋氏所出。长女秦姗，侧室裴氏所出，嫁于世交苏氏；幺女秦娆，侧室言氏所出，嫁于商贾大家李氏，后夫死，秦娆抑郁而终。
昭帝年间，秦崇之病重，遂召集宗亲而来，当众传家主之位于秦尧。然秦宇不满于此，遂勾结其妻靳氏母家势力夺取家业，逐秦尧。秦尧无奈，只得遣其妻张氏携幼女秦瑛归母家。
靳氏眼红于秦家产业，遂吞并。秦宇郁郁寡欢，不足一年，猝。
秦尧于秦姗夫家名下瓷器产业做工，得苏氏一族赏识，遂娶得苏氏好友王氏女为妻。
后因王氏为独女，秦尧得家主之位，生意如日中天，得以收回秦家产业，并带回幼女秦瑛。秦家自此东山再起，于江陵名噪一时。
秦尧育有两子三女，嫡长子秦归及幼女秦瑜，王氏所出；次子秦复，侧室薛氏所出；长女秦瑾，侧室董氏所出。另有张氏所出秦瑛。
曜帝年间，秦尧猝。薛氏殉葬。秦归秦复商议后决定共持家。不足一年，王氏缠绵病榻，卒。又三年，秦瑛嫁于世交苏氏；同年，秦瑾远嫁涪陵。
景帝年间，大旱，恰逢国库空虚，秦归秦复思量再三，遂以家中资产支援朝廷赈灾。
帝大喜，赐婚秦瑜与帝十七子。同年，秦氏变卖家业，仅余一家茶园以贡朝廷所需，自此转入仕途。并举家迁居京城，得世家之名，称江陵秦氏。