比如上官在汉书有的篇幅在宣帝时期就被称呼为太皇太后了。
《汉书·外戚传》
皇后立十岁而昭帝崩，后年十四五云。昌邑王贺征即位，尊皇后为皇太后。光与太后共废王贺，立孝宣帝。【宣帝好位，为太皇太后】。凡立四十七年，年五十二，建昭二年崩，合葬平陵。

附其他太皇太后在史记汉书中被称呼为皇太后的例子
此时已经是武帝时期了，窦漪房在汉书此处也是称呼为皇太后。按照某人的逻辑，窦漪房不是刘彻奶奶。
《汉书·窦田灌韩传》
武帝即位，以为淮阳天下郊，劲兵处，故徙夫为淮阳太守。人为太仆。二年，夫与长乐卫尉窦甫饮，轻重不得，夫醉，搏甫。甫，【窦太后昆弟】。

附一个不是史记汉书的例子。
王政君在哀帝去世后也被称呼为太后。三统历谱是西汉学者刘歆所作，刘歆是当时人。
会哀帝崩，王莽持政，莽少与歆俱为黄门郎，重之，【白太后。太后】留歆为右曹太中大夫，迁中垒校尉、羲和、京兆尹，使治明堂辟雍，封红休侯。典儒林史卜之官，考定律历，著《三统历谱》。