解放后直至90年代，若想看到仅存的“老段府”遗迹，只有走进那座戒备森严的某军队大院。那里还保留着段祺瑞府最后的辉煌气势。段氏开窑烧砖改造原王府。
段府的所在地据说是块“风水宝地，元代此地曾建有太庙，清康熙年间则为王府—乃是康熙皇帝第二十二子允枯的府第。雍正八年允枯被封为贝子，后晋贝勒，死后谥恭勤贝勒，故其府又被称为恭勤贝勒府。乾隆九年，允枯长子弘陇袭贝子。乾隆四十九年，弘陇去世，其子永芝（一说永芸）于这一年袭镇国公。但第二年就被革退，这座府第逐渐荒芜，变为空府，一直空置到段祺瑞在这里修建住宅。
据一直在段祺瑞公馆里做事的王楚卿回忆，这块空地的名字就叫做“空府”。因地皮很大，需要的砖瓦很多，段祺瑞为此还自己开窑烧砖修建公馆。修好后的段公馆，人称“胡同五号老段府”。
只是花费了巨大人力物力建起的这座公馆，段祺瑞并没能住上多长时间就因政治风云的变幻而再度下野，离开北京到天津了。
两万多平米旧宅已大大缩水
据东城区有关资料所载，段宅的原规模很大，占地面积足有两万平方米。宅第四周环以围墙，围墙皆用大城砖砌成。宅第坐北朝南，但原来的大门已不可考。
段祺瑞在此居住时曾对原府做了大规模改建，门改为铁门，门内有一巨大的地球仪，一只雄鹰踞于地球仪之上。当年离乱之世，军阀割据纷争，这地球仪上的雄鹰应是段祺瑞希冀独控中国野心的表现。
原建于中轴线上的屋宇现在仅存一大殿，为两卷勾连搭式，上覆灰筒瓦，面阔九间，殿前有民国式走廊，走廊连接的小小月亮门的门楣上写着“怡园”两个字。廊前有一环绕院子中心的水池，但现在已完全干涸，一滴水也没有。池子前面（南面）有三座小石桥，连接花园和大殿，后本有两座石桥，但现在已经看不到了，1983年时已被拆除。其实整座花园都已经是1987年重修的了。
大殿的后面是一座四合院式大方院落，东、西、北三面都是民国时期建的灰色洋房，厚重坚实，颇有德国风格，这三面和前面的大殿围出了一个四方院落。
昔日段祺瑞应在二楼走廊之上俯瞰楼下来客。而今天从楼上俯瞰下去，院子里是小区或街边随处可见的健身器械，鲜艳的颜色映衬着灰色的楼房。
再度由繁盛走向衰败
段宅曾极繁盛，就连国务会议都曾在此院中召开，地点就在大殿西侧的那座同样灰色的洋楼里。楼房极高，看起来像是两层，其实只有一层。面阔三间，进深九间，平顶。平时这里是作为舞厅用的，有时段祺瑞也会在这里召开国务会议。
今天的安宁让人不能想像出曾有的刀光剑影。1926年“三·一八”惨案后不久，由于各军阀派系之间的斗争，北京警备司令部派兵包围了仓南胡同的段祺瑞宅，以此迫使段祺瑞下野。双方荷枪实弹在此对峙，虽然最后武装冲突终被避免，但段祺瑞却不能避免下野的命运，很快就逃往天津。自他任总执政以来，在这座院子中居住的时间还不到两年。
段祺瑞虽然离开了北京，这处宅子仍属于他的房产，一直有家丁看护。
1937年日军全面侵华开始后，日本人大量占用北京原有的王公府第大小公馆，段祺瑞宅也被日本人看中，并出资40万将段宅买下，做了日本的情报机关。抗战胜利后，国民党又进驻这座宅子，段宅成了国防部某机关的办公场所。
段宅在主人不断变换的更替中逐渐衰败下去，直到今天只缩在一堆上世纪70年代楼房中的一隅。