崇元年间为江南叶家宅,叶氏建有“楼外楼”,并于楼后叠石为山,掘地三尺,有清泉流溢汇为池,名泉为“虎跑”,并造屋筑亭于其间。其后叶家家主赠故友苏察哈尔氏。苏察哈尔氏后人学良,于弘显十二年邀请叠山名家谢渊重构此庄。谢渊所叠假山有尺幅千里之势,称之吴山,效西湖十景缮修加筑,其时庄内嘉树荣而佳卉茁,奇石显而清流通,凉台燠馆,风亭月榭,高高下下,迤逦相属。比昔盛时更增雄丽,因前庄主好剑道,剑有锋而形不露,以心为剑,是为藏剑,取其意,题名藏剑山庄,延用至今。学良殁后,山庄归其子苏察哈尔从晋,弘显年苏察哈尔氏举族归京,山庄亦设为会馆,以供族人消遣。