公元396年，北魏攻占晋阳，置并州。公元523年，高欢(又名贺六浑)掌握了北魏实权，他依据晋阳地形险要，城池坚固的优势，建立了大丞相府，有力地控制了北魏实权，称晋阳为“霸府”。公元550年高欢的儿子高洋夺取了东魏政权，自立为帝，历史上称北齐，都城虽然设在邺(今河北临漳县)，但仍以晋阳为基地，亦称为“别都”。由于高氏父子对晋阳有感情，十分重视对晋阳的修建。
公元545年，高欢在晋阳修了晋阳宫；576年后主高纬修建了【大明宫】。
《北齐书》记载开凿蒙山大佛盛况空前“凿晋阳西山为大佛像，一夜燃灯万盆，光照宫中”，“宫”当指晋阳宫、大明宫等殿堂建筑。龙山童子寺现存北齐燃灯石塔一盏，想必灯影摇曳的也是晋阳城的宫阙楼苑。
577年幼主高恒修建了晋阳十二院，其壮观程度超过了邺城的皇宫。北齐统治为了游览还在晋祠修筑了读书台、望川亭、鱼沼、飞梁及“善利”、“难老”两个泉亭。与此同时，还在晋阳西山的天龙山和龙山修建了天龙寺、童子寺和法华寺，依山凿窟，雕刻石佛。这就是保存至今的天龙山石窟艺术的最早开凿。这个时期，太原市的农业、商业也得到恢复发展。晋阳城内商业兴盛、市面繁荣，成了北齐的主要商埠。