是日中午，日军集中火力开始攻城。史殿杰率领城防部队，与由总队长赵子游领导的刚成立不久的平遥县人民武装自卫队500余人协同作战，用步枪、冲锋枪、手榴弹等，连续打退日军多次进攻，日军伤亡100余人。面对日军强大兵力和猛烈攻势，为保存抗日力量，史殿杰与总队长赵子游等决定撤退主力，城内只留下由史殿杰率领的部分士兵与自卫队员100余人坚守城池。
下午4时，日军用重炮轰开东南隅城墙，蜂涌而入。此时，守城士兵多已伤亡，但史殿杰仍手端机枪，只身坚守城墙缺口。在枪弹不继的情况下，最后身中数弹，遂拔枪自尽。日军侵入县城后，残杀城内军民达1000余人。