在传说中，多次与麾下 “赖光四天王”一起退治魔物而闻名。
渡边纲（953 - 1021）赖光四天王之一，为人孝义，身手敏捷，一生最负盛名的事，乃是独自在五条渡口以“髭切”斩下了罗生门之鬼——茨木童子的一条手臂。(《御伽草子》)
卜部季武（ ? - ? ）赖光四天王之一，一生最负盛名的事，乃是在随源赖光去美浓的途中遇到了姑获鸟（产女）并破除了其障眼法。(《今昔物语》)
坂田金时（950 - ？) 赖光四天王之一，幼名金太郎，原居神奈川南足柄山中，以力大闻名。
碓井贞光（954 -1021）赖光四天王之一，以巫术闻名，在酒吞童子退治中表现活跃。

源赖光出生于天历二年(公元948年)，后因勇武著称，担任禁军统领，守卫宫禁，其麾下鼎鼎大名的赖光四天王，随其南征北伐，后世流传着很多关于他们降服妖魔的传说。

公元990年，一个名为酒吞童子的鬼怪首领，在丹波大江山修筑铁皇宫率众鬼大肆作乱，不仅茹毛饮血大啖人肉，还常于夜间潜入京城的贵族府邸偷窃珠宝钱财，甚至常常化作英俊少年，专门勾引附近的少女 (大部分是贵族家的公主)，将她们折磨杀害并吃掉。
这样的事传遍并震惊了整个京都，就在这时，池田中纳言的女儿失踪了，当时朝廷著名的阴阳师——安倍晴明对此事占卜的结果是——被大江山的鬼怪捉去了。对事态发展十分忧虑的一条天皇命令当时大名鼎鼎的豪杰源赖光与其麾下四天王，连同名将藤原保昌，一行六人，去讨伐酒吞童子等鬼怪。

在出发前，一行六人去了清水八幡、住吉和熊野三处神社祈求神助。在途中有上千名武者赶来要求相助，赖光等人回绝了：“对手是魔物。如果去这么多人的话只会把它吓跑去别的国家继续作乱，还是用计策取胜比较好。”于是一行人继续前进，一直来到了一个开满了樱花的山脚，在那里他们遇到了三位老人，老人说：“你们是去征讨酒吞童子等鬼怪的勇士吧？请带上这个神便鬼毒酒和星兜。但凡是鬼，都喜欢酒。它对人来说是妙药，而对鬼来说就是猛毒了。祝你们好运！”三个老人指点他们去鬼所在的地方后便消失了，原来他们就是清水八幡、住吉和熊野三处神社的神灵。这件事使大家十分振奋，于是继续进发，终于来到了鬼怪的住处。

鬼怪们对他们的到来十分的怀疑，但在赖光的巧舌和美酒的浓香下渐渐解除了戒备(也有的说法是他们为了解除了鬼怪的疑心而当着酒吞童子的面生吃了鬼怪们作为食物的少女肉)。赖光等一行人受到了盛大酒宴的招待，鬼怪们也在酒力下不知不觉睡着了。看到时机已到，赖光等众人潜入酒吞童子的房间。在酒宴上化身作俊男的酒吞童子在此时已经现出了原形——三米多长的身子，火红的头发，头上生有两只大角，正沉沉睡着。不过他确实是鬼怪中的能者。在赖光拔刀的瞬间突然醒来，无奈在神酒的药力下无法动弹。

“我就是赖光，拿命来吧！”随着叫喊声刀光一闪，酒吞童子的头颅被赖光的安纲刀斩断，但是鬼怪的头颅却依然未死，飞舞在空中向赖光袭来，赖光利用星兜才得以脱险。头领被杀的众鬼怪们想要攻击赖光一行，但是身体被神酒约束而无法行动，最后也被赖光四天王等人一一解决了。

漂亮地斩杀了众鬼后，赖光等人将被强掳来的少女们解救了出来，回到了京都受到天皇的重赏。赖光的那把宝刀也因斩下酒吞童子头颅而闻名，被改名为“童子切安纲”，在室町时代被列为天下五剑之一而作为重宝收藏。大家都以为太平的日子在妖魔的退治后会持续好一段时日。讨伐酒吞童子归来，源赖光旧伤复发，卧病在床。

有一天，一名自称叫胡蝶的侍女以典药使者之名前来探望和医治赖光，在对话中，她知道赖光病情不轻。当晚夜深人静之时，赖光床边突然出现了一名僧侣打扮的男子，手上缠绕着蜘蛛丝搬的细线，赖光在睡梦中感到一股杀气，猛然惊醒，马上拿起放在枕边的名刀“膝丸”，向来者砍去。赖光只觉得膝丸砍到了什么东西，但却发现刚才的男子已经消失不见了。

赖光的家臣们闻声而至，赖光详谈了事情始末。原来先前来的自称典药之神侍女的女子——胡蝶，乃是葛城山妖物土蜘蛛之精魂所化，特来探察赖光病情虚实的，而后来这名来刺杀赖光的，应该是土蜘蛛或其手下所化。

葛城山遥距于京都南方，自古以来乃是大和的灵山，土蜘蛛就居住在山上，吸取天地灵气日月精华，修炼成精，其身型巨大，凶悍无比。那把砍中土蜘蛛的“膝丸”，后被赖光改名为“蜘蛛切丸”，成了名刀。

话说家臣们听说赖光伤了那妖物，于是勘察现场，果然发现地上有斑斑血迹，所以只要沿着血迹必定可以找到那妖物。于是赖光又再度率领四天王出发讨伐妖物。五人沿着血迹一路追踪，一直追到了大和的灵山葛城山。众人来到山上一处古老的巨型坟墓前，血迹就此消失了。

土蜘蛛一定就躲在里面——正当大伙这样猜想时，坟墓突然裂了开来，巨大的土蜘蛛从中现身。土蜘蛛用又粗又韧又有粘性的蛛丝编成巨大的蜘蛛网缠绕着赖光等人，使得赖光与四天王无法全神贯注地战斗。在一番激烈的苦战后，赖光等人终于击败土蜘蛛，为赖光与四天王的名号再度增辉。