当柏利舰队再次来日本时，吉田认为当务之急是“以彼进步之术为我物，以此为伐彼之谋”，决心向外国学习，最好是偷渡到海外，以学习外国的“进步之术”，为日本所用。所以，他就带着一个学生赶到下田。他们在下田海岸徘徊，日夜等候美国军舰。至27日恰巧有美国人上岸，他们就把所写的“投夷书”交给他。半夜时分两人摇着渔船摸黑出海，中途橹柱损坏，便用裤腿将橹系在左右舷上，摇船前进。后来裤腿断了，再使用带子，吃尽苦头总算到了“密西西比”号边上，但不准上船，命令到旗舰“波瓦坦”号。于是他们只好继续和波浪搏斗，好不容易来到“波瓦坦”号的绳梯下，但水手不准上船，用木棒击退小船，两人只好爬上绳梯进入船内。 会点日语的卫三畏出来接见，将他们引进舱内，取出早上吉田送出的“投夷书”，两人承认是他们写的。接着卫三畏开始与他们交谈。 卫三畏先说：“此事只有大将(指柏利)和我知道，别人一概不知。大将也为你们的诚心而高兴，但美利坚大将和林大学头已在横滨签订日美协定，故我难以答应你的请求，可稍等一下，不久美国人来日本，日本人到美国，两国往来如同一国，那时可来。” 吉田松阴决绝地回答：“我夜里到贵船为国法所禁，现在回去本国人定要杀我，势不可还。” “乘夜回去本国无人知晓，应立即回去。此事告知下田的大将黑川嘉兵，若同意则美利坚大将能带去，不允许便不能带去。” “那么我们可以留在船中，由大将代我们与黑川嘉兵联系。” “这样做很困难。”卫三畏反复说着这些话，催促吉田他们回去。 最后吉田和学生被送回陆地，两人找不到来时坐的小船，一切行李物品全部丢失，只得在海边等到天亮。两人商议，事已至此，与其被捕不如自首，遂一同到下田官府投案自首。吉田坐了一年牢，出狱后在家乡松下村办了私人学校“松下村塾”，培养出不少人材。明治维新的功臣高杉晋作、伊藤博文、山县有朋等人都是他的学生。