我是这样看的:
一。徐福当年到岛上的应该也就几百人，中间很可能有死有逃。到了岛上，徐福肯定是下令放弃汉姓，以一种特殊方式让童男童女们以性的地点方式重新获取新的姓氏，所以他们早就抛弃了汉姓，一代一代，恐怕第二代儿子辈就不知道爸爸汉姓是什么了，以后也不会在家庭教育中流下记忆。
二。靠徐福带来文明和文字，说之前一篇蛮荒，尽是蛮族野人吗，不可能是夏商周后裔。现代基因学也显著表明，日基因比华基因里多了大量的食人族蛮族基因。
三。曾经在唐宋两朝有交流交往。唐朝不太可能有唐人倒插门到岛国去，而留下的岛国人也是寥寥无几，如果留下来，也是就生长在大陆不会回去了，沧海一粟沧海一粟。
四。唐宋时期他们发起的借种运动。海边飘个船，招揽一夜情，借种回岛。唐宋礼教甚严（唐也许相对开放，但终究同样是严格的儒教社会），无论农夫还是书生，上了艺妓之后，未必会留下真实名姓，结果艺妓于是就把假姓氏记住了，一部分日子的祖应该就是这么认来的。
五。那两千年有余，会有海盗，流氓，罪犯，正治犯流亡到岛屿，这样来的祖，还勉勉强强吧，不过这也是很少的人口量，而且入乡随俗，流亡过去的也随了日本姓了，还记得自己汉姓吗？也是儿子辈以下就不知道了吧。大陆混的下去，谁愿意漂洋过海去岛屿？过去的大部分也是低端人口。正治犯除外吧，但是数量更是稀少。
六。不排除日本文化阶层，贵族阶层，有把汉姓通过家族教育流传下来的可能，不过也是飘忽无据，捕风逐影，哪个姓好，哪个有格局有气派有贵族根源就攀哪个吧。毕竟日本的神话都是虚假编制的，要他们实打实传颂自己的汉姓，不太现实。