你羡慕那些出口就会吟诗的文人吗？现在可以不用再羡慕他们了！因为一位网友“yixuan”闲来无事，把《全宋词》拿出来“捣鼓”，算出了其中的99个高频词汇。熟记这些高频词，你就可以随性所欲进行创作了！你还可以用“无序”的数字来创造一首“美妙绝伦”的宋词，圆周率也可以哦！
简化宋词就是“东风何处在人间”
署名为“yixuan”的网友在个人博客里写道：“突然想看看宋词里面什么样的意象是最常见的，比如可以做个频率分析什么的。当然文本挖掘需要分词，我没法在其中花太多时间，于是想出了一个土办法。宋词的句子都很短，如果穷举可能的字的组合的话并不是太多，况且最常见的词语一般是两三个字，这样可能的组合就更少了。”比如“犹解嫁东风”这句话，可能的二字组合是“犹解”“解嫁”“嫁东”“东风”，三字组合是“犹解嫁”“解嫁东”“嫁东风”，词的字数越多，可能的组合就越少。如果把每句话可能的字的组合都列举出来，就可以整体统计频率了。”大家一致分析这位网友一定是个理科生。

是关于宋词的么..我猜

随后， “yixuan”贴出了他算出来的高频词，排在前面的分别是：
1、1485
2、东风(1382)
3、何处(1230)
4、人间(1202)
5、风流(857)
6、归去(812)
7、春风(802)
8、西风(779)
9、归来(771)
10、江南(765)
……
至于为什么第一名是数字，他解释：“排在第一的是无效字符，这跟数据源有关。”
这个结果一出来，一位网友就一语道破了“玄机”，“原来，最流行的宋词就是‘东风何处在人间’啊！”


真的是...

生日、手机号 随意组合都很美
还有更绝的呢！署名为“达芬奇的鸡蛋”的果壳网友不知怎么地，就想到了拿大家都会背一点的圆周率进行创作，两个数字一断，对照高频词表，一首“华丽丽”的词就出来了！还附上了说明，特别像模像样。
达芬奇的鸡蛋 @ 果壳
清平乐·圆周率
回首明月（一看就是抒情诗）
14 15
悠悠心事空（果然，貌似失恋了）
92 65
西湖何事寂寞中（触景生情）
35 89 79
风吹斜阳匆匆（回忆那天下午的艳遇）
32 38 46
芳草平生斜阳（平生见过最美的太阳和芳草，都是因为那里有你的身影）
26 43 38
风吹寂寞今日（到现在就剩我自己）
32 79 50
一枝富贵年年（好花美丽年年开，好景宜人不常在）
28 84 19
断肠长安不知（我的思念远方的你可知道？）
71 69 39


数据：《全宋词》文本
代码：
l=scan("Ci.txt","character",sep="\n");
l.len=nchar(l);
# 某些行是作者和标题，所以选取长度大于10的行；
# 另外这个文本文件不太规整，有些网址什么的，
# 所以也要排除那些长度太长的。

ci=l;
# 句子用标点符号分割。
sentences=strsplit(ci,"，|。|！|？|、");
sentences=unlist(sentences);
sentences=sentences[sentences!=""];
s.len=nchar(sentences);
# 单句太长了说明有可能是错误的字符，去除掉。
sentences=sentences[s.len<=10];
s.len=nchar(sentences);
# 暴力挨个拆分，比如“犹解嫁东风”的所有二字组合为
# “犹解”“解嫁”“嫁东”“东风”，
# 无意义的词其频数自然就落在后面了。
splitwords=function(x,x.len) substring(x,1:(x.len-1),2:x.len);
words=mapply(splitwords,sentences,s.len,SIMPLIFY=TRUE,USE.NAMES=FALSE);
words=unlist(words);
words.freq=table(words);
words.freq=sort(words.freq,decreasing=TRUE);
data.frame(Word=names(words.freq[1:100]),Freq=as.integer(words.freq[1:100]));

因为多处理了一点异常, 双字词频顺序基本一样, 数量稍有区别, 不重复贴了. 不过可以贴出短句句频:D
"到如今",50　　"君知否",46　　"谁知道",30　　"功名事",28
"须信道",28　　"最好是",27　　"人间世",26　　"从今去",26
"凝伫",25　　"归去",24　　"不如归去",23　　"知否",23
"谁信道",23　　"倚阑干",21　　"到而今",21　　"又还是",21
"归去来兮",21　　"人不见",20　　"当此际",20　　"记当年",19
"东风里",18　　"怎奈向",18　　"春去也",18　　"须知道",18
"争知道",17　　"更那堪",17　　"留不住",17　　"谩赢得",17
"那堪更",17　　"一觞一咏",16　　"休休",16　　"君不见",16
"家山好",16　　"归来也",16　　"思往事",16　　"悠悠",16
"无绪",16　　"还知否",16　　"追往事",16　　"人间天上",15
"最苦是",14　　"疏影横斜",14　　"空怅望",14　　"空惆怅",14
"记年时",14　　"人间事",13　　"又只恐",13　　"回首处",13
"夜沈沈",13　　"断人肠",13　　"早归来",13　　"有多少",13
"空凝伫",13　　"向尊前",12　　"微雨过",12　　"情脉脉",12
"斜阳外",12　　"无语",12　　"月明中",12　　"朱颜绿鬓",12
"绿鬓朱颜",12　　"谁念我",12　　"还知么",12　　"问何如",12
"不堪回首",11　　"东风恶",11　　"人何处",11　　"人正在",11
"今老矣",11　　"从别后",11　　"倚东风",11　　"又何须",11
"多少事",11　　"天长地久",11　　"安阳好",11　　"对东风",11
"对西风",11　　"广寒宫殿",11　　"归去也",11　　"归来晚",11
"愿年年",11　　"江南岸",11　　"空回首",11　　"终不似",11
"肠断",11　　"肠断处",11　　"落花飞絮",11　　"西源好",11
"阑干外",11　　"风流",11　　"飕飕",11　　"与谁同",10
"五云深处",10　　"人间何处难忘酒",10　　"人静",10　　"从此去",10
"倚西风",10　　"分明是",10　　"功名富贵",10　　"南徐好",10
"岁岁年年",10　　"思晴好",10　　"想当年",10　　"无限事",10
"朝朝暮暮",10　　"歌窈窕",10　　"独自个",10　　"竹篱茅舍",10
"纶巾羽扇",10　　"良辰美景",10　　"记当时",10　　"诗曰",10
"醉归来",10　　"七十古来稀",9　　"人如玉",9　　"人尽道",9
"何处",9　　"凝望处",9　　"千古恨",9　　"千秋岁",9
"去年今日",9　　"向此际",9　　"坐中客",9　　"天赋与",9
"好天良夜",9　　"年年今日",9　　"待归来",9　　"愁绝",9
"故人何处",9　　"明月清风",9　　"暗香浮动",9　　"曲水流觞",9
"浑不似",9　　"清绝",9　　"盈盈",9　　"空肠断",9
"空赢得",9　　"算人间",9　　"算只有",9　　"缘底事",9
"记当日",9　　"还又是",9　　"道骨仙风",9　　"都付与",9
"都休问",9　　"酒醒时",9　　"问人间",9　　"问何时",9
"风不定",9　　"一声声",8　　"不见",8　　"二十年",8
"人散后",8　　"人易老",8　　"从今后",8　　"休去",8
"休辞醉",8　　"依然是",8　　"几时休",8　　"凭阑久",8
"去天尺五",8　　"又谁知",8　　"君且住",8　　"吾老矣",8
"回首",8　　"堪羡",8　　"多少恨",8　　"夜来风雨",8
"天下事",8　　"天如水",8　　"如何得",8　　"嫣然一笑",8
"寂寞",8　　"山居好",8　　"归去来",8　　"心下事",8
"怎知道",8　　"思悠悠",8　　"恁时节",8　　"悄无人",8
"愿岁岁",8　　"文章太守",8　　"无个事",8　　"最关情",8
"最好处",8　　"有谁知",8　　"浮世事",8　　"满城风雨",8
"玉骨冰肌",8　　"画堂深",8　　"登临处",8　　"看不足",8
"真个是",8　　"知何处",8　　"知音少",8　　"称寿处",8
"空相忆",8　　"笑人间",8　　"纱窗外",8　　"落花流水",8
"长安道",8　　"问当年",8　　"雨初晴",8　　"频回首",8
"风又雨",8　　"风流云散",8　

理科生的逆袭

"一杯酒",7　　"一蓑烟雨",7
"三千岁",7　　"东风外",7　　"人去后",7　　"人未老",7
"人道是",7　　"今夜里",7　　"但怅望",7　　"佳人何处",7
"再相逢",7　　"冰肌玉骨",7　　"净几明窗",7　　"凄凉",7
"凌波微步",7　　"凝望久",7　　"千山万水",7　　"卷珠帘",7
"又何妨",7　　"又过了",7　　"叹人生",7　　"君看取",7
"吴头楚尾",7　　"地久天长",7　　"堪恨处",7　　"堪爱处",7
"多应是",7　　"夜将阑",7　　"天付与",7　　"天寒日暮",7
"如今憔悴",7　　"山无数",7　　"帘栊静",7　　"广寒宫里",7
"待明朝",7　　"忆当年",7　　"急管繁弦",7　　"恨悠悠",7
"憔悴",7　　"携手处",7　　"无一事",7　　"暗香疏影",7
"最难忘",7　　"月明风细",7　　"有个人人",7　　"水悠悠",7
"江南春早",7　　"深院宇",7　　"深院静",7　　"清风明月",7
"画图中",7　　"留恋",7　　"留春不住",7　　"相逢",7
"相逢处",7　　"看明年",7　　"算惟有",7　　"经行处",7
"绮罗丛里",7　　"缓带轻裘",7　　"肠欲断",7　　"自别后",7
"莫匆匆",7　　"行乐处",7　　"许多愁",7　　"试与问",7
"试屈指",7　　"谈笑里",7　　"谩回首",7　　"还知道",7
"送君南浦",7　　"都不管",7　　"都莫问",7　　"酒巡未止",7
"采菱拾翠",7　　"长亭路",7　　"问谁是",7　　"难忘处",7
"非烟非雾",7　　"风前月下",7　　"黯销魂",7　　"一叶扁舟",6
"一年一度",6　　"一杯相属",6　　"一枝枝",6　　"一轮明月",6
"下缺",6　　"不知今夕何夕",6　　"东风起",6　　"举杯相属",6
"之句",6　　"人似玉",6　　"人别后",6　　"人生行乐",6
"人都道",6　　"人间",6　　"今夕何夕",6　　"仙风道骨",6
"似当年",6　　"但回首",6　　"但赢得",6　　"佳丽地",6
"依前是",6　　"依然",6　　"便从今",6　　"便直饶",6
"凝眸",6　　"几番风雨",6　　"凭谁说",6　　"凭阑处",6
"凭阑干",6　　"分付与",6　　"分携处",6　　"别离情绪",6

原帖：
东风何处是人间
配合诗云使用效果更佳。
————————————————————
from 车东
by yixuan
http://yixuan.cos.name/cn/2011/03/text-mining-of-song-poems/

完

唔。- -

程序员改变世界