├── README.md ├── all_stopword.txt └── train_word2vec.py /README.md: -------------------------------------------------------------------------------- 1 | #[train_Word2Vec][1] 2 | 3 | [1]: http://backnode.github.io/pages/2015/11/05/word2vec.html 4 | -------------------------------------------------------------------------------- /all_stopword.txt: -------------------------------------------------------------------------------- 1 | 到底 2 | secondly 3 | 陡然 4 | all 5 | 反过来 6 | 哇 7 | 冲 8 | 能否 9 | whose 10 | ～ 11 | 合理 12 | 地 13 | 在 14 | 由此可见 15 | under 16 | 全力 17 | sorry 18 | 分期 19 | 顿时 20 | ７ 21 | 了 22 | 敞开儿 23 | 不惟 24 | 到处 25 | 看来 26 | 纵令 27 | four 28 | we'll 29 | 别人 30 | 呀 31 | 腾 32 | 其中 33 | 即使 34 | 漫说 35 | 这儿 36 | 联袂 37 | 不然 38 | 不亦乐乎 39 | 即将 40 | 叮咚 41 | 曾经 42 | somewhere 43 | 几经 44 | 具体来说 45 | 纯 46 | likely 47 | 例如 48 | 嗬 49 | even 50 | 既是 51 | + 52 | 这儿 53 | 临到 54 | 嗬 55 | 从古至今 56 | 不成 57 | above 58 | 我 59 | ever 60 | 多年来 61 | 不比 62 | never 63 | 全身心 64 | 哪个 65 | 某 66 | ZZ 67 | hers 68 | 不了 69 | 但愿 70 | 那个 71 | 此 72 | 每当 73 | 可 74 | i'd 75 | howbeit 76 | i'm 77 | theres 78 | changes 79 | & 80 | 我的 81 | 不单 82 | 倘或 83 | 焉 84 | 如 85 | 大 86 | 清楚 87 | anyhow 88 | 专门 89 | 她的 90 | 归 91 | would 92 | 极了 93 | 概 94 | 旁人 95 | therefore 96 | 方 97 | 这么样 98 | is 99 | 趁机 100 | hereby 101 | 率然 102 | 所谓 103 | 从事 104 | 不曾 105 | 此 106 | must 107 | me 108 | 9 109 | 暗中 110 | 顷刻之间 111 | 十分 112 | 难怪 113 | my 114 | 恰巧 115 | 绝不 116 | indicated 117 | 抽冷子 118 | 云云 119 | indicates 120 | 乘隙 121 | 甚么 122 | 自身 123 | keep 124 | 嗯 125 | 连同 126 | 趁早 127 | 总的来说 128 | 一天 129 | 继而 130 | 而外 131 | 长期以来 132 | far 133 | 人们 134 | 某些 135 | 组成 136 | 给 137 | 究竟 138 | 不止一次 139 | 尔等 140 | after 141 | 一来 142 | 呸 143 | 哪里 144 | hereupon 145 | 虽 146 | 之 147 | 特点 148 | 除外 149 | 以后 150 | 于 151 | 一来 152 | 最後 153 | 光 154 | 之类 155 | 哈哈 156 | 那边 157 | keeps 158 | every 159 | 相应 160 | 前后 161 | 共总 162 | over 163 | 不够 164 | 总的说来 165 | 哪怕 166 | 一起 167 | 朝 168 | 顺 169 | before 170 | 全面 171 | 本 172 | 吧哒 173 | 用 174 | , 175 | better 176 | 另外 177 | 非但 178 | then 179 | them 180 | 举行 181 | 总的说来 182 | 一致 183 | 吧哒 184 | _ 185 | 企图 186 | they 187 | 快 188 | 以前 189 | 鄙人 190 | 亲眼 191 | 出去 192 | 论 193 | 之类 194 | 与其 195 | 一切 196 | reasonably 197 | 这麽 198 | 彼此 199 | 汝 200 | each 201 | 何止 202 | went 203 | 归根结底 204 | mean 205 | 迫于 206 | 敢于 207 | ６ 208 | 不但 209 | 五 210 | 代替 211 | 有些 212 | we'd 213 | 别说 214 | 故 215 | 乎 216 | 自家 217 | 若是 218 | 大大 219 | 好的 220 | 哈哈 221 | rd 222 | re 223 | 一则 224 | 必须 225 | 毫不 226 | got 227 | forth 228 | 长话短说 229 | 特殊 230 | 如何 231 | 不得已 232 | you're 233 | 挨个 234 | little 235 | + 236 | 单 237 | whereupon 238 | 臭 239 | 能 240 | 按照 241 | 若是 242 | 起来 243 | 深入 244 | uses 245 | 嘎嘎 246 | already 247 | 而况 248 | 呗 249 | 那么些 250 | 比起 251 | another 252 | 之一 253 | 为 254 | 尽然 255 | 或是 256 | 否则 257 | 千 258 | 不管 259 | 各式 260 | 别 261 | 公然 262 | > 263 | 之所以 264 | 挨门逐户 265 | 相当 266 | 己 267 | 不起 268 | 他人 269 | 开外 270 | 各自 271 | took 272 | 那儿 273 | 嘎登 274 | 而又 275 | 要 276 | 基本 277 | 极其 278 | 她 279 | 猛然间 280 | 从 281 | 哪天 282 | second 283 | 何苦 284 | 当真 285 | 该 286 | 不能 287 | 从 288 | 广大 289 | 不料 290 | 他 291 | 比较 292 | 凭借 293 | seen 294 | seem 295 | relatively 296 | 哪年 297 | 以 298 | 这边 299 | thoroughly 300 | latter 301 | that 302 | 与其 303 | thorough 304 | 本身 305 | 从早到晚 306 | 这么 307 | 是 308 | 毕竟 309 | 任 310 | nobody 311 | 虽然 312 | 零 313 | 莫 314 | 并没 315 | 有关 316 | 一面 317 | 自身 318 | 显著 319 | definitely 320 | 七 321 | 几度 322 | 大略 323 | came 324 | saying 325 | 嗳 326 | 绝对 327 | 谨 328 | 如其 329 | 极力 330 | 乌乎 331 | 倒不如 332 | 甚么 333 | specify 334 | 千万千万 335 | 迄 336 | 当场 337 | do 338 | 充分 339 | 从速 340 | next 341 | 倘然 342 | despite 343 | 不 344 | unfortunately 345 | 带 346 | 即若 347 | 来 348 | twice 349 | 只要 350 | 由于 351 | 凭 352 | 真是 353 | 乘 354 | 殆 355 | 如此 356 | 相反 357 | 不只 358 | 然而 359 | 哼唷 360 | 以後 361 | 不可开交 362 | best 363 | 0 364 | said 365 | —— 366 | away 367 | 绝 368 | 直接 369 | there's 370 | 最高 371 | unto 372 | hopefully 373 | seven 374 | 不会 375 | 全年 376 | we 377 | 整个 378 | 每天 379 | 则 380 | 倒不如说 381 | ltd 382 | here 383 | 决非 384 | 不会 385 | ５ 386 | 仍然 387 | 跟 388 | 其一 389 | 忽然 390 | 但是 391 | against 392 | 而且 393 | 各个 394 | 即使 395 | com 396 | 嘘 397 | 以至 398 | 自个儿 399 | 让 400 | ZT 401 | 别 402 | 应该 403 | aren't 404 | 其次 405 | 较为 406 | been 407 | . 408 | much 409 | 即若 410 | — 411 | 暗自 412 | 及至 413 | 大体 414 | 除却 415 | 集中 416 | 反之则 417 | 同样 418 | concerning 419 | 开始 420 | wish 421 | 按 422 | 经常 423 | 明确 424 | 在下 425 | 绝顶 426 | 按理 427 | 首先 428 | say 429 | 反之 430 | near 431 | 立地 432 | 从小 433 | 倘然 434 | unlikely 435 | 定 436 | 权时 437 | 旁人 438 | 从严 439 | 何必 440 | 乃至 441 | 首先 442 | 觉得 443 | cant 444 | 达旦 445 | in 446 | ie 447 | 全都 448 | 三天两头 449 | if 450 | containing 451 | beside 452 | 极端 453 | 莫若 454 | 昂然 455 | several 456 | 略微 457 | 大事 458 | 到 459 | 那个 460 | 有所 461 | 而外 462 | 大家 463 | 据此 464 | 即令 465 | 顷刻 466 | kept 467 | whereby 468 | " 469 | 既...又 470 | 从此 471 | 则 472 | 格外 473 | whoever 474 | the 475 | 其后 476 | yours 477 | 平素 478 | just 479 | 照 480 | 多亏 481 | ｜ 482 | 恍然 483 | 也好 484 | 哗啦 485 | 虽则 486 | yes 487 | yet 488 | 局外 489 | 然后 490 | 它们的 491 | had 492 | 之前 493 | 按 494 | 主要 495 | has 496 | 靠 497 | t's 498 | 依 499 | 呜呼 500 | 某 501 | possible 502 | 5 503 | 遭到 504 | 彼 505 | 越是 506 | apart 507 | 这么些 508 | 即是说 509 | 从头 510 | 行为 511 | 尽管 512 | ： 513 | 过 514 | right 515 | old 516 | 着呢 517 | somehow 518 | 换言之 519 | 瑟瑟 520 | 强调 521 | 具体说来 522 | 朝着 523 | 切莫 524 | 四 525 | 与 526 | 串行 527 | for 528 | 人家 529 | 屡次三番 530 | / 531 | 趁 532 | everything 533 | asking 534 | ＆ 535 | 多 536 | 无论 537 | who 538 | 近 539 | 极 540 | of 541 | 没有 542 | | 543 | theirs 544 | 不过 545 | 相对而言 546 | 维持 547 | 保持 548 | plus 549 | 背地里 550 | 据悉 551 | 鉴于 552 | 起来 553 | 一下 554 | 看来 555 | 这样 556 | formerly 557 | 哪里 558 | 恰逢 559 | 拿 560 | 除 561 | down 562 | 为什麽 563 | 乃至 564 | 不经意 565 | c's 566 | 几 567 | ４ 568 | 不但 569 | 着 570 | 不免 571 | 仍然 572 | 那么 573 | 凑巧 574 | 结果 575 | accordingly 576 | 嘛 577 | 乘机 578 | way 579 | 何 580 | was 581 | 何况 582 | 够瞧的 583 | 俺们 584 | 日益 585 | 愿意 586 | becoming 587 | 个 588 | 大概 589 | 近几年来 590 | 从而 591 | 从而 592 | 中小 593 | 共 594 | tell 595 | 多多少少 596 | 那么样 597 | 呕 598 | 一旦 599 | 除此之外 600 | 临 601 | sometime 602 | 倘若 603 | 分头 604 | no 605 | 严重 606 | 几时 607 | whereas 608 | nd 609 | 根本 610 | 看样子 611 | 你们 612 | 要是 613 | 之一 614 | ' 615 | 您 616 | 怕 617 | 重大 618 | 不要 619 | welcome 620 | 不怕 621 | let's 622 | 以及 623 | 反映 624 | 呆呆地 625 | 转变 626 | 可见 627 | 另方面 628 | 趁便 629 | 不但...而且 630 | 其他 631 | 进去 632 | 甚至 633 | 自个儿 634 | 居然 635 | 周围 636 | 过去 637 | : 638 | certainly 639 | 任凭 640 | 突然 641 | 截至 642 | 意思 643 | 喂 644 | 任 645 | 尚且 646 | 然后 647 | a's 648 | 总之 649 | 成年 650 | 边 651 | 练习 652 | 对应 653 | 怎样 654 | 据 655 | 伟大 656 | 将 657 | 偏偏 658 | 避免 659 | 下来 660 | 其二 661 | 要不 662 | 什么样 663 | did 664 | 分期分批 665 | 从古到今 666 | 冒 667 | 只是 668 | 立 669 | 叫做 670 | it'll 671 | says 672 | 举凡 673 | 存在 674 | 关于 675 | 那边 676 | 反手 677 | 转贴 678 | 从此以后 679 | 嗡嗡 680 | 接着 681 | appear 682 | 跟 683 | 虽然 684 | 大量 685 | 么 686 | 受到 687 | 譬如 688 | 构成 689 | 的确 690 | 基于 691 | 怪 692 | 尽管如此 693 | 每时每刻 694 | 形成 695 | 也好 696 | 饱 697 | 多少 698 | alone 699 | [ 700 | 不能不 701 | 甭 702 | 个人 703 | wherever 704 | 既 705 | example 706 | usually 707 | 所以 708 | 略加 709 | nowhere 710 | 突出 711 | hither 712 | regardless 713 | 方能 714 | 先生 715 | 恰好 716 | ％ 717 | 上面 718 | 但 719 | 嘿 720 | 嘻 721 | everybody 722 | 具体地说 723 | 嘎 724 | 什么 725 | ` 726 | 比方 727 | 良好 728 | 牢牢 729 | thru 730 | 嘛 731 | 嘘 732 | 纵令 733 | 冲 734 | 岂但 735 | 取得 736 | ； 737 | 为何 738 | everywhere 739 | 高低 740 | 甚而 741 | 不特 742 | 精光 743 | 沿着 744 | 砰 745 | 历 746 | 恰恰相反 747 | 冒 748 | 何时 749 | 高兴 750 | 凭借 751 | can 752 | 已经 753 | following 754 | 从今以后 755 | ； 756 | 等 757 | want 758 | , 759 | didn't 760 | 上来 761 | 别说 762 | 据实 763 | 得出 764 | 至于 765 | 以便 766 | 重新 767 | 之後 768 | 直到 769 | 兮 770 | 我们 771 | 每当 772 | 大多 773 | 迟早 774 | 来着 775 | may 776 | 差不多 777 | 当下 778 | 大约 779 | 适当 780 | 决定 781 | such 782 | 哪些 783 | 己 784 | whenever 785 | maybe 786 | 此后 787 | 对于 788 | 你们 789 | ? 790 | ones 791 | so 792 | 乘势 793 | 倍感 794 | 范围 795 | 加以 796 | seeing 797 | 急匆匆 798 | indeed 799 | 敢 800 | 不过 801 | course 802 | 相对而言 803 | still 804 | 虽 805 | 既 806 | 立时 807 | 几乎 808 | thank 809 | 并且 810 | he's 811 | selves 812 | 只要 813 | 为了 814 | 因此 815 | 岂 816 | ours 817 | 真正 818 | 目前 819 | outside 820 | non 821 | within 822 | thereby 823 | 何尝 824 | 成年累月 825 | 经常 826 | 任务 827 | 以来 828 | 比如说 829 | 并肩 830 | 人民 831 | not 832 | 管 833 | now 834 | nor 835 | 看起来 836 | 过来 837 | 得 838 | 每逢 839 | 趁着 840 | 比方 841 | 非常 842 | entirely 843 | 以至于 844 | 后来 845 | 非徒 846 | 穷年累月 847 | 何妨 848 | eg 849 | 莫不 850 | 粗 851 | ＠ 852 | 一片 853 | 共同 854 | ex 855 | et 856 | 造成 857 | hadn't 858 | 抑或 859 | 应当 860 | furthermore 861 | 最后 862 | looking 863 | 出现 864 | seriously 865 | 极度 866 | shouldn't 867 | 何况 868 | 不必 869 | 各位 870 | she 871 | 这时 872 | 后来 873 | 就算 874 | quite 875 | 一直 876 | besides 877 | 即或 878 | 从未 879 | 怎么办 880 | 全部 881 | 罢了 882 | 哼 883 | 快要 884 | 中间 885 | think 886 | first 887 | ignored 888 | 阿 889 | awfully 890 | 怎 891 | 要不然 892 | given 893 | 喔唷 894 | 巩固 895 | 们 896 | anyone 897 | indicate 898 | 正如 899 | 来不及 900 | 啊哈 901 | 这里 902 | 遵照 903 | 里面 904 | gives 905 | 自从 906 | 几 907 | 临 908 | 嗯 909 | mostly 910 | 而后 911 | 相同 912 | ＄ 913 | 大家 914 | 大力 915 | 以免 916 | 沙沙 917 | 现代 918 | 1 919 | than 920 | here's 921 | 年复一年 922 | 而 923 | 然则 924 | 随著 925 | 非常 926 | 各个 927 | 因而 928 | were 929 | 第 930 | and 931 | 除 932 | 刚 933 | 呼哧 934 | 前面 935 | appreciate 936 | 奈 937 | 切勿 938 | ： 939 | himself 940 | 不久 941 | saw 942 | any 943 | 单单 944 | 每 945 | 适用 946 | 好象 947 | downwards 948 | 陈年 949 | 他们 950 | take 951 | 照着 952 | 其他 953 | 愤然 954 | 每 955 | sure 956 | 吧 957 | 依靠 958 | 积极 959 | 而言 960 | 综上所述 961 | 毫不 962 | 可好 963 | 这些 964 | 的话 965 | 看 966 | 成为 967 | ] 968 | 第 969 | especially 970 | later 971 | 这么样 972 | 于 973 | 和 974 | 极为 975 | that's 976 | 故意 977 | 去 978 | 不问 979 | 最好 980 | 下列 981 | 不对 982 | 为着 983 | 今天 984 | 偶尔 985 | fifth 986 | 认识 987 | 累年 988 | don't 989 | 吱 990 | 只限 991 | aside 992 | 多年前 993 | only 994 | going 995 | 大面儿上 996 | 当庭 997 | 后面 998 | 就此 999 | get 1000 | 随 1001 | 咚 1002 | truly 1003 | 往 1004 | 还是 1005 | cannot 1006 | 不胜 1007 | nearly 1008 | 鉴于 1009 | 故此 1010 | 到目前为止 1011 | 不论 1012 | regarding 1013 | 并无 1014 | 末##末 1015 | 望 1016 | us 1017 | 极了 1018 | 看到 1019 | 哪儿 1020 | 次第 1021 | 望 1022 | 似的 1023 | where 1024 | 如常 1025 | 到 1026 | 好在 1027 | 其 1028 | 属于 1029 | up 1030 | 哼唷 1031 | namely 1032 | 兮 1033 | anyways 1034 | 另 1035 | wonder 1036 | 采取 1037 | # 1038 | 由于 1039 | 更加 1040 | behind 1041 | 为主 1042 | between 1043 | it 1044 | 固 1045 | across 1046 | 有 1047 | 喀 1048 | 从优 1049 | 移动 1050 | 下面 1051 | 的 1052 | 哎呀 1053 | 再者 1054 | come 1055 | 相对 1056 | 反之 1057 | 到头 1058 | 接连不断 1059 | 不妨 1060 | many 1061 | whereafter 1062 | according 1063 | 是的 1064 | 将要 1065 | 咦 1066 | comes 1067 | 不论 1068 | 惯常 1069 | afterwards 1070 | 它 1071 | 。 1072 | 如果 1073 | 按时 1074 | couldn't 1075 | moreover 1076 | 老大 1077 | considering 1078 | sensible 1079 | 。 1080 | 连日 1081 | 较比 1082 | 边 1083 | 替 1084 | 6 1085 | 故 1086 | hardly 1087 | 可见 1088 | wants 1089 | 不比 1090 | 屡次 1091 | 可以 1092 | 竟 1093 | 来着 1094 | 三 1095 | former 1096 | those 1097 | 行动 1098 | 何处 1099 | 顷 1100 | these 1101 | 既然 1102 | 能够 1103 | 咦 1104 | 不管 1105 | 相等 1106 | 朝着 1107 | 起 1108 | 三番两次 1109 | 某个 1110 | 除了 1111 | [ 1112 | ＋ 1113 | 就是说 1114 | 固然 1115 | 关于 1116 | 届时 1117 | 另一方面 1118 | somebody 1119 | 顷刻间 1120 | different 1121 | 不拘 1122 | etc 1123 | insofar 1124 | 接下来 1125 | 就地 1126 | same 1127 | 怎麽 1128 | 极大 1129 | 更为 1130 | 处处 1131 | 还有 1132 | 不光 1133 | 着 1134 | 借 1135 | 岂非 1136 | 逐步 1137 | 掌握 1138 | 反过来 1139 | 不一 1140 | 作为 1141 | 亲手 1142 | 阿 1143 | ９ 1144 | 哪天 1145 | 经过 1146 | 颇 1147 | 知道 1148 | without 1149 | can't 1150 | very 1151 | 对 1152 | 尽快 1153 | you've 1154 | among 1155 | being 1156 | 独自 1157 | 一定 1158 | 这个 1159 | 不限 1160 | 再者 1161 | 其余 1162 | \ 1163 | 如若 1164 | 忽地 1165 | we've 1166 | seems 1167 | 恰如 1168 | 大大 1169 | ‘ 1170 | 咋 1171 | 彼 1172 | 不怎么 1173 | 不同 1174 | around 1175 | 咱们 1176 | 上来 1177 | 看上去 1178 | 莫若 1179 | using 1180 | 哩 1181 | 不力 1182 | 接著 1183 | 而已 1184 | 较 1185 | 啐 1186 | 其实 1187 | ( 1188 | 非但 1189 | 除非 1190 | 挨门挨户 1191 | 理应 1192 | 诸位 1193 | 丰富 1194 | 这会儿 1195 | 怎么办 1196 | 借此 1197 | specified 1198 | 时候 1199 | 宣布 1200 | 转动 1201 | 比如 1202 | 喏 1203 | 喂 1204 | 如其 1205 | 不由得 1206 | 起先 1207 | 一方面 1208 | 一旦 1209 | 就 1210 | 奋勇 1211 | 一时 1212 | 自 1213 | 容易 1214 | 嗳 1215 | 在 1216 | 也罢 1217 | 必将 1218 | 可能 1219 | on 1220 | 不拘 1221 | ok 1222 | oh 1223 | 呼啦 1224 | 不再 1225 | 那会儿 1226 | whence 1227 | 过于 1228 | 日臻 1229 | it's 1230 | 因 1231 | or 1232 | ; 1233 | 咱们 1234 | 俺 1235 | 它 1236 | 必定 1237 | 不外 1238 | 趁着 1239 | 它的 1240 | 切不可 1241 | everyone 1242 | 不仅 1243 | your 1244 | 规定 1245 | 密切 1246 | her 1247 | 果真 1248 | there 1249 | 以便 1250 | 何时 1251 | 亲口 1252 | 罢了 1253 | 不少 1254 | 八成 1255 | 一些 1256 | 单纯 1257 | 连 1258 | 、 1259 | amongst 1260 | 这 1261 | 过 1262 | 比照 1263 | 上下 1264 | trying 1265 | with 1266 | 宁肯 1267 | they're 1268 | 这么 1269 | 、 1270 | wasn't 1271 | 几番 1272 | 叫 1273 | 之所以 1274 | 管 1275 | 并 1276 | 嗡嗡 1277 | 率尔 1278 | 连声 1279 | gone 1280 | 替 1281 | certain 1282 | am 1283 | 通常 1284 | an 1285 | as 1286 | at 1287 | 巨大 1288 | again 1289 | 因为 1290 | 其一 1291 | 另行 1292 | 上 1293 | 绝对 1294 | 何乐而不为 1295 | 看出 1296 | 赶 1297 | ＊ 1298 | 非徒 1299 | 当头 1300 | 前者 1301 | 重要 1302 | 哪儿 1303 | serious 1304 | 处理 1305 | 设使 1306 | 哎 1307 | hello 1308 | 且 1309 | 她们 1310 | 吗 1311 | 各级 1312 | 何处 1313 | 谁 1314 | since 1315 | consider 1316 | 何须 1317 | 或多或少 1318 | 亲身 1319 | causes 1320 | 论说 1321 | ８ 1322 | 如前所述 1323 | 哪样 1324 | 广泛 1325 | to 1326 | th 1327 | 自己 1328 | 不光 1329 | 进行 1330 | 不问 1331 | - 1332 | 越是 1333 | 自 1334 | myself 1335 | 哎哟 1336 | 屡屡 1337 | ` 1338 | 二 1339 | 什么 1340 | 六 1341 | 即便 1342 | 拿 1343 | 各位 1344 | i'll 1345 | 该当 1346 | ’ 1347 | 尽心尽力 1348 | 有利 1349 | 果真 1350 | 那 1351 | zero 1352 | 哪 1353 | 各地 1354 | 有的 1355 | 这么点儿 1356 | further 1357 | 尽心竭力 1358 | 据称 1359 | 吱 1360 | what 1361 | 况且 1362 | sub 1363 | 除此而外 1364 | 先后 1365 | brief 1366 | sup 1367 | seemed 1368 | c'mon 1369 | 啥 1370 | 啦 1371 | 竟然 1372 | @ 1373 | 省得 1374 | 基本上 1375 | 尽管 1376 | 确定 1377 | 或许 1378 | 较 1379 | 啊 1380 | allows 1381 | 来讲 1382 | 猛然 1383 | 敢情 1384 | 啐 1385 | 或是 1386 | 基本 1387 | 别的 1388 | followed 1389 | 表示 1390 | 若非 1391 | 弹指之间 1392 | 正在 1393 | ask 1394 | 其它 1395 | 不得了 1396 | viz 1397 | 随着 1398 | 矣 1399 | 毋宁 1400 | 当着 1401 | contains 1402 | 难道 1403 | two 1404 | 认真 1405 | 左右 1406 | taken 1407 | 要么 1408 | 倘使 1409 | more 1410 | knows 1411 | 各种 1412 | 只有 1413 | ain't 1414 | particular 1415 | known 1416 | 一方面 1417 | 打从 1418 | none 1419 | 让 1420 | 实际 1421 | nine 1422 | 论 1423 | 弗 1424 | 具体说来 1425 | 借以 1426 | 宁 1427 | 纯粹 1428 | ! 1429 | 无宁 1430 | needs 1431 | rather 1432 | 当口儿 1433 | 还是 1434 | ［ 1435 | 　 1436 | 不是 1437 | okay 1438 | tried 1439 | 毋宁 1440 | 不仅仅是 1441 | 继而 1442 | 请勿 1443 | tries 1444 | 照着 1445 | 即便 1446 | 那儿 1447 | 各 1448 | onto 1449 | 假如 1450 | 充其量 1451 | 反过来说 1452 | perhaps 1453 | specifying 1454 | ] 1455 | 她 1456 | 由 1457 | >> 1458 | help 1459 | 有效 1460 | ） 1461 | 如上所述 1462 | 离 1463 | soon 1464 | 乒 1465 | 打开天窗说亮话 1466 | 毫无 1467 | through 1468 | 2 1469 | its 1470 | 赶快 1471 | seeming 1472 | 加上 1473 | 说说 1474 | inward 1475 | actually 1476 | 顶多 1477 | 方便 1478 | 唉 1479 | might 1480 | 从来 1481 | haven't 1482 | ？ 1483 | 纵 1484 | 奇 1485 | someone 1486 | 多次 1487 | 很少 1488 | 虽说 1489 | 更 1490 | 随着 1491 | 切 1492 | 才能 1493 | hereafter 1494 | 被 1495 | always 1496 | 反倒 1497 | ？ 1498 | 总的来看 1499 | 于是 1500 | 复杂 1501 | 沿着 1502 | isn't 1503 | 豁然 1504 | 凭 1505 | 明显 1506 | 其中 1507 | 如若 1508 | 谁 1509 | beyond 1510 | 多次 1511 | 由此可见 1512 | really 1513 | 这就是说 1514 | 两者 1515 | 风雨无阻 1516 | 它们 1517 | 上下 1518 | they'll 1519 | 上升 1520 | 均 1521 | 于是乎 1522 | 同时 1523 | 此间 1524 | 各种 1525 | 存心 1526 | 按说 1527 | 啪达 1528 | 甚而 1529 | 为什么 1530 | 必要 1531 | 不择手段 1532 | 不仅仅 1533 | 见 1534 | 叮咚 1535 | 不管怎样 1536 | 并不 1537 | 经 1538 | 以 1539 | 而言 1540 | 通过 1541 | 赶 1542 | 一则 1543 | 一切 1544 | enough 1545 | 总的来看 1546 | 若 1547 | 具体 1548 | 按照 1549 | 或者 1550 | 後面 1551 | thereafter 1552 | 允许 1553 | 半 1554 | 尽如人意 1555 | 来看 1556 | done 1557 | 不仅 1558 | 每个 1559 | 争取 1560 | 这点 1561 | 引起 1562 | " 1563 | 任凭 1564 | 得 1565 | together 1566 | 人人 1567 | 待 1568 | least 1569 | 往 1570 | 只有 1571 | 呜 1572 | 此中 1573 | too 1574 | 不时 1575 | 马上 1576 | 那样 1577 | immediate 1578 | 自己 1579 | 个别 1580 | believe 1581 | 恰恰 1582 | $ 1583 | gotten 1584 | 常言说 1585 | 不满 1586 | 刚才 1587 | toward 1588 | 要不 1589 | 呢 1590 | 勃然 1591 | 着呢 1592 | 1593 | 前后 1594 | 继续 1595 | 啊 1596 | 尽 1597 | self 1598 | 据 1599 | also 1600 | 作为 1601 | 这种 1602 | 的话 1603 | 从重 1604 | 及其 1605 | 从无到有 1606 | towards 1607 | 这么些 1608 | 放量 1609 | 如上所述 1610 | most 1611 | 纵使 1612 | 叮当 1613 | 而且 1614 | nothing 1615 | 并没有 1616 | 他人 1617 | they'd 1618 | 7 1619 | sometimes 1620 | 得天独厚 1621 | 就 1622 | 逢 1623 | 连袂 1624 | ~ 1625 | 乃 1626 | 若 1627 | lest 1628 | 纵然 1629 | particularly 1630 | somewhat 1631 | 可是 1632 | 不可抗拒 1633 | 得到 1634 | 相信 1635 | 并 1636 | 咱 1637 | 不迭 1638 | 喔唷 1639 | 倍加 1640 | 如此 1641 | 梆 1642 | 它们 1643 | 都 1644 | 各人 1645 | 二话没说 1646 | 嘎登 1647 | 老老实实 1648 | his 1649 | 匆匆 1650 | goes 1651 | meanwhile 1652 | －－ 1653 | 通过 1654 | 啦 1655 | 拦腰 1656 | 正如 1657 | （ 1658 | during 1659 | 恐怕 1660 | him 1661 | 哩 1662 | 哗 1663 | 当 1664 | 哟 1665 | 哇 1666 | 倘 1667 | 本着 1668 | 哎 1669 | 哈 1670 | 哉 1671 | greetings 1672 | 不巧 1673 | 後来 1674 | 向 1675 | 等到 1676 | 以下 1677 | see 1678 | 及其 1679 | are 1680 | 某些 1681 | 矣 1682 | 别的 1683 | 为了 1684 | 唉 1685 | 该 1686 | 大致 1687 | 也 1688 | currently 1689 | please 1690 | ＞ 1691 | 变成 1692 | 凝神 1693 | 安全 1694 | various 1695 | 至于 1696 | probably 1697 | 及至 1698 | 充其极 1699 | available 1700 | 可能 1701 | 先後 1702 | 不得 1703 | 少数 1704 | 似乎 1705 | 她们 1706 | 原来 1707 | 普通 1708 | 无论 1709 | both 1710 | last 1711 | 是不是 1712 | wouldn't 1713 | became 1714 | 八 1715 | 互 1716 | 召开 1717 | whole 1718 | liked 1719 | 不得 1720 | 另 1721 | 叫 1722 | 可 1723 | 加之 1724 | whatever 1725 | except 1726 | 哎哟 1727 | 其实 1728 | throughout 1729 | along 1730 | 您 1731 | 白 1732 | 两者 1733 | described 1734 | though 1735 | 及 1736 | 有些 1737 | 又 1738 | 双方 1739 | 不断 1740 | whom 1741 | 一样 1742 | ) 1743 | 总而言之 1744 | 不日 1745 | beforehand 1746 | what's 1747 | new 1748 | else 1749 | 大不了 1750 | 分别 1751 | 此时 1752 | look 1753 | 当 1754 | 归 1755 | 使得 1756 | 他 1757 | while 1758 | 刚好 1759 | 才 1760 | 哦 1761 | 设使 1762 | 简直 1763 | 起见 1764 | herein 1765 | 长线 1766 | 还有 1767 | itself 1768 | 等等 1769 | 立即 1770 | 注意 1771 | 宁可 1772 | 或 1773 | wherein 1774 | 每年 1775 | 部分 1776 | < 1777 | 待到 1778 | used 1779 | 嘿 1780 | 以及 1781 | 心里 1782 | 你 1783 | 归根到底 1784 | 不成 1785 | 当即 1786 | 因此 1787 | 换言之 1788 | 除去 1789 | 一般 1790 | 互相 1791 | 何 1792 | anybody 1793 | obviously 1794 | 然而 1795 | 但 1796 | 大批 1797 | thats 1798 | 们 1799 | 那麽 1800 | 可以 1801 | from 1802 | - 1803 | 老是 1804 | 以外 1805 | 有着 1806 | 切切 1807 | useful 1808 | 鄙人 1809 | 不足 1810 | 起初 1811 | 要么 1812 | 那些 1813 | 宁肯 1814 | 活 1815 | 最大 1816 | 换句话说 1817 | merely 1818 | 一边 1819 | 保险 1820 | 云云 1821 | 传说 1822 | 齐 1823 | 怪不得 1824 | 另外 1825 | 宁愿 1826 | 倘或 1827 | 连日来 1828 | 不至于 1829 | 更加 1830 | .. 1831 | 哟 1832 | follows 1833 | 问题 1834 | 赶早不赶晚 1835 | 如下 1836 | 也是 1837 | 紧接着 1838 | 那末 1839 | often 1840 | some 1841 | 故而 1842 | ourselves 1843 | 向着 1844 | 固然 1845 | 不外乎 1846 | 然 1847 | 连 1848 | shall 1849 | per 1850 | 不独 1851 | 老 1852 | 大体上 1853 | tends 1854 | 接着 1855 | 起首 1856 | 待 1857 | 哉 1858 | either 1859 | be 1860 | 难说 1861 | 一样 1862 | 要 1863 | ＜ 1864 | 连连 1865 | by 1866 | 光是 1867 | 啊哟 1868 | 断然 1869 | 却不 1870 | 是否 1871 | anything 1872 | 而已 1873 | 漫说 1874 | 慢说 1875 | consequently 1876 | 据说 1877 | 近年来 1878 | 除此 1879 | 也罢 1880 | . 1881 | 顺着 1882 | into 1883 | 不能 1884 | 默默地 1885 | 将 1886 | appropriate 1887 | 特别是 1888 | 倘 1889 | 综上所述 1890 | 继之 1891 | 而论 1892 | 如期 1893 | 假使 1894 | 假如 1895 | 有点 1896 | 依 1897 | 个人 1898 | 有的 1899 | 帮助 1900 | 来 1901 | 进而 1902 | we're 1903 | 只是 1904 | : 1905 | 交口 1906 | 哪年 1907 | 怎 1908 | “ 1909 | elsewhere 1910 | ３ 1911 | ... 1912 | 进而 1913 | 尽 1914 | 这里 1915 | 当然 1916 | 如此等等 1917 | 结合 1918 | 从新 1919 | 无宁 1920 | hasn't 1921 | “ 1922 | 如今 1923 | un 1924 | 除开 1925 | 使用 1926 | 不敢 1927 | 与否 1928 | noone 1929 | 俺 1930 | associated 1931 | 咱 1932 | 咳 1933 | A 1934 | 完成 1935 | 今后 1936 | 其 1937 | 从中 1938 | 战斗 1939 | 换句话说 1940 | 不是 1941 | 除非 1942 | thanks 1943 | 咚 1944 | 隔日 1945 | 和 1946 | 完全 1947 | 具体地说 1948 | 腾 1949 | 有时 1950 | 咋 1951 | 日复一日 1952 | 哪样 1953 | 为何 1954 | 出来 1955 | （ 1956 | ） 1957 | 向着 1958 | 前进 1959 | 倘若 1960 | 不常 1961 | 任何 1962 | 要不是 1963 | 便 1964 | 内 1965 | 有关 1966 | 为什么 1967 | having 1968 | 一般 1969 | once 1970 | 恰恰相反 1971 | 彼此 1972 | 当前 1973 | 另一个 1974 | 白白 1975 | edu 1976 | go 1977 | 乘虚 1978 | 并排 1979 | 得起 1980 | 此间 1981 | 假使 1982 | 哦 1983 | 运用 1984 | 这会儿 1985 | 当然 1986 | 是的 1987 | 间或 1988 | 紧接着 1989 | 某个 1990 | sent 1991 | 理该 1992 | provides 1993 | 传闻 1994 | 长此下去 1995 | 尚且 1996 | 上述 1997 | yourselves 1998 | 并且 1999 | 最近 2000 | they've 2001 | 保管 2002 | try 2003 | this 2004 | 纵使 2005 | 倘使 2006 | 不知不觉 2007 | 这个 2008 | you'd 2009 | 反应 2010 | yourself 2011 | zz 2012 | zt 2013 | 策略地 2014 | 必须 2015 | 不下 2016 | 日见 2017 | 纵 2018 | 差一点 2019 | 没 2020 | 如上 2021 | 所以 2022 | 适应 2023 | ; 2024 | 产生 2025 | 欢迎 2026 | respectively 2027 | 不然的话 2028 | 省得 2029 | 至 2030 | 迅速 2031 | let 2032 | 3 2033 | others 2034 | 》 2035 | 那么样 2036 | 那样 2037 | 假若 2038 | until 2039 | 不惟 2040 | 这 2041 | 近来 2042 | 挨家挨户 2043 | 》 2044 | weren't 2045 | 没有 2046 | 多 2047 | 略为 2048 | 按期 2049 | 亲自 2050 | 进步 2051 | 可是 2052 | 吓 2053 | 多数 2054 | 当时 2055 | 反之亦然 2056 | 具有 2057 | use 2058 | 既然 2059 | 那么些 2060 | 怎么样 2061 | 九 2062 | few 2063 | 倒是 2064 | themselves 2065 | 不特 2066 | 这样 2067 | becomes 2068 | 有力 2069 | 人家 2070 | 正常 2071 | 不怕 2072 | 不得不 2073 | 并不是 2074 | ｛ 2075 | 乘胜 2076 | 扑通 2077 | 除此以外 2078 | 把 2079 | 又 2080 | anywhere 2081 | 我们 2082 | 会 2083 | 而是 2084 | 设若 2085 | 不同 2086 | ” 2087 | ２ 2088 | 出 2089 | 万一 2090 | something 2091 | 坚持 2092 | 说明 2093 | 路经 2094 | 把 2095 | 像 2096 | ” 2097 | six 2098 | 以致 2099 | 顺 2100 | 理当 2101 | 到头来 2102 | 呸 2103 | 要是 2104 | 反而 2105 | 了 2106 | 呵 2107 | 碰巧 2108 | 大多数 2109 | 是 2110 | 绝非 2111 | 总是 2112 | 姑且 2113 | 比如 2114 | 呜 2115 | 只限 2116 | 从轻 2117 | 每每 2118 | 呕 2119 | 呗 2120 | 大张旗鼓 2121 | 大举 2122 | allow 2123 | 屡 2124 | 呀 2125 | 呃 2126 | 常常 2127 | 顺着 2128 | 宁 2129 | 朝 2130 | won't 2131 | 更进一步 2132 | 哪些 2133 | 据我所知 2134 | 进入 2135 | % 2136 | 趁热 2137 | 对 2138 | thence 2139 | 获得 2140 | 哪 2141 | willing 2142 | 就是 2143 | 尔后 2144 | 那时 2145 | 沿 2146 | 川流不息 2147 | 时候 2148 | 不要 2149 | 加以 2150 | 所有 2151 | 普遍 2152 | 故此 2153 | 啪达 2154 | 谁知 2155 | instead 2156 | 不变 2157 | 促进 2158 | 严格 2159 | 否则 2160 | 设若 2161 | 现在 2162 | 起头 2163 | 被 2164 | 今年 2165 | 附近 2166 | 仍旧 2167 | 不只 2168 | whither 2169 | 不可 2170 | 轰然 2171 | 今後 2172 | 哎呀 2173 | 另一方面 2174 | 缕缕 2175 | 难得 2176 | doing 2177 | 如何 2178 | 社会主义 2179 | 做到 2180 | 即 2181 | 下去 2182 | 那些 2183 | 尔后 2184 | 毫无例外 2185 | 任何 2186 | 8 2187 | 出去 2188 | ︿ 2189 | 打 2190 | 例如 2191 | 那里 2192 | how 2193 | 而是 2194 | cause 2195 | 尤其 2196 | thereupon 2197 | 连同 2198 | 呼哧 2199 | 相似 2200 | 于是乎 2201 | que 2202 | 彻夜 2203 | 偶而 2204 | 使得 2205 | via 2206 | could 2207 | 那会儿 2208 | 自各儿 2209 | 加入 2210 | 累次 2211 | hence 2212 | 哈 2213 | 开展 2214 | 方才 2215 | 若非 2216 | third 2217 | 对于 2218 | 如果 2219 | 诚然 2220 | 不消 2221 | 吧 2222 | 《 2223 | 俺们 2224 | 不如 2225 | doesn't 2226 | 呢 2227 | 成心 2228 | 啥 2229 | 吗 2230 | 日渐 2231 | 常言说得好 2232 | 吓 2233 | 还 2234 | 向 2235 | their 2236 | 同 2237 | 多少 2238 | 《 2239 | 不仅...而且 2240 | 较之 2241 | 各 2242 | exactly 2243 | 啊呀 2244 | 甫 2245 | regards 2246 | 毫无保留地 2247 | 挨次 2248 | herself 2249 | 进来 2250 | 以上 2251 | 总而言之 2252 | 靠 2253 | 开始 2254 | 因为 2255 | 趁势 2256 | ＃ 2257 | 经过 2258 | 多多 2259 | 哪个 2260 | 如 2261 | 这时 2262 | 有著 2263 | 其余 2264 | 离 2265 | 给 2266 | ^ 2267 | have 2268 | need 2269 | 然则 2270 | clearly 2271 | i've 2272 | able 2273 | 不已 2274 | 起见 2275 | 总的来说 2276 | 初 2277 | which 2278 | 怎么 2279 | 必然 2280 | = 2281 | 此外 2282 | 遇到 2283 | 以为 2284 | unless 2285 | 各自 2286 | 与此同时 2287 | １ 2288 | where's 2289 | 要求 2290 | eight 2291 | 与此同时 2292 | 怎么 2293 | 自家 2294 | 尽量 2295 | why 2296 | 动不动 2297 | 哗 2298 | 至 2299 | 经 2300 | 本人 2301 | * 2302 | you'll 2303 | 万一 2304 | 尽早 2305 | 本 2306 | normally 2307 | 准备 2308 | 慢说 2309 | 即令 2310 | 扩大 2311 | 上去 2312 | anyway 2313 | 有 2314 | 那里 2315 | 宁可 2316 | one 2317 | ( 2318 | 古来 2319 | should 2320 | 你 2321 | 这些 2322 | 三番五次 2323 | 呐 2324 | 方面 2325 | 此外 2326 | 比 2327 | 岂但 2328 | 打 2329 | 嘎 2330 | mainly 2331 | 随 2332 | overall 2333 | 需要 2334 | 暗地里 2335 | 除了 2336 | 即或 2337 | 坚决 2338 | qv 2339 | 怎么样 2340 | 尽可能 2341 | 能 2342 | 大抵 2343 | 什么样 2344 | 谁知 2345 | 逐渐 2346 | 沿 2347 | … 2348 | contain 2349 | = 2350 | looks 2351 | 比 2352 | 为 2353 | 根据 2354 | 独 2355 | 常常 2356 | 大约 2357 | 仍 2358 | 窃 2359 | 个 2360 | 所 2361 | 抑或 2362 | · 2363 | 主张 2364 | 如次 2365 | 且 2366 | 所 2367 | 与 2368 | 地 2369 | 以免 2370 | 根据 2371 | neither 2372 | 考虑 2373 | 一 2374 | 立马 2375 | 呜呼 2376 | 果然 2377 | however 2378 | 那时 2379 | 从宽 2380 | 甚至 2381 | 喏 2382 | 不然 2383 | 即刻 2384 | 他们 2385 | otherwise 2386 | 充分 2387 | 并没有 2388 | co 2389 | 既是 2390 | 表明 2391 | 怎样 2392 | 必 2393 | 简言之 2394 | 咳 2395 | 限制 2396 | 简而言之 2397 | 果然 2398 | 全然 2399 | 要不是 2400 | 决不 2401 | 或 2402 | 我 2403 | 一 2404 | it'd 2405 | > 2406 | 或者 2407 | corresponding 2408 | thanx 2409 | 除此之外 2410 | ， 2411 | 而况 2412 | 〉 2413 | 再说 2414 | novel 2415 | 无法 2416 | 乌乎 2417 | value 2418 | < 2419 | will 2420 | ， 2421 | 总之 2422 | ~ 2423 | 虽则 2424 | almost 2425 | 的 2426 | thus 2427 | vs 2428 | 大凡 2429 | ) 2430 | 这边 2431 | 不定 2432 | when 2433 | 宁愿 2434 | 皆可 2435 | 这就是说 2436 | gets 2437 | / 2438 | 总结 2439 | 略 2440 | 焉 2441 | 用 2442 | 哪边 2443 | upon 2444 | 二话不说 2445 | 由 2446 | 如下 2447 | 起 2448 | 刚巧 2449 | 不大 2450 | 不止 2451 | 满足 2452 | 多多益善 2453 | off 2454 | 满 2455 | nevertheless 2456 | 很多 2457 | well 2458 | ｝ 2459 | 及 2460 | 像 2461 | 背靠背 2462 | 几乎 2463 | ０ 2464 | less 2465 | presumably 2466 | 当儿 2467 | 呃 2468 | 其次 2469 | 而 2470 | 一次 2471 | 互相 2472 | 者 2473 | 不独 2474 | 达到 2475 | 岂止 2476 | ought 2477 | 趁 2478 | 等等 2479 | who's 2480 | ￥ 2481 | 同一 2482 | 就是 2483 | five 2484 | know 2485 | 动辄 2486 | 因而 2487 | 蛮 2488 | you 2489 | name 2490 | 什麽 2491 | necessary 2492 | like 2493 | 这么点儿 2494 | 同时 2495 | 看见 2496 | 况且 2497 | 但是 2498 | 结果 2499 | 取道 2500 | 很 2501 | become 2502 | 因 2503 | therein 2504 | because 2505 | 哪边 2506 | 不如 2507 | 实现 2508 | 默然 2509 | 藉以 2510 | 显然 2511 | 挨着 2512 | 于是 2513 | 隔夜 2514 | happens 2515 | 来得及 2516 | 千万 2517 | does 2518 | 其二 2519 | 传 2520 | 开外 2521 | 似的 2522 | ? 2523 | 他的 2524 | 诸位 2525 | 等 2526 | 常言道 2527 | 哼 2528 | 嘻 2529 | although 2530 | 虽说 2531 | about 2532 | 也 2533 | 乘 2534 | getting 2535 | 【 2536 | 】 2537 | 莫非 2538 | 乎 2539 | 么 2540 | 即 2541 | 之 2542 | 然後 2543 | 乃 2544 | 联系 2545 | 话说 2546 | 你的 2547 | own 2548 | 仅仅 2549 | 将近 2550 | three 2551 | 恰似 2552 | 就是说 2553 | 在下 2554 | 截然 2555 | 呵 2556 | 几时 2557 | 以至 2558 | * 2559 | ! 2560 | 以致 2561 | inasmuch 2562 | inner 2563 | 仅 2564 | 常 2565 | ］ 2566 | 要不然 2567 | 那么 2568 | 非得 2569 | 纵然 2570 | but 2571 | 哪怕 2572 | 其它 2573 | hi 2574 | 自从 2575 | 反过来说 2576 | he 2577 | 加强 2578 | 立刻 2579 | whether 2580 | 伙同 2581 | 彻底 2582 | 认为 2583 | placed 2584 | below 2585 | 许多 2586 | 前者 2587 | 较之 2588 | 防止 2589 | 为着 2590 | 依照 2591 | 了解 2592 | 莫如 2593 | 那 2594 | 依照 2595 | 〈 2596 | 将才 2597 | 4 2598 | our 2599 | 往往 2600 | 上去-- 2601 | 以至于 2602 | 到了儿 2603 | inc 2604 | 本着 2605 | 应用 2606 | lately 2607 | -- 2608 | other 2609 | latterly 2610 | 当中 2611 | 之后 2612 | out 2613 | 与否 2614 | 并非 2615 | 自各儿 2616 | 当着 2617 | 大都 2618 | 者 2619 | 假若 2620 | ！ 2621 | 强烈 2622 | 同 2623 | 不单 2624 | 看看 2625 | 加之 2626 | 及时 2627 | 失去 2628 | 从不 2629 | 照 2630 | 反倒是 2631 | ！ 2632 | 出来 2633 | 再说 2634 | -------------------------------------------------------------------------------- /train_word2vec.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/env python 2 | # encoding: utf-8 3 | 4 | from gensim.models import Word2Vec 5 | import jieba 6 | 7 | 8 | def get_stopWords(stopWords_fn): 9 | with open(stopWords_fn, 'rb') as f: 10 | stopWords_set = {line.strip('\r\t').decode('utf-8') for line in f} 11 | return stopWords_set 12 | 13 | 14 | def sentence2words(sentence, stopWords=False, stopWords_set=None): 15 | """ 16 | split a sentence into words based on jieba 17 | """ 18 | # seg_words is a generator 19 | seg_words = jieba.cut(sentence) 20 | if stopWords: 21 | words = [word for word in seg_words if word not in stopWords_set and word != ' '] 22 | else: 23 | words = [word for word in seg_words] 24 | return words 25 | 26 | 27 | class MySentences(object): 28 | def __init__(self, list_csv): 29 | stopWords_fn = 'all_stopword.txt' 30 | self.stopWords_set = get_stopWords(stopWords_fn) 31 | with open(list_csv, 'r') as f: 32 | self.fns = [line.strip() for line in f] 33 | 34 | def __iter__(self): 35 | for fn in self.fns: 36 | with open(fn, 'r') as f: 37 | for line in f: 38 | yield sentence2words(line.strip(), True, self.stopWords_set) 39 | 40 | 41 | def train_save(list_csv, model_fn): 42 | sentences = MySentences(list_csv) 43 | num_features = 100 44 | min_word_count = 10 45 | num_workers = 48 46 | context = 20 47 | epoch = 20 48 | sample = 1e-5 49 | model = Word2Vec( 50 | sentences, 51 | size=num_features, 52 | min_count=min_word_count, 53 | workers=num_workers, 54 | sample=sample, 55 | window=context, 56 | iter=epoch, 57 | ) 58 | model.save(model_fn) 59 | return model 60 | 61 | 62 | if __name__ == "__main__": 63 | model = train_save('sougou_list.csv', 'word2vec_model_0925') 64 | 65 | # get the word vector 66 | for w in model.most_similar(u'互联网'): 67 | print w[0], w[1] 68 | 69 | print model.syn0.shape 70 | 71 | print model.similarity(u'网络', u'互联网') 72 | 73 | country_vec = model[u"国家"] 74 | print type(country_vec) 75 | print country_vec 76 | --------------------------------------------------------------------------------