├── 1-weibo-crawler ├── README.md └── crawler.py ├── 2-data-cleaning ├── README.md └── clean.py ├── 3-word-cloud ├── README.md ├── SourceHanSans-Bold.ttf ├── SourceHanSans-Normal.ttf ├── stopwords1893.txt ├── word-cloud-simple-version.py └── word-cloud-v2.py ├── README.md └── source ├── j2.png ├── result-from-simple-version.png └── result-from-v2.png /1-weibo-crawler/README.md: -------------------------------------------------------------------------------- 1 | ## crawler.py 2 | 3 | A crawler that crawles comments from Weibo using Weibo API. 4 | 一个使用微博api抓取微博评论的爬虫。 5 | 6 | 7 | Note That/其中： 8 | 9 | Input your own cookie in Line 25; 10 | 在25行加入自己的cookie； 11 | 12 | Input the comment's URL IP in line 31. 13 | 在31行中加入你需要爬的评论的评论IP。 14 | 15 | After all these are done, the program is able to run. 16 | 在完成这个之后，程序就可以运行了。 17 | 18 | 19 | This crawler will generate a .csv file to store all the comments. 20 | Although the code didn't include database storage, you can modify the codes to store all of the data into database. 21 | 在评论抓取完成后会生成一个.csv文件。 22 | 可以添加数据库代码直接将数据储存进数据库，在这段代码中并没有添加。 23 | 24 | -------------------------------------------------------------------------------- /1-weibo-crawler/crawler.py: -------------------------------------------------------------------------------- 1 | # -*- coding: utf-8 -*- 2 | """ 3 | Created on FRI Jun 19 2018 4 | 5 | @author: Rio Kunn 6 | """ 7 | 8 | import requests 9 | import json 10 | import time 11 | import csv 12 | import os 13 | import codecs 14 | import sys 15 | import random 16 | import re 17 | reload(sys) 18 | sys.setdefaultencoding('utf8') 19 | 20 | page_f = 1; 21 | page_l = 200; 22 | 23 | headers = { 24 | # "Cookies":'在这里输入你的个人cookie', 25 | "Cookies":'PUT YOUR OWN COOKIE HERE', 26 | "User-Agent":'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1' 27 | } 28 | # id可以换成任意新浪微博的微博id号，具体可以打开相应微博查看，这个评论通过微博开放的api获取，不是微博地址 29 | # https://m.weibo.cn/api/comments/show?id=xxxxxxxxxxxxxxxxxxx&page={}. 30 | 31 | url_comment = ['https://m.weibo.cn/api/comments/show?id=xxxxxxxxxxxxxxxxxxxxxxxx&page={}'.format(str(i)) for i in range(page_f,page_l)] 32 | #print(url_comment) 33 | path = os.getcwd()+"/weibo.csv" 34 | csvfile = open(path, 'w') 35 | csvfile.write(codecs.BOM_UTF8) 36 | writer = csv.writer(csvfile) 37 | writer.writerow(('username','created_at','source','comment','like_counts')) 38 | 39 | 40 | def get_comment(url): 41 | try: 42 | wb_data = requests.get(url,headers=headers) # Get Weibo page 43 | jsondata = wb_data.json() # Load Json format data 44 | datas = jsondata.get('data').get('data') 45 | for data in datas: 46 | created_at = data.get("created_at") 47 | like_counts = data.get("like_counts") 48 | source = data.get("source") 49 | username = data.get("user").get("screen_name") 50 | comment = data.get("text") 51 | # comment = re.sub(r'(?:回复)?(?://)?@[\w\u2E80-\u9FFF]+:?|\[\w+\]', ',',ori_comment) This line doesn't really work and I don't know. PLease let me know if you can fix it. 52 | print json.dumps(comment, encoding="UTF-8", ensure_ascii=False) 53 | writer.writerow((username,created_at,source,json.dumps(comment, encoding="UTF-8", ensure_ascii=False),like_counts)) 54 | 55 | except KeyError: 56 | print('KeyError') 57 | pass 58 | 59 | for url in url_comment: 60 | get_comment(url) 61 | time.sleep(2) # Or some random time to escape from their supervision. This is jut a simple crawler's demo. I didn't bother that much. 62 | 63 | -------------------------------------------------------------------------------- /2-data-cleaning/README.md: -------------------------------------------------------------------------------- 1 | ## clean.py 2 | 3 | This file removes all the html tags from a .txt file with beautiful soup. 4 | 5 | 这个文件会去掉网上爬下的评论中的html tags。 6 | 7 | 8 | 9 | Note that(注意): 10 | 11 | Please store your comments in "comment.txt" and put it with clean.py 12 | 13 | 评论请用存贮在"comment-ori.txt"文件中并与clean.py放置在同一文件夹中，程序运行后会生成新的"comment.txt"文件。 -------------------------------------------------------------------------------- /2-data-cleaning/clean.py: -------------------------------------------------------------------------------- 1 | # -*- coding: utf-8 -*- 2 | """ 3 | Created on Thu Jun 30 2018 4 | 5 | @author: Rio Kunn 6 | """ 7 | 8 | import re 9 | from bs4 import BeautifulSoup 10 | 11 | f1 = open("comment-ori.txt",'r') # read the original file 12 | f2 = open("comment.txt",'w') # write a new file 13 | 14 | soup = BeautifulSoup(f1, "html.parser") # Remove html tags with beautiful soup 15 | text = soup.get_text().encode('utf-8') # Parsing to 'utf-8' format 16 | f2.write(text) # write into "comment.txt" 17 | 18 | # close the file 19 | f1.close() 20 | f2.close() -------------------------------------------------------------------------------- /3-word-cloud/README.md: -------------------------------------------------------------------------------- 1 | ## 核心程序 2 | 3 | ### 1、word-cloud-simple-version.py 4 | 这个文件会直接生成传统词云。 5 | 6 | - 例子： 7 | 8 | 9 | ![image](http://github.com//rio26/weibo-comments-word-cloud/tree/master/source/result-from-simple-version.png) 10 | 11 | ### 2、word-cloud-v2.py 12 | 这个文件可以根据指定图像形状，生成新的词云。 13 | 14 | 15 | - 例子： 16 | 17 | 18 | 根据这张图: 19 | 20 | ![image](http://github.com//rio26/weibo-comments-word-cloud/tree/master/source/j2.png) 21 | 22 | 生成了这样子的词云： 23 | 24 | ![image](http://github.com//rio26/weibo-comments-word-cloud/tree/master/source/result-from-v2.png) 25 | 26 | 27 | ## 运行所需文件 28 | 29 | - 请将需要生成词云的清洗过的文本数据储存于“comment.txt”文件中。 30 | - font_path='xxx.ttf' 是中文字体文件，此目录下提供'SourceHanSans-Bold.ttf'和'SourceHanSans-normal.ttf'两个选择，可以自由更换成其它的中文字体样式。 31 | -------------------------------------------------------------------------------- /3-word-cloud/SourceHanSans-Bold.ttf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/rio26/weibo-comments-word-cloud/b42fa66e7d4c938db74b99aa3cd4e3f954656a01/3-word-cloud/SourceHanSans-Bold.ttf -------------------------------------------------------------------------------- /3-word-cloud/SourceHanSans-Normal.ttf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/rio26/weibo-comments-word-cloud/b42fa66e7d4c938db74b99aa3cd4e3f954656a01/3-word-cloud/SourceHanSans-Normal.ttf -------------------------------------------------------------------------------- /3-word-cloud/stopwords1893.txt: -------------------------------------------------------------------------------- 1 | ! 2 | " 3 | # 4 | $ 5 | % 6 | & 7 | ' 8 | ( 9 | ) 10 | * 11 | + 12 | , 13 | - 14 | -- 15 | . 16 | .. 17 | ... 18 | ...... 19 | ................... 20 | ./ 21 | .一 22 | .数 23 | .日 24 | / 25 | // 26 | 0 27 | 1 28 | 2 29 | 3 30 | 4 31 | 5 32 | 6 33 | 7 34 | 8 35 | 9 36 | : 37 | :// 38 | :: 39 | ; 40 | < 41 | = 42 | > 43 | >> 44 | ? 45 | @ 46 | A 47 | Lex 48 | [ 49 | \ 50 | ] 51 | ^ 52 | _ 53 | ` 54 | exp 55 | sub 56 | sup 57 | | 58 | } 59 | ~ 60 | ~~~~ 61 | · 62 | × 63 | ××× 64 | Δ 65 | Ψ 66 | γ 67 | μ 68 | φ 69 | φ． 70 | В 71 | — 72 | —— 73 | ——— 74 | ‘ 75 | ’ 76 | ’‘ 77 | “ 78 | ” 79 | ”， 80 | … 81 | …… 82 | …………………………………………………③ 83 | ′∈ 84 | ′｜ 85 | ℃ 86 | Ⅲ 87 | ↑ 88 | → 89 | ∈［ 90 | ∪φ∈ 91 | ≈ 92 | ① 93 | ② 94 | ②ｃ 95 | ③ 96 | ③］ 97 | ④ 98 | ⑤ 99 | ⑥ 100 | ⑦ 101 | ⑧ 102 | ⑨ 103 | ⑩ 104 | ── 105 | ■ 106 | ▲ 107 | 　 108 | 、 109 | 。 110 | 〈 111 | 〉 112 | 《 113 | 》 114 | 》）， 115 | 」 116 | 『 117 | 』 118 | 【 119 | 】 120 | 〔 121 | 〕 122 | 〕〔 123 | ㈧ 124 | 一 125 | 一. 126 | 一一 127 | 一下 128 | 一个 129 | 一些 130 | 一何 131 | 一切 132 | 一则 133 | 一则通过 134 | 一天 135 | 一定 136 | 一方面 137 | 一旦 138 | 一时 139 | 一来 140 | 一样 141 | 一次 142 | 一片 143 | 一番 144 | 一直 145 | 一致 146 | 一般 147 | 一起 148 | 一转眼 149 | 一边 150 | 一面 151 | 七 152 | 万一 153 | 三 154 | 三天两头 155 | 三番两次 156 | 三番五次 157 | 上 158 | 上下 159 | 上升 160 | 上去 161 | 上来 162 | 上述 163 | 上面 164 | 下 165 | 下列 166 | 下去 167 | 下来 168 | 下面 169 | 不 170 | 不一 171 | 不下 172 | 不久 173 | 不了 174 | 不亦乐乎 175 | 不仅 176 | 不仅...而且 177 | 不仅仅 178 | 不仅仅是 179 | 不会 180 | 不但 181 | 不但...而且 182 | 不光 183 | 不免 184 | 不再 185 | 不力 186 | 不单 187 | 不变 188 | 不只 189 | 不可 190 | 不可开交 191 | 不可抗拒 192 | 不同 193 | 不外 194 | 不外乎 195 | 不够 196 | 不大 197 | 不如 198 | 不妨 199 | 不定 200 | 不对 201 | 不少 202 | 不尽 203 | 不尽然 204 | 不巧 205 | 不已 206 | 不常 207 | 不得 208 | 不得不 209 | 不得了 210 | 不得已 211 | 不必 212 | 不怎么 213 | 不怕 214 | 不惟 215 | 不成 216 | 不拘 217 | 不择手段 218 | 不敢 219 | 不料 220 | 不断 221 | 不日 222 | 不时 223 | 不是 224 | 不曾 225 | 不止 226 | 不止一次 227 | 不比 228 | 不消 229 | 不满 230 | 不然 231 | 不然的话 232 | 不特 233 | 不独 234 | 不由得 235 | 不知不觉 236 | 不管 237 | 不管怎样 238 | 不经意 239 | 不胜 240 | 不能 241 | 不能不 242 | 不至于 243 | 不若 244 | 不要 245 | 不论 246 | 不起 247 | 不足 248 | 不过 249 | 不迭 250 | 不问 251 | 不限 252 | 与 253 | 与其 254 | 与其说 255 | 与否 256 | 与此同时 257 | 专门 258 | 且 259 | 且不说 260 | 且说 261 | 两者 262 | 严格 263 | 严重 264 | 个 265 | 个人 266 | 个别 267 | 中小 268 | 中间 269 | 丰富 270 | 串行 271 | 临 272 | 临到 273 | 为 274 | 为主 275 | 为了 276 | 为什么 277 | 为什麽 278 | 为何 279 | 为止 280 | 为此 281 | 为着 282 | 主张 283 | 主要 284 | 举凡 285 | 举行 286 | 乃 287 | 乃至 288 | 乃至于 289 | 么 290 | 之 291 | 之一 292 | 之前 293 | 之后 294 | 之後 295 | 之所以 296 | 之类 297 | 乌乎 298 | 乎 299 | 乒 300 | 乘 301 | 乘势 302 | 乘机 303 | 乘胜 304 | 乘虚 305 | 乘隙 306 | 九 307 | 也 308 | 也好 309 | 也就是说 310 | 也是 311 | 也罢 312 | 了 313 | 了解 314 | 争取 315 | 二 316 | 二来 317 | 二话不说 318 | 二话没说 319 | 于 320 | 于是 321 | 于是乎 322 | 云云 323 | 云尔 324 | 互 325 | 互相 326 | 五 327 | 些 328 | 交口 329 | 亦 330 | 产生 331 | 亲口 332 | 亲手 333 | 亲眼 334 | 亲自 335 | 亲身 336 | 人 337 | 人人 338 | 人们 339 | 人家 340 | 人民 341 | 什么 342 | 什么样 343 | 什麽 344 | 仅 345 | 仅仅 346 | 今 347 | 今后 348 | 今天 349 | 今年 350 | 今後 351 | 介于 352 | 仍 353 | 仍旧 354 | 仍然 355 | 从 356 | 从不 357 | 从严 358 | 从中 359 | 从事 360 | 从今以后 361 | 从优 362 | 从古到今 363 | 从古至今 364 | 从头 365 | 从宽 366 | 从小 367 | 从新 368 | 从无到有 369 | 从早到晚 370 | 从未 371 | 从来 372 | 从此 373 | 从此以后 374 | 从而 375 | 从轻 376 | 从速 377 | 从重 378 | 他 379 | 他人 380 | 他们 381 | 他是 382 | 他的 383 | 代替 384 | 以 385 | 以上 386 | 以下 387 | 以为 388 | 以便 389 | 以免 390 | 以前 391 | 以及 392 | 以后 393 | 以外 394 | 以後 395 | 以故 396 | 以期 397 | 以来 398 | 以至 399 | 以至于 400 | 以致 401 | 们 402 | 任 403 | 任何 404 | 任凭 405 | 任务 406 | 企图 407 | 伙同 408 | 会 409 | 伟大 410 | 传 411 | 传说 412 | 传闻 413 | 似乎 414 | 似的 415 | 但 416 | 但凡 417 | 但愿 418 | 但是 419 | 何 420 | 何乐而不为 421 | 何以 422 | 何况 423 | 何处 424 | 何妨 425 | 何尝 426 | 何必 427 | 何时 428 | 何止 429 | 何苦 430 | 何须 431 | 余外 432 | 作为 433 | 你 434 | 你们 435 | 你是 436 | 你的 437 | 使 438 | 使得 439 | 使用 440 | 例如 441 | 依 442 | 依据 443 | 依照 444 | 依靠 445 | 便 446 | 便于 447 | 促进 448 | 保持 449 | 保管 450 | 保险 451 | 俺 452 | 俺们 453 | 倍加 454 | 倍感 455 | 倒不如 456 | 倒不如说 457 | 倒是 458 | 倘 459 | 倘使 460 | 倘或 461 | 倘然 462 | 倘若 463 | 借 464 | 借以 465 | 借此 466 | 假使 467 | 假如 468 | 假若 469 | 偏偏 470 | 做到 471 | 偶尔 472 | 偶而 473 | 傥然 474 | 像 475 | 儿 476 | 允许 477 | 元／吨 478 | 充其极 479 | 充其量 480 | 充分 481 | 先不先 482 | 先后 483 | 先後 484 | 先生 485 | 光 486 | 光是 487 | 全体 488 | 全力 489 | 全年 490 | 全然 491 | 全身心 492 | 全部 493 | 全都 494 | 全面 495 | 八 496 | 八成 497 | 公然 498 | 六 499 | 兮 500 | 共 501 | 共同 502 | 共总 503 | 关于 504 | 其 505 | 其一 506 | 其中 507 | 其二 508 | 其他 509 | 其余 510 | 其后 511 | 其它 512 | 其实 513 | 其次 514 | 具体 515 | 具体地说 516 | 具体来说 517 | 具体说来 518 | 具有 519 | 兼之 520 | 内 521 | 再 522 | 再其次 523 | 再则 524 | 再有 525 | 再次 526 | 再者 527 | 再者说 528 | 再说 529 | 冒 530 | 冲 531 | 决不 532 | 决定 533 | 决非 534 | 况且 535 | 准备 536 | 凑巧 537 | 凝神 538 | 几 539 | 几乎 540 | 几度 541 | 几时 542 | 几番 543 | 几经 544 | 凡 545 | 凡是 546 | 凭 547 | 凭借 548 | 出 549 | 出于 550 | 出去 551 | 出来 552 | 出现 553 | 分别 554 | 分头 555 | 分期 556 | 分期分批 557 | 切 558 | 切不可 559 | 切切 560 | 切勿 561 | 切莫 562 | 则 563 | 则甚 564 | 刚 565 | 刚好 566 | 刚巧 567 | 刚才 568 | 初 569 | 别 570 | 别人 571 | 别处 572 | 别是 573 | 别的 574 | 别管 575 | 别说 576 | 到 577 | 到了儿 578 | 到处 579 | 到头 580 | 到头来 581 | 到底 582 | 到目前为止 583 | 前后 584 | 前此 585 | 前者 586 | 前进 587 | 前面 588 | 加上 589 | 加之 590 | 加以 591 | 加入 592 | 加强 593 | 动不动 594 | 动辄 595 | 勃然 596 | 匆匆 597 | 十分 598 | 千 599 | 千万 600 | 千万千万 601 | 半 602 | 单 603 | 单单 604 | 单纯 605 | 即 606 | 即令 607 | 即使 608 | 即便 609 | 即刻 610 | 即如 611 | 即将 612 | 即或 613 | 即是说 614 | 即若 615 | 却 616 | 却不 617 | 历 618 | 原来 619 | 去 620 | 又 621 | 又及 622 | 及 623 | 及其 624 | 及时 625 | 及至 626 | 双方 627 | 反之 628 | 反之亦然 629 | 反之则 630 | 反倒 631 | 反倒是 632 | 反应 633 | 反手 634 | 反映 635 | 反而 636 | 反过来 637 | 反过来说 638 | 取得 639 | 取道 640 | 受到 641 | 变成 642 | 古来 643 | 另 644 | 另一个 645 | 另一方面 646 | 另外 647 | 另悉 648 | 另方面 649 | 另行 650 | 只 651 | 只当 652 | 只怕 653 | 只是 654 | 只有 655 | 只消 656 | 只要 657 | 只限 658 | 叫 659 | 叫做 660 | 召开 661 | 叮咚 662 | 叮当 663 | 可 664 | 可以 665 | 可好 666 | 可是 667 | 可能 668 | 可见 669 | 各 670 | 各个 671 | 各人 672 | 各位 673 | 各地 674 | 各式 675 | 各种 676 | 各级 677 | 各自 678 | 合理 679 | 同 680 | 同一 681 | 同时 682 | 同样 683 | 后 684 | 后来 685 | 后者 686 | 后面 687 | 向 688 | 向使 689 | 向着 690 | 吓 691 | 吗 692 | 否则 693 | 吧 694 | 吧哒 695 | 吱 696 | 呀 697 | 呃 698 | 呆呆地 699 | 呐 700 | 呕 701 | 呗 702 | 呜 703 | 呜呼 704 | 呢 705 | 周围 706 | 呵 707 | 呵呵 708 | 呸 709 | 呼哧 710 | 呼啦 711 | 咋 712 | 和 713 | 咚 714 | 咦 715 | 咧 716 | 咱 717 | 咱们 718 | 咳 719 | 哇 720 | 哈 721 | 哈哈 722 | 哉 723 | 哎 724 | 哎呀 725 | 哎哟 726 | 哗 727 | 哗啦 728 | 哟 729 | 哦 730 | 哩 731 | 哪 732 | 哪个 733 | 哪些 734 | 哪儿 735 | 哪天 736 | 哪年 737 | 哪怕 738 | 哪样 739 | 哪边 740 | 哪里 741 | 哼 742 | 哼唷 743 | 唉 744 | 唯有 745 | 啊 746 | 啊呀 747 | 啊哈 748 | 啊哟 749 | 啐 750 | 啥 751 | 啦 752 | 啪达 753 | 啷当 754 | 喀 755 | 喂 756 | 喏 757 | 喔唷 758 | 喽 759 | 嗡 760 | 嗡嗡 761 | 嗬 762 | 嗯 763 | 嗳 764 | 嘎 765 | 嘎嘎 766 | 嘎登 767 | 嘘 768 | 嘛 769 | 嘻 770 | 嘿 771 | 嘿嘿 772 | 四 773 | 因 774 | 因为 775 | 因了 776 | 因此 777 | 因着 778 | 因而 779 | 固 780 | 固然 781 | 在 782 | 在下 783 | 在于 784 | 地 785 | 均 786 | 坚决 787 | 坚持 788 | 基于 789 | 基本 790 | 基本上 791 | 处在 792 | 处处 793 | 处理 794 | 复杂 795 | 多 796 | 多么 797 | 多亏 798 | 多多 799 | 多多少少 800 | 多多益善 801 | 多少 802 | 多年前 803 | 多年来 804 | 多数 805 | 多次 806 | 够瞧的 807 | 大 808 | 大不了 809 | 大举 810 | 大事 811 | 大体 812 | 大体上 813 | 大凡 814 | 大力 815 | 大多 816 | 大多数 817 | 大大 818 | 大家 819 | 大张旗鼓 820 | 大批 821 | 大抵 822 | 大概 823 | 大略 824 | 大约 825 | 大致 826 | 大都 827 | 大量 828 | 大面儿上 829 | 失去 830 | 奇 831 | 奈 832 | 奋勇 833 | 她 834 | 她们 835 | 她是 836 | 她的 837 | 好 838 | 好在 839 | 好的 840 | 好象 841 | 如 842 | 如上 843 | 如上所述 844 | 如下 845 | 如今 846 | 如何 847 | 如其 848 | 如前所述 849 | 如同 850 | 如常 851 | 如是 852 | 如期 853 | 如果 854 | 如次 855 | 如此 856 | 如此等等 857 | 如若 858 | 始而 859 | 姑且 860 | 存在 861 | 存心 862 | 孰料 863 | 孰知 864 | 宁 865 | 宁可 866 | 宁愿 867 | 宁肯 868 | 它 869 | 它们 870 | 它们的 871 | 它是 872 | 它的 873 | 安全 874 | 完全 875 | 完成 876 | 定 877 | 实现 878 | 实际 879 | 宣布 880 | 容易 881 | 密切 882 | 对 883 | 对于 884 | 对应 885 | 对待 886 | 对方 887 | 对比 888 | 将 889 | 将才 890 | 将要 891 | 将近 892 | 小 893 | 少数 894 | 尔 895 | 尔后 896 | 尔尔 897 | 尔等 898 | 尚且 899 | 尤其 900 | 就 901 | 就地 902 | 就是 903 | 就是了 904 | 就是说 905 | 就此 906 | 就算 907 | 就要 908 | 尽 909 | 尽可能 910 | 尽如人意 911 | 尽心尽力 912 | 尽心竭力 913 | 尽快 914 | 尽早 915 | 尽然 916 | 尽管 917 | 尽管如此 918 | 尽量 919 | 局外 920 | 居然 921 | 届时 922 | 属于 923 | 屡 924 | 屡屡 925 | 屡次 926 | 屡次三番 927 | 岂 928 | 岂但 929 | 岂止 930 | 岂非 931 | 川流不息 932 | 左右 933 | 巨大 934 | 巩固 935 | 差一点 936 | 差不多 937 | 己 938 | 已 939 | 已矣 940 | 已经 941 | 巴 942 | 巴巴 943 | 带 944 | 帮助 945 | 常 946 | 常常 947 | 常言说 948 | 常言说得好 949 | 常言道 950 | 平素 951 | 年复一年 952 | 并 953 | 并不 954 | 并不是 955 | 并且 956 | 并排 957 | 并无 958 | 并没 959 | 并没有 960 | 并肩 961 | 并非 962 | 广大 963 | 广泛 964 | 应当 965 | 应用 966 | 应该 967 | 庶乎 968 | 庶几 969 | 开外 970 | 开始 971 | 开展 972 | 引起 973 | 弗 974 | 弹指之间 975 | 强烈 976 | 强调 977 | 归 978 | 归根到底 979 | 归根结底 980 | 归齐 981 | 当 982 | 当下 983 | 当中 984 | 当儿 985 | 当前 986 | 当即 987 | 当口儿 988 | 当地 989 | 当场 990 | 当头 991 | 当庭 992 | 当时 993 | 当然 994 | 当真 995 | 当着 996 | 形成 997 | 彻夜 998 | 彻底 999 | 彼 1000 | 彼时 1001 | 彼此 1002 | 往 1003 | 往往 1004 | 待 1005 | 待到 1006 | 很 1007 | 很多 1008 | 很少 1009 | 後来 1010 | 後面 1011 | 得 1012 | 得了 1013 | 得出 1014 | 得到 1015 | 得天独厚 1016 | 得起 1017 | 心里 1018 | 必 1019 | 必定 1020 | 必将 1021 | 必然 1022 | 必要 1023 | 必须 1024 | 快 1025 | 快要 1026 | 忽地 1027 | 忽然 1028 | 怎 1029 | 怎么 1030 | 怎么办 1031 | 怎么样 1032 | 怎奈 1033 | 怎样 1034 | 怎麽 1035 | 怕 1036 | 急匆匆 1037 | 怪 1038 | 怪不得 1039 | 总之 1040 | 总是 1041 | 总的来看 1042 | 总的来说 1043 | 总的说来 1044 | 总结 1045 | 总而言之 1046 | 恍然 1047 | 恐怕 1048 | 恰似 1049 | 恰好 1050 | 恰如 1051 | 恰巧 1052 | 恰恰 1053 | 恰恰相反 1054 | 恰逢 1055 | 您 1056 | 您们 1057 | 您是 1058 | 惟其 1059 | 惯常 1060 | 意思 1061 | 愤然 1062 | 愿意 1063 | 慢说 1064 | 成为 1065 | 成年 1066 | 成年累月 1067 | 成心 1068 | 我 1069 | 我们 1070 | 我是 1071 | 我的 1072 | 或 1073 | 或则 1074 | 或多或少 1075 | 或是 1076 | 或曰 1077 | 或者 1078 | 或许 1079 | 战斗 1080 | 截然 1081 | 截至 1082 | 所 1083 | 所以 1084 | 所在 1085 | 所幸 1086 | 所有 1087 | 所谓 1088 | 才 1089 | 才能 1090 | 扑通 1091 | 打 1092 | 打从 1093 | 打开天窗说亮话 1094 | 扩大 1095 | 把 1096 | 抑或 1097 | 抽冷子 1098 | 拦腰 1099 | 拿 1100 | 按 1101 | 按时 1102 | 按期 1103 | 按照 1104 | 按理 1105 | 按说 1106 | 挨个 1107 | 挨家挨户 1108 | 挨次 1109 | 挨着 1110 | 挨门挨户 1111 | 挨门逐户 1112 | 换句话说 1113 | 换言之 1114 | 据 1115 | 据实 1116 | 据悉 1117 | 据我所知 1118 | 据此 1119 | 据称 1120 | 据说 1121 | 掌握 1122 | 接下来 1123 | 接着 1124 | 接著 1125 | 接连不断 1126 | 放量 1127 | 故 1128 | 故意 1129 | 故此 1130 | 故而 1131 | 敞开儿 1132 | 敢 1133 | 敢于 1134 | 敢情 1135 | 数/ 1136 | 整个 1137 | 断然 1138 | 方 1139 | 方便 1140 | 方才 1141 | 方能 1142 | 方面 1143 | 旁人 1144 | 无 1145 | 无宁 1146 | 无法 1147 | 无论 1148 | 既 1149 | 既...又 1150 | 既往 1151 | 既是 1152 | 既然 1153 | 日复一日 1154 | 日渐 1155 | 日益 1156 | 日臻 1157 | 日见 1158 | 时候 1159 | 昂然 1160 | 明显 1161 | 明确 1162 | 是 1163 | 是不是 1164 | 是以 1165 | 是否 1166 | 是的 1167 | 显然 1168 | 显著 1169 | 普通 1170 | 普遍 1171 | 暗中 1172 | 暗地里 1173 | 暗自 1174 | 更 1175 | 更为 1176 | 更加 1177 | 更进一步 1178 | 曾 1179 | 曾经 1180 | 替 1181 | 替代 1182 | 最 1183 | 最后 1184 | 最大 1185 | 最好 1186 | 最後 1187 | 最近 1188 | 最高 1189 | 有 1190 | 有些 1191 | 有关 1192 | 有利 1193 | 有力 1194 | 有及 1195 | 有所 1196 | 有效 1197 | 有时 1198 | 有点 1199 | 有的 1200 | 有的是 1201 | 有着 1202 | 有著 1203 | 望 1204 | 朝 1205 | 朝着 1206 | 末##末 1207 | 本 1208 | 本人 1209 | 本地 1210 | 本着 1211 | 本身 1212 | 权时 1213 | 来 1214 | 来不及 1215 | 来得及 1216 | 来看 1217 | 来着 1218 | 来自 1219 | 来讲 1220 | 来说 1221 | 极 1222 | 极为 1223 | 极了 1224 | 极其 1225 | 极力 1226 | 极大 1227 | 极度 1228 | 极端 1229 | 构成 1230 | 果然 1231 | 果真 1232 | 某 1233 | 某个 1234 | 某些 1235 | 某某 1236 | 根据 1237 | 根本 1238 | 格外 1239 | 梆 1240 | 概 1241 | 次第 1242 | 欢迎 1243 | 欤 1244 | 正值 1245 | 正在 1246 | 正如 1247 | 正巧 1248 | 正常 1249 | 正是 1250 | 此 1251 | 此中 1252 | 此后 1253 | 此地 1254 | 此处 1255 | 此外 1256 | 此时 1257 | 此次 1258 | 此间 1259 | 殆 1260 | 毋宁 1261 | 每 1262 | 每个 1263 | 每天 1264 | 每年 1265 | 每当 1266 | 每时每刻 1267 | 每每 1268 | 每逢 1269 | 比 1270 | 比及 1271 | 比如 1272 | 比如说 1273 | 比方 1274 | 比照 1275 | 比起 1276 | 比较 1277 | 毕竟 1278 | 毫不 1279 | 毫无 1280 | 毫无例外 1281 | 毫无保留地 1282 | 汝 1283 | 沙沙 1284 | 没 1285 | 没奈何 1286 | 没有 1287 | 沿 1288 | 沿着 1289 | 注意 1290 | 活 1291 | 深入 1292 | 清楚 1293 | 满 1294 | 满足 1295 | 漫说 1296 | 焉 1297 | 然 1298 | 然则 1299 | 然后 1300 | 然後 1301 | 然而 1302 | 照 1303 | 照着 1304 | 牢牢 1305 | 特别是 1306 | 特殊 1307 | 特点 1308 | 犹且 1309 | 犹自 1310 | 独 1311 | 独自 1312 | 猛然 1313 | 猛然间 1314 | 率尔 1315 | 率然 1316 | 现代 1317 | 现在 1318 | 理应 1319 | 理当 1320 | 理该 1321 | 瑟瑟 1322 | 甚且 1323 | 甚么 1324 | 甚或 1325 | 甚而 1326 | 甚至 1327 | 甚至于 1328 | 用 1329 | 用来 1330 | 甫 1331 | 甭 1332 | 由 1333 | 由于 1334 | 由是 1335 | 由此 1336 | 由此可见 1337 | 略 1338 | 略为 1339 | 略加 1340 | 略微 1341 | 白 1342 | 白白 1343 | 的 1344 | 的确 1345 | 的话 1346 | 皆可 1347 | 目前 1348 | 直到 1349 | 直接 1350 | 相似 1351 | 相信 1352 | 相反 1353 | 相同 1354 | 相对 1355 | 相对而言 1356 | 相应 1357 | 相当 1358 | 相等 1359 | 省得 1360 | 看 1361 | 看上去 1362 | 看出 1363 | 看到 1364 | 看来 1365 | 看样子 1366 | 看看 1367 | 看见 1368 | 看起来 1369 | 真是 1370 | 真正 1371 | 眨眼 1372 | 着 1373 | 着呢 1374 | 矣 1375 | 矣乎 1376 | 矣哉 1377 | 知道 1378 | 砰 1379 | 确定 1380 | 碰巧 1381 | 社会主义 1382 | 离 1383 | 种 1384 | 积极 1385 | 移动 1386 | 究竟 1387 | 穷年累月 1388 | 突出 1389 | 突然 1390 | 窃 1391 | 立 1392 | 立刻 1393 | 立即 1394 | 立地 1395 | 立时 1396 | 立马 1397 | 竟 1398 | 竟然 1399 | 竟而 1400 | 第 1401 | 第二 1402 | 等 1403 | 等到 1404 | 等等 1405 | 策略地 1406 | 简直 1407 | 简而言之 1408 | 简言之 1409 | 管 1410 | 类如 1411 | 粗 1412 | 精光 1413 | 紧接着 1414 | 累年 1415 | 累次 1416 | 纯 1417 | 纯粹 1418 | 纵 1419 | 纵令 1420 | 纵使 1421 | 纵然 1422 | 练习 1423 | 组成 1424 | 经 1425 | 经常 1426 | 经过 1427 | 结合 1428 | 结果 1429 | 给 1430 | 绝 1431 | 绝不 1432 | 绝对 1433 | 绝非 1434 | 绝顶 1435 | 继之 1436 | 继后 1437 | 继续 1438 | 继而 1439 | 维持 1440 | 综上所述 1441 | 缕缕 1442 | 罢了 1443 | 老 1444 | 老大 1445 | 老是 1446 | 老老实实 1447 | 考虑 1448 | 者 1449 | 而 1450 | 而且 1451 | 而况 1452 | 而又 1453 | 而后 1454 | 而外 1455 | 而已 1456 | 而是 1457 | 而言 1458 | 而论 1459 | 联系 1460 | 联袂 1461 | 背地里 1462 | 背靠背 1463 | 能 1464 | 能否 1465 | 能够 1466 | 腾 1467 | 自 1468 | 自个儿 1469 | 自从 1470 | 自各儿 1471 | 自后 1472 | 自家 1473 | 自己 1474 | 自打 1475 | 自身 1476 | 臭 1477 | 至 1478 | 至于 1479 | 至今 1480 | 至若 1481 | 致 1482 | 般的 1483 | 良好 1484 | 若 1485 | 若夫 1486 | 若是 1487 | 若果 1488 | 若非 1489 | 范围 1490 | 莫 1491 | 莫不 1492 | 莫不然 1493 | 莫如 1494 | 莫若 1495 | 莫非 1496 | 获得 1497 | 藉以 1498 | 虽 1499 | 虽则 1500 | 虽然 1501 | 虽说 1502 | 蛮 1503 | 行为 1504 | 行动 1505 | 表明 1506 | 表示 1507 | 被 1508 | 要 1509 | 要不 1510 | 要不是 1511 | 要不然 1512 | 要么 1513 | 要是 1514 | 要求 1515 | 见 1516 | 规定 1517 | 觉得 1518 | 譬喻 1519 | 譬如 1520 | 认为 1521 | 认真 1522 | 认识 1523 | 让 1524 | 许多 1525 | 论 1526 | 论说 1527 | 设使 1528 | 设或 1529 | 设若 1530 | 诚如 1531 | 诚然 1532 | 话说 1533 | 该 1534 | 该当 1535 | 说明 1536 | 说来 1537 | 说说 1538 | 请勿 1539 | 诸 1540 | 诸位 1541 | 诸如 1542 | 谁 1543 | 谁人 1544 | 谁料 1545 | 谁知 1546 | 谨 1547 | 豁然 1548 | 贼死 1549 | 赖以 1550 | 赶 1551 | 赶快 1552 | 赶早不赶晚 1553 | 起 1554 | 起先 1555 | 起初 1556 | 起头 1557 | 起来 1558 | 起见 1559 | 起首 1560 | 趁 1561 | 趁便 1562 | 趁势 1563 | 趁早 1564 | 趁机 1565 | 趁热 1566 | 趁着 1567 | 越是 1568 | 距 1569 | 跟 1570 | 路经 1571 | 转动 1572 | 转变 1573 | 转贴 1574 | 轰然 1575 | 较 1576 | 较为 1577 | 较之 1578 | 较比 1579 | 边 1580 | 达到 1581 | 达旦 1582 | 迄 1583 | 迅速 1584 | 过 1585 | 过于 1586 | 过去 1587 | 过来 1588 | 运用 1589 | 近 1590 | 近几年来 1591 | 近年来 1592 | 近来 1593 | 还 1594 | 还是 1595 | 还有 1596 | 还要 1597 | 这 1598 | 这一来 1599 | 这个 1600 | 这么 1601 | 这么些 1602 | 这么样 1603 | 这么点儿 1604 | 这些 1605 | 这会儿 1606 | 这儿 1607 | 这就是说 1608 | 这时 1609 | 这样 1610 | 这次 1611 | 这点 1612 | 这种 1613 | 这般 1614 | 这边 1615 | 这里 1616 | 这麽 1617 | 进入 1618 | 进去 1619 | 进来 1620 | 进步 1621 | 进而 1622 | 进行 1623 | 连 1624 | 连同 1625 | 连声 1626 | 连日 1627 | 连日来 1628 | 连袂 1629 | 连连 1630 | 迟早 1631 | 迫于 1632 | 适应 1633 | 适当 1634 | 适用 1635 | 逐步 1636 | 逐渐 1637 | 通常 1638 | 通过 1639 | 造成 1640 | 逢 1641 | 遇到 1642 | 遭到 1643 | 遵循 1644 | 遵照 1645 | 避免 1646 | 那 1647 | 那个 1648 | 那么 1649 | 那么些 1650 | 那么样 1651 | 那些 1652 | 那会儿 1653 | 那儿 1654 | 那时 1655 | 那末 1656 | 那样 1657 | 那般 1658 | 那边 1659 | 那里 1660 | 那麽 1661 | 部分 1662 | 都 1663 | 鄙人 1664 | 采取 1665 | 里面 1666 | 重大 1667 | 重新 1668 | 重要 1669 | 鉴于 1670 | 针对 1671 | 长期以来 1672 | 长此下去 1673 | 长线 1674 | 长话短说 1675 | 问题 1676 | 间或 1677 | 防止 1678 | 阿 1679 | 附近 1680 | 陈年 1681 | 限制 1682 | 陡然 1683 | 除 1684 | 除了 1685 | 除却 1686 | 除去 1687 | 除外 1688 | 除开 1689 | 除此 1690 | 除此之外 1691 | 除此以外 1692 | 除此而外 1693 | 除非 1694 | 随 1695 | 随后 1696 | 随时 1697 | 随着 1698 | 随著 1699 | 隔夜 1700 | 隔日 1701 | 难得 1702 | 难怪 1703 | 难说 1704 | 难道 1705 | 难道说 1706 | 集中 1707 | 零 1708 | 需要 1709 | 非但 1710 | 非常 1711 | 非徒 1712 | 非得 1713 | 非特 1714 | 非独 1715 | 靠 1716 | 顶多 1717 | 顷 1718 | 顷刻 1719 | 顷刻之间 1720 | 顷刻间 1721 | 顺 1722 | 顺着 1723 | 顿时 1724 | 颇 1725 | 风雨无阻 1726 | 饱 1727 | 首先 1728 | 马上 1729 | 高低 1730 | 高兴 1731 | 默然 1732 | 默默地 1733 | 齐 1734 | ︿ 1735 | ！ 1736 | ＃ 1737 | ＄ 1738 | ％ 1739 | ＆ 1740 | ＇ 1741 | （ 1742 | ） 1743 | ）÷（１－ 1744 | ）、 1745 | ＊ 1746 | ＋ 1747 | ＋ξ 1748 | ＋＋ 1749 | ， 1750 | ，也 1751 | － 1752 | －β 1753 | －－ 1754 | －［＊］－ 1755 | ． 1756 | ／ 1757 | ０ 1758 | ０：２ 1759 | １ 1760 | １． 1761 | １２％ 1762 | ２ 1763 | ２．３％ 1764 | ３ 1765 | ４ 1766 | ５ 1767 | ５：０ 1768 | ６ 1769 | ７ 1770 | ８ 1771 | ９ 1772 | ： 1773 | ； 1774 | ＜ 1775 | ＜± 1776 | ＜Δ 1777 | ＜λ 1778 | ＜φ 1779 | ＜＜ 1780 | ＝ 1781 | ＝″ 1782 | ＝☆ 1783 | ＝（ 1784 | ＝－ 1785 | ＝［ 1786 | ＝｛ 1787 | ＞ 1788 | ＞λ 1789 | ？ 1790 | ＠ 1791 | Ａ 1792 | ＬＩ 1793 | Ｒ．Ｌ． 1794 | ＺＸＦＩＴＬ 1795 | ［ 1796 | ［①①］ 1797 | ［①②］ 1798 | ［①③］ 1799 | ［①④］ 1800 | ［①⑤］ 1801 | ［①⑥］ 1802 | ［①⑦］ 1803 | ［①⑧］ 1804 | ［①⑨］ 1805 | ［①Ａ］ 1806 | ［①Ｂ］ 1807 | ［①Ｃ］ 1808 | ［①Ｄ］ 1809 | ［①Ｅ］ 1810 | ［①］ 1811 | ［①ａ］ 1812 | ［①ｃ］ 1813 | ［①ｄ］ 1814 | ［①ｅ］ 1815 | ［①ｆ］ 1816 | ［①ｇ］ 1817 | ［①ｈ］ 1818 | ［①ｉ］ 1819 | ［①ｏ］ 1820 | ［② 1821 | ［②①］ 1822 | ［②②］ 1823 | ［②③］ 1824 | ［②④ 1825 | ［②⑤］ 1826 | ［②⑥］ 1827 | ［②⑦］ 1828 | ［②⑧］ 1829 | ［②⑩］ 1830 | ［②Ｂ］ 1831 | ［②Ｇ］ 1832 | ［②］ 1833 | ［②ａ］ 1834 | ［②ｂ］ 1835 | ［②ｃ］ 1836 | ［②ｄ］ 1837 | ［②ｅ］ 1838 | ［②ｆ］ 1839 | ［②ｇ］ 1840 | ［②ｈ］ 1841 | ［②ｉ］ 1842 | ［②ｊ］ 1843 | ［③①］ 1844 | ［③⑩］ 1845 | ［③Ｆ］ 1846 | ［③］ 1847 | ［③ａ］ 1848 | ［③ｂ］ 1849 | ［③ｃ］ 1850 | ［③ｄ］ 1851 | ［③ｅ］ 1852 | ［③ｇ］ 1853 | ［③ｈ］ 1854 | ［④］ 1855 | ［④ａ］ 1856 | ［④ｂ］ 1857 | ［④ｃ］ 1858 | ［④ｄ］ 1859 | ［④ｅ］ 1860 | ［⑤］ 1861 | ［⑤］］ 1862 | ［⑤ａ］ 1863 | ［⑤ｂ］ 1864 | ［⑤ｄ］ 1865 | ［⑤ｅ］ 1866 | ［⑤ｆ］ 1867 | ［⑥］ 1868 | ［⑦］ 1869 | ［⑧］ 1870 | ［⑨］ 1871 | ［⑩］ 1872 | ［＊］ 1873 | ［－ 1874 | ［］ 1875 | ］ 1876 | ］∧′＝［ 1877 | ］［ 1878 | ＿ 1879 | ａ］ 1880 | ｂ］ 1881 | ｃ］ 1882 | ｅ］ 1883 | ｆ］ 1884 | ｎｇ昉 1885 | ｛ 1886 | ｛－ 1887 | ｜ 1888 | ｝ 1889 | ｝＞ 1890 | ～ 1891 | ～± 1892 | ～＋ 1893 | ￥ -------------------------------------------------------------------------------- /3-word-cloud/word-cloud-simple-version.py: -------------------------------------------------------------------------------- 1 | # - * - coding: utf - 8 -*- 2 | # 3 | # Author: Rio Kunn 4 | # Date: Jun 30, 2018 5 | # 6 | # This file genereates a simple Chinese word cloud 7 | 8 | from wordcloud import WordCloud,STOPWORDS 9 | import matplotlib.pyplot as plt 10 | import jieba 11 | 12 | # open the file with "read" attribute 13 | with open('comment.txt', 'r') as f: 14 | f_text = f.read() #read file 15 | res = jieba.cut(f_text) #split chinese characters using jieba package 16 | res_text = ' '.join(res) 17 | background_img = plt.imread('back.jpeg') 18 | STOPWORDS.add('via') #add stop words 19 | 20 | #generate the word cloud 21 | wc = WordCloud(background_color="white",mask=background_img,stopwords=STOPWORDS, font_path='SourceHanSans-Bold.ttf').generate(res_text) 22 | 23 | #show the image 24 | plt.imshow(wc) 25 | plt.axis('off') 26 | plt.show() -------------------------------------------------------------------------------- /3-word-cloud/word-cloud-v2.py: -------------------------------------------------------------------------------- 1 | # - * - coding: utf - 8 -*- 2 | # 3 | # Author: Rio Kunn 4 | # Date: Jun 30, 2018 5 | # 6 | # This file genereates a Chinese word cloud in the shape you wish. 7 | 8 | 9 | from wordcloud import WordCloud,STOPWORDS, ImageColorGenerator 10 | import matplotlib.pyplot as plt 11 | import jieba 12 | import numpy as np 13 | from PIL import Image 14 | 15 | # open the file with "read" attribute 16 | with open('comment.txt', 'r') as f: 17 | f_text = f.read() #read file 18 | res = jieba.cut(f_text) #split chinese characters using jieba package 19 | res_text = ' '.join(res) 20 | background_img = plt.imread('J.jpeg') #read image that you wish to input in the word cloud 21 | j_coloring = np.array(Image.open("j2.png")) #handle the image you just read 22 | STOPWORDS.add('via') #add stop words 23 | 24 | #generate the word cloud 25 | wc = WordCloud(background_color="white", mask=j_coloring,stopwords=STOPWORDS, font_path='SourceHanSans-Bold.ttf').generate(res_text) 26 | image_colors = ImageColorGenerator(j_coloring) 27 | 28 | #show the image 29 | plt.imshow(wc) 30 | plt.axis('off') 31 | plt.show() -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # weibo-comments-word-cloud 2 | Generates a Chinese word-cloud with the comments data crawled from WeiBo.　 3 | 根据微博评论生成词云。 4 | 5 | Steps: 6 | 1. A crawler that crawles comments from Weibo 7 | 一个抓取微博评论的爬虫。 8 | 9 | 2. Data Cleaning. 10 | 数据清洗。 11 | 12 | 3. Generates word cloud. 13 | 生成词云。 14 | 15 | 16 | -------------------------------------------------------------------------------- /source/j2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/rio26/weibo-comments-word-cloud/b42fa66e7d4c938db74b99aa3cd4e3f954656a01/source/j2.png -------------------------------------------------------------------------------- /source/result-from-simple-version.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/rio26/weibo-comments-word-cloud/b42fa66e7d4c938db74b99aa3cd4e3f954656a01/source/result-from-simple-version.png -------------------------------------------------------------------------------- /source/result-from-v2.png: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/rio26/weibo-comments-word-cloud/b42fa66e7d4c938db74b99aa3cd4e3f954656a01/source/result-from-v2.png --------------------------------------------------------------------------------