├── .DS_Store ├── .idea ├── .gitignore ├── inspectionProfiles │ └── profiles_settings.xml ├── misc.xml ├── modules.xml ├── sentiment_classification_pytorch.iml └── vcs.xml ├── .ignore ├── __pycache__ ├── configs.cpython-37.pyc ├── datasets.cpython-37.pyc └── models.cpython-37.pyc ├── configs.py ├── data ├── .DS_Store ├── dict ├── hit_stopword └── weibo_senti_100k.csv ├── datasets.py ├── models.py ├── process └── data_precess.py └── train.py /.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/WAng91An/sentiment_classification_pytorch/44cf0e51917c176e58662906f9a52cf0813a380c/.DS_Store -------------------------------------------------------------------------------- /.idea/.gitignore: -------------------------------------------------------------------------------- 1 | # Default ignored files 2 | /shelf/ 3 | /workspace.xml 4 | # Datasource local storage ignored files 5 | /dataSources/ 6 | /dataSources.local.xml 7 | # Editor-based HTTP Client requests 8 | /httpRequests/ 9 | -------------------------------------------------------------------------------- /.idea/inspectionProfiles/profiles_settings.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 6 | -------------------------------------------------------------------------------- /.idea/misc.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 6 | 7 | -------------------------------------------------------------------------------- /.idea/modules.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | -------------------------------------------------------------------------------- /.idea/sentiment_classification_pytorch.iml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 11 | -------------------------------------------------------------------------------- /.idea/vcs.xml: -------------------------------------------------------------------------------- 1 | 2 | 3 | 4 | 5 | 6 | -------------------------------------------------------------------------------- /.ignore: -------------------------------------------------------------------------------- 1 | .idea 2 | .DS_Store -------------------------------------------------------------------------------- /__pycache__/configs.cpython-37.pyc: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/WAng91An/sentiment_classification_pytorch/44cf0e51917c176e58662906f9a52cf0813a380c/__pycache__/configs.cpython-37.pyc -------------------------------------------------------------------------------- /__pycache__/datasets.cpython-37.pyc: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/WAng91An/sentiment_classification_pytorch/44cf0e51917c176e58662906f9a52cf0813a380c/__pycache__/datasets.cpython-37.pyc -------------------------------------------------------------------------------- /__pycache__/models.cpython-37.pyc: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/WAng91An/sentiment_classification_pytorch/44cf0e51917c176e58662906f9a52cf0813a380c/__pycache__/models.cpython-37.pyc -------------------------------------------------------------------------------- /configs.py: -------------------------------------------------------------------------------- 1 | import torch 2 | class Config(): 3 | def __init__(self): 4 | ''' 5 | self.embeding = nn.Embedding(config.n_vocab, 6 | config.embed_size, 7 | padding_idx=config.n_vocab - 1) 8 | self.lstm = nn.LSTM(config.embed_size, 9 | config.hidden_size, 10 | config.num_layers, 11 | bidirectional=True, batch_first=True, 12 | dropout=config.dropout) 13 | self.maxpool = nn.MaxPool1d(config.pad_size) 14 | self.fc = nn.Linear(config.hidden_size * 2 + config.embed_size, 15 | config.num_classes) 16 | self.softmax = nn.Softmax(dim=1) 17 | ''' 18 | self.n_vocab = 1002 19 | self.embed_size = 256 20 | self.hidden_size = 256 21 | self.num_layers = 5 22 | self.dropout = 0.8 23 | self.num_classes = 2 24 | self.pad_size = 32 25 | self.batch_size = 256 26 | self.is_shuffle = True 27 | self.learn_rate = 0.001 28 | self.num_epochs = 100 29 | self.devices = torch.device('cuda' if torch.cuda.is_available() else 'cpu') -------------------------------------------------------------------------------- /data/.DS_Store: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/WAng91An/sentiment_classification_pytorch/44cf0e51917c176e58662906f9a52cf0813a380c/data/.DS_Store -------------------------------------------------------------------------------- /data/dict: -------------------------------------------------------------------------------- 1 | 泪,0 2 | 嘻嘻,1 3 | 都,2 4 | 爱,3 5 | 抓狂,4 6 | 鼓掌,5 7 | 不,6 8 | 好,7 9 | 回复,8 10 | 怒,9 11 | 去,10 12 | 人,11 13 | 衰,12 14 | 还,13 15 | 晕,14 16 | 说,15 17 | 吃,16 18 | 太,17 19 | 偷笑,18 20 | 很,19 21 | 看,20 22 | !,21 23 | 小,22 24 | 微博,23 25 | 没,24 26 | 想,25 27 | 上,26 28 | http,27 29 | cn,28 30 | t,29 31 | 北京,30 32 | 开心,31 33 | 可爱,32 34 | 今天,33 35 | 大家,34 36 | 大,35 37 | 会,36 38 | 没有,37 39 | 做,38 40 | 心,39 41 | 不是,40 42 | 中国,41 43 | 转发,42 44 | 最,43 45 | 现在,44 46 | 中,45 47 | 再,46 48 | 喜欢,47 49 | 知道,48 50 | 汗,49 51 | 真,50 52 | 赞,51 53 | 谢谢,52 54 | 才,53 55 | 月,54 56 | 真的,55 57 | 蜡烛,56 58 | ＂,57 59 | 朋友,58 60 | 里,59 61 | 下,60 62 | 看到,61 63 | 给力,62 64 | 已经,63 65 | 请,64 66 | 一起,65 67 | 走,66 68 | 酒店,67 69 | 更,68 70 | 旅游,69 71 | 美食,70 72 | 馋嘴,71 73 | 威武,72 74 | 老,73 75 | good,74 76 | 围观,75 77 | 一下,76 78 | 哈哈哈,77 79 | 老师,78 80 | 年,79 81 | 后,80 82 | 快,81 83 | 买,82 84 | 一定,83 85 | 不能,84 86 | 呵呵,85 87 | 不要,86 88 | 孩子,87 89 | 吃惊,88 90 | ―,89 91 | 亲亲,90 92 | 2,91 93 | 花心,92 94 | 转,93 95 | 觉得,94 96 | 起来,95 97 | 点,96 98 | 时间,97 99 | 失望,98 100 | 感谢,99 101 | 悲伤,100 102 | 生活,101 103 | 酷,102 104 | 带,103 105 | 希望,104 106 | 支持,105 107 | 真是,106 108 | 拍,107 109 | 幸福,108 110 | 新,109 111 | 找,110 112 | 1,111 113 | 上海,112 114 | 出来,113 115 | 终于,114 116 | 明天,115 117 | 世界,116 118 | 不错,117 119 | 欢迎,118 120 | 可怜,119 121 | 快乐,120 122 | 死,121 123 | 这是,122 124 | 期待,123 125 | 活动,124 126 | 发现,125 127 | 不会,126 128 | 感觉,127 129 | 日,128 130 | 笑,129 131 | 应该,130 132 | 3,131 133 | 只,132 134 | 完,133 135 | 最后,134 136 | 必须,135 137 | 看看,136 138 | 儿,137 139 | 时,138 140 | 关注,139 141 | 妈妈,140 142 | 一天,141 143 | 抱抱,142 144 | 家,143 145 | 挖,144 146 | 伤心,145 147 | 天,146 148 | 一次,147 149 | 怒骂,148 150 | 晚上,149 151 | 以后,150 152 | 同学,151 153 | 好吃,152 154 | 旅行,153 155 | 事,154 156 | 话,155 157 | 鼻屎,156 158 | 回来,157 159 | 5,158 160 | 亲,159 161 | 照片,160 162 | 小时,161 163 | 喝,162 164 | 回家,163 165 | 很多,164 166 | 蛋糕,165 167 | 钱,166 168 | 耶,167 169 | 滴,168 170 | 继续,169 171 | 手机,170 172 | V,171 173 | 这种,172 174 | 感动,173 175 | 地方,174 176 | 准备,175 177 | 餐厅,176 178 | 听,177 179 | 送,178 180 | 问题,179 181 | 号,180 182 | 出,181 183 | 其实,182 184 | 今晚,183 185 | 居然,184 186 | 求,185 187 | 前,186 188 | 工作,187 189 | 加油,188 190 | 恭喜,189 191 | 美,190 192 | 咖啡,191 193 | 猫,192 194 | 4,193 195 | 有点,194 196 | 思考,195 197 | 玩,196 198 | 10,197 199 | 分享,198 200 | 东西,199 201 | 最近,200 202 | 推荐,201 203 | 需要,202 204 | 原来,203 205 | 是不是,204 206 | 非常,205 207 | 害羞,206 208 | 我要,207 209 | 每天,208 210 | 周末,209 211 | 哭,210 212 | 写,211 213 | 特别,212 214 | 网,213 215 | 超级,214 216 | 睡,215 217 | 菜,216 218 | 兔子,217 219 | 官方,218 220 | 问,219 221 | 店,220 222 | 话筒,221 223 | 7,222 224 | 两个,223 225 | 张,224 226 | 8,225 227 | 元,226 228 | 昨天,227 229 | 电影,228 230 | 委屈,229 231 | 睡觉,230 232 | 已,231 233 | 却,232 234 | 王,233 235 | 懂,234 236 | 穿,235 237 | 只能,236 238 | 牛,237 239 | 逼,238 240 | 记得,239 241 | 高,240 242 | 公司,241 243 | 味道,242 244 | 看来,243 245 | 礼物,244 246 | 人生,245 247 | 美女,246 248 | 男人,247 249 | 机会,248 250 | 开,249 251 | 鄙视,250 252 | 女人,251 253 | 下次,252 254 | 见,253 255 | 童鞋,254 256 | 新浪,255 257 | 生病,256 258 | 摄影,257 259 | 刚,258 260 | 有人,259 261 | 哥,260 262 | 6,261 263 | 木有,262 264 | 吃货,263 265 | 妈,264 266 | 节目,265 267 | 可能,266 268 | 演员,267 269 | 赶紧,268 270 | 太阳,269 271 | 行,270 272 | 心情,271 273 | 回,272 274 | 无,273 275 | 帮,274 276 | 真心,275 277 | 下午,276 278 | 祝,277 279 | 所有,278 280 | 好好,279 281 | 飞机,280 282 | 挺,281 283 | 努力,282 284 | 女,283 285 | 花,284 286 | 微,285 287 | 美丽,286 288 | 喵,287 289 | 先生,288 290 | 突然,289 291 | 先,290 292 | 成,291 293 | 全球,292 294 | 参加,293 295 | 总,294 296 | 告诉,295 297 | 不到,296 298 | 坐,297 299 | 直接,298 300 | 亲们,299 301 | 2012,300 302 | 李,301 303 | 爱心,302 304 | 肉,303 305 | 吃饭,304 306 | 现场,305 307 | 相声,306 308 | 看着,307 309 | 今年,308 310 | 可惜,309 311 | 早,310 312 | 绝对,311 313 | 好像,312 314 | 电话,313 315 | 永远,314 316 | 厦门,315 317 | 笑哈哈,316 318 | 辛苦,317 319 | 不了,318 320 | 路上,319 321 | 跑,320 322 | 小伙伴,321 323 | 围脖,322 324 | 实在,323 325 | 香港,324 326 | 估计,325 327 | 国际,326 328 | 小姐,327 329 | 男,328 330 | 住,329 331 | 天天,330 332 | 姐姐,331 333 | 9,332 334 | 以为,333 335 | 神马,334 336 | 阳光,335 337 | 奥特曼,336 338 | 饿,337 339 | 30,338 340 | 竟然,339 341 | 亲爱,340 342 | 几天,341 343 | 发,342 344 | 米,343 345 | 一点,344 346 | 时尚,345 347 | 一种,346 348 | 确实,347 349 | 还要,348 350 | 一句,349 351 | 日本,350 352 | 车,351 353 | 黑,352 354 | 上班,353 355 | 早上,354 356 | 创意,355 357 | 音乐,356 358 | 祝福,357 359 | 容易,358 360 | 文化,359 361 | 20,360 362 | 美好,361 363 | 城市,362 364 | 学习,363 365 | 几个,364 366 | 体验,365 367 | 漂亮,366 368 | 收到,367 369 | 故事,368 370 | 姑娘,369 371 | 杂志,370 372 | 不用,371 373 | 哈哈哈哈,372 374 | 第一,373 375 | 鱼,374 376 | 注意,375 377 | 到底,376 378 | 「,377 379 | 干,378 380 | 第一次,379 381 | 搞,380 382 | 我家,381 383 | 事情,382 384 | 不好,383 385 | 享受,384 386 | 不想,385 387 | 天下,386 388 | 肯定,387 389 | 精彩,388 390 | 每次,389 391 | 2013,390 392 | 宝宝,391 393 | 咯,392 394 | 免费,393 395 | 好多,394 396 | 找到,395 397 | 12,396 398 | 熊猫,397 399 | 粉丝,398 400 | 握手,399 401 | 欢乐,400 402 | 小编,401 403 | 站,402 404 | 健康,403 405 | 这次,404 406 | 爸爸,405 407 | 美国,406 408 | 一年,407 409 | 越来越,408 410 | 生日快乐,409 411 | 国家,410 412 | 日子,411 413 | 新闻,412 414 | 卖,413 415 | 图,414 416 | 岁,415 417 | 视频,416 418 | 正,417 419 | 天气,418 420 | 老板,419 421 | 马上,420 422 | 别人,421 423 | 台湾,422 424 | 过来,423 425 | 噢,424 426 | 事儿,425 427 | 相信,426 428 | 人民,427 429 | 梦想,428 430 | 传递,429 431 | 微信,430 432 | 路,431 433 | ....,432 434 | 中午,433 435 | 最好,434 436 | 一张,435 437 | 想起,436 438 | 嘻哈,437 439 | 出门,438 440 | 摄影师,439 441 | 之后,440 442 | 成功,441 443 | 不行,442 444 | 11,443 445 | 图片,444 446 | 看见,445 447 | 媒体,446 448 | 广州,447 449 | 正在,448 450 | 好看,449 451 | 重要,450 452 | 狗,451 453 | 完全,452 454 | 疯,453 455 | 茶,454 456 | 美味,455 457 | 广告,456 458 | 小小,457 459 | 姐,458 460 | 社会,459 461 | 字,460 462 | 尼玛,461 463 | 早安,462 464 | 水,463 465 | 之前,464 466 | ..,465 467 | 过去,466 468 | 昨晚,467 469 | 二,468 470 | 飞,469 471 | 南京,470 472 | 喔,471 473 | 总是,472 474 | 宝贝,473 475 | 青年,474 476 | 胖,475 477 | 服务,476 478 | 难道,477 479 | 导演,478 480 | 减肥,479 481 | 名字,480 482 | 就要,481 483 | 陪,482 484 | 爱情,483 485 | 长,484 486 | 俩,485 487 | 生命,486 488 | 猪,487 489 | 机场,488 490 | 谱,489 491 | 子,490 492 | 值得,491 493 | 加,492 494 | 分,493 495 | 地址,494 496 | 杨,495 497 | 设计,496 498 | 自由,497 499 | 疑问,498 500 | 成为,499 501 | 经典,500 502 | 达,501 503 | 浮云,502 504 | 情况,503 505 | 少,504 506 | 刚刚,505 507 | 结束,506 508 | 才能,507 509 | 吐,508 510 | 梦,509 511 | 儿子,510 512 | 兄弟,511 513 | 三,512 514 | 出现,513 515 | 衣服,514 516 | 包袱,515 517 | 鬼,516 518 | 私信,517 519 | 刘,518 520 | 适合,519 521 | 比较,520 522 | 以前,521 523 | 黑线,522 524 | 兔,523 525 | 家里,524 526 | 道,525 527 | 偶,526 528 | 里面,527 529 | 忙,528 530 | 书,529 531 | 搞笑,530 532 | 擦,531 533 | 想要,532 534 | 2011,533 535 | 获得,534 536 | 据说,535 537 | 声音,536 538 | 变成,537 539 | 评论,538 540 | 陈,539 541 | 火锅,540 542 | 表示,541 543 | 有没有,542 544 | 啊啊啊,543 545 | 温暖,544 546 | 喽,545 547 | 哼哼,546 548 | 放,547 549 | 老公,548 550 | 怕,549 551 | 成都,550 552 | 记者,551 553 | 选择,552 554 | 直播,553 555 | 白,554 556 | 丢,555 557 | 深圳,556 558 | 一只,557 559 | 领导,558 560 | 忘,559 561 | 感受,560 562 | 饭,561 563 | 内,562 564 | 越,563 565 | 不敢,564 566 | 简单,565 567 | 够,566 568 | 一路,567 569 | 脸,568 570 | 催,569 571 | 铺,570 572 | 手,571 573 | 敢,572 574 | 换,573 575 | 品牌,574 576 | 错过,575 577 | 超,576 578 | 当然,577 579 | 疼,578 580 | 旅游局,579 581 | 三个,580 582 | 抢,581 583 | 晚,582 584 | 遇到,583 585 | 天津,584 586 | 傻,585 587 | 生日,586 588 | 唱,587 589 | 身边,588 590 | 再次,589 591 | 认识,590 592 | 100,591 593 | 小心,592 594 | 同事,593 595 | 心里,594 596 | 重庆,595 597 | 当时,596 598 | 微风,597 599 | 地铁,598 600 | A,599 601 | 今日,600 602 | 坚持,601 603 | 鸟,602 604 | 不同,603 605 | 律师,604 606 | 大师,605 607 | 黄,606 608 | 来自,607 609 | 君,608 610 | 弱,609 611 | 无法,610 612 | 卫视,611 613 | 新疆,612 614 | 全,613 615 | 生,614 616 | 两天,615 617 | 雪,616 618 | 冷,617 619 | 包,618 620 | 感冒,619 621 | 试试,620 622 | 肿,621 623 | 多多,622 624 | 晚安,623 625 | 明白,624 626 | 帅,625 627 | 一位,626 628 | 还好,627 629 | 羡慕,628 630 | 假期,629 631 | 想到,630 632 | 不知,631 633 | 拉,632 634 | 风,633 635 | 分钟,634 636 | 杭州,635 637 | 意思,636 638 | 严重,637 639 | 讲,638 640 | 曾,639 641 | 版,640 642 | 度假,641 643 | 红,642 644 | 夏天,643 645 | 每个,644 646 | 台,645 647 | 眼睛,646 648 | 掉,647 649 | 发生,648 650 | 嗨,649 651 | 15,650 652 | 真正,651 653 | 青春,652 654 | 游,653 655 | 本来,654 656 | 进行,655 657 | o,656 658 | 鲜花,657 659 | 厉害,658 660 | 做鬼脸,659 661 | 倒,660 662 | 胖子,661 663 | 回去,662 664 | 学,663 665 | 惊喜,664 666 | 口味,665 667 | 狗狗,666 668 | 在家,667 669 | 算,668 670 | de,669 671 | 神,670 672 | 哥哥,671 673 | 笑星,672 674 | 当年,673 675 | 医院,674 676 | 曾经,675 677 | 右,676 678 | 酒,677 679 | 作家,678 680 | 头,679 681 | 艺术,680 682 | 参与,681 683 | 0,682 684 | 累,683 685 | 浪漫,684 686 | 时代,685 687 | 早餐,686 688 | 我会,687 689 | 自然,688 690 | 貌似,689 691 | 作品,690 692 | 星座,691 693 | DJ,692 694 | 海南,693 695 | 三亚,694 696 | 身体,695 697 | 一条,696 698 | 弄,697 699 | 经常,698 700 | 要求,699 701 | 悲,700 702 | 目前,701 703 | 休息,702 704 | 中心,703 705 | 可怕,704 706 | 动物,705 707 | 汽车,706 708 | 右边,707 709 | 呦,708 710 | 完美,709 711 | 有木有,710 712 | 简直,711 713 | 高兴,712 714 | 个人,713 715 | 左,714 716 | 建议,715 717 | 节奏,716 718 | 瞬间,717 719 | 时光,718 720 | 度,719 721 | 熊,720 722 | 明星,721 723 | 阴险,722 724 | 新鲜,723 725 | 瘦,724 726 | 18,725 727 | 提前,726 728 | 这位,727 729 | 变,728 730 | 恨,729 731 | 专业,730 732 | 伤不起,731 733 | 苹果,732 734 | 面,733 735 | 老婆,734 736 | 纠结,735 737 | 晒,736 738 | 毛,737 739 | 最大,738 740 | 产品,739 741 | 样子,740 742 | 帮忙,741 743 | 婚礼,742 744 | 拍照,743 745 | 香,744 746 | 干杯,745 747 | 见到,746 748 | 餐饮,747 749 | 金,748 750 | 决定,749 751 | 有个,750 752 | 出去,751 753 | 雨,752 754 | 马,753 755 | 戳,754 756 | 精选,755 757 | 次,756 758 | 周,757 759 | 人们,758 760 | 扩散,759 761 | 听说,760 762 | 精神,761 763 | 叔叔,762 764 | 一家,763 765 | 计划,764 766 | 丶,765 767 | 政府,766 768 | 全国,767 769 | 玫瑰,768 770 | 难,769 771 | 万,770 772 | 历史,771 773 | 加班,772 774 | 得意,773 775 | 之旅,774 776 | 今儿,775 777 | 坏,776 778 | 微笑,777 779 | 报名,778 780 | 主持人,779 781 | ---,780 782 | 下去,781 783 | 全部,782 784 | 安全,783 785 | 行者,784 786 | 带来,785 787 | 拍摄,786 788 | 力,787 789 | 闹,788 790 | 父母,789 791 | 平安,790 792 | 空间,791 793 | B,792 794 | 约,793 795 | 疯狂,794 796 | 特,795 797 | 出发,796 798 | 司机,797 799 | 收,798 800 | 热,799 801 | 煮,800 802 | 下来,801 803 | 去年,802 804 | 小米,803 805 | 年轻,804 806 | 不够,805 807 | 腿,806 808 | 下班,807 809 | 一份,808 810 | 提供,809 811 | 女儿,810 812 | 激动,811 813 | 小时候,812 814 | 忘记,813 815 | 韩国,814 816 | 月亮,815 817 | 听到,816 818 | 东方,817 819 | 幸运,818 820 | 厨房,819 821 | 办,820 822 | 起床,821 823 | 春天,822 824 | 泰国,823 825 | 哒,824 826 | 好友,825 827 | 风景,826 828 | 好人,827 829 | M,828 830 | 顶,829 831 | 00,830 832 | 嘿嘿,831 833 | 冬天,832 834 | 医生,833 835 | 小朋友,834 836 | 干嘛,835 837 | 抱,836 838 | 大叔,837 839 | 愿意,838 840 | 汤,839 841 | 是否,840 842 | 真相,841 843 | 编辑,842 844 | 去过,843 845 | 家人,844 846 | 教育,845 847 | 旁边,846 848 | 依然,847 849 | 怀念,848 850 | 贴,849 851 | 百度,850 852 | 得到,851 853 | 方式,852 854 | 师傅,853 855 | 躺,854 856 | 基本,855 857 | 懒人,856 858 | 回到,857 859 | 包子,858 860 | 为啥,859 861 | 行动,860 862 | .....,861 863 | 说话,862 864 | 信息,863 865 | 老人,864 866 | 祝贺,865 867 | 歌,866 868 | 电脑,867 869 | 恐怖,868 870 | 淘宝,869 871 | 天使,870 872 | 下雨,871 873 | 一场,872 874 | 发布,873 875 | __,874 876 | 鸡,875 877 | 不让,876 878 | 教,877 879 | 婺源,878 880 | 海,879 881 | 天空,880 882 | 回忆,881 883 | 互联网,882 884 | 不少,883 885 | 想念,884 886 | 讨厌,885 887 | 文艺,886 888 | 尤其,887 889 | 差,888 890 | 刚才,889 891 | 传说,890 892 | 巧克力,891 893 | Q,892 894 | 挤眼,893 895 | ^,894 896 | 社长,895 897 | 名,896 898 | 便宜,897 899 | 泡,898 900 | 大学,899 901 | 错,900 902 | 火,901 903 | 歌手,902 904 | 电视,903 905 | 排行榜,904 906 | BTV,905 907 | 价格,906 908 | 过年,907 909 | 80,908 910 | ##,909 911 | 组织,910 912 | 非,911 913 | 未来,912 914 | 等待,913 915 | 秀,914 916 | 出版,915 917 | 中奖,916 918 | 萌,917 919 | 妹妹,918 920 | 环境,919 921 | 晚餐,920 922 | 大哥,921 923 | 演出,922 924 | 点儿,923 925 | 更好,924 926 | 即将,925 927 | 能量,926 928 | v,927 929 | 联系,928 930 | 附近,929 931 | 骂,930 932 | 重,931 933 | 传媒,932 934 | 代表,933 935 | 警察,934 936 | 2014,935 937 | 办法,936 938 | 集团,937 939 | 天堂,938 940 | 眼泪,939 941 | 看过,940 942 | 消息,941 943 | 提醒,942 944 | 央视,943 945 | 进,944 946 | 糖,945 947 | 原因,946 948 | 帅哥,947 949 | 后面,948 950 | 女孩,949 951 | 开车,950 952 | 云南,951 953 | 猜,952 954 | 乐,953 955 | 传统,954 956 | 不吃,955 957 | 结婚,956 958 | 精品,957 959 | 特色,958 960 | 同意,959 961 | 多谢,960 962 | 天涯,961 963 | 空气,962 964 | 舒服,963 965 | 后来,964 966 | 海鲜,965 967 | 使用,966 968 | 50,967 969 | 愉快,968 970 | 定制,969 971 | 影响,970 972 | 团,971 973 | 一边,972 974 | 好玩,973 975 | 半天,974 976 | 爹,975 977 | 属于,976 978 | 京城,977 979 | 有福,978 980 | 呆,979 981 | 抓,980 982 | 学校,981 983 | 整个,982 984 | 多年,983 985 | 失眠,984 986 | 辣,985 987 | 安排,986 988 | 形象,987 989 | 明年,988 990 | 了解,989 991 | 系列,990 992 | 电台,991 993 | 一生,992 994 | 网友,993 995 | C,994 996 | 13,995 997 | 打开,996 998 | 企业,997 999 | 主题,998 1000 | 山东,999 1001 | ,1000 1002 | ,1001 1003 | -------------------------------------------------------------------------------- /data/hit_stopword: -------------------------------------------------------------------------------- 1 | ~ 2 | … 3 | _ 4 | ——— 5 | 》）， 6 | ）÷（１－ 7 | ”， 8 | ）、 9 | ＝（ 10 | : 11 | → 12 | ℃ 13 | & 14 | * 15 | 一一 16 | ~~~~ 17 | ’ 18 | . 19 | 『 20 | .一 21 | ./ 22 | -- 23 | 』 24 | ＝″ 25 | 【 26 | ［＊］ 27 | ｝＞ 28 | ［⑤］］ 29 | ［①Ｄ］ 30 | ｃ］ 31 | ｎｇ昉 32 | ＊ 33 | // 34 | ［ 35 | ］ 36 | ［②ｅ］ 37 | ［②ｇ］ 38 | ＝｛ 39 | } 40 | ，也 41 | ‘ 42 | Ａ 43 | ［①⑥］ 44 | ［②Ｂ］ 45 | ［①ａ］ 46 | ［④ａ］ 47 | ［①③］ 48 | ［③ｈ］ 49 | ③］ 50 | １． 51 | －－ 52 | ［②ｂ］ 53 | ’‘ 54 | ××× 55 | ［①⑧］ 56 | ０：２ 57 | ＝［ 58 | ［⑤ｂ］ 59 | ［②ｃ］ 60 | ［④ｂ］ 61 | ［②③］ 62 | ［③ａ］ 63 | ［④ｃ］ 64 | ［①⑤］ 65 | ［①⑦］ 66 | ［①ｇ］ 67 | ∈［ 68 | ［①⑨］ 69 | ［①④］ 70 | ［①ｃ］ 71 | ［②ｆ］ 72 | ［②⑧］ 73 | ［②①］ 74 | ［①Ｃ］ 75 | ［③ｃ］ 76 | ［③ｇ］ 77 | ［②⑤］ 78 | ［②②］ 79 | 一. 80 | ［①ｈ］ 81 | .数 82 | ［］ 83 | ［①Ｂ］ 84 | 数/ 85 | ［①ｉ］ 86 | ［③ｅ］ 87 | ［①①］ 88 | ［④ｄ］ 89 | ［④ｅ］ 90 | ［③ｂ］ 91 | ［⑤ａ］ 92 | ［①Ａ］ 93 | ［②⑧］ 94 | ［②⑦］ 95 | ［①ｄ］ 96 | ［②ｊ］ 97 | 〕〔 98 | ］［ 99 | :// 100 | ′∈ 101 | ［②④ 102 | ［⑤ｅ］ 103 | １２％ 104 | ｂ］ 105 | ... 106 | ................... 107 | …………………………………………………③ 108 | ＺＸＦＩＴＬ 109 | ［③Ｆ］ 110 | 」 111 | ［①ｏ］ 112 | ］∧′＝［ 113 | ∪φ∈ 114 | ′｜ 115 | ｛－ 116 | ②ｃ 117 | ｝ 118 | ［③①］ 119 | Ｒ．Ｌ． 120 | ［①Ｅ］ 121 | Ψ 122 | －［＊］－ 123 | ↑ 124 | .日 125 | ［②ｄ］ 126 | ［② 127 | ［②⑦］ 128 | ［②②］ 129 | ［③ｅ］ 130 | ［①ｉ］ 131 | ［①Ｂ］ 132 | ［①ｈ］ 133 | ［①ｄ］ 134 | ［①ｇ］ 135 | ［①②］ 136 | ［②ａ］ 137 | ｆ］ 138 | ［⑩］ 139 | ａ］ 140 | ［①ｅ］ 141 | ［②ｈ］ 142 | ［②⑥］ 143 | ［③ｄ］ 144 | ［②⑩］ 145 | ｅ］ 146 | 〉 147 | 】 148 | 元／吨 149 | ［②⑩］ 150 | ２．３％ 151 | ５：０ 152 | ［①］ 153 | :: 154 | ［②］ 155 | ［③］ 156 | ［④］ 157 | ［⑤］ 158 | ［⑥］ 159 | ［⑦］ 160 | ［⑧］ 161 | ［⑨］ 162 | …… 163 | —— 164 | ? 165 | 、 166 | 。 167 | “ 168 | ” 169 | 《 170 | 》 171 | ！ 172 | ， 173 | ： 174 | ； 175 | ？ 176 | ． 177 | , 178 | ． 179 | ' 180 | ? 181 | · 182 | ——— 183 | ── 184 | ? 185 | — 186 | < 187 | > 188 | （ 189 | ） 190 | 〔 191 | 〕 192 | [ 193 | ] 194 | ( 195 | ) 196 | - 197 | + 198 | ～ 199 | × 200 | ／ 201 | / 202 | ① 203 | ② 204 | ③ 205 | ④ 206 | ⑤ 207 | ⑥ 208 | ⑦ 209 | ⑧ 210 | ⑨ 211 | ⑩ 212 | Ⅲ 213 | В 214 | " 215 | ; 216 | # 217 | @ 218 | γ 219 | μ 220 | φ 221 | φ． 222 | × 223 | Δ 224 | ■ 225 | ▲ 226 | sub 227 | exp 228 | sup 229 | sub 230 | Lex 231 | ＃ 232 | ％ 233 | ＆ 234 | ＇ 235 | ＋ 236 | ＋ξ 237 | ＋＋ 238 | － 239 | －β 240 | ＜ 241 | ＜± 242 | ＜Δ 243 | ＜λ 244 | ＜φ 245 | ＜＜ 246 | = 247 | ＝ 248 | ＝☆ 249 | ＝－ 250 | ＞ 251 | ＞λ 252 | ＿ 253 | ～± 254 | ～＋ 255 | ［⑤ｆ］ 256 | ［⑤ｄ］ 257 | ［②ｉ］ 258 | ≈ 259 | ［②Ｇ］ 260 | ［①ｆ］ 261 | ＬＩ 262 | ㈧ 263 | ［－ 264 | ...... 265 | 〉 266 | ［③⑩］ 267 | 第二 268 | 一番 269 | 一直 270 | 一个 271 | 一些 272 | 许多 273 | 种 274 | 有的是 275 | 也就是说 276 | 末##末 277 | 啊 278 | 阿 279 | 哎 280 | 哎呀 281 | 哎哟 282 | 唉 283 | 俺 284 | 俺们 285 | 按 286 | 按照 287 | 吧 288 | 吧哒 289 | 把 290 | 罢了 291 | 被 292 | 本 293 | 本着 294 | 比 295 | 比方 296 | 比如 297 | 鄙人 298 | 彼 299 | 彼此 300 | 边 301 | 别 302 | 别的 303 | 别说 304 | 并 305 | 并且 306 | 不比 307 | 不成 308 | 不单 309 | 不但 310 | 不独 311 | 不管 312 | 不光 313 | 不过 314 | 不仅 315 | 不拘 316 | 不论 317 | 不怕 318 | 不然 319 | 不如 320 | 不特 321 | 不惟 322 | 不问 323 | 不只 324 | 朝 325 | 朝着 326 | 趁 327 | 趁着 328 | 乘 329 | 冲 330 | 除 331 | 除此之外 332 | 除非 333 | 除了 334 | 此 335 | 此间 336 | 此外 337 | 从 338 | 从而 339 | 打 340 | 待 341 | 但 342 | 但是 343 | 当 344 | 当着 345 | 到 346 | 得 347 | 的 348 | 的话 349 | 等 350 | 等等 351 | 地 352 | 第 353 | 叮咚 354 | 对 355 | 对于 356 | 多 357 | 多少 358 | 而 359 | 而况 360 | 而且 361 | 而是 362 | 而外 363 | 而言 364 | 而已 365 | 尔后 366 | 反过来 367 | 反过来说 368 | 反之 369 | 非但 370 | 非徒 371 | 否则 372 | 嘎 373 | 嘎登 374 | 该 375 | 赶 376 | 个 377 | 各 378 | 各个 379 | 各位 380 | 各种 381 | 各自 382 | 给 383 | 根据 384 | 跟 385 | 故 386 | 故此 387 | 固然 388 | 关于 389 | 管 390 | 归 391 | 果然 392 | 果真 393 | 过 394 | 哈 395 | 哈哈 396 | 呵 397 | 和 398 | 何 399 | 何处 400 | 何况 401 | 何时 402 | 嘿 403 | 哼 404 | 哼唷 405 | 呼哧 406 | 乎 407 | 哗 408 | 还是 409 | 还有 410 | 换句话说 411 | 换言之 412 | 或 413 | 或是 414 | 或者 415 | 极了 416 | 及 417 | 及其 418 | 及至 419 | 即 420 | 即便 421 | 即或 422 | 即令 423 | 即若 424 | 即使 425 | 几 426 | 几时 427 | 己 428 | 既 429 | 既然 430 | 既是 431 | 继而 432 | 加之 433 | 假如 434 | 假若 435 | 假使 436 | 鉴于 437 | 将 438 | 较 439 | 较之 440 | 叫 441 | 接着 442 | 结果 443 | 借 444 | 紧接着 445 | 进而 446 | 尽 447 | 尽管 448 | 经 449 | 经过 450 | 就 451 | 就是 452 | 就是说 453 | 据 454 | 具体地说 455 | 具体说来 456 | 开始 457 | 开外 458 | 靠 459 | 咳 460 | 可 461 | 可见 462 | 可是 463 | 可以 464 | 况且 465 | 啦 466 | 来 467 | 来着 468 | 离 469 | 例如 470 | 哩 471 | 连 472 | 连同 473 | 两者 474 | 了 475 | 临 476 | 另 477 | 另外 478 | 另一方面 479 | 论 480 | 嘛 481 | 吗 482 | 慢说 483 | 漫说 484 | 冒 485 | 么 486 | 每 487 | 每当 488 | 们 489 | 莫若 490 | 某 491 | 某个 492 | 某些 493 | 拿 494 | 哪 495 | 哪边 496 | 哪儿 497 | 哪个 498 | 哪里 499 | 哪年 500 | 哪怕 501 | 哪天 502 | 哪些 503 | 哪样 504 | 那 505 | 那边 506 | 那儿 507 | 那个 508 | 那会儿 509 | 那里 510 | 那么 511 | 那么些 512 | 那么样 513 | 那时 514 | 那些 515 | 那样 516 | 乃 517 | 乃至 518 | 呢 519 | 能 520 | 你 521 | 你们 522 | 您 523 | 宁 524 | 宁可 525 | 宁肯 526 | 宁愿 527 | 哦 528 | 呕 529 | 啪达 530 | 旁人 531 | 呸 532 | 凭 533 | 凭借 534 | 其 535 | 其次 536 | 其二 537 | 其他 538 | 其它 539 | 其一 540 | 其余 541 | 其中 542 | 起 543 | 起见 544 | 起见 545 | 岂但 546 | 恰恰相反 547 | 前后 548 | 前者 549 | 且 550 | 然而 551 | 然后 552 | 然则 553 | 让 554 | 人家 555 | 任 556 | 任何 557 | 任凭 558 | 如 559 | 如此 560 | 如果 561 | 如何 562 | 如其 563 | 如若 564 | 如上所述 565 | 若 566 | 若非 567 | 若是 568 | 啥 569 | 上下 570 | 尚且 571 | 设若 572 | 设使 573 | 甚而 574 | 甚么 575 | 甚至 576 | 省得 577 | 时候 578 | 什么 579 | 什么样 580 | 使得 581 | 是 582 | 是的 583 | 首先 584 | 谁 585 | 谁知 586 | 顺 587 | 顺着 588 | 似的 589 | 虽 590 | 虽然 591 | 虽说 592 | 虽则 593 | 随 594 | 随着 595 | 所 596 | 所以 597 | 他 598 | 他们 599 | 他人 600 | 它 601 | 它们 602 | 她 603 | 她们 604 | 倘 605 | 倘或 606 | 倘然 607 | 倘若 608 | 倘使 609 | 腾 610 | 替 611 | 通过 612 | 同 613 | 同时 614 | 哇 615 | 万一 616 | 往 617 | 望 618 | 为 619 | 为何 620 | 为了 621 | 为什么 622 | 为着 623 | 喂 624 | 嗡嗡 625 | 我 626 | 我们 627 | 呜 628 | 呜呼 629 | 乌乎 630 | 无论 631 | 无宁 632 | 毋宁 633 | 嘻 634 | 吓 635 | 相对而言 636 | 像 637 | 向 638 | 向着 639 | 嘘 640 | 呀 641 | 焉 642 | 沿 643 | 沿着 644 | 要 645 | 要不 646 | 要不然 647 | 要不是 648 | 要么 649 | 要是 650 | 也 651 | 也罢 652 | 也好 653 | 一 654 | 一般 655 | 一旦 656 | 一方面 657 | 一来 658 | 一切 659 | 一样 660 | 一则 661 | 依 662 | 依照 663 | 矣 664 | 以 665 | 以便 666 | 以及 667 | 以免 668 | 以至 669 | 以至于 670 | 以致 671 | 抑或 672 | 因 673 | 因此 674 | 因而 675 | 因为 676 | 哟 677 | 用 678 | 由 679 | 由此可见 680 | 由于 681 | 有 682 | 有的 683 | 有关 684 | 有些 685 | 又 686 | 于 687 | 于是 688 | 于是乎 689 | 与 690 | 与此同时 691 | 与否 692 | 与其 693 | 越是 694 | 云云 695 | 哉 696 | 再说 697 | 再者 698 | 在 699 | 在下 700 | 咱 701 | 咱们 702 | 则 703 | 怎 704 | 怎么 705 | 怎么办 706 | 怎么样 707 | 怎样 708 | 咋 709 | 照 710 | 照着 711 | 者 712 | 这 713 | 这边 714 | 这儿 715 | 这个 716 | 这会儿 717 | 这就是说 718 | 这里 719 | 这么 720 | 这么点儿 721 | 这么些 722 | 这么样 723 | 这时 724 | 这些 725 | 这样 726 | 正如 727 | 吱 728 | 之 729 | 之类 730 | 之所以 731 | 之一 732 | 只是 733 | 只限 734 | 只要 735 | 只有 736 | 至 737 | 至于 738 | 诸位 739 | 着 740 | 着呢 741 | 自 742 | 自从 743 | 自个儿 744 | 自各儿 745 | 自己 746 | 自家 747 | 自身 748 | 综上所述 749 | 总的来看 750 | 总的来说 751 | 总的说来 752 | 总而言之 753 | 总之 754 | 纵 755 | 纵令 756 | 纵然 757 | 纵使 758 | 遵照 759 | 作为 760 | 兮 761 | 呃 762 | 呗 763 | 咚 764 | 咦 765 | 喏 766 | 啐 767 | 喔唷 768 | 嗬 769 | 嗯 770 | 嗳 -------------------------------------------------------------------------------- /datasets.py: -------------------------------------------------------------------------------- 1 | from torch.utils.data import Dataset, DataLoader 2 | import jieba 3 | import numpy as np 4 | 5 | def read_dict(voc_dict_path): 6 | voc_dict = {} 7 | dict_list = open(voc_dict_path).readlines() 8 | for item in dict_list: 9 | item = item.split(",") 10 | voc_dict[item[0]] = int(item[1].strip()) 11 | return voc_dict 12 | 13 | def load_data(data_path,data_stop_path): 14 | data_list = open(data_path).readlines()[1:] 15 | stops_word = open(data_stop_path).readlines() 16 | stops_word = [line.strip() for line in stops_word] 17 | stops_word.append(" ") 18 | stops_word.append("\n") 19 | data = [] 20 | max_len_seq = 0 21 | np.random.shuffle(data_list) 22 | for item in data_list[:1000]: 23 | label = item[0] 24 | content = item[2:].strip() 25 | seg_list = jieba.cut(content, cut_all=False) 26 | seg_res = [] 27 | for seg_item in seg_list: 28 | if seg_item in stops_word: 29 | continue 30 | seg_res.append(seg_item) 31 | if len(seg_res) > max_len_seq: 32 | max_len_seq = len(seg_res) 33 | data.append([label, seg_res]) 34 | return data, max_len_seq 35 | 36 | 37 | class text_ClS(Dataset): 38 | def __init__(self, voc_dict_path, data_path, data_stop_path, max_len_seq=None): 39 | self.data_path = data_path 40 | self.data_stop_path = data_stop_path 41 | self.voc_dict = read_dict(voc_dict_path) 42 | self.data, self.max_seq_len = load_data(self.data_path, self.data_stop_path) 43 | if max_len_seq is not None: 44 | self.max_seq_len = max_len_seq 45 | np.random.shuffle(self.data) 46 | 47 | 48 | def __len__(self): 49 | return len(self.data) 50 | 51 | def __getitem__(self, item): 52 | data = self.data[item] 53 | label = int(data[0]) 54 | word_list = data[1] 55 | input_idx = [] 56 | for word in word_list: 57 | if word in self.voc_dict.keys(): 58 | input_idx.append(self.voc_dict[word]) 59 | else: 60 | input_idx.append(self.voc_dict[""]) 61 | if len(input_idx) < self.max_seq_len: 62 | input_idx += [self.voc_dict[""] for _ in range(self.max_seq_len - len(input_idx))] 63 | data = np.array(input_idx) 64 | return label, data 65 | 66 | def data_loader(dataset, config): 67 | return DataLoader(dataset, batch_size=config.batch_size, shuffle=config.is_shuffle) 68 | 69 | # if __name__ == "__main__": 70 | # data_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/weibo_senti_100k.csv" 71 | # data_stop_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/hit_stopword" 72 | # dict_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/dict" 73 | # dataset = text_ClS(dict_path, data_path, data_stop_path) 74 | # train_dataloader = data_loader(dataset, config) 75 | # for i, batch in enumerate(train_dataloader): 76 | # print(batch[1].size()) -------------------------------------------------------------------------------- /models.py: -------------------------------------------------------------------------------- 1 | import torch 2 | import torch.nn as nn 3 | import torch.nn.functional as F 4 | import numpy as np 5 | 6 | class Model(nn.Module): 7 | def __init__(self, config): 8 | super(Model, self).__init__() 9 | self.embeding = nn.Embedding(config.n_vocab, 10 | config.embed_size, 11 | padding_idx=config.n_vocab - 1) 12 | self.lstm = nn.LSTM(config.embed_size, 13 | config.hidden_size, 14 | config.num_layers, 15 | bidirectional=True, batch_first=True, 16 | dropout=config.dropout) 17 | self.maxpool = nn.MaxPool1d(config.pad_size) 18 | self.fc = nn.Linear(config.hidden_size * 2 + config.embed_size, 19 | config.num_classes) 20 | self.softmax = nn.Softmax(dim=1) 21 | 22 | def forward(self, x): 23 | embed = self.embeding(x) # [batchsize, seqlen, embed_size] 24 | out, _ = self.lstm(embed) 25 | out = torch.cat((embed, out), 2) 26 | out = F.relu(out) 27 | out = out.permute(0, 2, 1) 28 | out = self.maxpool(out).reshape(out.size()[0], -1) 29 | out = self.fc(out) 30 | out = self.softmax(out) 31 | return out 32 | 33 | if __name__ == "__main__": 34 | from configs import Config 35 | cfg = Config() 36 | cfg.pad_size = 640 37 | model_textcls = Model(config=cfg) 38 | input_tensor = torch.tensor([i for i in range(640)]).reshape([1, 640]) 39 | out_tensor = model_textcls.forward(input_tensor) 40 | print(out_tensor.size()) 41 | print(out_tensor) -------------------------------------------------------------------------------- /process/data_precess.py: -------------------------------------------------------------------------------- 1 | import jieba 2 | 3 | data_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/weibo_senti_100k.csv" 4 | data_stop_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/hit_stopword" 5 | data_list = open(data_path).readlines()[1:] 6 | data_stop_list = open(data_stop_path).readlines() 7 | data_stop_list = [i.strip() for i in data_stop_list] 8 | data_stop_list.append(" ") 9 | data_stop_list.append("\n") 10 | print(data_stop_list) 11 | 12 | voc_dict = {} # 根据语料库中的词构建字典，key：word ， value：频次 13 | min_seq = 1 # 过滤掉字典中词出现小于等于 1 次的词 14 | top_n = 1000 # 字典的最大长度 15 | UNK = "" # unknow 16 | PAD = "" # 问题建模时，扩展成同等长度的向量 17 | 18 | for item in data_list: 19 | label = item[0] 20 | content = item[2:].strip() 21 | seg_list = jieba.cut(content, cut_all=False) 22 | 23 | seg_word_list = [] 24 | for seg_word in seg_list: 25 | if seg_word in data_stop_list: 26 | continue 27 | seg_word_list.append(seg_word) 28 | if seg_word in voc_dict.keys(): 29 | voc_dict[seg_word] = voc_dict[seg_word] + 1 30 | else: 31 | voc_dict[seg_word] = 1 32 | 33 | print("分词前的句子：", content) 34 | print("分词后的句子：", seg_word_list) 35 | 36 | print("老词典:", voc_dict) 37 | # 过滤掉字典中出现频率小于等于 min_seq 的词，并且按照出现的频率从大到小排序，取前 top_n 词作为词典 38 | voc_list = sorted([_ for _ in voc_dict.items() if _[1] > min_seq], key=lambda x: x[1], reverse=True)[:top_n] 39 | # 重新构建字典，根据词出现频率排序后的字典中词的位置设置新的索引 40 | voc_dict = {word_count[0]: idx for idx, word_count in enumerate(voc_list)} 41 | 42 | print("构建的新词典：",voc_dict) 43 | 44 | voc_dict.update({UNK: len(voc_dict), PAD: len(voc_dict) + 1}) 45 | 46 | print("添加 UNK，PAD 元素", voc_dict) 47 | 48 | # 写入词典信息 49 | ff = open("/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/dict", "w") 50 | for item in voc_dict.keys(): 51 | ff.writelines("{},{}\n".format(item, voc_dict[item])) 52 | ff.close() -------------------------------------------------------------------------------- /train.py: -------------------------------------------------------------------------------- 1 | import torch 2 | import torch.nn as nn 3 | from torch import optim 4 | from models import Model 5 | from datasets import data_loader, text_ClS 6 | from configs import Config 7 | 8 | cfg = Config() 9 | data_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/weibo_senti_100k.csv" 10 | data_stop_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/hit_stopword" 11 | dict_path = "/Users/wangruiqian/Documents/Code/Project/sentiment_classification_pytorch/data/dict" 12 | 13 | dataset = text_ClS(dict_path, data_path, data_stop_path) 14 | train_dataloader = data_loader(dataset, cfg) 15 | 16 | cfg.pad_size = dataset.max_seq_len 17 | print(cfg.pad_size) 18 | 19 | model_text_cls = Model(cfg) 20 | model_text_cls.to(cfg.devices) 21 | loss_func = nn.CrossEntropyLoss() 22 | 23 | optimizer = optim.Adam(model_text_cls.parameters(), lr=cfg.learn_rate) 24 | scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 25 | step_size=1, 26 | gamma=0.9) 27 | 28 | for epoch in range(cfg.num_epochs): 29 | for i, batch in enumerate(train_dataloader): 30 | label, data = batch 31 | data = torch.tensor(data).to(cfg.devices) 32 | label = torch.tensor(label, dtype=torch.int64).to(cfg.devices) 33 | 34 | optimizer.zero_grad() 35 | pred = model_text_cls.forward(data) 36 | loss_val = loss_func(pred, label) 37 | 38 | # print(pred) 39 | # print(label) 40 | print("epoch is {}, ite is {}, val is {}".format(epoch, i, loss_val)) 41 | loss_val.backward() 42 | optimizer.step() 43 | 44 | scheduler.step() 45 | if epoch % 10 == 0: 46 | torch.save(model_text_cls.state_dict(), "models/{}.pth".format(epoch)) --------------------------------------------------------------------------------