├── README.md
├── db_fields.md
├── imgs
├── 1.png
├── 2.png
├── 3.png
├── 4.png
└── 5.png
└── sample.jsonl
/README.md:
--------------------------------------------------------------------------------
1 | # 作业内容
2 |
3 | ## Project1: 大规模爬虫
4 |
5 | ### 爬虫模块
6 |
7 | #### 推荐爬取的站点
8 |
9 | - ACM：https://dl.acm.org/
10 | - 含作者、摘要、会议、视频、引文等论文相关信息
11 | - https://dl.acm.org/doi/10.1145/3404835.3462936
12 | - Springer：https://www.springer.com/cn，
13 | - 含作者、摘要、引文等论文相关信息
14 | - https://link.springer.com/chapter/10.1007/978-3-030-88483-3_4
15 | - ScienceDirect：https://www.sciencedirect.com/
16 | - 含作者、摘要、关键词等论文相关信息
17 | - https://www.sciencedirect.com/science/article/abs/pii/S0004370221001314
18 | - 图书馆数据源：http://lib.bit.edu.cn/node/404.jspx
19 |
20 | #### 要求
21 |
22 | + **ACM必选**，要保证爬到的论文中有一定比例的**视频**，可以是在线观看视频的url地址，也可以是下载视频到本地后的文件路径
23 | + **Springer必选**
24 | + **ScienceDirect必选**，要求包含**多领域**的数据
25 | + 图书馆数据源为**可选加分项**
26 | + 爬到的数据必须存储到[MongoDB](https://www.mongodb.com)中，字段定义详见`db_fields.md`
27 | + 数据源越丰富越好，当从不同数据源爬取到相同论文时，需要**去除重复数据**
28 | + 从每个数据源获取的数据需要具有**完备性**，即爬取数据量占全站数据量的比例越高越好
29 |
30 | + 要求搭建一个完整的**爬虫框架**，在爬取不同的数据源时，只需要根据实际情况，手写少量解析网页的部分，即数据源是可插拔的。此处推荐[Python Scrapy爬虫库](https://scrapy.org)
31 | + 要求实现**增量式**爬取，定时更新
32 | + 要求爬虫至少采用如下技术手段：
33 | + 当爬取一个规模较大的网站时，采用某种策略/顺序，保证爬取结果不重不漏
34 | + 使用多线程/多进程等技术提升爬虫效率
35 | + 使用ip池、调整等待时间等技术抵御网站反爬
36 | + 如果网络崩溃，能够从断点续爬
37 | + 使用日志技术实时展示爬取进度
38 | + 搭建一个基本的[Elasticsearch](https://www.elastic.co/)+[Kibana](https://www.elastic.co/cn/kibana/)检索系统，对爬取的数据建立索引，方便展示
39 |
40 | ### 提交内容
41 |
42 | + 一个MongoDB数据库和磁盘文件
43 | + 在仓库README中给出爬取数据的**统计信息**，例如每个数据源爬取的论文数、字段覆盖率等
44 |
45 |
46 |
47 | ## Project2: 学者检索引擎
48 |
49 | ### 爬虫模块
50 |
51 | #### 推荐爬取的站点
52 |
53 | + AMiner: https://www.aminer.cn/
54 | + Semantic Scholar：https://www.semanticscholar.org/
55 | + 全球学者库：http://www.globalauthorid.com/
56 |
57 | #### 要求
58 |
59 | + **AMiner必选**，爬取作者信息，作者之间共同著作、所属机构等信息，以[Bengio](https://www.aminer.cn/profile/yoshua-bengio/53f4ba75dabfaed83977b7db)为例
60 | + **Semantic Scholar必选**
61 | + 爬到的数据必须存储到**MongoDB**中，字段必须定义清晰
62 | + 当爬取到重名作者时，需要做到**重名区分**和**同人合并**
63 | + 可以利用机构、共同著作等信息
64 |
65 | ### 检索模块
66 |
67 | #### 要求
68 |
69 | + 从MongoDB中读取数据实现**综合检索**，要求无论是输入作者姓名、作者机构、领域、论文名称，都能得到相应的检索结果，如下例所示：
70 |
71 |
72 |
73 |
74 |
75 |
100 |
101 |
108 |
109 |
165 |
166 |