├── .gitignore ├── README.md ├── config.json ├── config_utils ├── __init__.py └── configreader.py ├── crawlspider ├── __init__.py ├── html_downloader.py ├── html_header.py ├── html_outputer.py ├── html_parse_item.py ├── html_parser.py ├── spider.py ├── url_manager.py └── user_agents.py ├── output ├── *技术讨论区*.html ├── index.html ├── 不骑马的亚洲的电影.html ├── 大家都说中文的电影.html ├── 欧美电影.html ├── 纪念达盖尔的板块.html └── 骑马的亚洲的电影.html └── quick_start.py /.gitignore: -------------------------------------------------------------------------------- 1 | # Byte-compiled / optimized / DLL files 2 | __pycache__/ 3 | *.py[cod] 4 | *$py.class 5 | 6 | # C extensions 7 | *.so 8 | 9 | # Distribution / packaging 10 | .Python 11 | env/ 12 | build/ 13 | develop-eggs/ 14 | dist/ 15 | downloads/ 16 | eggs/ 17 | .eggs/ 18 | lib/ 19 | lib64/ 20 | parts/ 21 | sdist/ 22 | var/ 23 | wheels/ 24 | *.egg-info/ 25 | .installed.cfg 26 | *.egg 27 | 28 | # PyInstaller 29 | # Usually these files are written by a python script from a template 30 | # before PyInstaller builds the exe, so as to inject date/other infos into it. 31 | *.manifest 32 | *.spec 33 | 34 | # Installer logs 35 | pip-log.txt 36 | pip-delete-this-directory.txt 37 | 38 | # Unit test / coverage reports 39 | htmlcov/ 40 | .tox/ 41 | .coverage 42 | .coverage.* 43 | .cache 44 | nosetests.xml 45 | coverage.xml 46 | *.cover 47 | .hypothesis/ 48 | 49 | # Translations 50 | *.mo 51 | *.pot 52 | 53 | # Django stuff: 54 | *.log 55 | local_settings.py 56 | 57 | # Flask stuff: 58 | instance/ 59 | .webassets-cache 60 | 61 | # Scrapy stuff: 62 | .scrapy 63 | 64 | # Sphinx documentation 65 | docs/_build/ 66 | 67 | # PyBuilder 68 | target/ 69 | 70 | # Jupyter Notebook 71 | .ipynb_checkpoints 72 | 73 | # pyenv 74 | .python-version 75 | 76 | # celery beat schedule file 77 | celerybeat-schedule 78 | 79 | # SageMath parsed files 80 | *.sage.py 81 | 82 | # dotenv 83 | .env 84 | 85 | # virtualenv 86 | .venv 87 | venv/ 88 | ENV/ 89 | 90 | # Spyder project settings 91 | .spyderproject 92 | .spyproject 93 | 94 | # Rope project settings 95 | .ropeproject 96 | 97 | # mkdocs documentation 98 | /site 99 | 100 | # mypy 101 | .mypy_cache/ 102 | 103 | /.idea/ -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | > 1024是一个好网站 2 | 3 | ***首先，此次实战系列的前提是您能科学的找到1024网站！我这里并不提供网站地址，特此声明，这里只是用计算机科学的态度和方法，来分析一个问题。和1024网站没有任何关联。*** 4 | 5 | 在1024网站上，不知道你是否和我一样，平时爱逛技术讨论区，爱看一些每日资讯总结的帖子，那么会不会因为板块的主题帖子是按照回复时间排序而找不到自己喜欢看的帖子而心烦意乱呢？是不是为了找自己今天没看过的帖子，而一遍又一遍的重新从头开始翻呢？ 6 | 7 | 别怕，我都被这些问题困扰过！社区人口众多，帖子刷的很快，为了看到每天发布的帖子，板块的排版不得不让我每次进来都得从头开始找，看看哪个帖子今儿没看过。而且是左边看标题，右边看发布时间，好累啊。这样我不喜欢，有些浪费时间。 8 | 9 | 作为一个程序员，我觉得，这些问题，都是可以自己手动写一个Python爬虫来解决。 10 | 11 | #### 我感觉这个虫子全网***最方便***，***最牛逼***，***最便捷***，***最能解决实际问题***的虫子！活学活用，***真正的让代码方便我的生活，这才是我编写程序索要达到的目的***。 12 | 13 | ##我们现在遇到的问题： 14 | 论坛的帖子排序是按照回帖时间排序的，为了能够看到每天最新发布的帖子，总是得从头开始看整个论坛，很烦，浪费时间。 15 | 16 | ![技术讨论区帖子按照回帖时间排序](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1HAf0lcszsYepW9wgfxzVjjiaWxQByUOmQglpgCNAwrlAM3uaTYDh2ncA/0?wx_fmt=png) 17 | 18 | ## 我们希望变成的样子 19 | 论坛的帖子按照时间发布顺序排列，这样看每天的新内容就很省事儿。 20 | 21 | 如果我们要写一个爬虫来解决的话，大致结构应该如下： 22 | 23 | ![Daily1024结构](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1HNyicjUXHsLJgeicdVKcaMBD9fAdhyQSf4WOHnXzarEq3DWJh3PN2iacYw/0?wx_fmt=png) 24 | 25 | 这里有几个部分： 26 | - **config.json**: 这个算是配置文件，目前需要填入的信息有： 27 | 1.1024网站的的URL 28 | 2.爬虫结果输出的的文件位置 29 | 3.爬虫需要爬的最大page num 30 | 4.板块信息，指论坛的板块名称（*这个可以自定义*）和板块的fid 31 | - **Url_manager**: 管理备爬取的URL。 32 | - **Html_downloade**r: 爬虫获取网页信息。 33 | - **Html_parser**: 爬虫的网页解析器。 34 | - **Html_output**: 爬虫输出结果。 35 | 36 | 上面的结构很简单，那么简单的流程就是：*我们先配置好本地的config.json文件，然后启动程序，爬虫会自动根据配置好的信息，然后抓取各个板块前几页的内容，根据帖子发帖时间，筛选爬出出来信息，随后，将获取到的信息按照时间排序，最后输出成html格式的文件，使用本地的网页浏览器打开。浏览器里面可以看到帖子的id，帖子的标题以及帖子的发布时间。通过点击帖子的标题，可以跳转到社区的帖子。* 37 | 38 | 这样，内容丰富的小草网站，就直接变成了我们本地写的最简单的***html***文件。 39 | 40 | 我们整理后的网站首页： 41 | ![Daily1024的index](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1HgDfFZRu2iahHaHLIHficicx2GTSOpbJKxia3yWY45Qib0GibMu9pQJVicGEFA/0?wx_fmt=png) 42 | 43 | 新整理后板块长这个样子： 44 | 45 | ![Daily1024的技术讨论板块](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1Hc7aiagTtvdXhdia5l83klmfwQEuRQfElmYgXAty2M0nE9hRvHqlDphRw/0?wx_fmt=png) 46 | 47 | 48 | 49 | ![Daily1024的技术讨论板块，按照时间顺序排列](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1HaAPVFIOYn3YOEL0S9JhzJMNHibluXmIMoiawmiaIicBy8ZtoSl6o0hFQzg/0?wx_fmt=png) 50 | 51 | 这样看上去，就简单和舒服的多了，不再需要像之前那样一个一个的找了。而且，我们看过哪个帖子，都是有不同颜色区分的。这样节省好多好多时间。下面就简单的说一下工程中运用到的技术点吧。 52 | 53 | ### 技术梳理 54 | 虽然现在网络上有很多成熟的爬虫框架，比如`Scrapy`，我之前也用过`Scrapy`，`Scrapy`确实强大，但是感觉这样体会不到爬虫的乐趣。所以干脆自己从零搭建一个爬虫。从零距离感受爬虫，感受`Python`的乐趣。 55 | 56 | #### 整体技术 57 | - `python 3.6` 58 | - `requests` 59 | - `BeautifulSoup4` 60 | - `webbrowser` 61 | - `json` 62 | 63 | #### Config.json 64 | 这个是配置文件，将需要一些基本参数写在这个json文件中。先关的读取类是`config_utils`中的`configreader`。 65 | 66 | ![config.json](https://mmbiz.qpic.cn/mmbiz_png/jA4Qc7C9IZTIVrsljhFE2owaiclJFick1HOYhZiaf45XdCaaSCF2g7oP1ETJ2W1IWcSQrKYU4v3jWmL7Yv74ddjrw/0?wx_fmt=png) 67 | 68 | #### Url_manager 69 | 通过一个`dict`来存储板块名称和对应的板块`URL`，提供一些简答的方法来操作`URL`。 70 | 71 | #### Html_download 72 | 通过使用`requests`模块来进行网页的访问。从而拿到网页数据，为后面步骤的解析提供基础。 73 | 这里进行网络请求的时候，由于`1024网站`做了反爬处理，我添加了不同的`HTTP header`。目前还算比较好用。表头信息在`user_agents`文件中。 74 | 75 | #### Html_parser 76 | 通过`BeautifulSoup`来对`html`做解析处理。每一个帖子都是有一个*唯一id*的。帖子都封装到`CaoliuItem`中，然后将结果输出到`html_outputer`中。这里是通过`html`的`tag`来做的寻找，并不是通过正则表达式。可能有点*僵*。 77 | 78 | #### Html_outputer 79 | 这个是将之前收集到的爬虫解析结果，整理成`html`文件的类。最终结果有一个`index`页面，每个版块还有自己的页面。他们之间相互链接在一起，点击起来爽爽的，炒鸡方便。 80 | 81 | ### 需要改进的地方 TODO 82 | - 整体结构虽然清晰，但是整体结构还需要优化。要做到像`Scrapy`那样强大的虫子，得一步一步来。 83 | - 目前爬虫能力比较弱，没有用到多线程爬虫。下一个版本可以加入多线程，这样既能提升速度，又能提升质量。 84 | - `parser`的解析还是太依赖网站的布局。若是网站布局发生改变，`parser`就得修改。这个问题是所有爬虫的通病，我还在想办法把这里做的更活一些，不要这么死板。 85 | - `output`的`html`文件美观度不够。 86 | - 下一版本，想将解析出来的东西，能够和`MongoDB`联动，算是本地保存一份吧。因为这样就能够看到之前的帖子信息。 87 | - 接下来应该最好是针对每个帖子，再爬一层，可以做到自动将图片或者种子文件下载下来。这个下载图片和种子的虫子我之前用`Scrapy`的时候做过，但是还是需要结合自己写的虫子比较好。 88 | - 最好能够将爬虫扩展到其他网站，比如微博啊，V2ex啊，之类的资讯网站。感觉每天来回逛这几个网站，打开这个打开那个，确实有时候挺浪费时间的，倒不如把它们每天更新的东西都整合成在一起，通过一个网站，一次看个够。这样多爽。 89 | - 最终的版本就是把这个程序做成一个后台服务，然后部署到服务器上，每天通过访问，能够看到当天各个网站的更新内容。做到***"访问一个，就可以访问全部"***的效果。 90 | 91 | 这个项目源码，通过***阅读原文***即可查阅。 92 | 93 | 最后来一波福利，关注公众号：**皮克啪的铲屎官**，回复“1024”，能够找到你需要的东西哦~ 94 | ![关注并回复 1024 有惊喜](https://mmbiz.qpic.cn/mmbiz_jpg/jA4Qc7C9IZS5CU8Eicxw9K4kIY8BibzDJX6QiahNQ0wDC2HLheXWp6CpITXBWcxt6E4SRlxHJyrxNO6v6TlKMgeUg/0?wx_fmt=jpeg) 95 | 96 | 97 | 98 | -------------------------------------------------------------------------------- /config.json: -------------------------------------------------------------------------------- 1 | { 2 | "url_root":"http://cc.itbb.men/", 3 | "file_dir":"/Users/SwyftG/Github/Daily1024/output/", 4 | "file_url":"file:///Users/SwyftG/Github/Daily1024/output/index.html", 5 | "max_pages": 3, 6 | "block_info": { 7 | "*技术讨论区*":7, 8 | "骑马的亚洲的电影":15, 9 | "不骑马的亚洲的电影":2, 10 | "大家都说中文的电影":25, 11 | "欧美电影":4, 12 | "纪念达盖尔的板块":16 13 | } 14 | } 15 | 16 | 17 | 18 | -------------------------------------------------------------------------------- /config_utils/__init__.py: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/SwyftG/Daily1024/9a08c4f49166a4f690f3dc2768c725d2a366735d/config_utils/__init__.py -------------------------------------------------------------------------------- /config_utils/configreader.py: -------------------------------------------------------------------------------- 1 | # encoding: utf-8 2 | import json 3 | 4 | 5 | class ConfigParams(object): 6 | def __init__(self, path): 7 | file = open(path, "r") 8 | file_json = json.load(file) 9 | self.url_root = file_json['url_root'] 10 | self.file_root = file_json['file_dir'] 11 | self.file_url = file_json['file_url'] 12 | self.max_pages = file_json['max_pages'] 13 | self.block_info = file_json['block_info'] 14 | 15 | def __str__(self): 16 | return "Url_root: %s \nFile_root: %s \nFile_url: %s \nMax_pages: %s\nBlock_info: %s" % (self.url_root, self.file_root, self.file_url, self.max_pages, self.block_info) 17 | 18 | def get_1024_config(self): 19 | print(self) 20 | return self.url_root, self.file_root, self.file_url, self.max_pages, self.block_info 21 | -------------------------------------------------------------------------------- /crawlspider/__init__.py: -------------------------------------------------------------------------------- 1 | # encoding: utf-8 2 | __author__ = 'lianggao' 3 | __date__ = '2018/5/7 下午2:31' -------------------------------------------------------------------------------- /crawlspider/html_downloader.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | import requests as request 4 | from crawlspider.html_header import HtmlHeader 5 | 6 | 7 | class HtmlDownloader(object): 8 | def __init__(self): 9 | self.header = HtmlHeader() 10 | 11 | def download_data(self, url): 12 | if url is None: 13 | return None 14 | head = self.header.get_header() 15 | result = request.get(url, headers=head, timeout=10) 16 | result.encoding = 'gbk' 17 | return result.text 18 | -------------------------------------------------------------------------------- /crawlspider/html_header.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | import random 4 | from crawlspider.user_agents import agents 5 | 6 | 7 | class HtmlHeader(object): 8 | def get_header(self): 9 | agent = random.choice(agents) 10 | return {"User-Agent": agent} 11 | -------------------------------------------------------------------------------- /crawlspider/html_outputer.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | 4 | import time 5 | 6 | 7 | class HtmlOutputer(object): 8 | def __init__(self, file_root): 9 | self.data = [] 10 | self.file_root = file_root 11 | self.data_list = {} 12 | 13 | def collect_data(self, new_data): 14 | if new_data is None: 15 | return 16 | for item in new_data: 17 | if item not in self.data: 18 | self.data.append(item) 19 | 20 | def collect_data(self, name, new_data): 21 | if new_data is None: 22 | return 23 | temp_block = self.data_list.get(name) 24 | if temp_block is None: 25 | self.data_list[name] = new_data 26 | else: 27 | for item in new_data: 28 | if item not in temp_block: 29 | temp_block.append(item) 30 | 31 | def _sort_data(self): 32 | for item in self.data_list: 33 | data = self.data_list.get(item) 34 | data.sort(key=lambda k: (k.post_time[-5:]), reverse=True) 35 | data.sort(key=lambda k: (k.post_time[0:2])) 36 | 37 | def output_html(self): 38 | self._sort_data() 39 | filename = self.file_root + "index.html" 40 | block_info = {} 41 | result_root_file = open(filename, 'w') 42 | result_root_file.write("") 43 | result_root_file.write("") 44 | result_root_file.write("") 45 | result_root_file.write("") 46 | result_root_file.write("

%s

" % time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())) 47 | result_root_file.write("") 48 | for item_name in self.data_list: 49 | item_file_url = self.file_root + item_name + ".html" 50 | block_info[item_name] = item_file_url 51 | result_root_file.write("") 52 | result_root_file.write("") 53 | result_root_file.write("" % (item_file_url,item_name)) 54 | result_root_file.write("") 55 | result_root_file.write("") 56 | result_root_file.write("
%s
") 57 | result_root_file.write("") 58 | result_root_file.write("") 59 | result_root_file.close() 60 | 61 | for block_name in block_info: 62 | block_data_list = self.data_list.get(block_name) 63 | block_file = open(block_info[block_name], 'w') 64 | block_file.write("") 65 | block_file.write("") 66 | block_file.write("") 67 | block_file.write("") 68 | block_file.write("

%s

" % time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())) 69 | block_file.write("") 70 | pre_time = "" 71 | block_file.write("") 72 | block_file.write("") 73 | block_file.write("" % block_name) 74 | block_file.write("") 75 | for data in block_data_list: 76 | if pre_time not in data.post_time: 77 | block_file.write("") 78 | block_file.write("") 79 | block_file.write("") 80 | block_file.write("") 81 | block_file.write("") 82 | block_file.write("" % data.post_id) 83 | block_file.write("" % (data.post_url, data.post_title)) 84 | block_file.write("" % data.post_time) 85 | block_file.write("") 86 | block_file.write("") 87 | pre_time = data.post_time[0:2] 88 | block_file.write("
************************** %s ****************************
******************************************************
%s %s %s
") 89 | block_file.write("") 90 | block_file.write("") 91 | block_file.write("") 92 | block_file.close() -------------------------------------------------------------------------------- /crawlspider/html_parse_item.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | 4 | 5 | class CaoliuItem(object): 6 | def __init__(self, post_title, post_url, post_time, post_id=0): 7 | self.post_title = post_title 8 | self.post_url = post_url 9 | self.post_time = post_time 10 | self.post_id = post_id 11 | self.download_url = None 12 | 13 | def __str__(self): 14 | return "Id: %s \nName: %s \nUrl: %s \nTime: %s \n--------------------------------------" %(self.post_id, self.post_title, self.post_url, self.post_time) 15 | 16 | def set_download_url(self, url): 17 | self.download_url = url -------------------------------------------------------------------------------- /crawlspider/html_parser.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | from bs4 import BeautifulSoup 4 | from crawlspider.html_parse_item import CaoliuItem 5 | 6 | keywords = ['今天', '昨天', 'Top-marks'] 7 | 8 | 9 | class HtmlParser(object): 10 | def parse(self, page_url, html_cont, max_pages): 11 | if page_url is None or html_cont is None: 12 | return 13 | soup = BeautifulSoup(html_cont, 'html.parser') 14 | url, data = self._get_titles(page_url, max_pages, soup) 15 | return url, data 16 | 17 | def parse(self, name, page_url, html_cont, max_pages): 18 | if page_url is None or html_cont is None: 19 | return 20 | soup = BeautifulSoup(html_cont, 'html.parser') 21 | url, data = self._get_titles(page_url, soup, max_pages, name) 22 | return url, data 23 | 24 | def _get_titles(self, page_url, soup, max_pages=1, name=None): 25 | result_data = [] 26 | post_blocks = soup.find_all(attrs={"class": "tal"}) 27 | for item in post_blocks: 28 | post_parent = item.parent 29 | post_time = post_parent.find(attrs={"class": "s3"}) 30 | if post_time is None: 31 | continue 32 | post_block = item.find('h3').find('a') 33 | post_name = post_block.text 34 | temp_url = post_block.get('href') 35 | if "tid" in temp_url: 36 | post_id = temp_url[-7:] 37 | else: 38 | post_id = temp_url[-12:-5] 39 | post_url = page_url[0:19] + temp_url 40 | parse_item = CaoliuItem(post_name, post_url, post_time.text, post_id) 41 | result_data.append(parse_item) 42 | page_count = int(page_url[-1:]) 43 | if page_count < int(max_pages): 44 | page_count += 1 45 | next_url = page_url[:-1] + str(page_count) 46 | else: 47 | next_url = "" 48 | return next_url, result_data 49 | 50 | def get_urls(self, page_url, block_info): 51 | result_list = {} 52 | for block_name in block_info: 53 | block_url = page_url + "thread0806.php?fid=" + str(block_info[block_name]) + "&search=&page=1" 54 | result_list[block_name] = block_url 55 | return result_list 56 | 57 | 58 | -------------------------------------------------------------------------------- /crawlspider/spider.py: -------------------------------------------------------------------------------- 1 | # encoding: utf-8 2 | import webbrowser 3 | from crawlspider.url_manager import UrlManager 4 | from crawlspider.html_downloader import HtmlDownloader 5 | from crawlspider.html_parser import HtmlParser 6 | from crawlspider.html_outputer import HtmlOutputer 7 | 8 | 9 | class Spider(object): 10 | def __init__(self, url_root, file_root, file_url, max_pages, block_info): 11 | self.file_root = file_root 12 | self.url_root = url_root 13 | self.file_url = file_url 14 | self.max_pages = max_pages 15 | self.block_info = block_info 16 | self.urls = UrlManager() 17 | self.downloader = HtmlDownloader() 18 | self.parser = HtmlParser() 19 | self.outputer = HtmlOutputer(file_root) 20 | 21 | def crawl_1024(self): 22 | parse_result = self.parser.get_urls(self.url_root, self.block_info) 23 | for item in parse_result: 24 | self.urls.add_new_url_in_wrapper(item, parse_result.get(item)) 25 | 26 | while self.urls.has_new_url(): 27 | name, url = self.urls.get_new_url() 28 | print("name: %s\ncraw: %s" %(name, url)) 29 | html_cont = self.downloader.download_data(url) 30 | new_url, new_data = self.parser.parse(name, url, html_cont, self.max_pages) 31 | self.urls.add_new_url_in_wrapper(name, new_url) 32 | self.outputer.collect_data(name, new_data) 33 | 34 | self.outputer.output_html() 35 | webbrowser.open_new(self.file_url) 36 | webbrowser.get() 37 | -------------------------------------------------------------------------------- /crawlspider/url_manager.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/python 2 | # -*- coding: utf-8 -*- 3 | 4 | 5 | class UrlManager(object): 6 | def __init__(self): 7 | self.url_wrapper_list = {} 8 | self.new_urls = set() 9 | self.old_urls = set() 10 | self.cur_wrapper = None 11 | 12 | def add_new_url(self, url): 13 | if url is None or len(url) == 0: 14 | return 15 | if url not in self.new_urls and url not in self.old_urls: 16 | self.new_urls.add(url) 17 | 18 | def has_new_url(self): 19 | for item in self.url_wrapper_list: 20 | temp_data = self.url_wrapper_list.get(item) 21 | if temp_data.has_new_url(): 22 | self.cur_wrapper = temp_data 23 | return True 24 | return False 25 | 26 | def get_new_url(self): 27 | if self.cur_wrapper is None: 28 | for item in self.url_wrapper_list: 29 | if self.url_wrapper_list.get(item).has_new_url(): 30 | self.cur_wrapper = self.url_wrapper_list.get(item) 31 | return self.cur_wrapper.name, self.cur_wrapper.get_new_url() 32 | self.cur_wrapper = None 33 | else: 34 | temp_url = self.cur_wrapper.get_new_url() 35 | if temp_url is not None: 36 | return self.cur_wrapper.name, temp_url 37 | else: 38 | self.cur_wrapper = None 39 | return None, None 40 | 41 | def add_new_urls(self, urls): 42 | if urls is None or len(urls) == 0: 43 | return 44 | for url in urls: 45 | self.add_new_url(url) 46 | 47 | def add_new_url_in_wrapper(self, name, url): 48 | if url is None: 49 | return 50 | temp_result = self.url_wrapper_list.get(name) 51 | if temp_result is None: 52 | wrapper_item = UrlWrapper(name) 53 | wrapper_item.add_new_url(url) 54 | self.url_wrapper_list[name] = wrapper_item 55 | else: 56 | self.url_wrapper_list.get(name).add_new_url(url) 57 | 58 | 59 | class UrlWrapper(object): 60 | def __init__(self, name): 61 | self.name = name 62 | self.new_urls = set() 63 | self.old_urls = set() 64 | 65 | def add_new_url(self, url): 66 | if url is None or len(url) == 0: 67 | return 68 | if url not in self.new_urls and url not in self.old_urls: 69 | self.new_urls.add(url) 70 | 71 | def get_new_url(self): 72 | new_url = self.new_urls.pop() 73 | self.old_urls.add(new_url) 74 | return new_url 75 | 76 | def has_new_url(self): 77 | return len(self.new_urls) != 0 -------------------------------------------------------------------------------- /crawlspider/user_agents.py: -------------------------------------------------------------------------------- 1 | # encoding=utf-8 2 | agents = [ 3 | "Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 4 | "Avant Browser/1.2.789rel1 (http://www.avantbrowser.com)", 5 | "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/532.5 (KHTML, like Gecko) Chrome/4.0.249.0 Safari/532.5", 6 | "Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/532.9 (KHTML, like Gecko) Chrome/5.0.310.0 Safari/532.9", 7 | "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.7 (KHTML, like Gecko) Chrome/7.0.514.0 Safari/534.7", 8 | "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/9.0.601.0 Safari/534.14", 9 | "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.14 (KHTML, like Gecko) Chrome/10.0.601.0 Safari/534.14", 10 | "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.20 (KHTML, like Gecko) Chrome/11.0.672.2 Safari/534.20", 11 | "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.27 (KHTML, like Gecko) Chrome/12.0.712.0 Safari/534.27", 12 | "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.24 Safari/535.1", 13 | "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.120 Safari/535.2", 14 | "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.36 Safari/535.7", 15 | "Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre", 16 | "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10", 17 | "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-GB; rv:1.9.0.11) Gecko/2009060215 Firefox/3.0.11 (.NET CLR 3.5.30729)", 18 | "Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6 GTB5", 19 | "Mozilla/5.0 (Windows; U; Windows NT 5.1; tr; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 ( .NET CLR 3.5.30729; .NET4.0E)", 20 | "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1", 21 | "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0.1) Gecko/20100101 Firefox/4.0.1", 22 | "Mozilla/5.0 (Windows NT 5.1; rv:5.0) Gecko/20100101 Firefox/5.0", 23 | "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0a2) Gecko/20110622 Firefox/6.0a2", 24 | "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:7.0.1) Gecko/20100101 Firefox/7.0.1", 25 | "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:2.0b4pre) Gecko/20100815 Minefield/4.0b4pre", 26 | "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0 )", 27 | "Mozilla/4.0 (compatible; MSIE 5.5; Windows 98; Win 9x 4.90)", 28 | "Mozilla/5.0 (Windows; U; Windows XP) Gecko MultiZilla/1.6.1.0a", 29 | "Mozilla/2.02E (Win95; U)", 30 | "Mozilla/3.01Gold (Win95; I)", 31 | "Mozilla/4.8 [en] (Windows NT 5.1; U)", 32 | "Mozilla/5.0 (Windows; U; Win98; en-US; rv:1.4) Gecko Netscape/7.1 (ax)", 33 | "HTC_Dream Mozilla/5.0 (Linux; U; Android 1.5; en-ca; Build/CUPCAKE) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 34 | "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.2; U; de-DE) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/234.40.1 Safari/534.6 TouchPad/1.0", 35 | "Mozilla/5.0 (Linux; U; Android 1.5; en-us; sdk Build/CUPCAKE) AppleWebkit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 36 | "Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 37 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 38 | "Mozilla/5.0 (Linux; U; Android 1.5; en-us; htc_bahamas Build/CRB17) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 39 | "Mozilla/5.0 (Linux; U; Android 2.1-update1; de-de; HTC Desire 1.19.161.5 Build/ERE27) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 40 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Sprint APA9292KT Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 41 | "Mozilla/5.0 (Linux; U; Android 1.5; de-ch; HTC Hero Build/CUPCAKE) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 42 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; ADR6300 Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 43 | "Mozilla/5.0 (Linux; U; Android 2.1; en-us; HTC Legend Build/cupcake) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 44 | "Mozilla/5.0 (Linux; U; Android 1.5; de-de; HTC Magic Build/PLAT-RC33) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1 FirePHP/0.3", 45 | "Mozilla/5.0 (Linux; U; Android 1.6; en-us; HTC_TATTOO_A3288 Build/DRC79) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 46 | "Mozilla/5.0 (Linux; U; Android 1.0; en-us; dream) AppleWebKit/525.10 (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2", 47 | "Mozilla/5.0 (Linux; U; Android 1.5; en-us; T-Mobile G1 Build/CRB43) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari 525.20.1", 48 | "Mozilla/5.0 (Linux; U; Android 1.5; en-gb; T-Mobile_G2_Touch Build/CUPCAKE) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 49 | "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Droid Build/ESD20) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 50 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Droid Build/FRG22D) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 51 | "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Milestone Build/ SHOLS_U2_01.03.1) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 52 | "Mozilla/5.0 (Linux; U; Android 2.0.1; de-de; Milestone Build/SHOLS_U2_01.14.0) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 53 | "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/525.10 (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2", 54 | "Mozilla/5.0 (Linux; U; Android 0.5; en-us) AppleWebKit/522 (KHTML, like Gecko) Safari/419.3", 55 | "Mozilla/5.0 (Linux; U; Android 1.1; en-gb; dream) AppleWebKit/525.10 (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2", 56 | "Mozilla/5.0 (Linux; U; Android 2.0; en-us; Droid Build/ESD20) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 57 | "Mozilla/5.0 (Linux; U; Android 2.1; en-us; Nexus One Build/ERD62) AppleWebKit/530.17 (KHTML, like Gecko) Version/4.0 Mobile Safari/530.17", 58 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; Sprint APA9292KT Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 59 | "Mozilla/5.0 (Linux; U; Android 2.2; en-us; ADR6300 Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 60 | "Mozilla/5.0 (Linux; U; Android 2.2; en-ca; GT-P1000M Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1", 61 | "Mozilla/5.0 (Linux; U; Android 3.0.1; fr-fr; A500 Build/HRI66) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13", 62 | "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/525.10 (KHTML, like Gecko) Version/3.0.4 Mobile Safari/523.12.2", 63 | "Mozilla/5.0 (Linux; U; Android 1.6; es-es; SonyEricssonX10i Build/R1FA016) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 64 | "Mozilla/5.0 (Linux; U; Android 1.6; en-us; SonyEricssonX10i Build/R1AA056) AppleWebKit/528.5 (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1", 65 | ] 66 | -------------------------------------------------------------------------------- /output/*技术讨论区*.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** *技术讨论区* ****************************
3138829 [GET日记5-11] 盘点那些不能抗拒的性事氛围 今天 23:47
3138655 推荐给大家十部适合静静看的电影 今天 23:37
3138753 [三分钟系列]公公强吻儿媳，你是我家女人了，让我亲一下 今天 23:07
3138745 小技巧：如何利用手机高德或者百度地图把导航投影到挡风玻璃上 今天 22:56
3138728 [榴友故事会0511期]给袁世凯看病[24P] 今天 22:40
3138674 [一個人聽05011]年度最扎心视频刷爆朋友圈：世界真的会惩罚，不好好照顾身体的人 今天 21:26
3138660 [社会百态]  关注空姐遇害事件～打捞人员发现疑似杀空姐嫌犯尸体，打捞上来后将做DNA鉴定 今天 21:20
3138656 [一個人聽0510]设置， " 仅自己可见 " ，发送。 今天 21:20
3138529 大上海计划，抗衡租界的未酬壮志！ 今天 21:19
3138568 漫漫草榴路，一转眼10年了 今天 21:19
3138587 [博海拾贝0511]一辆会舍身救主的摩托车.txt 今天 20:47
3138583 谁在造谣污蔑朝鲜战争的伟大意义就是别有用心 今天 20:28
3138582 [一個人聽0509]《芳华》把人分5个层次，你在哪一层 今天 20:26
3138581 [星盟-历史的边角料0511]中国历史上不能通婚的姓氏，没准你就躺枪了 今天 20:19
3138580 [星盟-荆楚詩集]第451期：眼睛（组诗） 今天 20:18
3138579 [星盟-性与性别0511]你知道吗？日本女人的阴道“收缩高潮法” 今天 20:17
3138528 转: 中共夺权之后那些地下党功臣的命运 今天 18:42
3138404 郑州这人渣疯了么，为啥还要把姑娘给杀了 今天 18:35
3138522 [一路问答] 如何悄悄地放屁 今天 18:32
3138515 [图说]  实践是检验真理的唯一标准  （05.11） 今天 18:09
3138503 大王美女动图180511：这收费标准，大王能给你摸蜕皮 今天 18:00
3138493 和鸡或者没希望打成炮的妞交往，聊聊啥时候该投入，啥时候该撤出。 今天 17:52
3138478 我把你当朋友 今天 17:43
3138416 砖家 厚黑学之 模棱两可 今天 16:27
3138389 [川震10年 & 翻墙N年 ]  没有有关领导指示，翻墙围观香港红十字会过去十年灾区工作概要[10P] 今天 16:21
3138314 大王搞笑180512：那样子、那眼神都快哭了 今天 15:44
3138299 [M科普]易出汗是肾有问题？ 今天 15:22
3138295 游青城山多P~ 今天 15:17
3138276 [榴氓一哥]地震十年跑路记 今天 15:06
3138269 应对乱局的大局观 今天 14:51
3138258 [微历史20180511] 多么熟悉的声音，经历多少年风和雨…… 今天 14:34
3138257 [微博谈20180511] 让群众监督有目标！ 今天 14:33
3138252 说英烈,谁是英烈系列-----黄继光 今天 14:20
3138248 [一個人聽0508]在干嘛？ " " 在等你找我。 今天 14:18
3138247 [一個人聽0507]如果失而复得太难，那祝你永远得偿所愿。 今天 14:13
3138243 [浅上图文0511]活得漂亮的女人，连小三也不敢惹 今天 14:03
3138235 [浅上图文0510]被这句话害惨了的中国女孩 今天 13:56
3138234 [浅上图文0509]爱爱爱，不爱滚 今天 13:49
3138232 [浅上图文0508]一个女大学生的情欲堕落史 今天 13:44
3138231 [浅上图文0507]80% 女性在感情里都犯过的 1 个致命错误 今天 13:41
3138226 [真实故事]一个受尽家暴的山东男人 今天 13:18
3138187 [女青年180511]没有谈恋爱的好处便是一直都会憧憬着爱。 今天 12:42
3138185 智能手机严重影响了当代大学生的睡眠！ 今天 12:28
3138157 [百思不得姐]中国语言有多博大精深？快来对号入座哈哈哈～ 今天 12:06
3138026 [跟着痞子涨姿势]日系车脆皮不安全？决定安全性的不是铁皮，而是车架 今天 12:06
3138171 用震动棒来治疗抑郁症？科技落后的年代看病太凶残 今天 11:50
3138162 [三分钟系列]诺贝奖今年不发了！原因竟然是评委涉及性侵…… 今天 11:39
3138149 女友闺蜜失恋了，跑来和女友倾诉，哭诉了半个多小时 今天 11:33
3138148 [影苑前线20180511]除了复联3，今年还有这10部生猛超级大片！ 今天 11:32
3138147 章子怡、汤唯的旗袍，竟都出自他！这才是惊艳时光的中国美 今天 11:32
3138138 [几芾分享]各种扯蛋的新闻[2018.05.10版] 今天 11:29
3138117 [麻辣鸡汤]为什么焦虑？因为我们看见了更多 今天 11:04
3138103 《后来的我们》：那年还没有退票，我们也没有放弃…… 今天 10:55
3138094 推荐十部感人催泪的电影 今天 10:47
3138093 [枫林屋05-11] 霓虹国爱情动作片gif出处更新，附车牌 [92P] 今天 10:45
3138089 [有部电影]闪电约会——有多少女孩和她一样遭遇不可描述的极品奇葩？ 今天 10:40
3138041 [一纳天文]如果月球突然消失，地球人类还能生存吗？ 今天 10:04
3138028 [五郎分享20180511]杂谈：本是同根生，相煎何太急！科普一下五毛，六毛，七毛等！ 今天 09:50
3138021 新闻早餐：2018.5.11 周五 农历三月廿六 今天 09:26
3138016 [疯骚贱客180511]这个世界上最大的成人展“sexpo”最近一直都在搞事情... 今天 09:14
3138014 [三分钟系列]这一家子在美国“抹黑”华人，还被拍成了纪录片？ 今天 09:06
3138013 [每日一wen0511] 翘臀女神黑丝红裙 [23P] 今天 09:01
3137964 [电影杂志]动人爱情的背后居然是一段罪恶，细思极恐！ 今天 09:00
3137762 工程狗酒多第二话（依旧无图） 今天 09:00
3137977 和榴友们聊聊ooxx房事时间长短问题。 今天 09:00
3137956 也聊青春的情与欲 今天 09:00
3137987 韩国邪教葬送300多条人命？“世越号”沉船悲剧 今天 08:39
3137963 [咖啡书屋]他喜欢你很久很久 今天 07:42
3137958 [星盟茶馆20180511]妈，我的救护车在哪 今天 07:23
3137926 推荐十部香港经典喜剧鬼片 今天 03:09
3137925 推荐十部悬疑惊悚电影 今天 02:43
3137915 [老司机之路第9期]刷新你的三观——长谷真理香，欧美，中篇 （图+车牌） 今天 01:57
3137802 ［5-11］60秒看新闻 今天 00:06
-------------------------------------------------------------------------------- /output/index.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

*技术讨论区*
骑马的亚洲的电影
不骑马的亚洲的电影
大家都说中文的电影
欧美电影
纪念达盖尔的板块
-------------------------------------------------------------------------------- /output/不骑马的亚洲的电影.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** 不骑马的亚洲的电影 ****************************
3138827 [MP4]JNC359职业女性~男士冷静女部長~郡司結子VIP1187 今天 23:44
3138826 [MP4]JNC358完全顔出満足美乳美尻美脚人妻VIP1187 今天 23:40
3138823 [MP4]JNC357東熱激情 串刺しぶち込み特集 part3 VIP1187 今天 23:34
3138817 [MP4]050218-654江波りゅう我的新娘江波りゅ[HOT][VIP1187] 今天 23:29
3138816 [MP4]050218_680名模系列~渋谷ひとみ~[HOT][VIP1187] 今天 23:29
3138815 [MP4]050218_265 北条麻妃の甜蜜的回憶～[HOT][VIP1187] 今天 23:29
3138814 [MP4]050118_679 M痴女碧しの- [HOT][VIP1187] 今天 23:29
3138813 [MP4]050118-653成人寄存處～我想被黑髮漂亮且清秀的保育士治愈[HOT][VIP1187] 今天 23:29
3138811 [MP4]050118_264素人奥様初撮りドキュメント 62[HOT][VIP1187] 今天 23:29
3138810 [MP4]043018-652 像当时一样[HOT][VIP1187] 今天 23:29
3138809 [MP4]043018_678 模特系列星咲ひな-[HOT][VIP1187] 今天 23:29
3138804 [MP4]JNC356悸动~裸的围裙治愈我最好的女孩~愛内ゆうVIP1187 今天 23:26
3138732 [HDMP4]5月11日 最新Tokyo-hot-sky292-天使天使 Vol.174 : 小司あん [vip1195] 今天 22:41
3138731 [MP4]5月11日 最新熟女倶楽部 7220-高見日出子「性感体淫乱熟女」 [vip1195] 今天 22:41
3138730 [HDMP4]5月11日 最新FC2 PPV 831466-831775-表情可愛女子大生面接 [vip1195] 今天 22:40
3138729 [HDMP4]5月11日 最新FC2 PPV 831289-《妊婦 素人個撮 美巨乳 中出》 [vip1195] 今天 22:40
3138727 [HDMP4]5月11日 最新加勒比 051118-663-新入社員仕事 Vol.22 天音りん [vip1195] 今天 22:40
3138693 [MP4]042818_01請拘束我來欺負我浅川ゆい[VIP1187] 今天 21:39
3138692 [MP4]042818_263苗条美人妻剃毛中出~舟木ゆ[VIP1187] 今天 21:38
3138691 [MP4]042818_677無盡的性愛橋本りん[VIP1187] 今天 21:36
3138689 [MP4]042818-650極上泡姫物語Vol.60 白石麗奈[VIP1187] 今天 21:35
3138680 [MP4]042918-651 時間強盜時間停止護士編ゆうき美羽.[VIP1187] 今天 21:31
3138679 [MP4]043018_01 素颜女人Best20 [VIP1187] 今天 21:30
3138609 [mp4/554m][Heyzo-1691] 続々生中～元ラウンドガールをイカせまくる！～ – 神田るな 今天 21:01
3138607 [MP4/944M]東京熱 Tokyo Hot n1036 進藤麻奈美超M開眼 今天 21:00
3138605 [MP4/548M]HEYZO 0817 身材高大的OL 都盛星空 今天 21:00
3138603 [MP4/589M]HEYZO 0819 與前男友突然見面！ 佐伯ひなた 今天 21:00
3138601 [MP4/545M]加勒比 040415-846 脫衣舞劇場生板本番秀 波多野結衣 今天 21:00
3138599 [MP4/441M]一本道 121814_941「空天使184 降臨」芦川芽依 今天 20:59
3138570 [MP4/1.75GB]Caribbeancom-021715-809-広瀬奈々美がぼくのお嫁さん 広瀬奈々美 Nanami Hirose 今天 19:22
3138565 [MP4/ 855M] [Caribbeancom-061414_621]  CRB48 ～成宮ルリが一日お嫁さん～  [vip1180] 今天 19:08
3138564 [MP4/ 808M]  [Caribbeancom-061314_620]  下着は脱がさないでずらしてハメる～水城奈緒 [vip1180] 今天 19:07
3138563 [MP4/ 791M] [Caribbeancom-061114_619]  100センチオーバーの巨乳むすめはヤリマン女だった  持田美琴  [vip1180] 今天 19:05
3138562 [MP4/ 712M]  [Caribbeancom-061014_618]  ゴールドエンジェル Vol.26 [vip1180] 今天 19:04
3138561 [MP4/ 736M] [Caribbeancom-060814_617]  南の島で潮吹き～野外3P絶叫アクメ～立花さや  [vip1180] 今天 19:03
3138559 [MP4/ 823M]  [Caribbeancom-060714_616]  不良社員のわたしを更正してください  百合川さら [vip1180] 今天 19:01
3138530 [AVI/1.97GB]1pondo-042812_327-赤西ケイ Kei Akanishi 「キャバ嬢デリ」 今天 18:48
3138489 [MP4/1.69G]一本道 122212_497 大倉彩音「IDOL級美鮑發掘」[vip1190] 今天 17:50
3138488 [MP4/1.81G]一本道 113012_483 加藤ツバキ「近处的美人开始秘密的事」[vip1190] 今天 17:50
3138486 [MP4/1.99G]HEYZO 0008 HAMEZO～ハメ撮りコレクション～vol.1 - 希咲あや[vip1190] 今天 17:49
3138485 [MP4/2.17G]HEYZO 0006 淫亂教師の鬱憤の晴らし方 - 金山美由[vip1190] 今天 17:49
3138484 [MP4/1.77G]加勒比012813-248 廢墟之迷惑陵辱 終極神乳 纖細身體~菅野みい[vip1190] 今天 17:49
3138483 [MP4/1.96G]加勒比 012613-247 好色的無毛恥丘 ふわりゆうき[vip1190] 今天 17:48
3138303 [MP4]天然素人021817_01 制服時代 ～等待搭訕那時 [HOT][VIP1187] 今天 15:28
3138296 [MP4]加勒比 021717-375 姫川由那的最美景致 [HOT][VIP1187] 今天 15:17
3138271 [MP4]] 一本道 021717_484 CLUB ONE 羽田真里 [HOT][VIP1187] 今天 15:03
3138270 [MP4]0021717_028 可怜的熟女不知不觉被中出[HOT][VIP1187] 今天 14:53
3138262 [MP4]PPV 021717_005  巨臀全裸家政婦 西川ゆい[HOT][VIP1187] 今天 14:39
3138254 [MP4]PPV 021717_004 OL女郎俱乐部[HOT][VIP1187] 今天 14:28
3138201 [MP4/988MB]名波ルナ 乙川結衣 黒川ひかる 井上綾子 オメコレ マンココレクション〜締まり具合抜群 今天 12:52
3138200 [MP4/248MB]加勒比 THE 未公開 ～恥じらいのお漏らし大作戦5～ 折原ほのか - 無修正動画 カリビアンコム 今天 12:52
3138190 [HDMP4/3.97GB]（高清國產多部合集）瞅着很眼熟的童颜大奶美眉撕破丝袜和粉丝炮友在KTV的沙发上啪啪 夯先生巨乳肥臀售楼小姐春节后复工炮1完整版 今天 12:47
3138115 [FHD/1.94G] 05/11最新加勒比PPV 051118_003 与我的叔叔留守番~椎名ゆうき~VIP1196 今天 11:00
3138086 [MP4/1.60GB]1pondo-042216_285-名波ルナ Runa Nanami レンタル彼女 今天 10:34
3137924 [MP4/504.51MB]日本連線05/11 Tokyo Hot th101-010-111193街道巷內隨機搭訕訪談約砲:八十五[HOT][VIP1187] 今天 02:27
3137923 [MP4/682MB]日本連線05/11 Tokyo Hot kb1513 チーム木村番外編~若狭由真[HOT][VIP1187] 今天 02:21
3137921 [MP4/906.76MB]日本連線05/11 加勒比051118-663 新職員的工作負責讓我舒服Vol.22~天音りん[HOT][VIP1187] 今天 02:13
3137920 [SD/677MB] 店長推薦作品(NIP-75067) 所有欲望~總4名~VIP1196 今天 02:10
3137919 [MP4/2.23GB]Heyzo-1519-杉浦花音 Kanon Sugiura トイレに逝ってきます〜会社でオナっちゃう淫乱OL〜 今天 02:10
3137918 [MP4/509.28MB]日本連線05/11 金8天國 1909 甜蜜色情的兩人獨處時間 偷窺SWEET TIME 戀人的午後[HOT][VIP1187] 今天 02:05
3137917 [FHD/790MB] 05/11最新HEYZO 1730 快乐与色情按摩~藤原沙耶~VIP1196 今天 02:03
3137914 [MP4/420.93MB]日本連線05/11 HEYZO 1730 性感按摩的快感！~藤原沙耶的主場[HOT][VIP1187] 今天 01:56
3137913 [FHD/1.86G] 05/11最新加勒比 051118-663 新员工的工作Vol.22~天音りん~VIP1196 今天 01:54
3137826 [MP4]021117_025 剛毛！喪服美人ととことんヤリまくる前沢小百合[HOT][VIP1187] 今天 00:15
3137825 [MP4]021117_01 和男朋友在房間裡一邊看AV一邊悠閒的做了萌乃[HOT][VIP1187] 今天 00:15
3137823 [MP4]021017-370- 笑顔で欲しがる剛毛熟女横山紗江子[HOT][VIP1187] 今天 00:14
3137822 [MP4]021017-001 マンコ図鑑歩[HOT][VIP1187] 今天 00:14
3137821 [MP4]021017_024喜欢被插给帅哥钱大鸡巴干爽了[HOT][VIP1187] 今天 00:14
3137818 [MP4]021017_005 ppv系列~S级模特165-绫名蕾[HOT][VIP1187] 今天 00:13
3137817 [MP4]021017_004猫毒151無修正開始了-愛乃まほろ-[HOT][VIP1187] 今天 00:13
3137816 [AVI/975MB]1pondo-011814_740-木村夏菜子 Kanako Kimura ｢断りきれない私のカラダ｣ 今天 00:13
3137814 [MP4]021017_003性感熱氣騰騰妻子… 北条麻妃[HOT][VIP1187] 今天 00:13
3137813 [MP4]021017_01 素人AV面试我在做视讯小姐友田[HOT][VIP1187] 今天 00:13
3137798 [FHD/2.56G] 05/11最新金8天國 1909 SWEET TIME VIP1196 今天 00:03
-------------------------------------------------------------------------------- /output/大家都说中文的电影.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** 大家都说中文的电影 ****************************
3138802 [MP4/11.0G]FHDの獨家整理 絲庫(SiKu)19套視圖 型態各異野模情趣制服美腿絲襪全裸私拍 道具插穴捆綁調教等 (3V+3602p) 今天 23:25
3138717 [HDの720P/104G]精選國產自拍偷拍合集 Mixed Pack Part 009 今天 22:20
3138712 [ALL/520MB] 坐盗市网友投稿自拍援交肚皮开过刀的年轻小美眉 自恋的小情侣自拍爱爱照流出 今天 21:58
3138683 [MP4/2.0G]SDの宅男擼管精品福利 極品翹臀氣質女神菲菲 新近錄製各式性感內衣艷舞掰穴手淫(整合版) 今天 21:32
3138567 [MP4/1.17GB]網紅VIP合集-秀人李宓儿VIP视频 红人嫩模彤彤啪啪啪 今天 19:14
3138531 [ALL/750MB] 有个皮肤又白又嫩的女友就是爽呀 黑絲極品美女騷貨 掰穴自慰 淫蕩呻吟實在是銷魂極了強烈推薦 今天 18:50
3138523 [MP4/1.17GB]網紅VIP合集網紅VIP合集-極品網紅爆乳模特李梓熙被捆綁啪啪 今天 18:34
3138480 [HDの1080P/4.14G]91KK哥（富一代CaoB哥）最新精品原版大片第七期-番号S02E07：清纯极品大长腿"小迪丽热巴"（完整版）丨176cm纯白修长大美腿，高颜值小仙 今天 17:46
3138472 [ALL/510MB] 身材柔軟的藝校舞蹈系美女酒店瘋狂後入 台湾美腿丝袜模特TREASA大尺度露脸掰穴私拍 女神級美女超清純94年長腿嫩妹和男友在家打炮自拍 今天 17:37
3138471 [MP4/932MB]HD-720pの秦先生(小鮮肉)第23期：巨乳姐妹殺 風騷姐姐體貼擼啪 閨房狂肏嬌氣蘿莉(完整版) 今天 17:37
3138465 [MP4/446MB]網紅VIP合集-红人孟狐狸白金VIP视频 美腿美女啪啪 今天 17:29
3138461 [ALL/500MB] 清纯漂亮妹纸裹着浴巾在床边等着干，射后很滋很爽 金X女中热舞社社花小蛮腰一直扭，没多久就全射在裡面了 泡上壹个B毛和奶子都没长全的嫩妹子到酒店打炮 今天 17:27
3138451 [MP4/511MB]網紅VIP合集-果哥出品艾晓青美臀浴 csgirl纯涩 刘钰儿芷青 VIVAN 嫩模虫虫啪啪 今天 17:11
3138435 [MP4/1.2G]HD-SDの所謂的航空公司性感空姐與領導69式互舔啪啪呻吟饒人／紋身欲女少婦女上位搖得蠻賣力等 3V 今天 16:55
3138431 [FHD/4.93G]No.145.91KK哥（富一代CaoB哥）最新超火爆原版大片-番号S02E03：3P大战双飞维密大美妞（完整版）丨身材超棒，又美又骚，满面红润，大汗淋漓 今天 16:37
3138422 [ALL/500MB] 端庄的良家少妇溜冰后床上特别淫荡怎么玩都行国语对话 酒店爆操清纯服务员 小姨年轻时候打炮视频 约炮H奶巨乳黑丝高跟骚妇 爆操极品巨乳丰臀G奶女友 今天 16:29
3138421 [FHD/274MB]5/11最新 骚货老熟人露脸躺床上聊天调情各种体位爆操VIP1196 今天 16:28
3138391 [HD/1.19GB]5/11最新 网红脸E奶美女主播和大鸡巴炮友啪啪VIP1196 今天 16:21
3138369 [HD/898MB]5/11最新 极品美女主播各种诱惑大尺度大秀喜欢的不要错过5VIP1196 今天 16:16
3138359 [FHD/819MB]5/11最新 气质漂亮的大胸美女少妇操的高潮不断大叫VIP1196 今天 16:12
3138352 [HD/769MB]5/11最新 两个九零后骚年情侣各种体位啪啪VIP1196 今天 16:07
3138333 [FHD/763MB]5/11最新 YY哥与酒吧坐台小姐健身球上做爱第2部VIP1196 今天 15:57
3138318 [HD/860MB]5/11最新 美女主播为礼物勾引健身教练到公园VIP1196 今天 15:52
3138315 [FHD/837MB]5/11最新 哥酒店约炮样子很还很嫩的大学生兼职妹子双机位VIP1196 今天 15:47
3138310 [FHD/633MB]5/11最新 高跟制服网袜小淫女黄瓜玩淫穴VIP1196 今天 15:43
3138308 [FHD/808MB]5/11最新 新春元旦约操寂寞骚浪小护士去她宿舍打响第一炮VIP1196 今天 15:38
3138306 [HD/258MB]5/11最新 酒店援交土豪胸大貌美插的狠叫的更厉害VIP1196 今天 15:31
3138302 [FHD/1.22GB]5/11最新 美女裸体跳艳舞勾引情人后被狠狠连操了2次VIP1196 今天 15:26
3138298 [HD/403MB]5/11最新 淫女和大款酒店开房各种姿势啪啪口爆吞精VIP1196 今天 15:21
3138294 [HD/545MB]5/11最新 美女主播挑选粉丝约炮来了个吃药的高喊想操死我啊VIP1196 今天 15:15
3138286 [FHD/260MB]5/11最新 小青年太疯狂了把暗恋已久的学妹搞昏死过去VIP1196 今天 15:10
3137981 [MP4/628MB]HD-720pの林姓嫩模遭DJ娛樂太子爺潛規則露臉舔屌口爆／單身派對相識的可愛大學妹賓館深入交流 今天 08:27
3137968 [MP4/1.3G]SDの極品美乳主播透視睡衣小秀艷舞騎做道具自慰／高顏值翹臀少婦絲襪情趣肚兜露穴陪聊等 3V 今天 08:04
3137966 [ALL/580MB] 骚B控制不住口交深喉舔蛋乳交最后射精涂抹到胸部意犹未尽 超清純可愛的小女友被拉到酒店扒光後入狂草壹流的身材漂亮的臉蛋 原味貓兒紅絲襪與男友激情愛愛自拍視頻 今天 07:59
3137947 [ALL/500MB] 抵不住朋友骚女友的诱惑，今天无奈的操入了她的骚穴里 狂草情趣全身网袜 啪啪啪声音很大 公司下班後氣質小秘書在辦公室口爆插入 蘿莉小美女大茄子插逼自慰 今天 05:29
3137946 [ALL/660MB] 鮮嫩鮑魚任君嘗雙飛極品姐妹花 國內紅衣妹妹開房亂交 國產富二代胖哥哥找個骨感美女操騷逼 今天 05:29
3137870 [MP4/1.05GB]重磅福利91KK哥（富一代CaoB哥）最新精品清纯极品大长腿小迪丽热巴 1080P高清无水印原版 今天 00:36
3137869 [MP4/629MB]91KK哥（富一代CaoB哥）3P大战双飞维密大美妞 1080P高清无广告水印完整版 今天 00:36
-------------------------------------------------------------------------------- /output/欧美电影.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** 欧美电影 ****************************
3138833 [MP4/1.87GB]05/11【歐美連線】EA01910 性分析師深度解析各種性愛姿勢~uu674 今天 23:49
3138828 [MP4/923.05MB]05/11【歐美連線】DI01677 我的骯髒家庭骯髒事~uu674 今天 23:45
3138780 [MP4/598M] [LivingWithaPornstar] Susy Gala's Comeback 骑在大鸡巴上爽的骚妇 今天 23:16
3138779 [MP4/566M][MyDirtyMaid]Juicy Thick Latina 丰满多汁的拉丁女佣 今天 23:15
3138773 [MP4/955M] [PornFidelity] Love's Glow 激情内射美人妻 今天 23:14
3138771 [MP4/946M] [TGirls] Chanel Noir, Sydney Farron 两个互插屁眼的小妖 今天 23:14
3138766 [MP4/634M][TrueAnal] Breaking In Kaylani's Ass 陷进波霸的屁眼里 今天 23:13
3138765 [MP4/860M] [WeLikeToSuck] Sensual Sucking 淫荡的吸吮 今天 23:13
3138627 [MP4/962M] [Hegre] Tantric Massage 密宗按摩 今天 21:06
3138626 [MP4/929M] [HookupHotshot] Episode 140 真假鸡巴同入服装女模特 今天 21:05
3138625 [MP4/1036M][Hustler] Jessica Moore 爆操熟女下面的两个洞 今天 21:05
3138622 [MP4/846M] [Hustler] Miss Pinay 光头猛男战肥婆 今天 21:04
3138621 [MP4/845M][JaysPOV] New Model POV Sex Tape 新模特的性爱录像带 今天 21:04
3138618 [MP4/1261M][1080P] (MommyGotBoobs) Driving Mommy Wild 在车库里享受儿子大鸡巴的继母 今天 21:02
3138602 [MP4/1251M][1080P] (GoldenShowerPower) Alexis Crystal, Black Fox 在教室与男女生玩3P的变态女教师 今天 21:00
3138598 [MP4/1570M][1080P] (GroupSexGames) Faceparty 高跟熟女大战四个面具男 今天 20:59
3138597 [MP4/2025M][1080P] (HardX) Big Booty Anal Creampie 中出大屁股女人的粉红菊花 今天 20:59
3138596 [MP4/1417M][1080P] (HerLimit) Simultaneous Anal And Face Fuck 被粗暴肛交颜射的小女人 今天 20:58
3138595 [MP4/ 280M] Private. Victoria.Pure.Finishes.Interracial.Anal.With.Creampie.XXX.SD.MP4-KLEENEX  今天 20:58
3138594 [MP4/1094M][1080P] (JaysPOV) New Tiny Teen Model POV Sex 内射穿性感内衣的美少女 今天 20:57
3138593 [MP4/993M][LegalPorno] Amazing double anal with 3 guys 惊人的双屌入肛门与4P 今天 20:57
3138592 [MP4/ 347M]  Private. .Apolonia.And.Selvaggia.Teen.Fucks.With.Friends.At.Pyjama.Party.XXX.SD.MP 今天 20:55
3138591 [MP4/ 420M] POVD Nina.North.Shower.Time.Fun.XXX.SD.MP4-KLEENEX  [vip1136] 今天 20:53
3138590 [MP4/ 474M]  PascalsSubSluts. .Lily.Brutal.XXX.SD.MP4-KLEENEX  [vip1136] 今天 20:52
3138589 [MP4/ 200M]  OnlyTeenBlowJobs. .Isabella.Nice.XXX.SD.MP4-KLEENEX  [vip1136] 今天 20:50
3138588 [MP4/ 192M] OnlyBlowJob. Anna.Rose.XXX.SD.MP4-KLEENEX  [vip1136] 今天 20:49
3138436 [4K/3.29GB]5/11最新DDF Submissive Girl Fucked HardVIP1196 今天 16:57
3138112 [MP4/1.29GB] Pure Anal Pleasure 9 (2018) WEB-DL SPLIT SCENES 今天 10:57
3138111 [MP4/1.44GB] PRiVATE Pajama Party XXX DVDRip 今天 10:56
3138110 [MP4/808MB] Pissing In Action Natural Born Pissers 72 XXX DVDRip 今天 10:56
3138109 [MP4/246MB] PetiteHDPorn - Alexis Crystal - Fitness Ball Fuck 今天 10:56
3138108 [MP4/340MB] MyWifesHotFriend - Nina Skye 今天 10:56
3138107 [MP4/1.60GB] My DP 4 (2018) WEB-DL SPLIT SCENES 今天 10:56
3138105 [MP4/419MB] MomsBangTeens - Khloe Kapri, and Alissa Jayde aka Alissa Avni - Too Horny To Sleep 今天 10:55
3138104 [MP4/1.65GB] Manuel Opens Their Asses 5 XXX DVDRip 今天 10:55
3138102 [MP4/292MB] IKnowThatGirl - Alina Lopez - Pros and Cons 今天 10:55
3138100 [MP4/199MB] HotLegsAndFeet - Sarah Sultry - Sultry Sensation 今天 10:54
3138099 [MP4/330MB] HardX - Riley Reyes - Big Booty Anal Creampie 今天 10:54
3138098 [MP4/348MB] FakeDrivingSchool - Sasha Steele - Instructor gets the full treatment 今天 10:54
3137909 [MP4/279MB] Tushy/Kristen Scott 后入绝色情人 今天 01:29
3137908 [MP4/609MB] TEAMSKEET/Alix Lovell 美巨乳的袭击 今天 01:29
3137907 [MP4/339MB] NubileFilms/Stella Cox 美艳的长腿黑丝 今天 01:28
3137906 [MP4/452MB] Passion-HD/Anna Rose 甜心美人的诱惑 今天 01:28
3137905 [MP4/324MB] Nubiles-Porn/Kirsten Lee 热裤美腿猎手 今天 01:28
3137904 [MP4/495MB] BangBros/Mandy Muse 绝品美臀少女 今天 01:28
3137903 [MP4/207MB] BreakingAsses/Sasha Rose 轮爆美人两穴 今天 01:27
3137902 [MP4/282MB] BLACKED/Lily Rader 美嫩妞独享双黒屌 今天 01:27
3137901 [MP4/583MB] Brazzers/Megan Rain 享受大屌的少女 今天 01:26
3137900 [MP4/659MB] Brazzers/Stella Cox 狂肏黑丝靓模的美嫩穴 今天 01:26
-------------------------------------------------------------------------------- /output/纪念达盖尔的板块.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** 纪念达盖尔的板块 ****************************
3126577 [原创][cl分享团出品]一本正经的未婚夫被调教成小色棍，妹子盖区首发原创[16P] Top-marks
3126588 [原创][cl分享团出品]团内少妇，假期宅在家里给榴友拍各种福利，你想来约吗[34P] Top-marks
3131070 [原创][cl分享团出品]新上手的新婚少妇，新婚床单都没来得及换，老公出差。就约我到家里，各种绝活伺候，美不胜收[63P] Top-marks
3126706 [原创]风骚婴儿肥小女友喜欢3p[12P] Top-marks
3131500 [原创][cl分享团出品][会员投稿]美艳小骚妻，丝袜高跟诱惑调教初成，请大家多多言语刺激，女主会看[15P] Top-marks
3129086 [原创][cl分享团出品][女神系列]ID验证 颜值身材在线95后舞蹈学院校花小女友情趣内衣勾引我[25P] Top-marks
3129347 [原创][cl分享团出品][会员投稿]温柔调皮团妹子，小猫咪的手势诱惑你，哥哥们来找我玩啊！[16P] Top-marks
3129453 [原创]护士老婆第四季：真空出门逛街电梯漏出[13P] Top-marks
3129291 [原创]贱宝原创]黑丝美少妇，穿着带三颗小珍珠的丁字裤真的好痒哦，这个装扮感觉好像小姐一样的，嗯~我是99号[20P] Top-marks
3129080 [原创][cl分享团出品]温馨圆床房，稚嫩蝴蝶逼，红色束缚带，与你共缠绵 [25P] Top-marks
3129074 [原创][cl分享团出品]  江山虫虫第三次投稿 遇见我花光了上辈子的所有运气。[15P] Top-marks
3128969 [原创][cl分享团]媳妇温泉出浴照，实在忍不住做了一次[25P] Top-marks
3128972 [原创][西安的太阳] 航展现场大胆露出！够刺激！硬的难受回酒店就开干！ [33P] Top-marks
3129057 [原创ID认证]520兔妈妈-再闹、再不配合也得完成丝袜拍摄[18P] Top-marks
3129193 [原创]五一雾都游玩之来一炮无套内射加验证[19P] Top-marks
3131963 [原创][cl分享团出品][会员投稿]周末无聊，约个妹子降一下初夏的炎热[16P] Top-marks
3131955 [原创][cl分享团出品]周末我和我的小女友激情的一天，玩的开的女友就是舒服[18P] Top-marks
3131961 [原创][cl分享团出品]网咖新认识的妹子聊的比较来，酒店进一步接触[17P] Top-marks
3131781 [原创][家有仙妻Lee]乳射内射梅开二度！美乳翘臀娇妻直呼好爽！带验证[38P] Top-marks
3131516 [原创][手写ID认证]吾家骚妻-孕妈妈偶遇小马哥1-不能再纯的纯拍 Top-marks
3131962 [原创][cl分享团出品]团内哥们满堂花醉在约前女友，一天一夜男女双双被榨干[27P] Top-marks
3130718 [原创][手势认证]从小到大认识的朋友，现在是人妻了可是魅力不减！分享给狼友们。[11P] Top-marks
3130163 [原创][cl分享团出品]ID:淫贱小骚妻第二次投稿，已经开发可以3P[20P] Top-marks
3129782 [原创][cl分享团出品][会员投稿] 墙上君子 分享自家骚妻 曼妙身材 [18P] Top-marks
3128864 [原创]淫荡小骚妻摆拍配合淫水直流求插入[18P] Top-marks
3127817 [原创][cl分享团出品]身材决定一切，黑白照片一样唯美。淫荡团妹，星空那片海5，1野性自拍。祝大家节日快乐[28P] Top-marks
3127819 [原创][cl分享团出品] 可乐投稿，娇羞小媳妇的色放，分享这两年的一些点点滴滴[19P] Top-marks
3127875 [原创]4.21微信上忽悠的一个小女娃，有点愧疚[32P] Top-marks
3127808 [原创][cl分享团出品]偶然的缘分，让我相遇。特别的缘分，让你在夜空中，宾馆里，展现你最美好的那一面[19P] Top-marks
3127658 [原创][榴友吧出品]瘦瘦的极品女友，也有满满的体验！[16P] Top-marks
3127226 [原创]五一带着炮友来到火车轨道旁压铁路[19P] Top-marks
3127865 [原创][cl分享团出品]团内公用母狗，欢迎大家来日[24P] Top-marks
3126688 [原創][cl分享團出品]路邊花300元吃快餐，結果居然是老同學，猿糞哪！[22P] Top-marks
3127866 [原创][cl分享团]自己的小女友，释放淫荡的一面[14P] Top-marks
3126489 [原创][老司机集结号][会员投稿]人妻网袜，水多穴紧让人欲罢不能[18P] Top-marks
3125768 [原创]坐标0431，小母狗期待交流 [14P] Top-marks
3126443 [原创]少妇骚妻 第五部 黑丝网袜 潮吹口爆颜射[31P] Top-marks
3120790 [原创分享][会员投稿]肤白貌美大长腿的大学同学，活好水多，表情销魂，颜射吞精，大白屁股及其诱人[56P] Top-marks
******************************************************
3138739 性感堅挺美乳妹子灌了些料后，到酒店把她衣服撕光光,真刺激~[26P] 今天 22:52
3138734 妹纸手机里的那些事。。[10P] 今天 22:48
3138696 酒店后入颜射性感美臀少妇[11P] 今天 21:41
3138672 意淫她淫蕩人妻[10P] 今天 21:24
3138645 俺是山东的算是情侣情人老婆吧，早熟你不喜欢的人，[17P] 今天 21:13
3138638 高产会员老婆剃毛嫩逼夹紧黄瓜不爽都难[12P] 今天 21:10
3138577 [原创][cl分享团出品]骚屄母狗茹茹调教开发中，长腿高跟写真，3P，多P指日可待[19P] 今天 20:03
3138539 寂寞的自习室，空虚的灵魂[38P] 今天 18:54
3138536 500块叫的鸡，拍给大家看看[15P] 今天 18:52
3138491 粉嫩小逼配女仆黑丝[12P] 今天 17:51
3138420 细带子总会让人无端觉得很性感[10P] 今天 17:33
3138425 [原创][已认证]极品清纯女神性感女神私房照~黑丝美腿诱惑，翘臀肤白美胸，妩媚迷人长腿美女，这够玩[29P] 今天 17:33
3138261 宾馆3P小情人[14P] 今天 17:33
3138170 [原创]丰满的小炮友[22P] 今天 17:33
3138106 [原创][榴友吧出品]周五了，极品小女友到万达工地来露出[13P] 今天 17:33
3138455 调教初见成效。保守的老婆终于能小玩了 [11P] 今天 17:21
3138453 出租屋内来一炮[12P] 今天 17:18
3138427 请大家来品鮑，妩媚小妖精抠逼又掰穴淫水流不停，不刺激你喷我~[25P] 今天 16:32
3138259 [原创][cl分享团出品]酒吧新认识的兼职模特，为了多接点单子，就这样沦陷了[24P] 今天 14:36
3138249 [原创][cl分享团出品]少妇空姐制服诱惑，听话的女人永远是最美的[25P] 今天 14:19
3138239 公司里的少妻，到酒店抱起来操到她呻吟直叫主人好[16P] 今天 14:00
3138227 80后大学学生自拍，挺嫩的[11P] 今天 13:18
3138177 很会玩的小情侣[13P] 今天 12:01
3138159 清纯小妹妹，薄薄的双唇如玫瑰花瓣娇嫩欲滴.骚气十足美骚骚分享大家[22P] 今天 11:38
3138114 阴毛很浓密的炮友性欲超强[12P] 今天 10:59
3138090 [原創][cl分享團出品]剃毛的誘惑，有狼友一起嗎？[19P] 今天 10:42
3138088 [原創][cl分享團出品]無套中出捆綁調教的母狗[20P] 今天 10:40
3138087 [原創][cl分享團出品]我那口活超好的老交情[29P] 今天 10:35
3138061 美尻自拍 大学生真嫩[10P] 今天 10:26
3138047 馒头白虎美穴[13P] 今天 10:21
3138045 绝对尤物，躺在床上，还露脸哦[15P] 今天 10:17
3138031 西安宾馆和女朋友嘿咻[16P] 今天 09:51
3138029 极品妹纸红嫩的小肉穴[12P] 今天 09:50
3137420 天气暖了，美女穿的清凉了[14P] 今天 09:22
3137957 早！都周五啦，这周过得好快呀。感谢有你！给我写一首爱情诗吧[25P] 今天 07:21
3137916 和学校女同学打炮的前奏[15P] 今天 02:02
3137910 很有领家大姐姐感觉的妹子，[10P] 今天 01:40
3137891 穿成这样勾引我，哪能放过你[10P] 今天 00:59
3137883 美女也需要大屌干小骚穴[11P] 今天 00:46
3137835 气质美女[10P] 今天 00:23
3137794 都是为了你而准备哦～性感情趣内裤掏出大鸡巴开始打飞机吧[19P] 今天 00:02
-------------------------------------------------------------------------------- /output/骑马的亚洲的电影.html: -------------------------------------------------------------------------------- 1 |

2018-05-11 23:54:15

************************** 骑马的亚洲的电影 ****************************
3138726 [HDMP4]5月11日 最新S-Cute 591-上品嬢様系美女絶頂／Kaho [vip1195] 今天 22:39
3138725 [HDMP4]5月11日 最新S-Cute 589-微妙姐姐愛SEX／Hirari [vip1195] 今天 22:39
3138724 [HDMP4]5月11日 最新S-Cute 577-潮濕糾纏／Kanade [vip1195] 今天 22:38
3138723 5月11日 最新S-Cute tks_001-巨乳美少女撮Ｈ／Miyu [vip1195] 今天 22:38
3138714 [MP4]MDB894以厄洛斯為混沌入學絕倫童貞的我~佐々木あき[HOT][VIP1187] 今天 22:05
3138713 [MP4]BAZX132純粹中出巨乳制服美少女 Vol.002[HOT][VIP1187] 今天 22:00
3138707 [MP4]MDTM361與E罩杯門生純粹中出溫泉旅行~川島今日子[HOT][VIP1187] 今天 21:55
3138700 [MP4]BAZX134新畢業社會一員工作和性交 VOL.004[HOT][VIP1187] 今天 21:52
3138698 [MP4]BAZX133 OL午餐時間演出工作 VOL.006[HOT][VIP1187] 今天 21:46
3138694 [MP4]BAZX131人妻護士不道德(男女關係)性交 Vol.001[HOT][VIP1187] 今天 21:40
3138630 [MP4/1.25G][GEGE-013] 新人OLを社内倉庫で痴漢してアナルとマ○コ2穴同時責め！！ ザーメ 今天 21:07
3138623 [MP4/2.91G]YRZ-059 働くオンナ獲り 【タイトスーツのスレンダーOLをハメ廻せ！！】 vol.20 今天 21:04
3138617 [MP4/794M]VENU-746 定年退職してヒマになったドスケベ義父の嫁いぢり 若菜奈央 今天 21:02
3138616 [MP4/1G]PRED-036 上司NTR【専属女優スペシャル！】～パワハラ上司が愛妻に完堕ちするまで中出し編～ 山岸逢花 今天 21:02
3138615 [MP4]GQL16 传说中的爆乳女優，极上中出SEX  夢野まりあ~[HOT][VIP1187] 今天 21:02
3138614 [MP4/2.29G]HND-509 禁欲女×絶倫男ナマで覚醒！本能剥き出し真正中出し解禁！！ 本田岬 今天 21:02
3138612 [MP4/1.23G]BDA-058 洗脳 潜入捜査官 波多野結衣 今天 21:01
3138611 [MP4]HUNT638 午睡中的美人OL，中途被修理工猥琐痴漢侵犯到高潮~[HOT][VIP1187] 今天 21:01
3138610 [MP4]HUNT639 性感家庭教师诱惑童贞少年解决性欲~[HOT][VIP1187] 今天 21:01
3138608 [MP4]HUNT640 漂亮表姐成熟的诱人身体，忍不住用肉棒让她高潮~[HOT][VIP1187] 今天 21:00
3138604 [MP4]IENE207 人妻妊娠検査，禽兽医生媚薬、電流責めで痙攣絶頂！生姦中出~[HOT][VIP1187] 今天 21:00
3138600 [MP4]IENE208 制服女高生爱液油SPA按摩做爱~[HOT][VIP1187] 今天 20:59
3138526 [MP4/ 1.38G] POST-412 コンビニエンスストア 美人万引犯を捕まえろ！  [vip1136] 今天 18:38
3138524 [MP4/ 1.4G] POCO-002 リアル検証100％ ド素人専門店で隠れて働く知り合  [vip1136] 今天 18:36
3138520 [MP4/ 1.37G]  POCO-001 走る密室 悪徳利尿剤おもらしタクシー 乗ったら最後！ [vip1136] 今天 18:25
3138519 [MP4/ 1.4G] PARM-127 恋するパンチラ ～無邪気なキミのパンチラに恋してる～  [vip1136] 今天 18:23
3138518 [MP4/ 1.65G] OYC-158 素人男女観察！モニタリングAV 女子○生と男性教師が禁断 [vip1136] 今天 18:22
3138517 [MP4/ 2.41G]OYC-153 ボクのことが大嫌いなあの子の弱みを握り性奴隷化に成功！  [vip1136] 今天 18:19
3138498 [HD/2.40G]SIRO-3400 【初撮り】ネットでAV応募→AV体験撮影 616 マリ 25歳 エステティシャン[vip0955] 今天 17:53
3138497 [HD/2.39G]SIRO-3354 【初撮り】ネットでAV応募→AV体験撮影 634 ちか 27歳 OL[vip0955] 今天 17:53
3138496 [HD/3.21G]300MIUM-234 【Fカップ留学生from台湾】経験人数1人！！フェラ未経験！[vip0955] 今天 17:53
3138495 [HD/2.59G]300MAAN-178  旦那を見送た後昼間から妄想昼飲を嗜む超美人で鍛え欠点無しの淫乱色気[vip0955] 今天 17:52
3138494 [HD/2.28G]259LUXU-248 ラグジュTV 199 北野のぞみ 22歳 AV女優[vip0955] 今天 17:52
3138492 [HD/2.42G]200GANA-1719 百戦錬磨のナンパ師のヤリ部屋で、連れ込みSEX隠し撮り 054[vip0955] 今天 17:52
3138443 [MP4]DANDY305在隐藏在公司的盲点中OL也不会拒绝~VIP1187 今天 16:58
3138442 [MP4]BOBB162最高级的海关传闻数量~VIP1187 今天 16:58
3138441 [MP4]BOBB160超美爆乳~VIP1187 今天 16:58
3138440 [MP4]AOZ124妹アナル中出し強姦~VIP1187 今天 16:58
3138439 [MP4]ALB196禁止文件~VIP1187 今天 16:58
3138438 [MP4]ALB195惩罚Gokkin！射精带着微笑！宇~VIP1187 今天 16:58
3138225 [FHD/5.82G]SNIS-770 交織的体液、濃密的性愛 完全未刪剪SP 湊莉久 今天 13:10
3138224 [FHD/5.00G]SNIS-769 被侵犯的巨乳女子校生 在校內被輪奸的優等生 美竹すず 今天 13:10
3138223 [FHD/10.1G]SNIS-768 風俗初体験 服務8回転全套240分 羽咲みはる 今天 13:10
3138222 [FHD/5.66G]IPZ-593 緊急参戦！FIRST IDEAPOCKET 姫野心愛 今天 13:09
3138221 [FHD/7.63G]IPZ-592 请给我最棒的快乐…。美雪ありす 横山みれい 水沢みゆ 今天 13:09
3138219 [FHD/5.05G]IPZ-591 性交新人美RQ 森咲みちる 今天 13:08
3138101 [FHD/8.03G]--NASS842 巨乳熟母[VIP1196] 今天 10:54
3138095 [FHD/4.86G]--GDHH102 泥酔超暴走[VIP1196] 今天 10:49
3138091 [FHD/7.05G]--GDHH101 學園生活 斉藤みゆ 星空もあ[VIP1196] 今天 10:42
3138071 [FHD/8.08G]--HUNTA442 女子校生部屋性愛[VIP1196] 今天 10:28
3138046 [FHD/8.08G]--HUNTA441 教師騎乗位[VIP1196] 今天 10:20
3138037 [ff0c][FHD MP4/6.9G]star914 原派 初中出解禁 三田杏[VIP1196] 今天 10:00
3138034 [2609][FHD MP4/7.9G]star913 小倉由菜 性感美容10變裝 240分SP[VIP1196] 今天 09:54
3138030 [0e5a][FHD MP4/4.7G]star912 全方位騎乗位 連続射精搾取SEX13発 桐谷[VIP1196] 今天 09:50
3138025 [d7bd][FHD MP4/6G]star911 市川雅美 SOD社員時 後輩男性口説sex？[VIP1196] 今天 09:40
3138024 [791f][FHD MP4/4.6G]star910 飛鳥鈴 姉下着羞恥服sex[VIP1196] 今天 09:35
3138023 [b0b9][FHD MP4/4.6G]star909 古川伊織 僕姉小悪魔淫語[VIP1196] 今天 09:34
3138022 [1736][FHD MP4/4.5G]sdnm149 伊東 26歳 最終章 痙攣状態人生[VIP1196] 今天 09:31
3138019 [1114][FHD MP4/7G]sdnm148 倉田恵 34歳 AV DEBUT 春始思不貞[VIP1196] 今天 09:21
3138017 [7e03][FHD MP4/4.3G]sdmu818 私H妄想叶 高本りさ（仮）21歳 AV [VIP1196] 今天 09:19
3137978 [e5e2][FHD MP4/4.2G]sdab058 八尋麻衣 19歳 SOD専属AV[VIP1196] 今天 08:21
3137868 [MP4]GETS075不道德SE的正當中人妻絕對地安靜真的懇求[HOT][VIP1187] 今天 00:35
3137857 [MP4]KKJ070認真說服被帥哥穩健派師說服的人妻9[HOT][VIP1187] 今天 00:30
3137839 [MP4]GDHH101學生和老師都肚臍全部露出內褲走光學園生活[HOT][VIP1187] 今天 00:24
3137830 [MP4]DVDMS254和善的女人先輩和晚輩公21位中出使節挑戰[HOT][VIP1187] 今天 00:19
3137810 [MP4]MGT026街角shiroutonanpa vol.08首次素人[HOT][VIP1187] 今天 00:11
3137803 [MP4]DVDMS252哈哈鏡出頭美人妻子限定整潔的太太白濁汁液溢出[HOT][VIP1187] 今天 00:08
3137793 [MP4]MGT027街角shiroutonanpa vol.09[HOT][VOI1187] 今天 00:02
******************************************************
3137788 [MP4]JUY494新居我被犯的-在茫然地凝視的丈夫面前~滝川菜々美[HOT][VIP1187] 昨天 23:57
-------------------------------------------------------------------------------- /quick_start.py: -------------------------------------------------------------------------------- 1 | # encoding: utf-8 2 | from config_utils.configreader import ConfigParams 3 | from crawlspider.spider import Spider 4 | 5 | 6 | def main(): 7 | config = ConfigParams('config.json') 8 | url_root, file_root, file_url, max_pages, block_info = config.get_1024_config() 9 | spider = Spider(url_root, file_root, file_url, max_pages, block_info) 10 | spider.crawl_1024() 11 | 12 | 13 | if __name__ == '__main__': 14 | main() 15 | --------------------------------------------------------------------------------