(.*?)
.*?(.*?)
',re.S) 48 | timeItem = re.findall(pattern3, req.content) 49 | oneImgs.set('imgDate', timeItem[0][0]+timeItem[0][1]).save() 50 | else: 51 | print '这一页失败了' 52 | ``` 53 | 54 | 核心代码如上。 55 | 56 | * 采用 request 库来进行网络请求。一旦返回的 statusCode 不等于 200,就不会进行下一步动作。 57 | * 采用正则来进行信息的过滤。当然 bs4 也是可以的。这里页面构造很简单,一会就写出来了。 58 | * 对于抓取的数字内容含有 "',' ').replace('
',' ') 48 | else: 49 | print 'data error' 50 | if(len(bookInfro) > 0): 51 | return bookInfro 52 | else: 53 | print 'no data' 54 | def start(self): 55 | for page in range(5,10): 56 | if(page == 0): 57 | baseUrl = 'https://book.douban.com/top250' 58 | self.getContent(baseUrl) 59 | print 'page 1 ok' 60 | else: 61 | baseUrl = 'https://book.douban.com/top250?start=' 62 | pages = page * 25 63 | url = baseUrl + str(pages) 64 | self.getContent(url) 65 | time.sleep(5) 66 | print 'page', page, 'ok' 67 | 68 | 69 | class BookSave(Object): 70 | # bookimgurl 71 | @property 72 | def imgUrl(self): 73 | return self.get('imgUrl') 74 | @imgUrl.setter 75 | def imgUrl(self, value): 76 | return self.set('imgUrl', value) 77 | 78 | # bookIntr 79 | @property 80 | def bookIntr(self): 81 | return self.get('bookIntr') 82 | @bookIntr.setter 83 | def bookIntr(self, value): 84 | return self.set('bookIntr', value) 85 | 86 | # bookTitle 87 | @property 88 | def bookTitle(self): 89 | return self.get('bookTitle') 90 | @bookTitle.setter 91 | def bookTitle(self, value): 92 | return self.set('bookTitle', value) 93 | 94 | # bookAuth 95 | @property 96 | def bookAuth(self): 97 | return self.get('bookAuth') 98 | @bookAuth.setter 99 | def bookAuth(self, value): 100 | return self.set('bookAuth', value) 101 | 102 | # bookRate 103 | @property 104 | def bookRate(self): 105 | return self.get('bookRate') 106 | @bookRate.setter 107 | def bookRate(self, value): 108 | return self.set('bookRate', value) 109 | 110 | # rateNum 111 | @property 112 | def rateNum(self): 113 | return self.get('rateNum') 114 | @rateNum.setter 115 | def rateNum(self, value): 116 | return self.set('rateNum', value) 117 | 118 | 119 | 120 | book = Book() 121 | book.start() 122 | -------------------------------------------------------------------------------- /BaiDu/GetPicture.py: -------------------------------------------------------------------------------- 1 | #-*- coding: utf-8 -*- 2 | __author__ = 'Wu_cf' 3 | 4 | import json 5 | import itertools 6 | import urllib 7 | import requests 8 | import os 9 | import re 10 | import sys 11 | sys.path.append('PIL') 12 | from PIL import Image as im 13 | 14 | 15 | str_table = { 16 | '_z2C$q': ':', 17 | '_z&e3B': '.', 18 | 'AzdH3F': '/' 19 | } 20 | 21 | char_table = { 22 | 'w': 'a', 23 | 'k': 'b', 24 | 'v': 'c', 25 | '1': 'd', 26 | 'j': 'e', 27 | 'u': 'f', 28 | '2': 'g', 29 | 'i': 'h', 30 | 't': 'i', 31 | '3': 'j', 32 | 'h': 'k', 33 | 's': 'l', 34 | '4': 'm', 35 | 'g': 'n', 36 | '5': 'o', 37 | 'r': 'p', 38 | 'q': 'q', 39 | '6': 'r', 40 | 'f': 's', 41 | 'p': 't', 42 | '7': 'u', 43 | 'e': 'v', 44 | 'o': 'w', 45 | '8': '1', 46 | 'd': '2', 47 | 'n': '3', 48 | '9': '4', 49 | 'c': '5', 50 | 'm': '6', 51 | '0': '7', 52 | 'b': '8', 53 | 'l': '9', 54 | 'a': '0' 55 | } 56 | 57 | # str 的translate方法需要用单个字符的十进制unicode编码作为key 58 | # value 中的数字会被当成十进制unicode编码转换成字符 59 | # 也可以直接用字符串作为value 60 | char_table = {ord(key): ord(value) for key, value in char_table.items()} 61 | 62 | # 解码图片URL 63 | def decode(url): 64 | # 先替换字符串 65 | for key, value in str_table.items(): 66 | url = url.replace(key, value) 67 | # 再替换剩下的字符 68 | return url.translate(char_table) 69 | 70 | # 生成网址列表 71 | def buildUrls(word): 72 | #底下这种用法是python3.x 73 | # word = urllib.parse.quote(word) 74 | #底下这种用法是python2.x 75 | word = urllib.quote(word) 76 | url = r"http://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&fp=result&queryWord={word}&cl=2&lm=-1&ie=utf-8&oe=utf-8&st=-1&ic=0&word={word}&face=0&istype=2nc=1&pn={pn}&rn=60" 77 | urls = (url.format(word=word, pn=x) for x in itertools.count(start=0, step=60)) 78 | return urls 79 | 80 | # 解析JSON获取图片URL 81 | re_url = re.compile(r'"objURL":"(.*?)"') 82 | def resolveImgUrl(html): 83 | imgUrls = [decode(x) for x in re_url.findall(html)] 84 | return imgUrls 85 | 86 | def downImg(imgUrl, dirpath, imgName): 87 | filename = os.path.join(dirpath, imgName) 88 | try: 89 | res = requests.get(imgUrl, timeout=15) 90 | if str(res.status_code)[0] == "4": 91 | print str(res.status_code), ":" , imgUrl 92 | return False 93 | except Exception as e: 94 | print "抛出异常：", imgUrl 95 | print e 96 | return False 97 | #图片写入文件 98 | with open(filename, "wb") as f: 99 | f.write(res.content) 100 | return True 101 | 102 | 103 | def mkDir(dirName): 104 | dirpath = os.path.join(sys.path[0], dirName) 105 | if not os.path.exists(dirpath): 106 | os.mkdir(dirpath) 107 | return dirpath 108 | 109 | def selectImg(): 110 | # 这里路径换成你自己的 111 | path = 'C:\\Users\\Administrator\\PycharmProjects\\self_spiderLearning\\results\\' 112 | for x in os.listdir(path): 113 | if x.endswith('.jpg'): 114 | # file是图像对象，并没有close（）方法 115 | try: 116 | fp = open(path+x,'rb') 117 | file = im.open(fp) 118 | except Exception as e: 119 | continue 120 | x1= file.size[0] 121 | y1= file.size[1] 122 | print x1,y1 ,x 123 | fp.close() 124 | if x1 < y1: 125 | try: 126 | os.remove(path+x) 127 | print "已删除 %s " % x 128 | except Exception as e: 129 | print "抛出异常：" 130 | print e 131 | 132 | 133 | 134 | 135 | if __name__ == '__main__': 136 | print "欢迎使用百度图片下载脚本！\n目前仅支持单个关键词。" 137 | print "下载结果保存在脚本目录下的results文件夹中。" 138 | print "=" * 50 139 | word = raw_input("请输入你要下载的图片关键词：\n") 140 | 141 | count = raw_input("请输入你要下载的图片的数目：\n") 142 | #创建保存图片的路径 143 | dirpath = mkDir("results") 144 | 145 | urls = buildUrls(word) 146 | index = 0 147 | flag = 1 148 | for url in urls: 149 | if flag == 2: 150 | break 151 | print "正在请求：", url 152 | html = requests.get(url, timeout=10).content.decode('utf-8') 153 | imgUrls = resolveImgUrl(html) 154 | if len(imgUrls) == 0: # 没有图片则结束 155 | break 156 | for url in imgUrls: 157 | 158 | if downImg(url, dirpath, str(index) + ".jpg"): 159 | index += 1 160 | #print type(index),type(count) 161 | if index > int(count): 162 | flag = 2 163 | break 164 | print "已下载 %s 张" % index 165 | print u'开始执行选择图片程序' 166 | selectImg() 167 | -------------------------------------------------------------------------------- /ZhiHu/GetImgs.py: -------------------------------------------------------------------------------- 1 | #-*- coding: utf-8 -*- 2 | __author__ = 'Wu_cf' 3 | from auth import islogin 4 | from auth import Logging 5 | import requests,cookielib,sys,urllib,urllib2,os,json,re 6 | from bs4 import BeautifulSoup 7 | basePath = r'F:\SPIDER_IMGS' 8 | requests = requests.Session() 9 | requests.cookies = cookielib.LWPCookieJar('cookies') 10 | 11 | try: 12 | requests.cookies.load(ignore_discard=True) 13 | except: 14 | Logging.error(u"你还没有登录知乎哦 ...") 15 | Logging.info(u"执行 `python auth.py` 即可以完成登录。") 16 | raise Exception("无权限(403)") 17 | if islogin() != True: 18 | Logging.error(u"你的身份信息已经失效，请重新生成身份信息( `python auth.py` )。") 19 | raise Exception("无权限(403)") 20 | reload(sys) 21 | sys.setdefaultencoding('utf8') 22 | url = 'http://www.zhihu.com/question/31159026' 23 | ''' 24 | 图片获取类 25 | ''' 26 | class GetPic: 27 | url = None 28 | def __init__(self,url): 29 | self.url = url 30 | r = requests.get(self.url) 31 | self.soup = BeautifulSoup(r.content,"lxml") 32 | print r.status_code 33 | ''' 34 | 获取中文标题 35 | ''' 36 | def getTitle(self): 37 | #replace() 将换行替换成空格 38 | title = self.soup.find("h2", class_="zm-item-title").string.replace("\n", "") 39 | return self 40 | ''' 41 | 获取答案数量,这个很重要，图片(图片url)就包含在答案中， 42 | ''' 43 | def getAnsNums(self): 44 | answers_num = 0 45 | if self.soup.find("h3", id="zh-question-answer-num") != None: 46 | #可以参考这个源码，取出里面的字段。。。 47 | answers_num = int(self.soup.find("h3", id="zh-question-answer-num")["data-num"]) 48 | print u"共有",answers_num,u"条回复" 49 | return answers_num 50 | ''' 51 | 下载图片,这里可能写的有点乱.注明一下：1：首先我们在还未点击加载更多时候，提取图片，即 if i== 0阶段 52 | 2：在我们点击了加载更多时候，提取图片（我们可以在点击加载更多时候，看看浏览器发送了什么内容） 53 | 3:具体的可以看http://lovenight.github.io这里的博客，写的非常详细，具体实现肯呢个不一样，但是思路都是一样的 54 | ''' 55 | def getAllImgs(self): 56 | answers_num = self.getAnsNums() 57 | img_counter = 0 58 | for i in xrange((answers_num - 1) / 50 + 1): 59 | if i == 0: 60 | img_list = self.soup.find_all("img", class_="origin_image zh-lightbox-thumb lazy") 61 | for img in img_list: 62 | img_url = img["data-original"] 63 | picname = str(img_counter) + '.jpg' 64 | filename = os.path.join(basePath,picname) 65 | urllib.urlretrieve(img_url,filename) 66 | img_counter += 1 67 | print u"第%s"%img_counter,u"下载成功" 68 | else: 69 | print u"===第",i,u"次xrf请求" 70 | post_url = "http://www.zhihu.com/node/QuestionAnswerListV2" 71 | urls = "http://www.zhihu.com/" 72 | r = requests.get(urls) 73 | results = re.compile(r"\',' ').replace('
',' ') 100 | else: 101 | print 'data error' 102 | if(len(bookInfro) > 0): 103 | return bookInfro 104 | else: 105 | print 'no data' 106 | else: 107 | print 'error' 108 | 109 | # 启动函数 110 | def start(self): 111 | for page in range(5,10): 112 | if(page == 0): 113 | baseUrl = 'https://book.douban.com/top250' 114 | self.getContent(baseUrl) 115 | print 'page 1 ok' 116 | else: 117 | baseUrl = 'https://book.douban.com/top250?start=' 118 | pages = page * 25 119 | url = baseUrl + str(pages) 120 | self.getContent(url) 121 | time.sleep(3) 122 | print 'page', page, 'ok' 123 | ``` 124 | 125 | 如上即为整个爬取代码的核心部分。 126 | 127 | 1. Requests 库来进行网络请求。其会返回请求状态码。我们可以根据该状态码是否为 200 来判断是否请求成功。 128 | 2. BeautifulSoup 库和 re 来进行页面元素的提取。之所以在用到 bs 的情况下又用到 re ，是因为在提取书籍介绍内容的过程中有很多相同的 Item ,这时候用 bs 提取会获取的一些你不想获取的数据。所以用正则来层层向外扩张过滤。 129 | 3. 加上一个 time.spleep(3) 来防止被豆瓣识别出来。也是极其简单的策略。 130 | 4. 爬取的数据大多都是不规整的。比如空格,扩号,换行 等等。这时候我们就需要 python 中非常基础的字符串处理函数和正则**来进一步过滤数据了**。 131 | 5. 对于有一些你爬取的数据,十分有必要检查一下它的大小。因为极有可能在该数据为空的情况下,你对他进行一些字符串的操作处理。这样会导致一些不必要的异常发生,从而会导致爬虫终止。 132 | 133 | ## 四 . 个人总结 134 | 135 | 整个爬取过程还是很简单的。没有涉及到登录以及其他复杂的验证过程。主要提取出来的数据是为了 One App 服务。爬到数据就好了。比如速度和量都没有刻意追求。加上延时的话也才一分多钟就爬好了。另外文中也说了这里请求的 url 很简单。直接在地址栏告诉你规律。如果有的网站地址栏变化不告诉你,你就要去后台看看**在你拖动页面往下或者点击下一页**的时候 network 中有没有什么参数发生变化。一般都是 [XHR](http://baike.baidu.com/item/XMLHTTPRequest) 这个参数会发生变化。点进去看看就好了。 136 | 137 | 以上,**感谢阅读**。 -------------------------------------------------------------------------------- /LaGou/lagouCrawler.py: -------------------------------------------------------------------------------- 1 | # -*- coding:utf-8 -*- 2 | import urllib,datetime 3 | import requests,re,time 4 | import pymongo 5 | import time,threading 6 | import simplejson as json 7 | import sys 8 | reload(sys) 9 | sys.setdefaultencoding('utf-8') 10 | 11 | class lagouCrawler: 12 | 13 | def __init__(self): 14 | 15 | global collection 16 | global db 17 | client = pymongo.MongoClient("localhost", 27017) 18 | db = client.lagouDB 19 | 20 | def insert_data(self,data): 21 | 22 | data['_id'] = data['positionId'] 23 | data['updateTime'] = datetime.datetime.now() 24 | # 防止重复插入 25 | db.Collection.update_one( 26 | filter={'_id': data['_id']}, 27 | update={'$set': data}, 28 | upsert=True 29 | ) 30 | count = db.Collection.count() 31 | print u'已经存储了：',count,u'条记录' 32 | 33 | 34 | def get_data(self,url,pageNum,keyWord): 35 | 36 | page_headers = { 37 | 'Host': 'www.lagou.com', 38 | 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 39 | 'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3', 40 | 'Connection': 'keep-alive' 41 | } 42 | # 构建表单 43 | play_load = {'first': 'false', 'pn': pageNum, 'kd': keyWord} 44 | # 代理容易失效,自己替换 45 | proxies = { 46 | "http": "http://42.159.251.84:41795", 47 | "http": "http://121.33.226.167:3128", 48 | 'http': 'http://121.61.96.241:8118', 49 | 'http': 'http://39.1.46.165:8080' 50 | } 51 | # requests 请求 52 | req = requests.post(url, headers=page_headers, params=play_load) 53 | # 如果 pageNo == 0 表示后面没有页数了，不用继续往后面请求了 54 | if req.json()['content']['pageNo'] == 0: 55 | flag = True 56 | return flag 57 | 58 | # 如果 status_code == 200 表示请求正常 59 | if req.status_code == 200: 60 | req = req.json() 61 | 62 | if (('content' in req)): 63 | list_con = req['content']['positionResult']['result'] 64 | if len(list_con) >= 0: 65 | for i in list_con: 66 | # 构建存储字段 67 | formatData = { 68 | "companyShortName": i['companyShortName'], 69 | "salary":i['salary'], 70 | "city": i['city'], 71 | "education": i['education'], 72 | "positionName": i['positionName'], 73 | "workYear": i['workYear'], 74 | "companySize": i['companySize'], 75 | "financeStage": i['financeStage'], 76 | "industryField": i['industryField'], 77 | "positionId":i['positionId'] 78 | } 79 | 80 | lagouCrawler.insert_data(formatData) 81 | 82 | else: 83 | print u'数据错误：',req 84 | 85 | else: 86 | print u'网络不好,返回状态码：',req.status_code 87 | 88 | def start(self): 89 | 90 | for hy in hangye: 91 | print u'当前行业是：', hy 92 | # 中文字符转换成16进制 93 | keyWord1 = urllib.quote(hy) 94 | for i in citys: 95 | print u'当前城市是：',i 96 | keyWord2 = urllib.quote(i) 97 | url = 'http://www.lagou.com/jobs/positionAjax.json?hy={hy}&px=default&city={city}&needAddtionalResult=false' 98 | url = url.format(hy=keyWord1,city=keyWord2) 99 | for positionItem in positions: 100 | print u'当前职位是：', positionItem 101 | for page in xrange(1, 31): 102 | print u'当前抓取页面是：', page 103 | time.sleep(10) 104 | infoItem = lagouCrawler.get_data(url, page, positionItem) 105 | if infoItem == True: 106 | break 107 | print u'抓取完毕。' 108 | 109 | if __name__ == '__main__': 110 | 111 | count = 0 112 | 113 | # 职位 114 | positions = ['HTML5', 'Android', 'Python', 'PHP','.NET', 'C#', 'C++', 'C', 'VB', 'Perl', 'Ruby', 'Hadoop', 'Node.js', 'Go', 115 | 'ASP', 'Shell', '自然语言处理', '搜索推荐', '精准推荐','技术经理', '架构师', '测试', '技术总监', 116 | 'IOS', 'JavaScript', '网络工程师', 'UI', 'UE', '数据分析', 'MongoDB', 'MySql', 'SQLServer', 'Oracle', 117 | '运维工程师', 'WEB安全', '网络安全','数据挖掘', 'Java','爬虫工程师'] 118 | 119 | # 城市 120 | citys = ['北京', '上海', '深圳', '广州', '杭州', '成都', '南京', '武汉', '西安', '厦门', '长沙', '苏州', '天津', 121 | '重庆', '合肥', '济南', '大连', '珠海', '宁波', '中山'] 122 | 123 | # 行业 124 | hangye = ['教育','文化娱乐','移动互联网','游戏','O2O','硬件','社交网络','旅游',' 医疗健康','生活服务','信息安全',' 数据服务','广告营销','分类信息','电子商务','金融','企业服务',] 125 | 126 | lagouCrawler = lagouCrawler() 127 | lagouCrawler.start() 128 | 129 | -------------------------------------------------------------------------------- /One/one.py: -------------------------------------------------------------------------------- 1 | # -*- coding:utf-8 -*- 2 | from bs4 import BeautifulSoup 3 | import requests,re 4 | import leancloud 5 | from leancloud import Object 6 | import time 7 | 8 | ''' 9 | 爬虫类,用来从 one 上抓取图片,问题以及回答 10 | ''' 11 | class One: 12 | def __init__(self): 13 | leancloud.init("xxxx", "xxxx") 14 | self.pageIndex = 1 15 | self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 16 | self.headers = {'User-Agent': self.user_agent} 17 | 18 | def getContent(self,url): 19 | req = requests.get(url,headers=self.headers) 20 | if req.status_code == 200: 21 | oneImgs = OneImg() 22 | # 图片 URL 23 | pattern0 = re.compile('(.*?)
.*?(.*?)
',re.S) 38 | timeItem = re.findall(pattern3, req.content) 39 | oneImgs.set('imgDate', timeItem[0][0]+timeItem[0][1]).save() 40 | else: 41 | print '这一页失败了' 42 | 43 | 44 | def getQA(self,url): 45 | reqContent = requests.get(url,headers=self.headers) 46 | if reqContent.status_code == 200: 47 | oneQa = OneQa() 48 | # 获取问题以及简介 49 | pattern = re.compile( 50 | '.*?