├── .gitignore
├── README.md
├── fimfic.php
├── sina-article.php
├── sina-list.php
├── test
    ├── gethim.txt
    ├── ns.txt
    └── suntest.txt
├── tool-rev.php
└── wenku8.php


/.gitignore:
--------------------------------------------------------------------------------
1 | .idea/*
2 | *.mobi
3 | /test.php


--------------------------------------------------------------------------------
/README.md:
--------------------------------------------------------------------------------
  1 | # advanced-php-crawler
  2 | ## 新浪博客/FimFiction/wenku8轻小说文库 全能爬虫
  3 | 
  4 | 这套PHP编写的小程序可以帮助喜欢在电子书阅读器上看新浪博客上文章的你，它可以根据已知的文章列表来爬行，亦可以根据已知的文章目录来爬行——你只需要将URL写入一个文本文件，接着调用程序即可。当然，你可以使用`#`符号作为注释，与bash类似。而且，它生成的是gitbook的标准格式，可以用gitbook/calibre工具自动生成多种格式（mobi/epub/pdf）的电子书。文章细节均已自动优化，爬行图片保存到本地，也生成封面，且使用MarkDown格式，只为带给你完美的阅读体验！
  5 | ## 简明教程
  6 | 淀粉月刊撰写的本程序简明教程：[https://dfkan.com/1635.html](https://dfkan.com/1635.html)
  7 | ## 文件功能详解：
  8 | 
  9 | 需要PHP5以上版本，Windows用户可安装[phpstudy](http://www.phpstudy.net/)。
 10 | 
 11 | ### wenku8.php
 12 | 
 13 | 它用于抓取wenku8.net（轻小说文库）的全本小说，生成分卷章节，打包mobi/epub电子书。
 14 | 
 15 | > 输入wenku8.net的BookID，抓取并生成电子书。
 16 | > 
 17 | > 使用方法：
 18 | > 
 19 | > php wenku8.php <BookID>
 20 | > 
 21 | > 命令示例：
 22 | > 
 23 | > php wenku8.php 1538
 24 | > 
 25 | > #即为网址 https://www.wenku8.net/book/1538.htm
 26 | 
 27 | ### sina-list.php
 28 | 
 29 | 它用于爬行像这样子的博客文章目录：
 30 | ![][image-1]
 31 | 
 32 | >  新浪博客爬虫-列表爬虫
 33 | > 
 34 | > -可以集合已知文章目录（/s/articlelist*）里面的文章列表
 35 | > 
 36 | > 使用方法：
 37 | > 
 38 | > php sina-list.php \<网址文件\>
 39 | > 
 40 | > 参数解释：
 41 | > 
 42 | > \<网址文件\>：一行一个网址，请使用电脑版访问后复制
 43 | > 
 44 | > 命令示例：
 45 | > 
 46 | > php sina-list.php urls.txt
 47 | > 
 48 | > 网址文件示例：
 49 | > 
 50 | > http://blog.sina.com.cn/s/articlelist_123456wsla.html #我是注释
 51 | > 
 52 | > http://blog.sina.com.cn/s/articlelist_789456wsex.html 
 53 | > 
 54 | 
 55 | ### sina-article.php
 56 | 它用于爬行像这样子的具体文章：
 57 | ![][image-2]
 58 | 
 59 | > 新浪博客爬虫-文章爬虫
 60 | > 
 61 | > -可以提取已知文章页面（/s/blog*）里面的文章
 62 | > 
 63 | > 使用方法：
 64 | > 
 65 | > php sina-article.php \<网址文件\>
 66 | > 
 67 | > 参数解释：
 68 | > 
 69 | > \<网址文件\>：一行一个网址，请使用电脑版访问后复制
 70 | > 
 71 | > 命令示例：
 72 | > 
 73 | > php sina-article.php urls.txt
 74 | > 
 75 | > 网址文件示例：
 76 | > 
 77 | > http://blog.sina.com.cn/s/blog_123456wsla.html
 78 | > 
 79 | > http://blog.sina.com.cn/s/blog_789456wsex.html
 80 | > 
 81 | 
 82 | ### tool-rev.php
 83 | 它用于把上面说的网址文件前前后后颠倒过来
 84 | > 新浪博客爬虫-网址文件反转工具
 85 | > 
 86 | > -将某个网址文件里面的url全部反转过来，可用于处理新旧文章顺序等
 87 | > 
 88 | > 使用方法：
 89 | > php tool-rev.php \<网址文件\>
 90 | > 
 91 | > 参数解释：
 92 | > 
 93 | > \<网址文件\>：一行一个网址，请使用电脑版访问后复制
 94 | > 
 95 | > 命令示例：
 96 | > 
 97 | > php tool-rev.php urls.txt
 98 | > 
 99 | > 网址文件示例：
100 | > 
101 | > http://blog.sina.com.cn/s/xxx_123456wsla.html
102 | > 
103 | > http://blog.sina.com.cn/s/xxx_789456wsex.html
104 | > 
105 | 
106 | ### fimfic.php
107 | 这个脚本专门用于处理FimFiction的故事，同时包括抓取图片、调用彩云小译API翻译正文为中英双语对照格式。
108 | 
109 | > 使用方法：php fimfic.php <Story网址>
110 | > 
111 | > 命令示例：php fimfic.php https://www.fimfiction.net/story/318771/earth-without-us
112 | 
113 | ## 附录
114 | [Gitbook安装全解](http://www.jianshu.com/p/7476afdd9248)
115 | 
116 | [Gitbook+Calibre安装及使用](https://kindlefere.com/post/288.html#gb_6)
117 | 
118 | [1]:	https://kindlefere.com/post/82.html
119 | 
120 | [image-1]:	https://ww2.sinaimg.cn/large/006tNbRwgy1fdizlqnd8qj30s40i30wu.jpg
121 | [image-2]:	https://ww1.sinaimg.cn/large/006tNbRwgy1fdizoxf1ivj30i40m7tgl.jpg


--------------------------------------------------------------------------------
/fimfic.php:
--------------------------------------------------------------------------------
  1 | <?php
  2 | date_default_timezone_set('Asia/Shanghai');
  3 | set_time_limit(0);
  4 | if ($argc < 2) {
  5 | 	echo <<<EOF
  6 | 
  7 | ==========
  8 | FimFiction爬虫
  9 | -输入fimfiction.net的Story网址，抓取、翻译（保留英文原文）并生成电子书。
 10 | 使用方法：
 11 | php $argv[0] <Story网址>
 12 | 命令示例：
 13 | php $argv[0] https://www.fimfiction.net/story/318771/earth-without-us
 14 | ==========
 15 | 
 16 | EOF;
 17 | 	exit ;
 18 | }
 19 | $url = $argv[1];
 20 | if (!$url) {
 21 | 	echo '网址为空 ' . $argv[1] . PHP_EOL;
 22 | 	exit ;
 23 | }
 24 | $bookHtml=file_get_contents($url);
 25 | preg_match('/\/story\/\d+/',$url,$m);
 26 | $storyId=substr($m[0],7);
 27 | preg_match('/\/story\/\d+\/(.*)/',$url,$m);
 28 | $storyName=$m[1];
 29 | preg_match_all('/class="chapter-title" href="(.*?)"/',$bookHtml,$m);
 30 | $chapterUrls=$m[1];
 31 | 
 32 | 
 33 | 
 34 | if(file_exists($storyName)){
 35 | 	delDirAndFile($storyName);
 36 | 	echo '检测到此书本存在，已经删除旧的文件' . PHP_EOL;
 37 | }
 38 | mkdir($storyName);
 39 | $img_name=$storyName.'/img';
 40 | mkdir($img_name);
 41 | try{
 42 | 	preg_match('/property="og:image" content="(.*?)"/',$bookHtml,$m);
 43 | 	$coverUrl=$m[1];
 44 | 	file_put_contents($storyName.'/cover.jpg',file_get_contents($coverUrl));
 45 | }catch(Exception $e){
 46 | 	echo '无法抓取封面' . PHP_EOL;
 47 | }
 48 | file_put_contents($storyName.'/SUMMARY.md','# 目录'.PHP_EOL.'* [说明](README.md)'.	PHP_EOL);
 49 | file_put_contents($storyName.'/README.md','# 说明'.PHP_EOL.'本电子书使用[FimFiction爬虫](https://github.com/juzeon/advanced-php-crawler)创建，祝你阅读愉快！'.PHP_EOL);
 50 | echo PHP_EOL.PHP_EOL;
 51 | foreach($chapterUrls as $count=>$url) {
 52 | 	$url='https://www.fimfiction.net'.$url;
 53 | 	echo '#现在处理：' . $url . PHP_EOL;
 54 | 	for ($i = 0; $i < 5; $i++) {
 55 | 		$result = workUrl($url);
 56 | 		echo '#标题：' . $result['title'] . PHP_EOL;
 57 | 		if (empty($result['content'])) {
 58 | 			if($i==4){
 59 | 				echo '##ERROR：正则匹配失败，且超出5次重试次数，请打开网页检查问题。' . PHP_EOL . '---------' . PHP_EOL;
 60 | 				break;
 61 | 			}
 62 | 			echo '##ERROR：正则匹配失败！重试次数'.($i+1) . PHP_EOL;
 63 | 			sleep(2);
 64 | 			continue;
 65 | 		} else {
 66 | 			echo '##内容有效' . PHP_EOL;
 67 | 		}
 68 | 		$content=$result['content'];
 69 | 		preg_match_all('/class="user_image" src="(.*?)"/',$content,$img_matches);
 70 | 		
 71 | 		if(!empty($img_matches)){
 72 | 			mkdir($img_name.'/'.$count);
 73 | 			for($j=0;$j<count($img_matches[1]);$j++){
 74 | 				echo '##正在存图：'.$img_matches[1][$j]. PHP_EOL;
 75 | 				for ($ji = 0; $ji < 5; $ji++) {
 76 | 					$img_content=file_get_contents($img_matches[1][$j]);
 77 | 					if (empty($img_content)) {
 78 | 						if($ji==4){
 79 | 							echo '##ERROR：正则匹配失败，且超出5次重试次数，自动略过。' . PHP_EOL . '---------' . PHP_EOL;
 80 | 							break;
 81 | 						}
 82 | 						echo '##ERROR：正则匹配失败！重试次数'.($ji+1) . PHP_EOL;
 83 | 						sleep(2);
 84 | 						continue;
 85 | 					} else {
 86 | 						echo '##图片有效' . PHP_EOL;
 87 | 					}
 88 | 					//$base64=chunk_split(base64_encode($img_content));
 89 | 					file_put_contents($img_name.'/'.$count.'/'.$j.strrchr($img_matches[1][$j],'.'),$img_content);
 90 | 					$content=str_ireplace($img_matches[1][$j],'" >'.PHP_EOL.PHP_EOL.'![img-'.$j.']('.'img/'.$count.'/'.$j.strrchr($img_matches[1][$j],'.').')'.PHP_EOL.PHP_EOL.'<xx x="',$content);
 91 | 					break;
 92 | 				}
 93 | 				
 94 | 			}
 95 | 		}
 96 | 		$content=strip_tags($content);
 97 | 		$content=str_replace('&nbsp;',' ',$content);
 98 | 		$content=str_replace('&quot;','"',$content);
 99 | 		$content=str_ireplace('_', '\\_', $content);
100 | 		$content=preg_replace('/		*/',' ',$content);
101 | 		$content=preg_replace('/ {4,}/',' ',$content);
102 | 		$content=caiyunTranslate($content);
103 | 		$f=fopen($storyName.'/'.$count.'.md','w');
104 | 		fwrite($f,'# '.$result['title'].PHP_EOL.'### 序号：'.$count.PHP_EOL.$content.PHP_EOL);
105 | 		fclose($f);
106 | 		$f=fopen($storyName.'/SUMMARY.md','a');
107 | 		fwrite($f,'* ['.$result['title'].']('.$count.'.md)'.PHP_EOL);
108 | 		fclose($f);
109 | 		echo '#写入数据完毕' . PHP_EOL . '---------' . PHP_EOL;
110 | 		$count++;
111 | 		break;
112 | 	}
113 | }
114 | echo '=============='.PHP_EOL.'#开始处理书本依赖文件'.PHP_EOL;
115 | $json_book=array(
116 | 'title'=>$storyName,
117 | 'description'=>'FimFiction爬虫于'.date('Y年m月d日 H:i').'生成的电子书',
118 | 'language'=>'en-us',
119 | 'author'=>'FimFiction爬虫'
120 | );
121 | $book_json=json_encode($json_book);
122 | file_put_contents($storyName.'/book.json',$book_json);
123 | echo '#全部任务处理完毕' . PHP_EOL . '---------' . PHP_EOL;
124 | echo '#你可以编辑book.json来修改这本书的详细信息，然后——'.PHP_EOL;
125 | echo '#使用gitbook工具输出为mobi格式电子书：gitbook mobi '.$storyName.'/ '.$storyName.'.mobi'.PHP_EOL;
126 | echo '#使用gitbook工具输出为epub格式电子书：gitbook epub '.$storyName.'/ '.$storyName.'.epub'.PHP_EOL;
127 | echo '#注意：需要安装gitbook和calibre/ebook-convert，参考资料：'.PHP_EOL;
128 | echo 'http://www.jianshu.com/p/7476afdd9248'.PHP_EOL;
129 | echo 'https://kindlefere.com/post/288.html#gb_6'.PHP_EOL;
130 | echo '===========' . PHP_EOL . PHP_EOL;
131 | 
132 | 
133 | function delDirAndFile( $dirName )
134 | {
135 | if ( $handle = opendir( "$dirName" ) ) {
136 | while ( false !== ( $item = readdir( $handle ) ) ) {
137 | if ( $item != "." && $item != ".." ) {
138 | if ( is_dir( "$dirName/$item" ) ) {
139 | delDirAndFile( "$dirName/$item" );
140 | } else {
141 | unlink( "$dirName/$item" );
142 | }
143 | }
144 | }
145 | closedir( $handle );
146 | rmdir( $dirName );
147 | }
148 | }
149 | function workUrl($url) {
150 | 	$content='';
151 | 	$article=file_get_contents(trim($url));
152 | 	preg_match('/(<div class="bbcode">)([\s\S]*?)<style>/', $article, $content);
153 | 	$content = $content[0];
154 | 
155 |     $content=str_ireplace('#', '\\#', $content);
156 | 	$content=str_ireplace('`', '\\`', $content);
157 | 	$content=str_replace('*','\\*', $content);
158 | 	$content=str_replace('~', '\\~', $content);
159 | 	$content=preg_replace_callback('/<b>(.*?)<\/b>/',function($m){
160 | 		return ' **'.trim($m[1]).'** ';
161 | 	},$content);
162 | 	$content=preg_replace_callback('/<i>(.*?)<\/i>/',function($m){
163 | 		return ' *'.trim($m[1]).'* ';
164 | 	},$content);
165 | 	$content=preg_replace('/\n*/','',$content);
166 | 	$content=str_ireplace('</div>',PHP_EOL.PHP_EOL, $content);
167 | 	$content=str_ireplace('</p>',PHP_EOL.PHP_EOL, $content);
168 | 	$content=preg_replace('/<[bB][rR][ ]*\/[ ]*>/',PHP_EOL.PHP_EOL,$content);
169 | 	
170 | 	preg_match('/<title>(.*?)<\/title>/', $article, $title);
171 | 	$title = str_replace('&nbsp;', ' ', strip_tags($title[0]));
172 | 	$title=str_replace('_','\\_', $title);
173 | 	$result['title'] = $title;
174 | 	$result['content'] = $content;
175 | 	return $result;
176 | }
177 | function caiyunTranslate($content){
178 | 	echo '##正在调用彩云小译API生成双语正文' . PHP_EOL;
179 | 	//$sendContent=preg_replace('/!\[img-\d+\]\(data:image\/jpg\/png\/gif;base64,([\s\S]*?)\)/','',$content);
180 | 	$brokenText=explode(PHP_EOL.PHP_EOL,$content);
181 | 	$sendText=[];
182 | 	$returnText=[];
183 | 	foreach($brokenText as $paragraph){
184 | 		$paragraph=trim($paragraph);
185 | 		if(!empty($paragraph)){
186 | 			$sendText[]=preg_replace('/!\[img-\d+\]\\((.*?)\)/','Image',$paragraph);
187 | 			$returnText[]=$paragraph;
188 | 		}
189 | 	}
190 | 	$ch = curl_init();
191 | 	curl_setopt($ch, CURLOPT_URL,'https://api.interpreter.caiyunai.com/v1/translator');
192 | 	$request=[
193 | 		'source'=>$sendText,
194 | 		'trans_type'=>'en2zh',
195 | 		'request_id'=>'web_fanyi',
196 | 	];
197 | 	$requestData=json_encode($request);
198 | 	curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
199 | 	curl_setopt($ch, CURLOPT_HTTPHEADER, array('x-authorization: token:cy4fgbil24jucmh8jfr5',
200 | 	'Content-Type: application/json',
201 | 	'Content-Length:' . strlen($requestData),
202 | 	'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:65.0) Gecko/20100101 Firefox/65.0')); 
203 | 	curl_setopt($ch, CURLOPT_POSTFIELDS, $requestData);
204 | 	curl_setopt($ch, CURLOPT_NOBODY, FALSE);
205 | 	curl_setopt($ch, CURLOPT_HEADER, FALSE);
206 | 	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
207 | 	curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE);
208 | 	$res = curl_exec($ch);
209 | 	curl_close($ch);
210 | 	$returnString='';
211 | 	foreach(json_decode($res)->target as $key=>$item){
212 |         $item=str_ireplace('#', '\\#', $item);
213 |         $item=str_ireplace('`', '\\`', $item);
214 |         $item=str_replace('*','\\*', $item);
215 |         $item=str_replace('~', '\\~', $item);
216 | 		$returnString.=$returnText[$key].PHP_EOL.PHP_EOL.$item.PHP_EOL.PHP_EOL.'&nbsp;'.PHP_EOL.PHP_EOL;
217 | 	}
218 | 	
219 | 	echo '##正文翻译完毕' . PHP_EOL;
220 | 	return $returnString;
221 | }
222 | 


--------------------------------------------------------------------------------
/sina-article.php:
--------------------------------------------------------------------------------
  1 | <?php
  2 | date_default_timezone_set('Asia/Shanghai');
  3 | function delDirAndFile( $dirName )
  4 | {
  5 | if ( $handle = opendir( "$dirName" ) ) {
  6 | while ( false !== ( $item = readdir( $handle ) ) ) {
  7 | if ( $item != "." && $item != ".." ) {
  8 | if ( is_dir( "$dirName/$item" ) ) {
  9 | delDirAndFile( "$dirName/$item" );
 10 | } else {
 11 | unlink( "$dirName/$item" );
 12 | }
 13 | }
 14 | }
 15 | closedir( $handle );
 16 | rmdir( $dirName );
 17 | }
 18 | }
 19 | function workUrl($url) {
 20 | 	/*$client = new SinHttpClient();
 21 | 	$client -> request -> setHeader('User-Agent', 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)');
 22 | 	$client -> get(trim($url));
 23 | 	$article = $client -> response -> body;*/
 24 | 	$content='';
 25 | 	$article=file_get_contents(trim($url));
 26 | 	if(strpos($article,'<!-- 正文开始 -->')){
 27 | 		preg_match('/<!-- 正文开始 -->([\s\S]*)<!-- 正文结束 -->/', $article, $content);
 28 | 	}else{
 29 | 		preg_match('/<!-- 内容区 -->([\s\S]*)<!--\/内容区-->/', $article, $content);
 30 | 	}
 31 | 	//$content = str_replace(PHP_EOL . PHP_EOL, PHP_EOL, strip_tags($content[0]));
 32 | 	$content = str_replace('　', ' ', $content[0]);
 33 | 	
 34 | 	
 35 | 	$content=str_ireplace('`', '\\`', $content);
 36 | 	$content=str_replace('*','\\*', $content);
 37 | 	$content=str_replace('~', '\\~', $content);
 38 | 	$content=str_ireplace('<strong>', '**', $content);
 39 | 	$content=str_ireplace('</strong>', '**', $content);
 40 | 	$content=str_ireplace('<em>', '*', $content);
 41 | 	$content=str_ireplace('</em>', '*', $content);
 42 | 	
 43 | 	preg_match('/<title>(.*?)_(.*)<\/title>/', $article, $title);
 44 | 	$title = str_replace('&nbsp;', ' ', strip_tags($title[0]));
 45 | 	$title=str_replace('_','\\_', $title);
 46 | 	$result['title'] = $title;
 47 | 	$result['content'] = $content;
 48 | 	return $result;
 49 | }
 50 | function get_true_url($url){
 51 | 	if(strpos($url,'#')==-1){
 52 | 		return trim($url);
 53 | 	}else{
 54 | 		$true_url=trim(explode('#',trim($url))[0]);
 55 | 		return $true_url;
 56 | 	}
 57 | }
 58 | 
 59 | set_time_limit(0);
 60 | if ($argc < 2) {
 61 | 	echo <<<EOF
 62 | 
 63 | ==========
 64 | 新浪博客爬虫-文章爬虫
 65 | -可以提取已知文章页面（/s/blog*）里面的文章
 66 | 使用方法：
 67 | php $argv[0] <网址文件>
 68 | 参数解释：
 69 | <网址文件>：一行一个网址，请使用电脑版访问后复制
 70 | 命令示例：
 71 | php $argv[0] urls.txt
 72 | 网址文件示例：
 73 | http://blog.sina.com.cn/s/blog_123456wsla.html
 74 | http://blog.sina.com.cn/s/blog_789456wsex.html
 75 | ==========
 76 | 
 77 | EOF;
 78 | 	exit ;
 79 | }
 80 | $format = $argv[2];
 81 | $urls = file_get_contents($argv[1]);
 82 | if (!$urls) {
 83 | 	echo '无法读取网址文件 ' . $argv[1] . PHP_EOL;
 84 | 	exit ;
 85 | }
 86 | $name=explode('.',$argv[1])[0];
 87 | $name='BOOK+'.preg_replace('/(\/|\\\)/','-',$name);
 88 | $urls = explode(PHP_EOL, $urls);
 89 | if(file_exists($name)){
 90 | 	delDirAndFile($name);
 91 | 	echo '检测到此书本存在，已经删除旧的文件' . PHP_EOL;
 92 | }
 93 | mkdir($name);
 94 | $img_name=$name.'/img';
 95 | mkdir($img_name);
 96 | file_put_contents($name.'/SUMMARY.md','# 目录'.PHP_EOL.'* [说明](README.md)'.	PHP_EOL);
 97 | file_put_contents($name.'/README.md','# 说明'.PHP_EOL.'本电子书使用[新浪博客爬虫](https://github.com/juzeon/advanced-php-crawler)创建，祝你阅读愉快！'.PHP_EOL);
 98 | $cover_created=false;
 99 | //$dir = preg_replace('/(\/|\\\)/','-',$name).'-'.time();
100 | //mkdir($dir);
101 | echo PHP_EOL.PHP_EOL;
102 | $count=0;
103 | foreach ($urls as $url) {
104 | 	$url=get_true_url($url);
105 | 	if (empty($url)) {
106 | 		continue;
107 | 	}
108 | 	echo '#现在处理：' . $url . PHP_EOL;
109 | 	for ($i = 0; $i < 5; $i++) {
110 | 		$result = workUrl($url);
111 | 		echo '#标题：' . $result['title'] . PHP_EOL;
112 | 		if (empty($result['content'])) {
113 | 			if($i==4){
114 | 				echo '##ERROR：正则匹配失败，且超出5次重试次数，请打开网页检查问题。' . PHP_EOL . '---------' . PHP_EOL;
115 | 				break;
116 | 			}
117 | 			echo '##ERROR：正则匹配失败！重试次数'.($i+1) . PHP_EOL;
118 | 			sleep(2);
119 | 			continue;
120 | 		} else {
121 | 			echo '##内容有效' . PHP_EOL;
122 | 		}
123 | 		//$f = fopen($dir . '/'.$name, 'a');
124 | 		//fwrite($f, '###' . $result['title'] . PHP_EOL . str_replace('&nbsp;','',$result['content'])  . PHP_EOL.'--------' . PHP_EOL);
125 | 		$content=$result['content'];
126 | 		preg_match_all('/real_src ="http[s]*:\/\/(.*)\.sinaimg\.cn\/(.*?)"/',$content,$img_matches);
127 | 		
128 | 		if(!empty($img_matches)){
129 | 			mkdir($img_name.'/'.$count);
130 | 			for($j=0;$j<count($img_matches[2]);$j++){
131 | 				echo '##正在存图：'.'http://'.$img_matches[1][$j].'.sinaimg.cn/'.$img_matches[2][$j] . PHP_EOL;
132 | 				for ($ji = 0; $ji < 5; $ji++) {
133 | 					$img_content=file_get_contents('http://'.$img_matches[1][$j].'.sinaimg.cn/'.$img_matches[2][$j]);
134 | 					if (empty($img_content)||md5($img_content)=='7bd88df2b5be33e1a79ac91e7d0376b5') {
135 | 						if($ji==4){
136 | 							echo '##ERROR：正则匹配失败，且超出5次重试次数，自动略过。' . PHP_EOL . '---------' . PHP_EOL;
137 | 							break;
138 | 						}
139 | 						echo '##ERROR：正则匹配失败！重试次数'.($ji+1) . PHP_EOL;
140 | 						sleep(2);
141 | 						continue;
142 | 					} else {
143 | 						echo '##图片有效' . PHP_EOL;
144 | 					}
145 | 					file_put_contents($img_name.'/'.$count.'/'.$j.'.jpg',$img_content);
146 | 					if($cover_created==false){
147 | 						file_put_contents($name.'/cover.jpg',$img_content);
148 | 						$cover_created=true;
149 | 					}
150 | 					//$content=preg_replace('/real_src ="http[s]*:\/\/'.$img_matches[1][$j].'\.sinaimg\.cn\/'.$img_matches[2][$j].'"/',' >'.'[img-'.$j.']('.$img_name.'/'.$count.'/'.$j.'.jpg)'.'<xx ',$content);
151 | 					$content=str_ireplace($img_matches[1][$j].'.sinaimg.cn/'.$img_matches[2][$j],'" >'.PHP_EOL.'![img-'.$j.']('.'img/'.$count.'/'.$j.'.jpg)'.PHP_EOL.'<xx x="',$content);
152 | 					break;
153 | 				}
154 | 				
155 | 			}
156 | 		}
157 | 		$content=str_replace('&nbsp;',' ',$content);
158 | 		$content=preg_replace('/\n*/','',$content);
159 | 		$content=str_ireplace('</div>',PHP_EOL.PHP_EOL, $content);
160 | 		$content=str_ireplace('</p>',PHP_EOL.PHP_EOL, $content);
161 | 		$content=preg_replace('/<[bB][rR][ ]*\/[ ]*>/',PHP_EOL.PHP_EOL,$content);
162 | 		$content=strip_tags($content);
163 | 		$content=str_ireplace('_', '\\_', $content);
164 | 		$content=preg_replace('/ {4,}/',' ',$content);
165 | 		$content=preg_replace('/		*/',' ',$content);
166 | 		//$content=preg_replace('/\n{1}?/',PHP_EOL.PHP_EOL,$content);
167 | 		$f=fopen($name.'/'.$count.'.md','w');
168 | 		fwrite($f,'# '.$result['title'].PHP_EOL.'### 序号：'.$count.PHP_EOL.$content.PHP_EOL);
169 | 		fclose($f);
170 | 		$f=fopen($name.'/SUMMARY.md','a');
171 | 		fwrite($f,'* ['.$result['title'].']('.$count.'.md)'.PHP_EOL);
172 | 		fclose($f);
173 | 		echo '#写入数据完毕' . PHP_EOL . '---------' . PHP_EOL;
174 | 		$count++;
175 | 		break;
176 | 	}
177 | }
178 | echo '=============='.PHP_EOL.'#开始处理书本依赖文件'.PHP_EOL;
179 | $json_book=array(
180 | 'title'=>explode('.',$argv[1])[0],
181 | 'description'=>'新浪博客爬虫于'.date('Y年m月d日 H:i').'生成的电子书',
182 | 'language'=>'zh-cn',
183 | 'author'=>'新浪博客爬虫'
184 | );
185 | $book_json=json_encode($json_book);
186 | file_put_contents($name.'/book.json',$book_json);
187 | echo '#全部任务处理完毕' . PHP_EOL . '---------' . PHP_EOL;
188 | echo '#你可以编辑book.json来修改这本书的详细信息，然后——'.PHP_EOL;
189 | echo '#使用gitbook工具输出为mobi格式电子书：gitbook mobi '.$name.'/ '.explode('.',$argv[1])[0].'.mobi'.PHP_EOL;
190 | echo '#使用gitbook工具输出为epub格式电子书：gitbook epub '.$name.'/ '.explode('.',$argv[1])[0].'.epub'.PHP_EOL;
191 | echo '#注意：需要安装gitbook和calibre/ebook-convert，参考资料：'.PHP_EOL;
192 | echo 'http://www.jianshu.com/p/7476afdd9248'.PHP_EOL;
193 | echo 'https://kindlefere.com/post/288.html#gb_6'.PHP_EOL;
194 | echo '===========' . PHP_EOL . PHP_EOL;
195 | 


--------------------------------------------------------------------------------
/sina-list.php:
--------------------------------------------------------------------------------
 1 | <?php
 2 | function workUrl($url){
 3 | 	$http=file_get_contents($url);
 4 | 	$blogUrls='';
 5 | 	$titles='';
 6 | 	preg_match_all('/http:\/\/blog.sina.com.cn\/s\/blog_[^"]+/',$http,$blogUrls);
 7 | 	preg_match_all('/<span class="atc_title">([\s\S]+?)<\/span>/',$http,$titles);
 8 | 	return array('blogUrls'=>$blogUrls,'titles'=>$titles);
 9 | }
10 | function get_true_url($url){
11 | 	if(strpos($url,'#')==-1){
12 | 		return trim($url);
13 | 	}else{
14 | 		$true_url=trim(explode('#',trim($url))[0]);
15 | 		return $true_url;
16 | 	}
17 | }
18 | 
19 | set_time_limit(0);
20 | if ($argc < 2) {
21 | 	echo <<<EOF
22 | 
23 | ==========
24 | 新浪博客爬虫-列表爬虫
25 | -可以集合已知文章目录（/s/articlelist*）里面的文章列表
26 | 使用方法：
27 | php $argv[0] <网址文件>
28 | 参数解释：
29 | <网址文件>：一行一个网址，请使用电脑版访问后复制
30 | 命令示例：
31 | php $argv[0] urls.txt
32 | 网址文件示例：
33 | http://blog.sina.com.cn/s/articlelist_123456wsla.html
34 | http://blog.sina.com.cn/s/articlelist_789456wsex.html
35 | ==========
36 | 
37 | EOF;
38 | 	exit ;
39 | }
40 | $format = $argv[2];
41 | $urls = file_get_contents($argv[1]);
42 | if (!$urls) {
43 | 	echo '无法读取网址文件 ' . $argv[1] . PHP_EOL;
44 | 	exit ;
45 | }
46 | $name=explode('.',$argv[1])[0];
47 | $urls = explode(PHP_EOL, $urls);
48 | $name = 'LIST+'.preg_replace('/(\/|\\\)/','-',$name).'.txt';
49 | if(file_exists($name)){
50 | 	unlink($name);
51 | 	echo '检测到此LIST存在，已经删除旧的文件' . PHP_EOL;
52 | }
53 | echo PHP_EOL.PHP_EOL;
54 | foreach ($urls as $url) {
55 | 	$url=get_true_url($url);
56 | 	if (empty($url)) {
57 | 		continue;
58 | 	}
59 | 	echo '#现在处理：' . $url . PHP_EOL;
60 | 	for ($i = 0; $i < 5; $i++) {
61 | 		$result = workUrl($url);
62 | 		if(empty($result['blogUrls'][0][0])){
63 | 			if($i==4){
64 | 				echo '##ERROR：正则匹配失败，且超出5次重试次数，请打开网页检查问题。' . PHP_EOL . '---------' . PHP_EOL;
65 | 				break;
66 | 			}
67 | 			echo '##ERROR：正则匹配失败！重试次数'.($i+1) . PHP_EOL;
68 | 			sleep(2);
69 | 			continue;
70 | 		}
71 | 		echo '##本页文章：'.PHP_EOL;
72 | 		$f = fopen($name, 'a');
73 | 		for($j=0;$j<count($result['blogUrls'][0]);$j++){
74 | 			$title=trim(str_replace('&nbsp;','',strip_tags($result['titles'][0][$j])));
75 | 			$blogUrl=trim($result['blogUrls'][0][$j]);
76 | 			fwrite($f,$blogUrl.PHP_EOL);
77 | 			echo '['.$title.']('.$blogUrl.')'.PHP_EOL;
78 | 		}
79 | 		fclose($f);
80 | 		echo '#写入数据完毕' . PHP_EOL . '---------' . PHP_EOL;
81 | 		break;
82 | 	}
83 | }
84 | echo '#输出文件：'. $name . PHP_EOL;
85 | echo '#全部任务处理完毕' . PHP_EOL . '---------' . PHP_EOL;
86 | echo '#你现在可以使用sina-article.php来爬取文章内容' . PHP_EOL . '===========' . PHP_EOL . PHP_EOL;


--------------------------------------------------------------------------------
/test/gethim.txt:
--------------------------------------------------------------------------------
 1 | http://blog.sina.com.cn/s/blog_76b432900102whi9.html
 2 | http://blog.sina.com.cn/s/blog_76b432900102whia.html
 3 | http://blog.sina.com.cn/s/blog_76b432900102wi64.html
 4 | http://blog.sina.com.cn/s/blog_76b432900102wiln.html
 5 | http://blog.sina.com.cn/s/blog_76b432900102wj2p.html
 6 | http://blog.sina.com.cn/s/blog_76b432900102wjgb.html
 7 | http://blog.sina.com.cn/s/blog_76b432900102wjwp.html
 8 | http://blog.sina.com.cn/s/blog_76b432900102wk97.html
 9 | http://blog.sina.com.cn/s/blog_76b432900102wkpg.html
10 | http://blog.sina.com.cn/s/blog_76b432900102wl4w.html
11 | http://blog.sina.com.cn/s/blog_76b432900102wlnj.html
12 | http://blog.sina.com.cn/s/blog_76b432900102wlq2.html
13 | http://blog.sina.com.cn/s/blog_76b432900102wlvb.html
14 | http://blog.sina.com.cn/s/blog_76b432900102wm41.html
15 | http://blog.sina.com.cn/s/blog_76b432900102wmbm.html
16 | http://blog.sina.com.cn/s/blog_76b432900102wmpw.html
17 | 
18 | http://blog.sina.com.cn/s/blog_76b432900102wn4y.html
19 | http://blog.sina.com.cn/s/blog_76b432900102wndn.html
20 | http://blog.sina.com.cn/s/blog_76b432900102wnli.html
21 | http://blog.sina.com.cn/s/blog_76b432900102wnzq.html
22 | http://blog.sina.com.cn/s/blog_76b432900102wo98.html
23 | http://blog.sina.com.cn/s/blog_76b432900102woir.html
24 | http://blog.sina.com.cn/s/blog_76b432900102wou0.html
25 | http://blog.sina.com.cn/s/blog_76b432900102wp6c.html
26 | http://blog.sina.com.cn/s/blog_76b432900102wpff.html
27 | http://blog.sina.com.cn/s/blog_76b432900102wq0o.html
28 | 


--------------------------------------------------------------------------------
/test/ns.txt:
--------------------------------------------------------------------------------
1 | http://blog.sina.com.cn/s/blog_76b432900102whi8.html
2 | http://blog.sina.com.cn/s/blog_76b432900102whi9.html
3 | http://blog.sina.com.cn/s/blog_76b432900102whia.html
4 | http://blog.sina.com.cn/s/blog_76b432900102wi64.html
5 | http://blog.sina.com.cn/s/blog_76b432900102wiln.html
6 | 
7 | http://blog.sina.com.cn/s/blog_76b432900102wgid.html


--------------------------------------------------------------------------------
/test/suntest.txt:
--------------------------------------------------------------------------------
1 | http://blog.sina.com.cn/s/blog_76b432900102whau.html
2 | http://blog.sina.com.cn/s/blog_76b432900102wgid.html
3 | http://blog.sina.com.cn/s/blog_9c4ea27d0100z16t.html


--------------------------------------------------------------------------------
/tool-rev.php:
--------------------------------------------------------------------------------
 1 | <?php
 2 | set_time_limit(0);
 3 | if ($argc < 2) {
 4 | 	echo <<<EOF
 5 | 
 6 | ==========
 7 | 新浪博客爬虫-网址文件反转工具
 8 | -将某个网址文件里面的url全部反转过来，可用于处理新旧文章顺序等
 9 | 使用方法：
10 | php $argv[0] <网址文件>
11 | 参数解释：
12 | <网址文件>：一行一个网址，请使用电脑版访问后复制
13 | 命令示例：
14 | php $argv[0] urls.txt
15 | 网址文件示例：
16 | http://blog.sina.com.cn/s/xxx_123456wsla.html
17 | http://blog.sina.com.cn/s/xxx_789456wsex.html
18 | ==========
19 | 
20 | EOF;
21 | 	exit ;
22 | }
23 | $format = $argv[2];
24 | $urls = file_get_contents($argv[1]);
25 | if (!$urls) {
26 | 	echo '无法读取网址文件 ' . $argv[1] . PHP_EOL;
27 | 	exit ;
28 | }
29 | echo '#开始处理：' . $argv[1] . PHP_EOL;
30 | $urls = explode(PHP_EOL, $urls);
31 | $new_urls=array_reverse($urls);
32 | $f = fopen($argv[1], 'w');
33 | foreach($new_urls as $item){
34 | 	fwrite($f,$item.PHP_EOL);
35 | }
36 | fclose($f);
37 | echo '#处理完毕，已覆盖写入文件' . PHP_EOL . '---------' . PHP_EOL;
38 | echo '#你现在可以使用sina-article.php来爬取文章内容，或者用sina-list.php来爬取文章列表了' . PHP_EOL . '===========' . PHP_EOL . PHP_EOL;


--------------------------------------------------------------------------------
/wenku8.php:
--------------------------------------------------------------------------------
  1 | <?php
  2 | date_default_timezone_set('Asia/Shanghai');
  3 | set_time_limit(0);
  4 | if ($argc < 2) {
  5 |     echo <<<EOF
  6 | 
  7 | ==========
  8 | wenku8爬虫
  9 | -输入wenku8.net的BookID，抓取并生成电子书。
 10 | 使用方法：
 11 | php $argv[0] <BookID>
 12 | 命令示例：
 13 | php $argv[0] 1538
 14 | ==========
 15 | 
 16 | EOF;
 17 |     exit ;
 18 | }
 19 | $storyId = $argv[1];
 20 | if (!$storyId) {
 21 |     echo 'BookID为空 ' . $argv[1] . PHP_EOL;
 22 |     exit ;
 23 | }
 24 | $bookUrl='https://www.wenku8.net/book/'.$storyId.'.htm';
 25 | $bookHtml=strToUtf8(file_get_contents($bookUrl));
 26 | preg_match('/<title>(.*?)-/',$bookHtml,$m);
 27 | $storyName=$m[1];
 28 | 
 29 | preg_match('/<a href="(.*?)">小说目录<\/a>/',$bookHtml,$m);
 30 | $chaptersPageUrl=$m[1];
 31 | $chaptersPageBaseUrl=substr($chaptersPageUrl,0,-9);
 32 | $chaptersHtml=strToUtf8(file_get_contents($chaptersPageUrl));
 33 | 
 34 | $tmpHtml=explode('<td class="vcss" colspan="4">',$chaptersHtml);
 35 | $chapterUrls=[];
 36 | foreach ($tmpHtml as $key=>$item){
 37 |     if($key==0){
 38 |         continue;
 39 |     }
 40 |     preg_match('/^(.*?)<\/td>/',$item,$m);
 41 |     $volTitle=$m[1];
 42 |     preg_match_all('/<td class="ccss"><a href="(.*?)">(.*?)<\/a>/',$item,$m);
 43 |     $arr=[];
 44 |     foreach ($m[1] as $k=>$v){
 45 |         if($m[2][$k]=='插图')continue;
 46 |         $arr[$m[2][$k]]=$chaptersPageBaseUrl.$v;
 47 |     }
 48 |     $chapterUrls[$volTitle]=$arr;
 49 | }
 50 | 
 51 | 
 52 | if(file_exists($storyId)){
 53 |     delDirAndFile($storyId);
 54 |     echo '检测到此书本存在，已经删除旧的文件' . PHP_EOL;
 55 | }
 56 | mkdir($storyId);
 57 | $img_name=$storyId.'/img';
 58 | mkdir($img_name);
 59 | try{
 60 |     preg_match('/<img src="(.*?)" border="0" width="168" align="center" hspace="5" vspace="0" \/>/',$bookHtml,$m);
 61 |     $coverUrl=$m[1];
 62 |     file_put_contents($storyId.'/cover.jpg',file_get_contents($coverUrl));
 63 | }catch(Exception $e){
 64 |     echo '无法抓取封面' . PHP_EOL;
 65 | }
 66 | file_put_contents($storyId.'/SUMMARY.md','# 目录'.PHP_EOL.'* [说明](README.md)'.	PHP_EOL);
 67 | file_put_contents($storyId.'/README.md','# 说明'.PHP_EOL.'本电子书使用[wenku8爬虫](https://github.com/juzeon/advanced-php-crawler)创建，祝你阅读愉快！'.PHP_EOL);
 68 | echo PHP_EOL.PHP_EOL;
 69 | 
 70 | $count=0;
 71 | foreach($chapterUrls as $volTitle=>$vol) {
 72 |     $f=fopen($storyId.'/SUMMARY.md','a');
 73 |     fwrite($f,'* ['.$volTitle.'](SUMMARY.md)'.PHP_EOL);
 74 |     fclose($f);
 75 |     foreach ($vol as $chapterTitle=>$chapterUrl){
 76 |         echo '#现在处理：' . $chapterTitle.' - '.$volTitle.' '.$chapterUrl . PHP_EOL;
 77 |         for ($i = 0; $i < 5; $i++) {
 78 |             $chapterHtml=strToUtf8(file_get_contents($chapterUrl));
 79 |             preg_match('/<\/ul>([\s\S]*?)<ul id/',$chapterHtml,$m);
 80 |             $content=$m[1];
 81 |             $content=str_replace('&nbsp;&nbsp;&nbsp;&nbsp;','',$content);
 82 |             $content=str_replace('<br />',PHP_EOL.PHP_EOL,$content);
 83 |             if(empty(trim($content))){
 84 |                 if($i==4){
 85 |                     echo '##ERROR：正则匹配失败，且超出5次重试次数，请打开网页检查问题。' . PHP_EOL . '---------' . PHP_EOL;
 86 |                     break;
 87 |                 }
 88 |                 echo '##ERROR：正则匹配失败！重试次数'.($i+1) . PHP_EOL;
 89 |                 sleep(2);
 90 |                 continue;
 91 |             }else{
 92 |                 echo '##内容有效' . PHP_EOL;
 93 |             }
 94 |             $content=strip_tags($content);
 95 |             $f=fopen($storyId.'/'.$count.'.md','w');
 96 |             fwrite($f,'# '.$chapterTitle.PHP_EOL.'### 序号：'.$count.PHP_EOL.'### 字数：'.number_format(mb_strlen($content)).PHP_EOL.$content.PHP_EOL);
 97 |             fclose($f);
 98 |             $f=fopen($storyId.'/SUMMARY.md','a');
 99 |             fwrite($f,'   * ['.$chapterTitle.' - '.$volTitle.']('.$count.'.md)'.PHP_EOL);
100 |             fclose($f);
101 |             echo '#写入数据完毕' . PHP_EOL . '---------' . PHP_EOL;
102 |             $count++;
103 |             break;
104 |         }
105 |     }
106 | }
107 | echo '=============='.PHP_EOL.'#开始处理书本依赖文件'.PHP_EOL;
108 | $json_book=array(
109 |     'title'=>$storyName,
110 |     'description'=>'wenku8爬虫于'.date('Y年m月d日 H:i').'生成的电子书',
111 |     'language'=>'zh-cn',
112 |     'author'=>'wenku8爬虫'
113 | );
114 | $book_json=json_encode($json_book);
115 | file_put_contents($storyId.'/book.json',$book_json);
116 | echo '#全部任务处理完毕' . PHP_EOL . '---------' . PHP_EOL;
117 | echo '#你可以编辑book.json来修改这本书的详细信息，然后——'.PHP_EOL;
118 | echo '#使用gitbook工具输出为mobi格式电子书：gitbook mobi '.$storyId.'/ '.$storyId.'.mobi'.PHP_EOL;
119 | echo '#使用gitbook工具输出为epub格式电子书：gitbook epub '.$storyId.'/ '.$storyId.'.epub'.PHP_EOL;
120 | echo '#注意：需要安装gitbook和calibre/ebook-convert，参考资料：'.PHP_EOL;
121 | echo 'http://www.jianshu.com/p/7476afdd9248'.PHP_EOL;
122 | echo 'https://kindlefere.com/post/288.html#gb_6'.PHP_EOL;
123 | echo '===========' . PHP_EOL . PHP_EOL;
124 | 
125 | 
126 | function delDirAndFile( $dirName )
127 | {
128 |     if ( $handle = opendir( "$dirName" ) ) {
129 |         while ( false !== ( $item = readdir( $handle ) ) ) {
130 |             if ( $item != "." && $item != ".." ) {
131 |                 if ( is_dir( "$dirName/$item" ) ) {
132 |                     delDirAndFile( "$dirName/$item" );
133 |                 } else {
134 |                     unlink( "$dirName/$item" );
135 |                 }
136 |             }
137 |         }
138 |         closedir( $handle );
139 |         rmdir( $dirName );
140 |     }
141 | }
142 | function strToUtf8 ($str = '') {
143 |     $current_encode = mb_detect_encoding($str, array("ASCII","GB2312","GBK",'BIG5','UTF-8'));
144 |     $encoded_str = mb_convert_encoding($str, 'UTF-8', $current_encode);
145 |     return $encoded_str;
146 | }


--------------------------------------------------------------------------------