闲鱼APP数据爬虫
4 | 5 |
6 |
7 | [特性](#特性) | [技术架构](#技术架构) | [快速开始](#快速开始) | [使用说明](#使用说明) | [免责声明](#免责声明) | [常见问题](#常见问题) | [学习交流](#学习交流)
8 |
9 | 现在闲鱼出了网页版，基于uiautomator2的本项目可以废弃不用了，详情请使用[闲鱼网页版](https://www.goofish.com/)
10 |
11 | 🚀「闲鱼APP数据爬虫」一个基于uiautomator2的闲鱼APP爬虫项目，严禁将所得数据商用！ 本项目只供学习使用，作者不承担任何由此带来的法律风险和损失！如果本项目对你有用，点个Start，方便回顾知识~
12 |
18 |
19 | # 👻特性
20 |
21 | - [x] 支持任意关键词采集
22 | - [x] 支持数据导出Excel
23 | - [x] 支持自定义上滑次数
24 |
25 | # ✨技术架构
26 |
27 | - Python3.6+
28 | - uiautomator2
29 |
30 | # 1、闲鱼软件（PC+APP+H5多端版本）
31 |
32 | ## 主要功能介绍
33 |
34 | 1. 全天候监控：捡漏能够24小时不间断监控闲鱼平台，确保用户能第一时间发现低价商品。
35 | 2. 关键词自动捡漏：用户可以设置关键词，应用将自动筛选出含有这些关键词的低价商品。
36 | 3. 尽情霸占发布者：一旦发现合适的商品，捡漏王能帮助用户迅速与发布者取得联系，提高交易成功率。
37 | 4. 智能筛选商品：应用内置智能筛选机制，能过滤掉非目标商品，仅展示最符合用户需求的选项。
38 | 5. 查看商品详细信息：用户可以快速查看商品的详细信息，帮助决策是否购买。
39 | 6. 下单声音：捡漏王提供下单声音功能，在下单的时候有提醒。
40 | 7. 钉钉推送：可以把目标商品推送到指定的钉钉上。
41 | 8. 强聊：捡漏王重点强调其独特的服务功能，可以帮你和卖家无缝链接。
42 | 9. 支持老板定制化需求：对于有特殊需求的商家，可提供定制化服务，满足不同用户的个性求。
43 |
44 | ## 软件页面
45 | 
46 | 
47 | 
48 |
49 |
50 | # 2、闲鱼爬虫（uiautomator2版本）
51 | # 🚨快速开始
52 |
53 | ## 1、环境准备
54 |
55 | 1. clone本项目代码
56 | 2. 在项目根目录创建Python虚拟环境venv
57 | 1. `cd xianyu_spider`
58 | 2. `pip install virtualenv`
59 | 3. `virtualenv venv`
60 | 3. 安装依赖库`pip install -r requirements.txt`
61 | 4. 本次使用的是uiautomator2和USB真机调试，请打开Android手机USB调试模式并连接到电脑
62 | 5. 首次通过uiautomator2连接手机时，会自动在手机上安装一个小黄车APP
63 | 6. 打开cmd输入`adb devices`获取设备ID
64 |
65 | ## 2、运行项目
66 |
67 | 1. 将设备ID输入xianyu.py的`d = u2.connect("设备ID")`中
68 | 2. 运行`python xianyu.py`即可进行采集，如需更改采集数据，可更改main函数keyword即可`main(keyword='餐饮券')`
69 |
70 | # 🍔使用说明
71 |
72 | 1. 本次使用的是uiautomator2和USB真机调试，请打开手机USB调试模式并连接到电脑
73 | 2. 本次只采集了每个商品的【标题、价格、图片】
74 | 3. 如果想采集其他信息，可使用weditor进行调试，自行更改相应代码，命令行输入`weditor`自动打开调试辅助工具
75 | 
76 | 4. 程序运行完成后，会在当前目录下生成`YYYY-MM-dd结果.xlsx`
77 |
78 | ## 运行截图
79 |
80 | - 运行截图
81 | 
82 | - 运行结果
83 | 
84 |
85 | # 👻常见问题
86 |
87 | ## 错误：atxagent 下次必须通过adb启动
88 |
89 | ```shell
90 | 电脑USB连接安卓设备；
91 |
92 | 1. 查看设备是否成功连接：adb devices
93 | 出现的真实设备名称在device前即连接成功；
94 | 2. 进入手机shell环境：adb shell
95 | 3. 赋予设备权限：chmod 775 /data/local/tmp/atx-agent
96 | 4. 后台启动atx-agent： /data/local/tmp/atx-agent server -d
97 | ```
98 |
99 | ## 错误：device显示unauthorized
100 |
101 | 如果输入`adb devices`显示unauthorized表示usb调试模式授权有问题，按如下方式调整
102 |
103 | ```shell
104 | 1、手机里点击【撤销USB调试授权】
105 | 2、电脑上重启adb
106 | adb kill-server
107 | adb start-server
108 | 3、然后重新连接
109 | ```
110 |
111 | # 免责声明
112 |
113 | 请勿将`xianyu_spider`应用到任何可能会违反法律规定和道德约束的工作中，请友善使用`xianyu_spider`，遵守蜘蛛协议，不要将`xianyu_spider`用于任何非法用途。如您选择使用`xianyu_spider`
114 | 即代表您遵守此协议，作者不承担任何由于您违反此协议带来任何的法律风险和损失，一切后果由您承担。
115 |
116 | # 学习交流
117 |
118 | > 扫码入群交流学习，如群二维码失效请加作者微信：echo_python，备注：python群
119 |
120 |
13 | 
14 | 
15 | 
16 |
121 |
122 |
123 |
124 |
--------------------------------------------------------------------------------
/example/4231722418513_.pic.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/4231722418513_.pic.jpg
--------------------------------------------------------------------------------
/example/4251722418599_.pic.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/4251722418599_.pic.jpg
--------------------------------------------------------------------------------
/example/4261722418636_.pic.jpg:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/4261722418636_.pic.jpg
--------------------------------------------------------------------------------
/example/result.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/result.png
--------------------------------------------------------------------------------
/example/run1.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/run1.png
--------------------------------------------------------------------------------
/example/weditor.png:
--------------------------------------------------------------------------------
https://raw.githubusercontent.com/FearlessPeople/xianyu_spider/a0096c02b41d1ecec530a034317c4972ab072f46/example/weditor.png
--------------------------------------------------------------------------------
/requirements.txt:
--------------------------------------------------------------------------------
1 | adbutils==1.2.15
2 | apkutils2==1.0.0
3 | cached-property==1.5.2
4 | certifi==2023.11.17
5 | charset-normalizer==3.3.2
6 | cigam==0.0.3
7 | colorlog==6.7.0
8 | decorator==5.1.1
9 | Deprecated==1.2.14
10 | deprecation==2.1.0
11 | et-xmlfile==1.1.0
12 | facebook-wda==1.4.6
13 | filelock==3.13.1
14 | idna==3.4
15 | logzero==1.7.0
16 | lxml==4.9.3
17 | openpyxl==3.1.2
18 | packaging==23.2
19 | Pillow==10.1.0
20 | progress==1.6
21 | py==1.11.0
22 | pyelftools==0.30
23 | requests==2.31.0
24 | retry==0.9.2
25 | six==1.16.0
26 | tornado==6.3.3
27 | uiautomator2==2.16.25
28 | urllib3==2.1.0
29 | weditor==0.7.2
30 | whichcraft==0.6.1
31 | wrapt==1.16.0
32 | xmltodict==0.13.0
33 |
--------------------------------------------------------------------------------
/xianyu.py:
--------------------------------------------------------------------------------
1 | # -*- coding: utf-8 -*-
2 |
3 | import logging
4 | import os
5 | import pathlib
6 | import random
7 | import re
8 | import shutil
9 | import string
10 | import sys
11 | import textwrap
12 | import time
13 | from datetime import datetime, date, timedelta
14 |
15 | import colorlog
16 | import uiautomator2 as u2
17 | from openpyxl import Workbook
18 | from openpyxl.drawing.image import Image
19 | from openpyxl.drawing.spreadsheet_drawing import AnchorMarker, TwoCellAnchor
20 |
21 | logger = logging.getLogger(__name__)
22 | logger.setLevel(logging.DEBUG)
23 |
24 | console_handler = logging.StreamHandler()
25 | console_handler.setLevel(logging.DEBUG)
26 |
27 | formatter = colorlog.ColoredFormatter(
28 | fmt='%(log_color)s %(asctime)s %(levelname)s:%(message)s%(reset)s',
29 | datefmt="%Y-%m-%d %H:%M:%S",
30 | log_colors={
31 | 'DEBUG': 'cyan',
32 | 'INFO': 'green',
33 | 'WARNING': 'yellow',
34 | 'ERROR': 'red',
35 | 'CRITICAL': 'red,bg_white',
36 | }
37 | )
38 | console_handler.setFormatter(formatter)
39 | logger.addHandler(console_handler)
40 |
41 | d = u2.connect("SNU0220A15007866")
42 | dinfo = d.info
43 | d_displayHeight = dinfo['displayHeight']
44 | d_displayWidth = dinfo['displayWidth']
45 |
46 | package_name = "com.taobao.idlefish"
47 | activity_name = ".maincontainer.activity.MainActivity"
48 |
49 |
50 | class TimeUtil:
51 |
52 | @staticmethod
53 | def random_sleep(random_start=2, random_end=5):
54 | wait_time = random.randint(random_start, random_end)
55 | time.sleep(wait_time)
56 |
57 | @staticmethod
58 | def sleep(secs):
59 | time.sleep(secs)
60 |
61 | @staticmethod
62 | def curr_date():
63 | return datetime.now().strftime("%Y-%m-%d")
64 |
65 | @staticmethod
66 | def tomorrow_date():
67 | today = date.today()
68 | tomorrow = today + timedelta(days=1)
69 | return tomorrow.strftime('%Y-%m-%d')
70 |
71 |
72 | def get_desktop_path():
73 | if sys.platform == 'win32':
74 | desktop_path = os.path.join(os.path.expanduser("~"), "Desktop")
75 | elif sys.platform == 'darwin':
76 | desktop_path = str(pathlib.Path.home() / "Desktop")
77 | else:
78 | desktop_path = None
79 | return desktop_path
80 |
81 |
82 | def excel_cell_to_index(cell_str):
83 | """
84 | Excel单元格转换为行列索引，例如A1转换为1,1 C4转换为3,4
85 | :param cell_str:
86 | :return:
87 | """
88 | letter = cell_str[0]
89 | number = int(cell_str[1:])
90 | column = ord(letter.upper()) - ord('A') + 1
91 | row = number
92 | return row, column
93 |
94 |
95 | def write_img_by_cell(work_book, sheet_name, cell_str, img_path, target_file):
96 | """
97 | 向Excel某单元格写入图片
98 | :param work_book: work_book
99 | :param sheet_name: sheet页名称
100 | :param cell_str: 单元格名称，例A1，B2，C3
101 | :param img_path: 图片全路径
102 | :return:
103 | """
104 | sheet = work_book[sheet_name]
105 | row, column = excel_cell_to_index(cell_str)
106 | row = row - 1
107 | column = column - 1
108 | img = Image(img_path)
109 | _from = AnchorMarker(column, 40000, row, 40000)
110 | to = AnchorMarker(column + 1, -40000, row + 1, -40000)
111 | img.anchor = TwoCellAnchor('twoCell', _from, to)
112 | sheet.add_image(img)
113 | work_book.save(target_file)
114 |
115 |
116 | def to_excel(data_list):
117 | dt = TimeUtil.curr_date()
118 | write_path = os.getcwd()
119 | if not os.path.exists(write_path):
120 | os.makedirs(write_path)
121 | output_file = os.path.join(write_path, f"{dt}结果.xlsx")
122 | wb = Workbook()
123 | sheet = wb.active
124 | sheet_name = 'Sheet1'
125 | sheet.title = sheet_name
126 | sheet['A1'] = '标题'
127 | sheet['B1'] = '价格'
128 | sheet['C1'] = '图片'
129 | start_row = 2
130 | for index, data in enumerate(data_list):
131 | sheet["A" + str(index + start_row)] = data['title']
132 | sheet["B" + str(index + start_row)] = data['amount']
133 | write_img_by_cell(work_book=wb, sheet_name=sheet_name, cell_str='C' + str(index + start_row),
134 | img_path=data['img'],
135 | target_file=output_file)
136 |
137 | wb.save(filename=output_file)
138 | return output_file
139 |
140 |
141 | def swipe(startx, starty, endx, endy):
142 | d.swipe(startx, starty, endx, endy)
143 |
144 |
145 | def swipe_up():
146 | fx = random.randint(200, 600)
147 | fy = random.randint(d_displayHeight - 500, d_displayHeight - 400)
148 | tx = random.randint(500, 700)
149 | ty = random.randint(d_displayHeight - 1200, d_displayHeight - 1000)
150 | swipe(startx=fx, starty=fy, endx=tx, endy=ty)
151 |
152 |
153 | def del_temp_file():
154 | if os.path.exists('images'):
155 | shutil.rmtree('images')
156 |
157 |
158 | def open_page_by_keyword(keyword):
159 | TimeUtil.random_sleep()
160 | d(resourceId="com.taobao.idlefish:id/title").click()
161 | d.send_keys(keyword, clear=True)
162 | d.press('enter')
163 |
164 |
165 | def generate_random_string(length):
166 | letters_and_digits = string.ascii_letters + string.digits
167 | return ''.join(random.choice(letters_and_digits) for i in range(length))
168 |
169 |
170 | def get_amount(s):
171 | match = re.search(r'¥(\d+)', s)
172 | if match:
173 | amount = match.group(1)
174 | return amount
175 |
176 |
177 | def save_image(pil_image):
178 | if not os.path.exists('images'):
179 | os.makedirs('images')
180 | img_path = os.path.join('images', generate_random_string(10) + str(int(time.time())) + ".png")
181 | pil_image.save(img_path)
182 | return img_path
183 |
184 |
185 | def remove_unicode(text):
186 | special_sequences = '\\xef\\xbf\\xbc'
187 | text = text.replace('\n', '')
188 | result_str = ''
189 | for ch in text:
190 | if special_sequences not in str(ch.encode()):
191 | result_str += ch
192 | return result_str
193 |
194 |
195 | def get_list_data():
196 | result = []
197 | TimeUtil.random_sleep()
198 | # view_list = d.xpath(
199 | # '//android.widget.ScrollView/android.view.View[2]/android.view.View[1]/android.widget.ImageView[1]/android.view.View[1]/android.view.View[1]/*').all()
200 | view_list = d.xpath(
201 | '//android.widget.ScrollView//android.view.View').all()
202 | if len(view_list) > 0:
203 | for el in view_list:
204 | item_info = el.info
205 | el_description = remove_unicode(str(item_info['contentDescription']))
206 | el_text = str(item_info['text']).replace('\n', '')
207 | if el_description != "" and el_description != "筛选":
208 | amount = get_amount(el_description)
209 | if amount is not None and amount != '':
210 | img_path = save_image(el.screenshot())
211 | result.append({
212 | 'title': el_description,
213 | 'amount': amount,
214 | 'img': img_path
215 | })
216 |
217 | return result
218 |
219 |
220 | def usage():
221 | message = """
222 | ######################################################################################################################
223 | 免责声明
224 | 此工具仅限于学习研究，用户需自己承担因使用此工具而导致的所有法律和相关责任！作者不承担任何法律责任！
225 | ######################################################################################################################
226 | """
227 | logger.error(textwrap.dedent(message))
228 | while True:
229 | user_input = input("如果您同意本协议, 请输入Y继续: (y/n) ")
230 | if user_input.lower() == "y":
231 | break
232 | elif user_input.lower() == "n":
233 | sys.exit(0)
234 |
235 |
236 | def main_exit():
237 | d.set_fastinput_ime(False)
238 | d.app_stop(package_name)
239 |
240 |
241 | def main(keyword, max_page):
242 | usage()
243 | try:
244 | del_temp_file()
245 | logger.info(d.info)
246 | d.app_stop(package_name)
247 | d.app_start(package_name, activity_name, wait=True)
248 | outputs = []
249 |
250 | logger.info(f"正在获取【{keyword}】关键字信息...")
251 | open_page_by_keyword(keyword)
252 | for i in range(max_page):
253 | logger.info(f"正在滑动[{i}/{max_page}]...")
254 | list_data = get_list_data()
255 | if list_data:
256 | outputs.extend(list_data)
257 | swipe_up()
258 |
259 | output_file = to_excel(outputs)
260 | logger.info(f"运行完成，文件路径{output_file}")
261 | except Exception as e:
262 | print(e)
263 | logger.error("程序运行异常:" + str(e.args[0]))
264 | finally:
265 | main_exit()
266 |
267 |
268 | if __name__ == '__main__':
269 | keyword = '餐饮券'
270 | max_page = 5 # 向上滑动次数
271 | main(keyword=keyword, max_page=max_page)
272 |
--------------------------------------------------------------------------------