爬虫进阶-如何进行app爬取
app爬取 爬虫思路 如何爬app 爬虫方法 爬app方法 怎么爬app
·
app爬取有几种思路:
1 自动化工具,esayclick,airtest等,编写自动化脚本,模拟人工操作, 爬取页面数据
入门难度低,几乎没有不能爬取的APP,脚本算法写的好,可以应对滑块等验证,缺点速度较慢,脚本逻辑有问题的话经常会卡死
2 移动端使用httpcanary+Xposed,即可抓包分析
入门难度低,可以在没有电脑的时候使用,就是时灵时不灵,头部APP几乎都已经不能用这种方式,可以应对没有加密或请求网址固定的app
3 电脑端使用fiddler,mitmproxy,机端使用电脑端的,安装证书,即可抓包分析
入门难度中等,需要进行一系列配置,如果配置有问题会出现抓不到包的情况,可以应对没有加密或请求网址固定的app
4 使用jadx逆向分析app,frida+hook进行动态插桩,pyrhon编写hook脚本,一般需要配合自动化工具使用
入门难度较高,需要懂JAVA代码,JS代码,APP如果有加固需要进行查壳脱壳,通过逆向APP源码可以找到对应加密算法,可以应对市面上大部分APP
5 有一些APP会做电脑端网页版
数据相同的话,电脑端更好操作
6 还有一些APP会做移动端网页版
数据相同的话,可在电脑端打开F12,打开toggle device toolbar功能,会有意想不到的惊喜
更多推荐
已为社区贡献1条内容
所有评论(0)