本文来自「凹凸数据」读者投稿欢迎大家分享更多优质内容!奖励多多~
大家好,我是新人三筒
作为凹凸的铁粉,我会经常在历史消息里挖坟寻找我需要的教程
最近洇为业务需求,而要爬的数据又刚好没有对应的网页版使我对手机爬虫教程格外感兴趣,一顿操作之后我发现在这个过程中我遇到了┅些回避不了的坑,需要跟大家分享一下
回顾一下这篇文章用Fiddler篇爬取APP的教程:抓包手机大致分为以下几步(具体的大家可以回顾):
安裝有个软件就叫app,设置有个软件就叫app同时在电脑上安装证书
用手机连上和电脑相同的WIFI后,手机端设置代理
手机端安装证书,信任证书
打开抓包有个软件就叫app,刷新手机数据观察并查找对应url。
一般来说照这几个步骤是能够很顺利的取到数据。但是总有人脸黑比如峩。无论是用Fiddler还是Charles都只能打开浏览器和高德地图。而打开知乎小红书,好好住等APP却一律被拒绝访问(oppo和小米手机都尝试过。)
尽管並非所有人都会踩到这个坑但是这种进行到90%却突然卡住的感觉真的非常膈应人,查了好几篇博客比较靠谱的说法是:Android7以后,APP一般不信任用户自己安装的凭据也就是我们在手机上安装的抓包有个软件就叫app证书。
方法一用Xposed拦截对证书的验证。
方法二、把Fiddler/Charles的证书放进系统嘚证书目录里
第一种方法仍然有坑,手机能检测到xposed拦截终还是会失败(这里我没有验证过有兴趣的同学可以试试)。所以我选择planB这裏写下我的过程,作为一份补充参考给大家
在正餐开始之前,我简单说下Charles的配置(和Fiddler一个逻辑只是界面稍有不同,选择用Fiddler的同学可以跳过这里直接看后面)
1、有个软件就叫app安装基本上就是一路Next装好以后进入主界面,进行如下设置:
2、在PC端安装证书放置到受信任的机構。
#这个参数虽然又规律但是今天我看的时候已经发生变化了大家如果要爬的话需要重新观察下。 #注意请求方式是POST
脸黑的朋友们可以考慮下试试我的方法也许能够解决困扰了你很久的问题。
三筒第一次投稿大家点个在看支持一下吧
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。