如何采集移动App的数据

问：如何采集移动App的数据

答：移动APP还在风起云涌般发展，然而APP是封闭的，里面的信息无法进行搜索，这是互联网业所心痛的，知识难于共享。但是时代不断发展变化。

移动APP越来越多地通过HTTP协议与服务器进行交互，我们只要分析出接口地址及参数的含义，就能像采集普通网站那样采集APP的数据。

1）先将要分析的App安装到手机上。
2）通过数据线将手机连接到PC。连接方式选择“Internet传输（通过电脑将手机连接到Internet）”。
3）打开抓包工具（例如，EffeTech HTTP Sniffer），先选择网络适配器为手机设备对应的项目（一定要选对，否则后面捕获不到数据）。
4）启动监听。在手机上操作App，打开想要采集的页面，此时抓包工具就会显示出该操作触发的网络请求和应答。
5）分析抓包工具监听到的HTTP报文
6）不妨按照监听到的http消息模拟采集试试

没有出现这个界面——连接方式选择“Internet传输（通过电脑将手机连接到Internet）”。我想抓取某一个电商APP排行榜页面的数据，维度也是商品名称，商品链接，商品价格等，请问这个可以实现不》

格子回弈城了 发表于 2016-10-12 15:44
没有出现这个界面——连接方式选择“Internet传输（通过电脑将手机连接到Internet）”。我想抓取某一个电商 ...

我去问问搞这个方面的同事

格子回弈城了 发表于 2016-10-12 15:44
没有出现这个界面——连接方式选择“Internet传输（通过电脑将手机连接到Internet）”。我想抓取某一个电商 ...

新版的Android好像改变了很多

IOS呢？是不是直接抓取不了？

Fuller 发表于 2016-10-12 15:47
我去问问搞这个方面的同事

请问现在可以爬安卓app了么？我想爬汽车报价app的数据

这帖子分享的是用其他技术爬APP数据的方法，爬虫软件暂时还不支持爬APP