抓取第二页时网页还没有加载完就停止抓取了

gilmechen

抓取第二页时网页还没有加载完就停止抓取了，有xml文件输出，但第二页抓到的内容是空的（第一页有内容）。测试了一下，在滚屏速度设置为3以下时可以正常抓取，但如果速度高于3或者不滚屏，就会出现上述情况。
因为页数比较多，所以希望有一个不用减慢滚屏也能全部抓取的方法。

wangyong · 发表于 2017-8-7 15:06:03

自动滚屏就是专门为抓取动态网页开发的功能

动态网页不自动滚屏数据不直接展示，只有打开滚屏功能，抓取时自动滚动页面才能成功抓取数据

共 1 个关于本帖的回复最后回复于 2017-8-7 15:06

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页