头条新闻采集300多个就停止了，网页是无限加载的，是哪里没设置好吗？

抖抖olo一银桑诶嘿

ym · 发表于 2017-2-23 15:20:44

无限加载的网页（就是瀑布流网页）是容易断掉的，避免不了的。
你可以设置放慢滚屏速度，尽量加载出更多信息

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:22:20

配置里面对吧，越高越快？

ym · 发表于 2017-2-23 15:22:47

不是，滚屏次数越大，滚屏越慢，要放慢速度才能加载出更多信息，详细看参数说明《滚屏参数》

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:24:03

这个提示就是没有抓取内容了？

ym · 发表于 2017-2-23 15:24:57

是说网址已经采集完了，如果要重新采集的话，需要激活线索。

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:26:04

本帖最后由抖抖olo一银桑诶嘿于 2017-2-23 15:29 编辑

谢谢啊，可以抓到了，就是太少了，只有300多少以后断了，可以自己手动翻页，让它采集吗

ym · 发表于 2017-2-23 15:28:49

DS打数机的浏览器在采集时，是可以手工点击浏览器让它翻页的。但是瀑布流网页是滚屏加载的，没有翻页，只能滚屏加载到多少就采多少。
但是你可以定期采集，例如每天采集一遍，就能把最新的累计抓取了

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:29:20

爬虫它能定时运行一次吗？

ym · 发表于 2017-2-23 15:29:31

用爬虫群采集，设置定时激活线索就可以

共 19 个关于本帖的回复最后回复于 2017-2-23 15:51

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页