如果翻页后需要延迟一段时间才出来数据爬虫会不会因为没抓到关键内容而中断？

Fuller 发表于 2016-10-8 17:12
主题名 lhbyytlog  ，能点击 “一年”，你遇到新问题了？

点击以后要等很久才能出现数据，要用会员中心 ...

1级规则里额外延时设置了10秒的。我什么都没改刚才DS里激活后集搜lhbyytlog这个1级规则可以自动调用2级规则lhbyytlog抓取进行抓取数据了，可是只抓了第1页3遍后就退出了，哪里设置等待延迟？

Fuller 发表于 2016-10-8 17:12
主题名 lhbyytlog  ，能点击 “一年”，你遇到新问题了？

点击以后要等很久才能出现数据，要用会员中心 ...

2级规则还是抓太快了 loading图表还在就重复抓了3遍数据了 导致直接停止。你之前说通过判断loading图片来实现只能判断等待时间的方法能否详细说明一下？

ray_zhurui 发表于 2016-10-8 23:14
2级规则还是抓太快了 loading图表还在就重复抓了3遍数据了 导致直接停止。你之前说通过判断loading图片来 ...

首先网速要比较快

然后设置会员中心的调度参数“延迟抓取时间”，设置长一点，确保等到数据才抓取

Fuller 发表于 2016-10-9 09:18
首先网速要比较快

然后设置会员中心的调度参数“延迟抓取时间”，设置长一点，确保等到数据才抓取 ...

这个延迟时间我设得很大了20s。但是我发现爬虫还是没等够20秒就开始抓了，还会出现重复抓取后退出的情况。