京东列表页漏抓

显示有1700多个商品，为啥我才抓取到900多个，主题名是 京东刷子

采集数据的时候，是否提示翻页失败之类的日志

ym 发表于 2017-1-12 11:31
采集数据的时候，是否提示翻页失败之类的日志

没有，翻页成功的

ym 发表于 2017-1-12 11:31
采集数据的时候，是否提示翻页失败之类的日志

是不是滚动参数的问题，页面滚动到一半 他就翻页了

我测试过你的规则，规则没有问题，样本网址是商品列表的第二页，所以会从第二页开始，采集到最后一页，由于翻页标志“下一页”依然存在网页上，这时就会重复采集最后一页，解决方法是DS打数机里把"高级菜单-重复内容"勾上，这样重复采集3次之后就会停止翻页，最后在excel里过滤重复数据就搞定了。
我是采集到1733条商品的信息，那就说明你那边是翻页中断了，建议你清理一下浏览器cookies再抓吧。

jjwudiyy 发表于 2017-1-12 11:49
是不是滚动参数的问题，页面滚动到一半 他就翻页了

我测试的滚屏参数是2和2，你把滚屏参数里的滚屏次数改为20以上试试吧，这样就放慢滚屏速度，确保网页加载完全。

ym 发表于 2017-1-12 11:58
我测试的滚屏参数是2和2，你把滚屏参数里的滚屏次数改为20以上试试吧，这样就放慢滚屏速度，确保网页加载 ...

好的谢谢