爬取数据不完整

Fuller 发表于 2017-9-16 16:49
我的滚屏次数2，速度2，刚才又用你的规则测试了一遍，可以点击

我按照你的参数改了，可是爬下来的评论还是不只当前商品啊。怎么回事呢

Healerxy 发表于 2017-9-16 17:01
我按照你的参数改了，可是爬下来的评论还是不只当前商品啊。怎么回事呢

...

DS打数机在爬数据的时候，拉动滚动条，翻到“只当前商品”那个复选框那里，看看是不是被勾上了，如果勾上了，说明连续动作已经生效

Fuller 发表于 2017-9-16 17:28
DS打数机在爬数据的时候，拉动滚动条，翻到“只当前商品”那个复选框那里，看看是不是被勾上了，如果勾上 ...

看了一下是勾选上了，可是并没有达到勾选的效果啊？
我之前用模拟点击是可以做到点击后只显示当前商品评论的，请问这要怎么解决呢？

Healerxy 发表于 2017-9-16 17:47
看了一下是勾选上了，可是并没有达到勾选的效果啊？
我之前用模拟点击是可以做到点击后只显示当前商品评 ...

不行的话就用模拟点击，模拟点击会尽量仿真人工点击，有些网页会检查的很细，一看不像人工点击，就不执行筛选功能

Fuller 发表于 2017-9-16 18:11
不行的话就用模拟点击，模拟点击会尽量仿真人工点击，有些网页会检查的很细，一看不像人工点击，就不执行 ...

我找到原因了，我用单搜时窗口小，“只看当前商品评论”在靠右的位置，窗口显示不到，所以就点击不上，用集搜就好了。
不过我把模拟点击改为连续动作后并没有解决我提的问题，爬取的评论还是不完整。因为修改的过程中用同一条线索测试了很多次，我发现，这条线索，无论我用模拟点击还是连续动作，都只能爬下来103页评论（其中最后三页是重复3次所以停止），还有几次少于103页，这是什么原因呢？不知道是不是京东的问题？您能帮我找下原因吗？谢谢

Healerxy 发表于 2017-9-16 21:09
我找到原因了，我用单搜时窗口小，“只看当前商品评论”在靠右的位置，窗口显示不到，所以就点击不上，用 ...

最后全部是重复数据，这个问题不知道是京东的防爬措施还是京东的程序故障，经常会遇到，而且有时候会自动变好

Fuller 发表于 2017-9-17 09:36
最后全部是重复数据，这个问题不知道是京东的防爬措施还是京东的程序故障，经常会遇到，而且有时候会自动 ...

请问有什么解决方法吗？我前几天爬了大约50个商品的评价，基本都不超过100页。

Healerxy 发表于 2017-9-17 10:30
请问有什么解决方法吗？我前几天爬了大约50个商品的评价，基本都不超过100页。
...

目前还找不到解决方法

Fuller 发表于 2017-9-17 10:36
目前还找不到解决方法

等一段时间会变好吗？
用其他爬虫软件或者Python呢？

Healerxy 发表于 2017-9-17 11:25
等一段时间会变好吗？
用其他爬虫软件或者Python呢？

以前是这样的，等一段时间会变好，不过我好久没有爬京东评论了，现在不知道怎样。Python这些方法没有试过