为什么采集速卖通用户评论翻页不了

2019-11-7 18:14| 发布者: Fuller| 查看: 5498| 评论: 0

摘要: 最近出现的速卖通用户评论翻页不了的问题就要求网络爬虫软件进行升级。为了解决这个问题,集搜客GooSeeker网络爬虫升级到了9.0.4版本。除了解决这个问题,界面上也做了优化:用模拟点击翻页 ... ... ... ...

一个网站会不断改版,有些改版可能采用了新技术,那么网络爬虫软件在某些情况下就得升级软件。最近出现的速卖通用户评论不能翻页的问题就要求网络爬虫软件进行升级。

为了解决这个问题,集搜客GooSeeker网络爬虫升级到了9.0.4版本。解决这个翻页问题,而且操作界面上也做了优化。

1,用模拟点击翻页

这里说的模拟点击是指爬虫路线上的模拟点击。连续动作高级设置里也有模拟点击的选项。这两个本质上都是鼠标点击操作。点击操作分成两类:

1,普通点击

2,模拟点击:更像人的点击。但是,通常不勾选,因为有时候模拟点击在网页上会点不准,所以,只有普通点击不能用的情况下,才选择模拟点击。

在连续动作的高级设置里早就有了模拟点击选项。但是爬虫路线工作台上的模拟点击选项是9.0.4版本才加上的。

2,翻页线索的模拟点击设置


如上图,根据需要在连续翻页后,勾选模拟点击。速卖通用户评论翻页一定要勾上模拟点击。勾与不勾直接决定能否成功翻页。

如果不勾,就是普通点击。对于速卖通这种比较长的网页,一般采集的时候,都是打开了滚屏的。这种情况下,爬虫执行翻页点击的时候,打数机窗口停留在网页底部不动,没有滚回来显示翻页区,翻页就失败了。

如果勾上模拟点击,打数机窗口会在翻页点击前自动滚上来,把翻页区显示出来,使翻页成功。


鲜花

握手

雷人

路过

鸡蛋

最新评论

GMT+8, 2024-11-18 22:33