数据没有抓完线索显示FIN

Fuller 发表于 2018-12-25 08:45
在MS谋数台上把规则加载好，然后不要“内容定位”（在工具条的中间），就可以点击翻页了，一直翻页到96页 ...

很奇怪的是，我刚刚有把规则重新跑了一边（没有做任何的改动！），然后现在可以抓到第100页了，比原来多了5页，这是为什么啊？

saly123 发表于 2018-12-25 18:52
很奇怪的是，我刚刚有把规则重新跑了一边（没有做任何的改动！），然后现在可以抓到第100页了，比原来多 ...

我记得以前抓京东评论的时候，翻页到一定页数以后，再点击就不出现新内容了，说不定这是一种限制访问数量的方法

Fuller 发表于 2018-12-25 20:21
我记得以前抓京东评论的时候，翻页到一定页数以后，再点击就不出现新内容了，说不定这是一种限制访问数量 ...

如果是限制访问量的话，有什么解决办法吗？
还有，一个规则可以定义两个爬虫路线吗？线索的顺序会不会影响抓取的结果？谢谢！

saly123 发表于 2018-12-25 20:36
如果是限制访问量的话，有什么解决办法吗？
还有，一个规则可以定义两个爬虫路线吗？线索的顺序会不会影 ...

如果是层级抓取，而且没有勾选连续翻页，那么就可以定义很多不同的爬虫路线。也就是说 连续翻页只能有一个，不连续翻页可以后很多路线

Fuller 发表于 2018-12-25 20:50
如果是层级抓取，而且没有勾选连续翻页，那么就可以定义很多不同的爬虫路线。也就是说 连续翻页只能有一 ...

好的，谢谢。
也就是连续翻页的话，那我就需要定义两级规则了，第一级点链接进去，第二级做翻页，对吧？