抓的不是想要的页面

有批量相同结构的网页清单，单个网页里有翻页。所以又设置了爬取路线。做好规则试了一下，发现输的是网页A，抓的缺是B，这是咋么回事？

是翻页的时候，下一页抓错了？还是网页清单中两个不同的网页，他们的第一页就抓错了？

两个网址，选的A, 结果抓的B。

ovna123 发表于 2017-2-21 09:02
两个网址，选的A, 结果抓的B。

A和B的抓取时间循序是什么？哪个在前？B是前一个网址的内容？

你可以把两个结果文件贴出来我看看具体现象是什么

今天再运行，又正常了。

ovna123 发表于 2017-2-21 10:12
今天再运行，又正常了。

如果是翻页过程，抓当前页却抓了上一页，那可能是网络太慢造成的，要把“延迟抓取”参数设置长一些，多等待一些时间。

如果是独立线索之间出现这个问题，如果运行爬虫群模式，可以设置调度参数 线索间等待最短时间 和 线索间等待最长时间 ，而且后者要小于前者。

线索间出现错抓的可能性很小，如果遇到，通知我们

好的