翻页中途遇到服务器忙／出错等中断页面的话如何处理？

RT
按照“翻页采集”教程做采集。
如果能正确打开下一页的话，非常顺利的采到数据。

问题：对方服务器经常返回“服务器忙”页面或者 跳回“主页”。
这种情况下我希望能每次翻页后判断下这个url是不是翻页后的url。符合的话继续工作。不符合的话用同样的url再刷新，再判断。
找遍了也没有发现类似的功能。可否指点下？多谢！

关于你的需求，服务器中断只有少部分网站的情况，这个跟采集的网站服务器相关，也跟网速相关。另外，翻页都是相同域名的，网址里只有一部分参数是变动的，不同网站都要做相应的判断，开发工作实在是麻烦，而且这种情况是少数，不值得这样做。
给你的解决方法是帖子里的第二点http://www.gooseeker.com/doc/thread-616-1-1.html

ym 发表于 2017-2-9 14:28
关于你的需求，服务器中断只有少部分网站的情况，这个跟采集的网站服务器相关，也跟网速相关。另外，翻页都 ...

Roger! THX!