关于翻页抓取中途停止的疑问

抓我爱卡论坛的帖子时，C:\Users\chengjinnan\Desktop\捕获一般翻页到第五页就停止了。DS也不报错。最后的页面截图如图。请高手指教。

这种状态是正常完成，说明到第五页的时候，“下一页”按钮定位不到，就以为是结束了。你可以这样调整一下翻页规则：在爬虫路线工作台上，选择定位选项按钮，如下图

换一下 偏好id 和 偏好class，可能会改善这种情况。基本原则是：点击 “查看规则”，看到的xpath越短越好

Fuller 发表于 2016-5-18 16:20
这种状态是正常完成，说明到第五页的时候，“下一页”按钮定位不到，就以为是结束了。你可以这样调整一下翻 ...

多谢Fuller。因为论坛网址比较结构化，所以我现在excel中批量生成网址再抓。这样也可行。您说的方法我再试试。