网络爬虫规则设置了翻页，但是到了第二页翻页失败，怎么办？

我用集搜客数据管家软件爬网站，我观察到翻到第二页成功了，但是在第二页这里就不动了。这种情况怎么解决？

显然是翻页规则有问题，到第二页就不适应了，点击“下一页”没有点对。那就把规则加载到工作台上，翻页到第二页，执行分析页面，看看有什么错误。

在数据管家软件上具体怎么操作

发誓学好内容分析 发表于 2021-1-19 09:03
在数据管家软件上具体怎么操作

更平常一样，在数据管家上加载规则，参看教程《爬虫任务的加载、修改和另存》。

执行分析任务，然后点击“下一页”，你会发现并不会翻页，而是在DOM窗口中定位到了html节点。这是应该正处于“内容定位”模式，要顶级右上角的那个内容定位按钮，变成灰色，才能点击下一页

去掉“内容定位”模式，就能翻页了，翻过去以后，一般会弹窗，这个意思是说：网页内容变了，DOM结构已经不是最新的了，工作台上做的内容映射也失效了。那么就应该这样恢复：
1，点击右下角的橙色菜单“刷新DOM”：DOM就可以变成最新网页的了
2，点击右上角的橙色菜单“分析页面”：就会用工作台上的规则重新套用到当前页面

如下图，如果套用成功了，不会有错误提示，而且能看到采集数据工作台上的每个采集内容都对应到了网页节点

转到爬虫路线工作台，你说你的规则第二页就失效了，而且还没有说采集失败，那么说明到第二页以后，数据采集规则有效，而翻页规则失效了，那么应该看到翻页区和下一页标志都对应不到节点了。

下图是能对应到节点的情况，都有节点编号，点击编号还能看到自动定位到网页上的节点，你的规则应该在这里显示“未映射”。



如果是这样，说明你在第一页上做的翻页规则不适应第二页，要找找原因。很可能自动采用了网页上的@id和@class属性，而到第二页就没有了。可以选择不同的定位偏好试试，注意看“查看网页元素”那里显示的元素详情，显示的class和id属性哪个更加合适，就可以在上面的下拉菜单中选择不同偏好。点击“测试”按钮，可以看到生成的翻页xpath包含的定位属性好不好，如下图




另外，下一页标志可以是文字“下一页”，也可以是网页上的class和id或者其他属性，根据需要选择合适的下一页标志