翻页采集只采集了第一页,第二页就结束了是什么情况?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-10-21 09:55

沙发
wangyong 版主 发表于 2019-10-21 09:55:57 | 只看该作者
出现这种问题的原因是第一页和第二页的网页结构不同,做规则的用的页面只是第一页所以生成的规则就只适应第一页。
需要检查两处位置:
1,采集规则的设置,分析第一页和第二页的网页结构是否相同,如有不同需要调整采集规则使规则具有更强的适应性,通常的方法就是对整理箱顶节点和抓取内容做上定位标志映射
2,翻页规则的设置,检查翻页设置第一页与第二页是否相同,解决方法是调整翻页区域的映射或者修改爬虫路线的定位选项
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-23 12:55