翻页采集只采集了第一页,第二页就结束了是什么情况?
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-10-28 09:10

沙发
wangyong 版主 发表于 2019-10-28 09:10:57 | 只看该作者
出现这种问题的原因是第一页和第二页的网页结构不同,做规则的用的页面只是第一页所以生成的规则就只适应第一页。
需要检查两处位置:
1,采集规则的设置,分析第一页和第二页的网页结构是否相同,如有不同需要调整采集规则使规则具有更强的适应性,通常的方法就是对整理箱顶节点和抓取内容做上定位标志映射
2,翻页规则的设置,检查翻页设置第一页与第二页是否相同,解决方法是调整翻页区域的映射或者修改爬虫路线的定位选项
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-23 07:46