第二层的任务选择的页数是5页但是有322条数据,第一层的列表是1页50个,这是咋回事,第二层选的5是怎么算的
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2021-5-31 23:29

沙发
kakaqueen 初级会员 发表于 2021-5-31 22:29:06 | 只看该作者
啊啊啊应该是不知道那里出问题了,刚刚又试了一下是5个
举报 使用道具
板凳
Fuller 管理员 发表于 2021-5-31 23:29:36 | 只看该作者
你是说第一层翻了5页,那么第二层应该有5X50=250个线索吗?
如果数字对不上,如果采集到的多了,说明采集规则不合适,会把网页上的其他位置的内容采集下来,比如,在列表页的下面有广告,检查广告中的内容是否采集下来了?
如果采集到的少了,很可能网页上本来就有重复的网址,爬虫会把重复网址过滤掉。也可能是规则不对,漏数据。要核对一下,哪一条漏了,仔细对比漏掉的内容跟没有漏掉的内容,他们的DOM结构有什么不同,要调整采集规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-18 13:01