第二层的任务选择的页数是5页但是有322条数据,第一层的列表是1页50个,这是咋回事,第二层选的5是怎么算的
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2021-5-31 23:29

沙发
kakaqueen 初级会员 发表于 2021-5-31 22:29:06 | 只看该作者
啊啊啊应该是不知道那里出问题了,刚刚又试了一下是5个
举报 使用道具
板凳
Fuller 管理员 发表于 2021-5-31 23:29:36 | 只看该作者
你是说第一层翻了5页,那么第二层应该有5X50=250个线索吗?
如果数字对不上,如果采集到的多了,说明采集规则不合适,会把网页上的其他位置的内容采集下来,比如,在列表页的下面有广告,检查广告中的内容是否采集下来了?
如果采集到的少了,很可能网页上本来就有重复的网址,爬虫会把重复网址过滤掉。也可能是规则不对,漏数据。要核对一下,哪一条漏了,仔细对比漏掉的内容跟没有漏掉的内容,他们的DOM结构有什么不同,要调整采集规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-1-15 15:29