第二层的任务选择的页数是5页但是有322条数据,第一层的列表是1页50个,这是咋回事,第二层选的5是怎么算的
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2021-5-31 23:29

沙发
kakaqueen 初级会员 发表于 2021-5-31 22:29:06 | 只看该作者
啊啊啊应该是不知道那里出问题了,刚刚又试了一下是5个
举报 使用道具
板凳
Fuller 管理员 发表于 2021-5-31 23:29:36 | 只看该作者
你是说第一层翻了5页,那么第二层应该有5X50=250个线索吗?
如果数字对不上,如果采集到的多了,说明采集规则不合适,会把网页上的其他位置的内容采集下来,比如,在列表页的下面有广告,检查广告中的内容是否采集下来了?
如果采集到的少了,很可能网页上本来就有重复的网址,爬虫会把重复网址过滤掉。也可能是规则不对,漏数据。要核对一下,哪一条漏了,仔细对比漏掉的内容跟没有漏掉的内容,他们的DOM结构有什么不同,要调整采集规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 17:38