快捷导航
第二层的任务选择的页数是5页但是有322条数据,第一层的列表是1页50个,这是咋回事,第二层选的5是怎么算的
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2021-5-31 23:29

kakaqueen 初级会员 发表于 2021-5-31 22:29:06 | 显示全部楼层
啊啊啊应该是不知道那里出问题了,刚刚又试了一下是5个
举报 使用道具
Fuller 管理员 发表于 2021-5-31 23:29:36 | 显示全部楼层
你是说第一层翻了5页,那么第二层应该有5X50=250个线索吗?
如果数字对不上,如果采集到的多了,说明采集规则不合适,会把网页上的其他位置的内容采集下来,比如,在列表页的下面有广告,检查广告中的内容是否采集下来了?
如果采集到的少了,很可能网页上本来就有重复的网址,爬虫会把重复网址过滤掉。也可能是规则不对,漏数据。要核对一下,哪一条漏了,仔细对比漏掉的内容跟没有漏掉的内容,他们的DOM结构有什么不同,要调整采集规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用快捷采集-以马蜂窝游记数据采集为
  • 分析电商评论发现消费者话题-数据采集篇
  • 高维稀疏情境下微博专业领域热点话题挖掘研
  • 微博热点话题分析选什么题目比较好?
  • 如何运行数据分析和可视化Jupyter Notebook

热门用户

GMT+8, 2021-6-20 15:15