快捷导航
第二层的任务选择的页数是5页但是有322条数据,第一层的列表是1页50个,这是咋回事,第二层选的5是怎么算的
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2021-5-31 23:29

kakaqueen 初级会员 发表于 2021-5-31 22:29:06 | 显示全部楼层
啊啊啊应该是不知道那里出问题了,刚刚又试了一下是5个
举报 使用道具
Fuller 管理员 发表于 2021-5-31 23:29:36 | 显示全部楼层
你是说第一层翻了5页,那么第二层应该有5X50=250个线索吗?
如果数字对不上,如果采集到的多了,说明采集规则不合适,会把网页上的其他位置的内容采集下来,比如,在列表页的下面有广告,检查广告中的内容是否采集下来了?
如果采集到的少了,很可能网页上本来就有重复的网址,爬虫会把重复网址过滤掉。也可能是规则不对,漏数据。要核对一下,哪一条漏了,仔细对比漏掉的内容跟没有漏掉的内容,他们的DOM结构有什么不同,要调整采集规则
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 基于层次结构和共现关系的在线评论主题图谱
  • 基于因果机制的用户行为研究及应用
  • 改进的K近邻算法及其在文本分析中的应用
  • Jupyter Notebook使用Gensim库做中文Word2V
  • 基于Word2Vec的医学知识组织系统互操作研究

热门用户

GMT+8, 2021-9-19 04:20