用连续动作下载文件时,报“发现重复内容,连贯抓取将被中断 ”。实际上是没有重复的,怎么解决?
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2022-2-20 23:47

数据集 高级会员 发表于 2017-10-25 18:01:47 | 显示全部楼层
用连续动作循环点击下载文件时,可能用同一个主题名抓取点击前和点击后的内容,而文件在同一页面上,当下载第一个文件之后,爬虫会关闭下载窗口去点击下载第二个文件,这时就可能出现报“发现重复内容,连贯抓取将被中断 ”而中断后面的文件下载。
解决方法:
通过DS打数机的高级-终止标志,不勾选重复内容中断就可以了。
举报 使用道具
LinDon 中级会员 发表于 2022-2-20 22:19:46 | 显示全部楼层
数据集 发表于 2017-10-25 18:01
用连续动作循环点击下载文件时,可能用同一个主题名抓取点击前和点击后的内容,而文件在同一页面上,当下载 ...

新版怎么弄?好像必须填动作后执行,填相同名字就采集重复,乱填采集之后就提示爬虫规则有问题
举报 使用道具
Fuller 管理员 发表于 2022-2-20 23:47:58 | 显示全部楼层
LinDon 发表于 2022-2-20 22:19
新版怎么弄?好像必须填动作后执行,填相同名字就采集重复,乱填采集之后就提示爬虫规则有问题
...

可以填相同名字,正常情况下不会重复。也可以填另一个名字,但是,那个规则一定要定义。

你定义的规则名是什么?发出来帮你诊断一下
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-18 17:27