数据重复抓取

在用翻页进行数据抓取的时候，一开始的数据会一直重复，在终点标志里面勾选了重复内容也没有用。这是什么原因啊？

你把主题名和样本网址发出来看看

ym 发表于 2016-12-22 17:07
你把主题名和样本网址发出来看看

indiegogo投资信息
https://www.indiegogo.com/projec ... ev-for-all#/backers

saly123 发表于 2016-12-23 10:01
indiegogo投资信息
https://www.indiegogo.com/projects/ecoreco-model-r-ultimate-personal-ev-for-all# ...

你的这个网页，先说下它的情况，并不是翻页，而是点击“看到更多内容”之后会加载一部分内容，再点击“看到更多内容”之后再加载一部分内容，直到内容全部加载完为止。
你做的规则，没有问题，用爬虫路线中的模拟点击给“看到更多内容”做记号线索，然后目标主题名是本身，采集流程是（采集->点击更多->采集->点击更多......->采集->点击更多），每采集一次就会生成一次结果文件，并且每次的结果文件里头的内容都会包含上一次结果文件的内容，因此结果文件会越来越大，如下图所示。

我测试运行的时候勾选了重复内容中断，最后采集到底的时候也停止了，并没有出现你所说的停止不下来的情况，所以你检查一下你的DS打数机是否勾选了重复内容中断。