翻页抓取时，怎么一直在重复抓取？

umsung

翻页抓取时，怎么一直在重复抓取一页？

bowieD · 发表于 2017-10-13 18:07:41

检查是否勾选了重复内容中断，如果没勾选爬虫就会一直抓取最后一页不会停。

解决：
在DS打数机上面选项中-高级-终点标志-重复内容，最后勾上重复内容就可以了，爬虫抓取三次完全一样的xml文件之后就会中断，我们可以通过excel对重复的结果文件进行去重处理

lllllkc · 发表于 2021-7-20 20:21:55

请问gooseeker新版的软件，翻页时网址的url不变，但是点击页码翻页，但一直只是抓取第一页，重复抓，怎么处理呢

Fuller · 发表于 2021-7-20 20:43:49

lllllkc 发表于 2021-7-20 20:21
请问gooseeker新版的软件，翻页时网址的url不变，但是点击页码翻页，但一直只是抓取第一页，重复抓，怎么处 ...

共 3 个关于本帖的回复最后回复于 2021-7-20 20:43

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页