重复抓取

DuoRuaiMi

规则名称：网址TECH1
1.为什么我抓取到的网址结果会有那么多重复的呢
2.如何设置抓取到固定条网址停止抓取呢

Fuller · 发表于 2018-11-17 11:54:39

每点一次show more，就多加载一屏内容，原先的内容还在，所以就重复抓取了。这种网页没有办法避免重复

Fuller · 发表于 2018-11-17 11:56:07

设置成爬虫群模式，给这个规则设置调度参数，其中有一项就是翻页次数，也就是点击show more的次数，这个可以限制。但是只有爬虫群模式下才有。参看：https://www.gooseeker.com/doc/article-197-1.html

DuoRuaiMi · 发表于 2018-11-17 20:17:36

那样例复制抓取的网址为什么结果中会重复很多呢

Fuller · 发表于 2018-11-18 09:42:57

DuoRuaiMi 发表于 2018-11-17 20:17
那样例复制抓取的网址为什么结果中会重复很多呢

因为这个跟翻页不同，翻页的话，上一页加载的内容全部都清除了，这个的话，show more以后，以前的内容还在，所以一定会重复采集

DuoRuaiMi · 发表于 2018-11-18 11:29:10

哦哦，谢谢

共 5 个关于本帖的回复最后回复于 2018-11-18 11:29

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页