关于crontab.xml的疑问

Fuller 发表于 2015-10-26 23:50
每个主题只有一个网页，然后每个都增量抓取？

要狠精细地管理哪些线索要重新抓，必须用企业版直接控制数 ...

增量抓取有个问题啊。
我设置的是：
step1：renew 列表页面线索；
step2：抓取列表页面；
step3：抓取二级页面。

DS打数机启动以后，在列表页面不变化的前提下，step3倒是确实不执行了，但step2还总是能抓下来完整的列表。
不能让step2只返回增量列表数据吗？列表中数据多了就抓下来，不变就忽略，什么都不生成？

smthsiwei 发表于 2015-10-27 17:00
增量抓取有个问题啊。
我设置的是：
step1：renew 列表页面线索；

如果要每次都重复抓一遍，step2里面的updateClue=true要设置，就会为step3把抓过的线索也激活一次

gooseeker_info 发表于 2015-10-27 19:09
如果要每次都重复抓一遍，step2里面的updateClue=true要设置，就会为step3把抓过的线索也激活一次 ...

说的不是重复抓，是增量抓  

smthsiwei 发表于 2015-10-30 13:47
说的不是重复抓，是增量抓

要增量抓取，上一级为本级生成线索的话，上一级的updateClue=false，这样就能保证不重复。上一级就是列表级，不能做增量抓，他要去发现是否有新的下级出现，但是可以让它尽早结束，就是dupRatio=80，表示连续3页都有80%重复的话，就中断

目前社区版也支持定时激活线索和服务器调度功能了，相关设置在会员中心->爬虫管理里
详情请看http://www.gooseeker.com/doc/article-200-1.html