两者不都是更新吗,有什么区别呢 弄了一晚上的周期自动爬取,我的renewclue和updateclue都设置为true,结果没执行一次,二三级scheme的线索就会累加。。。。
比如第一次执行,二级scheme的线索为9000,我关闭了,重新启动datascrapper,二级线索就变成18000了。 这是怎么回事呢?
renewClue的结果: 将所有该主题的线索的状态变成start,无论是以前是否抓取过的。很多时候,一个网页抓取过一遍就没有必要再去抓了,就不应该renewClue这个主题。
如果二级主题某个线索已经抓取过了,其状态就变成了“完成”,当抓取第一级主题时,再次抓到二级主题的这个网页地址,如果updateclue=false,那么这个二级主题的线索的状态不会变成start。如果updateclue=true,那么会将二级主题的这个线索的状态变成start
renewClue将所有线索变成start状态
renewClue的结果: 将所有该主题的线索的状态变成start,无论是以前是否抓取过的。很多时候,一个网页抓取过一遍就没有必要再去抓了,就不应该renewClue这个主题。
如果二级主题某个线索已经抓取过了,其状态就变成了“完成”,当抓取第一级主题时,再次抓到二级主题的这个网页地址,如果updateclue=false,那么这个二级主题的线索的状态不会变成start。如果updateclue=true,那么会将二级主题的这个线索的状态变成start