Home › Forums › Web信息提取

旧线索能否清除

Tue, 11/06/2012 - 20:44 — wilfred_wang

datascraper服务器端应该是存了每个主题所获取的线索吧？
我的情况这样的：crontab里有一个线程，分2步执行2个主题。第一步是抽取我构造的酷讯机票URL，第二步开始抓取机票。
每一次执行这个线程，url是不同的。
问题是我这次抓取的线索里还是包含上一次的线索，积累起来的。之前抓取过的线索是我不需要的。
能否把这些就旧线索清除？

‹ 新浪微博关键词搜索结果抓取——报错&崩溃 多重信息抓取问题 ›
Wed, 11/07/2012 - 10:02 — Fuller

可以去激活抓取网页的线索

在DataScraper上，选择某个主题，点击鼠标右键，选择“线索”-〉“去活”，就可以去激活所有线索。

Sun, 11/11/2012 - 16:36 — wilfred_wang

有其他非手动的方法么

能否像周期性调度那样的东西控制去激活线索？

Sun, 11/11/2012 - 21:45 — Fuller

如果不想要就不要产生抓取线索

界面上和crontab.xml中都没有去激活的命令。因为理论上讲，如果不想要线索，就不要抓取他们。