新浪新闻重复抓取问题咨询

你好，我想通过关键词在新浪新闻那里搜素相关的新闻，每天重复进行，但是每次抓取的时候都会重新抓一遍，有没有办法可以实现，以前抓取过的就别抓取了呢？

这是舆情分析系统常做的事情，一般要使用层级抓取，分成两级，第一级抓新闻搜索结果列表，会把每条新闻的链接抓下来，生成第二级抓取线索。第二级抓取详细的新闻内容。
如果是这样规划的，就可以避免重复抓取，在会员中心为第一级设置调度参数时，可以把激活下级线索设置为否，那么即使多次抓取到下级网址，也不会重新激活，意味着只会抓一次。

另外，为第一级设置 “下级线索重复容忍度”设置为不是100%的值，比如，80%，表示：如果遇到20%以上重复的线索，那么就终止第一级的翻页