工具不断的去重复抓取能判断那些是更新的吗？

Fuller 于 2015-12-16 18:43 发表 [复制链接] [只看楼主] [打印] [上一主题] [下一主题]

问：工具不断的去重复抓取能判断那些是更新的吗？

答：如果你抓下一级线索，能判断更新的，因为抓到的下级网址会在服务器上做专门的处理，会判断是否以前已经抓取过，请参看crontab.xml参数说明，可以做成增量抓取。请注意，新版本GooSeeker推出了爬虫群功能，不用再手工写crontab.xml了，参看：http://www.gooseeker.com/doc/article-197-1.html

如果是抓内容，判断不了，需要导入数据库后用程序判断

转播

支持

反对

举报使用道具

| 回复

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

返回列表

精彩推荐

Gephi社会网络分析-马蜂窝游记文本分词并同
Gephi社会网络分析-基于马蜂窝游记文本以词
知乎话题文本根据词语间距筛选后生成共词矩
马蜂窝游记文本分词后以词语间距为筛选条件
学习使用apriori算法挖掘关联关系

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页

工具不断的去重复抓取 能判断那些是更新的吗？

共 0 个关于本帖的回复 最后回复于 2015-12-16 18:43

推荐板块

精彩推荐

热门话题

热门用户

工具不断的去重复抓取能判断那些是更新的吗？

共 0 个关于本帖的回复最后回复于 2015-12-16 18:43