滚屏如何只采新增内容

坦克罐头

集搜客设置滚屏规则每次滚屏后如何只抓取新增内容
我现在是每次滚屏全部内容都抓一次，造成无数重复数据，越翻抓取越慢

scraper · 发表于 2017-1-3 18:19:10

每次抓取都会生成一个XML，你就打开最新抓取下来的xml，那个就包含滚屏后的内容

坦克罐头 · 发表于 2017-1-3 18:20:02

scraper 发表于 2017-1-3 18:19
每次抓取都会生成一个XML，你就打开最新抓取下来的xml，那个就包含滚屏后的内容 ...

嗯，这个我知道，但文件会越来越大啊
他每次都要从头跑一次XML？

肉眼可见的变大

scraper · 发表于 2017-1-3 18:20:32

坦克罐头发表于 2017-1-3 18:20
嗯，这个我知道，但文件会越来越大啊
他每次都要从头跑一次XML？

是的每次都是从最上面的开始采集
你就保留最新的最全的，其他的可以删掉

共 3 个关于本帖的回复最后回复于 2017-1-3 18:20

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页