头条新闻采集300多个就停止了，网页是无限加载的，是哪里没设置好吗？

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:29:53

我去学习一下

ym · 发表于 2017-2-23 15:30:11

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:30:49

爬虫软件未运行这个激活线索是无效的对吧

ym · 发表于 2017-2-23 15:31:18

本帖最后由 ym 于 2017-2-23 15:36 编辑

有效，到了时间就会自动激活线索。
只是激活线索能在不开机的情况生效，采数据必须要开机并且启动爬虫群，开了爬虫群才会自动采集的

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:37:13

只要昨天的数据怎么设置时间？
要是有服务器就好了

ym · 发表于 2017-2-23 15:38:10

这是激活线索的设置，不是指采集目标网页的哪个新闻时间段
每次激活线索后，都是从头采集的，不能指定抓某个时间段

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:38:21

嗯呢这个明白了

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:38:38

那能对数据设置抓取限制只抓取阅读量大于1000这样吗?

ym · 发表于 2017-2-23 15:39:06

不能，要采集全部后，自己后期做筛选

抖抖olo一银桑诶嘿 · 发表于 2017-2-23 15:51:29

好的，谢谢啦

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页