采集数据出错

lucky半杯 发表于 2017-4-21 14:38
不骗你，我这边某数台为啥显示是网页！你那边不是，是BUG吗

你能看清楚我说什么再回复我吗
我说的不能选择网页片段要选文本内容
因为我点了文本内容所以我显示的是文本内容

scraper 发表于 2017-4-21 14:38
按照我说的去改规则重新采

我知道你意思，可是我这边显示就是网页，。。。

scraper 发表于 2017-4-21 14:39
你能看清楚我说什么再回复我吗
我说的不能选择网页片段要选文本内容
因为我点了文本内容所以我显示的是文 ...

好，理解。。。我的错。。。。我傻逼

lucky半杯 发表于 2017-4-21 14:40
我知道你意思，可是我这边显示就是网页，。。。

所以我叫你改

scraper 发表于 2017-4-21 14:41
所以我叫你改

额。我的一级链接怎么爬不被封IP，我二级链接很容易就被封IP，弹验证码。二级我滚屏5次，线索最短时长5s，延迟5s，每轮等待5s，这样还是被弹验证码，我清COOKIES，也不行，有什么好的办法吗。

scraper 发表于 2017-4-21 14:41
所以我叫你改

我是不是还要加长时间，每轮1条线索，等待2s这样搞。。。。

lucky半杯 发表于 2017-4-21 14:46
我是不是还要加长时间，每轮1条线索，等待2s这样搞。。。。

淘宝封锁很严重
有个用户采集 是一分钟采一个页面的
而且定时换ip清cookie的

所以对淘宝 没什么好的应对方法

scraper 发表于 2017-4-21 14:47
淘宝封锁很严重
有个用户采集 是一分钟采一个页面的
而且定时换ip清cookie的

定时换IP和清COOKIES有什么好的方法或者软件可以推荐。我校园网。。

lucky半杯 发表于 2017-4-21 14:50
定时换IP和清COOKIES有什么好的方法或者软件可以推荐。我校园网。。

不清楚

哦哦哦。那请教我之前不是文本，也可以采集完成。还有1500条有效数据，，，这个能解释吗