集搜客GooSeeker网络爬虫

标题: 一号店商品评论采集(第三级) [打印本页]

作者: ym    时间: 2015-9-2 16:48
标题: 一号店商品评论采集(第三级)
我新发布了一个采集规则:
一号店商品评论采集(第三级)


详细信息:
采集亚马逊商品下的评论信息,用于研究消费者的购买行为和产品优化。与“一号店商品搜索列表采集(第一级)”、“一号店商品评论网址采集(第二级)”一起使用,能对某分类下的所有商品进行全方位的追踪分析。


希望大家喜欢!下载地址:
http://www.gooseeker.com/res/detail_90627.html
作者: xingmei815    时间: 2016-8-25 17:00
使用爬虫群,被会提示验证码,采集不了啊,怎么处理啊

作者: Fuller    时间: 2016-8-25 17:01
xingmei815 发表于 2016-8-25 17:00
使用爬虫群,被会提示验证码,采集不了啊,怎么处理啊

采集不要那么快。

另外,下周发布自动打码功能,要链接打码平台,由打码平台自动打码
作者: xingmei815    时间: 2016-8-25 17:35
Fuller 发表于 2016-8-25 17:01
采集不要那么快。

另外,下周发布自动打码功能,要链接打码平台,由打码平台自动打码 ...

[attach]1354[/attach]爬虫群的条件感觉已经很慢了,一号店是不是特别严啊,还是我的参数哪里有问题啊

作者: Fuller    时间: 2016-8-25 19:14
xingmei815 发表于 2016-8-25 17:35
爬虫群的条件感觉已经很慢了,一号店是不是特别严啊,还是我的参数哪里有问题啊
...

应该这样:
1)线索等待最短时间  < 线索等待最长时间,你填写的不对
2)最大允许运行爬虫数:1,就是只让爬虫群中一个爬虫采集这个主题
3)一轮线索数量:20,每轮之间会有间歇
4)一轮停歇时间:20秒,每轮之间间歇大一些

总之,你设置的参数特别快

另外,一旦出现验证码,要清理浏览历史和cookie,最好重换IP





欢迎光临 集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/) Powered by Discuz! X3.2