我新发布了一个采集规则:
一号店商品评论采集(第三级)


详细信息:
采集亚马逊商品下的评论信息,用于研究消费者的购买行为和产品优化。与“一号店商品搜索列表采集(第一级)”、“一号店商品评论网址采集(第二级)”一起使用,能对某分类下的所有商品进行全方位的追踪分析。


希望大家喜欢!下载地址:
http://www.gooseeker.com/res/detail_90627.html
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2016-8-25 19:14

沙发
xingmei815 初级会员 发表于 2016-8-25 17:00:28 | 只看该作者
使用爬虫群,被会提示验证码,采集不了啊,怎么处理啊
举报 使用道具
板凳
Fuller 管理员 发表于 2016-8-25 17:01:59 | 只看该作者
xingmei815 发表于 2016-8-25 17:00
使用爬虫群,被会提示验证码,采集不了啊,怎么处理啊

采集不要那么快。

另外,下周发布自动打码功能,要链接打码平台,由打码平台自动打码
举报 使用道具
地板
xingmei815 初级会员 发表于 2016-8-25 17:35:03 | 只看该作者
Fuller 发表于 2016-8-25 17:01
采集不要那么快。

另外,下周发布自动打码功能,要链接打码平台,由打码平台自动打码 ...

爬虫群的条件感觉已经很慢了,一号店是不是特别严啊,还是我的参数哪里有问题啊

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
Fuller 管理员 发表于 2016-8-25 19:14:44 | 只看该作者
xingmei815 发表于 2016-8-25 17:35
爬虫群的条件感觉已经很慢了,一号店是不是特别严啊,还是我的参数哪里有问题啊
...

应该这样:
1)线索等待最短时间  < 线索等待最长时间,你填写的不对
2)最大允许运行爬虫数:1,就是只让爬虫群中一个爬虫采集这个主题
3)一轮线索数量:20,每轮之间会有间歇
4)一轮停歇时间:20秒,每轮之间间歇大一些

总之,你设置的参数特别快

另外,一旦出现验证码,要清理浏览历史和cookie,最好重换IP
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 12:25