亚马逊评论采集失败

scraper 发表于 2017-4-21 15:05
你真的改过规则了吗

没有保存到= =超时都设置了200秒了   还是只爬三页左右就没有了，这个是反爬虫吗

beanbing 发表于 2017-4-22 09:21
没有保存到= =超时都设置了200秒了   还是只爬三页左右就没有了，这个是反爬虫吗
...

不是反爬，我用你的规则，翻页到第五页了，匹配失败，说明整理箱上做的内容映射不合适，我看了一下你定义的抓取内容，都勾上了“关键内容”，没有必要，因为到后面页，很多内容就没有了，关键内容确保不了，所以出现匹配失败。

Fuller 发表于 2017-4-22 10:21
不是反爬，我用你的规则，翻页到第五页了，匹配失败，说明整理箱上做的内容映射不合适，我看了一下你定 ...

那是不要勾上？？比如VP有些是没有的，有些有的，对于这些就不要勾吗

beanbing 发表于 2017-4-22 10:35
那是不要勾上？？比如VP有些是没有的，有些有的，对于这些就不要勾吗

是的，不要勾

Fuller 发表于 2017-4-22 11:11
是的，不要勾

那这个翻页要怎么做呢？弄了记号线索  失败 不行
弄了连续动作也不对，观察一下url  是每一个页面对应一个数字 number1,number2.。。。。。

记号线索无法翻页的话可以用相对线索
还可以参看翻页到中间就失败了怎样解决

主题名为： 评论一款产品 ，这个是同样的  但是不行   相对线索都试过了  也没有提示什么失败

wangyong 发表于 2017-6-20 11:07
记号线索无法翻页的话可以用相对线索
还可以参看翻页到中间就失败了怎样解决

主题名为： 评论一款产品 ，这个是同样的  但是不行   相对线索都试过了  也没有提示什么失败

翻页线索要勾连贯抓取
整理箱中的抓取内容必须有一个勾关键内容

现在亚马逊评论采集，有更简单方便的方法，用Gooseeker数据DIY采集亚马逊，直接输入商品网址就可以采集了