亚马逊评论采集咨询

ym 发表于 2016-11-24 09:50
黑色框和下一页所在的黄色区块都是包含了翻页按钮“下一页”，所以两者都可以作为翻页区块映射给记号线索 ...

遇到了一个大问题，我弄了2天，都快疯了。
我做的二个规则都已经正常爬取。其中第一个规则很正常。
第二个爬取的数据。最后在EXCLE中部分爬取到了，但是有部分没有爬取到。不知道为啥，下面的JACK没有爬取到，但是网页上是有的。我很确定我的规则应该没问题，咋搞啊。。。求助

xandy 发表于 2016-11-23 22:40
教程没错，你理解错了，上面那个图的教程指向“下一页”是为了告诉你怎么定位到整个页码的区块A节点（1、2 ...

求指导下我下面的那个问题

lucky半杯 发表于 2016-11-24 13:33
谢谢回复！！！

找到原因了，可能是网站结构的问题，如图，有的可以点击去，如255，有的不能点进去如，35497。这样怎么弄

他们的区别可能是像这样的两个xpath：
1）span/a/text()
2）span/text()
这样的话，用span做内容映射，抓取那个排名数字

Fuller 发表于 2016-11-24 21:38
他们的区别可能是像这样的两个xpath：
1）span/a/text()
2）span/text()

就是都是这个Authorinfo节点的，但是不同的网页结构，都在各自的TEXT下面，你说的那个Span我不会啊，求教，

xandy 发表于 2016-11-23 21:08
黑色那部分（包含整个页码区的）是给翻页线索定位的
红色区块（包含‘下一页’的）里头的text()是拿来做记 ...

能回答下我倒数第二楼的帖子吗

lucky半杯 发表于 2016-11-29 09:48
能回答下我倒数第二楼的帖子吗

直接用span节点做内容映射，右击span节点->选择内容映射，这样两种结构都抓到了

lucky半杯 发表于 2016-11-25 15:52
就是都是这个Authorinfo节点的，但是不同的网页结构，都在各自的TEXT下面，你说的那个Span我不会啊，求教 ...

用那个含有@class='curAuthorInfo'的DIV做内容映射，就能抓全

lucky半杯 发表于 2016-11-29 09:48
能回答下我倒数第二楼的帖子吗

你发一个样本网址给我

lucky半杯 发表于 2016-11-29 09:48
能回答下我倒数第二楼的帖子吗

是的，正如楼上所说的。用那个含有@class='curAuthorInfo'的DIV做内容映射的话，应该可以抓到整个文本内容xxx排名：xxx
这样你就可以在excel里头进行处理一下，用一个函数将排名那个数字提取出来