我需要抓VIVO手机店面的数据 网址http://www.vivo.com.cn/store/all?prov=%E4%BA%91%E5%8D%97%E7%9C%81
我做了两个规则分别为“VIVO店铺1”“VIVO店铺2”
第一个规则用来选省份 第二个规则来抓该省份下的数据
问题是
1. 不翻页 我映射了<符号的@class值 但是不翻页
2. 规则1正确的选择了不同的省份 但是选择后的网页在打数机中午反应 永远都停留在云南省的第一页 所以不停在抓重复数据
我已经在打数机中选择了终点标志-重复内容
求帮忙。。。
PS店铺都好难抓啊。。。。
举报 使用道具
| 回复

共 18 个关于本帖的回复 最后回复于 2016-12-13 18:33

沙发
HJLing 版主 发表于 2016-12-13 16:27:15 | 只看该作者

每个省份都有独立网址 直接做层级规则就可以了 不用连续动作

举报 使用道具
板凳
HJLing 版主 发表于 2016-12-13 16:34:10 | 只看该作者

第二个规则不翻页 要手动修改一下翻页规则 在程序自动生成的基础上添加“/a” 再点保存修改 这样改完后不能再点“存规则” 否则线索规则又会被程序自动生成的覆盖了

举报 使用道具
地板
xiaobuwowo1993 初级会员 发表于 2016-12-13 16:43:18 | 只看该作者
HJLing 发表于 2016-12-13 16:27
每个省份都有独立网址 直接做层级规则就可以了 不用连续动作


您好 我将a节点做了高级设置 如下

然后测试的时候没有全部省份信息都出来 什么情况~
举报 使用道具
5#
HJLing 版主 发表于 2016-12-13 16:46:14 | 只看该作者
xiaobuwowo1993 发表于 2016-12-13 16:43
您好 我将a节点做了高级设置 如下

然后测试的时候没有全部省份信息都出来 什么情况~

直接映射就可以了不需要写xpath

举报 使用道具
6#
HJLing 版主 发表于 2016-12-13 16:46:42 | 只看该作者
xiaobuwowo1993 发表于 2016-12-13 16:43
您好 我将a节点做了高级设置 如下

然后测试的时候没有全部省份信息都出来 什么情况~

a节点是做样例复制的

举报 使用道具
7#
xiaobuwowo1993 初级会员 发表于 2016-12-13 16:48:50 | 只看该作者
HJLing 发表于 2016-12-13 16:34
第二个规则不翻页 要手动修改一下翻页规则 在程序自动生成的基础上添加“/a” 再点保存修改 这样改完后不 ...

我的线索规则总是空的 就是测试成功了以后也是空的 怎么修改呢~

举报 使用道具
8#
HJLing 版主 发表于 2016-12-13 17:00:52 | 只看该作者
xiaobuwowo1993 发表于 2016-12-13 16:48
我的线索规则总是空的 就是测试成功了以后也是空的 怎么修改呢~

在爬虫路线点击“查看规则”

举报 使用道具
9#
xiaobuwowo1993 初级会员 发表于 2016-12-13 17:04:55 | 只看该作者
HJLing 发表于 2016-12-13 16:46
a节点是做样例复制的

做好样例映射 刚刚又试了一下 还是不行 他现在都不能自己翻到其他的省份了 只抓了一个地方然后就显示

是不是我的下级线索错了 我就是把url勾线了下级线索 然后去爬虫路线中把目标主题名改了一下就完了

哪里出问题了。。。
举报 使用道具
10#
HJLing 版主 发表于 2016-12-13 17:15:59 | 只看该作者
xiaobuwowo1993 发表于 2016-12-13 17:04
做好样例映射 刚刚又试了一下 还是不行 他现在都不能自己翻到其他的省份了 只抓了一个地方然后就显示

是 ...

你修改了线索规则了吗?

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 17:30