21#
Fuller 管理员 发表于 2016-12-9 15:03:10 | 只看该作者
这是贵州的那段


举报 使用道具
22#
xiaobuwowo1993 初级会员 发表于 2016-12-9 18:04:57 | 只看该作者
Fuller 发表于 2016-12-9 15:03
这是贵州的那段

谢谢大神 终于抓完了所有 莫名其面的好了 我都不敢动电脑
然后我现在开始抓华为的店面数 又遇到问题了,网址是:http://consumer.huawei.com/cn/support/where-to-buy/index.htm
我写了两个规则 第一个规则是三个连续动作 分别是抓取省份 抓取城市 然后点击搜索(店面的类别不用选 这样可以搜索出来所有的类型)第二个规则就是正常抓数 和OPPO逻辑差不多 就是多了一个搜索的点击
我的规则名是“Huawei店面抓取1”和“Huawei店面抓取2”
问题是 打数机运行的时候他总是让我输入城市名 我不知道哪里出错了
举报 使用道具
23#
Fuller 管理员 发表于 2016-12-11 21:00:39 | 只看该作者
xiaobuwowo1993 发表于 2016-12-9 18:04
谢谢大神 终于抓完了所有 莫名其面的好了 我都不敢动电脑
然后我现在开始抓华为的店面数 又遇到问题了, ...

第一个规则,第三个动作的高级设置,起点应该从1开始,不能是2,因为只有一个查询按钮
举报 使用道具
24#
Fuller 管理员 发表于 2016-12-11 21:24:34 | 只看该作者
Huawei店面抓取1 根本问题是:网页上的select节点是个障眼法,选择它没用,这个选择动作要分解成2个动作,先点击select下面那个div,用于展开菜单,再点击菜单中的每一项,就是ul下面的那些a


最终是这个动作序列



5个动作的xpath分别是
  1. //*[@id='Combo_salesprovince']/div[@class='text']
复制代码
高级设置都一样,都要勾上  必做 和 模拟点击


举报 使用道具
25#
xiaobuwowo1993 初级会员 发表于 2016-12-11 21:30:39 | 只看该作者
Fuller 发表于 2016-12-11 21:00
第一个规则,第三个动作的高级设置,起点应该从1开始,不能是2,因为只有一个查询按钮
...

还是不行 华为现在出的问题是 他总会跳出信息让我“请选择城市” 但是我的第一个规则里面的连续动作已经做了这一步操作。。。
举报 使用道具
26#
Fuller 管理员 发表于 2016-12-11 21:42:11 | 只看该作者
xiaobuwowo1993 发表于 2016-12-11 21:30
还是不行 华为现在出的问题是 他总会跳出信息让我“请选择城市” 但是我的第一个规则里面的连续动作已经 ...

前四个动作全部用点击,最后一个动作用提交
举报 使用道具
27#
xiaobuwowo1993 初级会员 发表于 2016-12-11 21:48:40 | 只看该作者
Fuller 发表于 2016-12-11 21:24
Huawei店面抓取1 根本问题是:网页上的select节点是个障眼法,选择它没用,这个选择动作要分解成2个动作, ...

谢谢大神 刚刚按照你的做了 但是还是不行 还在提醒我要输入城市 你只发出来了第一个连续动作的xpath
我后面的xpath是这样的 你看看对不对
2. 选择省份://*[@id='Combo_salesprovince']/ul/a
3. 点击展开城市://*[@id='Combo_salescity']/div[@class='text']
4. 点击城市://*[@id='Combo_salescity']/ul/a
5. 点击查询://*[@id='search_address']
然后他们的起点我都设置成1了 咋还不对。。。他就把安庆全部抓完以后就让我要输入城市了。。。
举报 使用道具
28#
xiaobuwowo1993 初级会员 发表于 2016-12-11 21:53:19 | 只看该作者
Fuller 发表于 2016-12-11 21:42
前四个动作全部用点击,最后一个动作用提交

终于好了!!!!原来要选择点击!谢谢大神~~~
举报 使用道具
29#
xiaobuwowo1993 初级会员 发表于 2016-12-14 11:22:25 | 只看该作者
Fuller 发表于 2016-12-11 21:42
前四个动作全部用点击,最后一个动作用提交

大神 华为这个上次还是没有成功 我刚刚又重新测试了一遍 只抓完了安徽安庆就还是让我重新输入城市 您能不能再帮我看看。。。
是不是他们的网站反爬虫之类的啊
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 13:50