我想抓取XIAOMI手机的网点数据,网址为http://www.mi.com/static/maintainlocation/
我做了两级规则 第一级用来做两个连续动作 选择省份和城市 第二个用来抓取页面的数据(店面和地址)

我的规则名是“xiaomi店面1”和“xiaomi店面2”
现在的问题是 到了只有一个网点的地方他就不会抓取 他只会抓取两个及两个以上的网点信息所有漏掉了无数的信息。。。

逻辑上也找不到什么原因 请大神帮忙看看。。。



举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2016-12-13 15:09

沙发
xiaobuwowo1993 初级会员 发表于 2016-12-11 21:00:51 | 只看该作者
把只有一个网点的页面单独在谋数台上测试的时候也是有信息的 不知道为什么一到打数机上就抓不下来 自动跳过了。。。
举报 使用道具
板凳
Fuller 管理员 发表于 2016-12-11 21:41:19 | 只看该作者
根据你的描述,应该是第二级 xiaomi店面2 的数据抓取规则有问题。我做了如下修改:给两个抓取内容都做了定位标志映射,提高规则的适应性。


第一级 xiaomi店面1 没有做大的修改,主要是把第二个动作的 额外延时 加大了,因为这个网站太慢了。另外,要注意,动作的起点都从1开始


DS打数机运行的时候,要注意打开重复内容中断选项,菜单 高级-〉终点标志-〉重复内容


举报 使用道具
地板
Fuller 管理员 发表于 2016-12-11 21:43:03 | 只看该作者
另外,华为店面采集规则的问题已经解决了,参看帖子:http://www.gooseeker.com/doc/thread-5133-1-1.html
举报 使用道具
5#
xiaobuwowo1993 初级会员 发表于 2016-12-11 22:56:43 | 只看该作者
Fuller 发表于 2016-12-11 21:41
根据你的描述,应该是第二级 xiaomi店面2 的数据抓取规则有问题。我做了如下修改:给两个抓取内容都做了定 ...

按照您说的已经改了 也还是没有用 还是遇到比如唐山市这种只有一个店面的情况就不抓数据 但是页面还是会跳到那一页 就是不抓取数据
举报 使用道具
6#
xiaobuwowo1993 初级会员 发表于 2016-12-12 10:35:26 | 只看该作者
Fuller 发表于 2016-12-11 21:43
另外,华为店面采集规则的问题已经解决了,参看帖子:http://www.gooseeker.com/doc/thread-5133-1-1.html ...

谢谢大神 点击的方法确实可以让他开始抓取了 但是还是会在不同的地方停下来让我输入城市。。。
然后我就放弃了抓取全国数据的念头 只想抓广东省的 可是到了广东省就是每一个城市抓完就要停下来问我选择城市 还是没有办法。。。
我以为是网站的问题 可是我从浏览器进去以后是好的。。。
举报 使用道具
7#
Fuller 管理员 发表于 2016-12-12 15:50:27 | 只看该作者
xiaobuwowo1993 发表于 2016-12-12 10:35
谢谢大神 点击的方法确实可以让他开始抓取了 但是还是会在不同的地方停下来让我输入城市。。。
然后我就 ...

把所有都改成点击了吗?都不要用select
举报 使用道具
8#
xiaobuwowo1993 初级会员 发表于 2016-12-13 15:09:02 | 只看该作者
Fuller 发表于 2016-12-12 15:50
把所有都改成点击了吗?都不要用select

恩恩 都改成点击了 是按照您的说法都改了 我在想是不是他们网页的问题
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 05:57