本帖最后由 dollywood 于 2017-8-21 17:49 编辑

目标:采集爱回收页面不同选项下的价格,整理Excel表格,得出每一个选项对于回收价格的影响。
目标网址:http://aihuishou.com/product/23422.html
页面分析:点击不同的选项,最后需要点击询价按钮,最终的价格需要在第二级网页进行采集。
采集思路:用连续动作模拟点击,因为点击页面的偏好class不一样,做了四级步骤。第一级和第二级为点击选项,第三级为点击询价按钮,第四级为回退网页。
采集思路有参考帖子:http://www.gooseeker.com/doc/thread-7842-1-1.html

规则名:1.爱回收层级抓取-第一级    2.爱回收层级抓取-第二级    3.爱回收层级抓取-第三级

遇到问题:
1.爱回收层级抓取-第二级采集运行错误,在采集一个选项后提示规则不适用?
2.如已经选择了 国行机器-32G-金色-屏幕完好等选项,如何体现在抓取结果里并与最后抓取价格做对应?
3.因为价格是展现在点击询价之后的网址里,应该如何用第二级规则去采集跳转后的网址,供第三级规则做为线索使用?

如果方便,可以直接修改我的规则,十分感谢!



举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-8-21 19:04

沙发
环境监测 中级会员 发表于 2017-8-21 18:15:38 | 只看该作者
第一个问题规则不适用是因为采集规则有问题,你测试下,会不会因为选择了不同的选项然后导致采集结果映射出现问题
第二个问题我理解的是需要循环采集到所有的选项,然后对他的价格进行采集的,如果是这样的话就需要制作多个规则来对应每一个不同选项组合的页面来采集
最后一个的话需要用连续动作来做,只能将点击后的结果页面传到下一级规则去做采集。

举报 使用道具
板凳
dollywood 中级会员 发表于 2017-8-21 18:25:31 | 只看该作者
环境监测 发表于 2017-8-21 18:15
第一个问题规则不适用是因为采集规则有问题,你测试下,会不会因为选择了不同的选项然后导致采集结果映射出 ...

感谢讲解,原来不同的选项要制作不同的规则,这点理解了。
规则不适用的问题,您能帮在我的规则里直接修改,以让第三级规则能顺利获取到第二级采集结果为线索?
举报 使用道具
地板
环境监测 中级会员 发表于 2017-8-21 18:34:10 | 只看该作者
dollywood 发表于 2017-8-21 18:25
感谢讲解,原来不同的选项要制作不同的规则,这点理解了。
规则不适用的问题,您能帮在我的规则里直接修 ...

我们这边是只能看你的规则,不能修改和运行你的规则呢,其实你现在已经是可以把第二级规则的选择规格页面传到第三级规则了,我没有测试过,如果你这边没有传到三级可能是因为第二级规则连续动作有问题,你检查下连续动作 连续动作让爬虫持续采集数据,可以主要看下连续动作的按钮介绍这一块的内容。
举报 使用道具
5#
dollywood 中级会员 发表于 2017-8-21 19:04:28 | 只看该作者
环境监测 发表于 2017-8-21 18:34
我们这边是只能看你的规则,不能修改和运行你的规则呢,其实你现在已经是可以把第二级规则的选择规格页面 ...

谢谢,我去分析一下
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 23:35