规则名: 泡沫洗手液京东
已经按教程做好翻页设置了, 但是可能因为不能加载滚屏的原因不能翻页采集数据。
也把速度改成2,滚屏总数改成了20,但是仍然不能翻页采集京东列表数据。快速采集也是遇到同样的事情。
看教学视频采集京东数据压根就没有这种事情发生,是不是最近京东做了反爬措施,请技术人员研究下。谢谢


举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2019-2-28 09:46

沙发
maomao 论坛元老 发表于 2019-2-23 11:23:59 | 只看该作者
我加载了你的规则,我发现翻页区和翻页记号加载不成功,应该是规则没有做好。
你用哪个节点作为翻页区和翻页记号的?


翻页区三个箭头指向的任何一个都可以,如果选择后两个,点击定位按钮,选择偏好class,因为后两个节点含有class属性,就近使用class定位标志。
翻页记号用红框里面的文本
举报 使用道具
板凳
lyphen 新手上路 发表于 2019-2-23 11:27:48 | 只看该作者
翻页区我好想设置的是EM,翻页记号是EM里的TEXT
举报 使用道具
地板
maomao 论坛元老 发表于 2019-2-23 11:30:59 | 只看该作者
lyphen 发表于 2019-2-23 11:27
翻页区我好想设置的是EM,翻页记号是EM里的TEXT

那就点击“定位偏好”按钮,修改定位偏好成“偏好class”,再点击“查看规则”按钮,观察生成的xpath,里面最好不要含有positon()=xx函数,这种是绝对定位,很容易失效
举报 使用道具
5#
lyphen 新手上路 发表于 2019-2-23 11:39:16 | 只看该作者
任然是不行
举报 使用道具
6#
lyphen 新手上路 发表于 2019-2-23 11:47:16 | 只看该作者
我没有设置XPATH的,奇怪的用其它网上关于京东的资源也一样不能翻页。
举报 使用道具
7#
maomao 论坛元老 发表于 2019-2-23 12:11:53 | 只看该作者
现在应该可以了,我刚加载你的规则看了,可以翻页采集了
举报 使用道具
8#
lyphen 新手上路 发表于 2019-2-25 17:44:12 | 只看该作者
maomao 发表于 2019-2-23 12:11
现在应该可以了,我刚加载你的规则看了,可以翻页采集了

我这里测试还是不行哦,那规则没有问题, 是不是我的设置有什么问题,还是浏览器的原因?从浏览器上来看,好像是不能加载滚动页面。
举报 使用道具
9#
lyphen 新手上路 发表于 2019-2-27 09:57:30 | 只看该作者
maomao 发表于 2019-2-23 12:11
现在应该可以了,我刚加载你的规则看了,可以翻页采集了

查到是什么问题了吗?
举报 使用道具
10#
wangyong 版主 发表于 2019-2-27 10:25:17 | 只看该作者
本帖最后由 wangyong 于 2019-2-27 10:38 编辑
lyphen 发表于 2019-2-27 09:57
查到是什么问题了吗?

现在用的定位方式是绝对定位,每次打开网页时节点位置会发生变化,需要将规则定位方式调整成偏好@class
要做以下两点修改,
1,整理箱定位改成偏好@class

2,选择@class='p-price'的div对价格做定位标志映射
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 12:47