11#
gz51837844 管理员 发表于 2021-10-21 16:22:32 | 只看该作者
还有1种做法, 就是页面上有多少需要点击的地方, 就在动作里添加一个对应的点击动作。
比如页面上有10个地方需要”点击显示“, 就在动作里创建10个:
动作1  点击
动作2  点击
。。。。。。
举报 使用道具
12#
yinyicheng 新手上路 发表于 2021-10-21 17:49:24 | 只看该作者
点个筛选功能,出现问题了
会一轮一轮的执行点击筛选,
动作循环这个能关掉吗?我也没点连续动作呀
举报 使用道具
13#
gz51837844 管理员 发表于 2021-10-21 21:24:15 | 只看该作者
yinyicheng 发表于 2021-10-21 17:49
点个筛选功能,出现问题了
会一轮一轮的执行点击筛选,
动作循环这个能关掉吗?我也没点连续动作呀 ...

因为你那个页面无法访问, 所以给不出更具体的建议。
基本原则是,你人工做了哪几步之后可以看到页面上需要的文本, 那么让爬虫也同样的做那几步后再抓取
举报 使用道具
14#
yinyicheng 新手上路 发表于 2021-10-22 11:51:53 | 只看该作者
页面就是些普通的订单列表,不同的是每列地址信息需要点击才能显示,
否则就是带**号的文本
请问能说说抓取思路吗?我对比下,看看问题出在哪里
举报 使用道具
15#
wangyong 版主 发表于 2021-10-22 14:29:41 | 只看该作者
yinyicheng 发表于 2021-10-21 17:49
点个筛选功能,出现问题了
会一轮一轮的执行点击筛选,
动作循环这个能关掉吗?我也没点连续动作呀 ...

检查一下规则里的xpath,xpath节点能定位到多个节点就会循环,改成只定位到一个节点
举报 使用道具
16#
yinyicheng 新手上路 发表于 2021-10-23 17:29:53 | 只看该作者
将动作和采集分开不同的任务层级,这样就可以采集到数据了,内容还不会重复。感谢各位的技术支持
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 09:58