11#
Fuller 管理员 发表于 2018-7-17 15:43:13 | 只看该作者
DuoRuaiMi 发表于 2018-7-17 15:29
是不是时间久了,原本的网页结构改变了导致运行出错呢

你运行出错了?
举报 使用道具
12#
Fuller 管理员 发表于 2018-7-17 15:44:20 | 只看该作者
DuoRuaiMi 发表于 2018-7-17 15:29
是不是时间久了,原本的网页结构改变了导致运行出错呢

这个规则是某个用户要的,专门给他做的,后来就没有维护,可能就失效了,现在应该用微博采集工具箱中的工具:https://www.gooseeker.com/land/weibo.html
举报 使用道具
13#
DuoRuaiMi 高级会员 发表于 2018-7-18 16:05:44 | 只看该作者
Fuller 发表于 2018-7-17 15:44
这个规则是某个用户要的,专门给他做的,后来就没有维护,可能就失效了,现在应该用微博采集工具箱中的工 ...

谢谢,本来想参考下怎么爬取鼠标移动后悬浮窗口上的内容,结果发现原先的规则应该是出错了
举报 使用道具
14#
Fuller 管理员 发表于 2018-7-18 17:22:59 | 只看该作者
DuoRuaiMi 发表于 2018-7-18 16:05
谢谢,本来想参考下怎么爬取鼠标移动后悬浮窗口上的内容,结果发现原先的规则应该是出错了
...

悬浮动作的教程是这个,也是针对微博做的,可以参考一下:https://www.gooseeker.com/doc/article-380-1.html
举报 使用道具
15#
DuoRuaiMi 高级会员 发表于 2018-7-27 23:01:55 | 只看该作者
Fuller 发表于 2018-7-18 17:22
悬浮动作的教程是这个,也是针对微博做的,可以参考一下:https://www.gooseeker.com/doc/article-380-1. ...

按照以上操作做了个悬浮动作,运行第一级规则(基本信息表1)的时候出现了错误,二级规则(基本信息1-悬浮stage)能够抓取,出现了好多重复的抓取内容怎么解决呢

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
16#
Fuller 管理员 发表于 2018-7-28 09:35:24 | 只看该作者
DuoRuaiMi 发表于 2018-7-27 23:01
按照以上操作做了个悬浮动作,运行第一级规则(基本信息表1)的时候出现了错误,二级规则(基本信息1-悬 ...



能搜到8个节点,只有第三个是看得见的,其他的看不见,你这个xpath是不是写的不够精准?如果是看不见的节点,那么先要做一些前置动作,让它显示出来,再做悬浮动作

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
17#
DuoRuaiMi 高级会员 发表于 2018-7-28 18:11:09 | 只看该作者
Fuller 发表于 2018-7-28 09:35
能搜到8个节点,只有第三个是看得见的,其他的看不见,你这个xpath是不是写的不够精准?如果是看不见的 ...

怎么做前置动作呢,可不可以直接在xpath后面加[position()=3]定位到第三个呢,还是我悬浮的定位不对
举报 使用道具
18#
Fuller 管理员 发表于 2018-7-28 20:05:07 | 只看该作者
DuoRuaiMi 发表于 2018-7-28 18:11
怎么做前置动作呢,可不可以直接在xpath后面加定位到第三个呢,还是我悬浮的定位不对
...

如果你只想悬浮到这一个位置,可以这样写:
  1. //div[@class='campaignBody-horizontal']//campaign-product-stage[contains(@class, 'productStage--Desktop')]/div[contains(@class, 'campaignProductStage--desktop')]//div[@class='campaignProductStage-currentStageLabel ng-binding']
复制代码


这个网站的网页结构好复杂,仔细分析了DOM结构以后,上面这个xpath可以定位到那一个节点

举报 使用道具
19#
DuoRuaiMi 高级会员 发表于 2018-7-28 21:46:12 | 只看该作者
Fuller 发表于 2018-7-28 20:05
如果你只想悬浮到这一个位置,可以这样写:

这个网站的网页结构好复杂,仔细分析了DOM结构以后,上面这 ...

呜呜呜,很复杂吗,我还要学着把几乎所有的内容都爬下来,我试试这个代码,十分感谢
举报 使用道具
20#
DuoRuaiMi 高级会员 发表于 2018-7-28 22:13:27 | 只看该作者
Fuller 发表于 2018-7-28 20:05
如果你只想悬浮到这一个位置,可以这样写:

这个网站的网页结构好复杂,仔细分析了DOM结构以后,上面这 ...

悬浮动作没有设置延时时长,改了一下定位成功了,谢谢。想请教一下一般遇到前面定位模糊的情况要如何自定义xpath以精确定位。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 21:09