网易云课堂课程详细信息页面 http://study.163.com/course/introduction.htm?courseId=1005226030想要获取右侧的评论
点击“更多”后有弹出框

从教程中看到似乎可以用连续动作,再指向另一个主题页
但是弹出框并没有跳转页面 主题页还是当前这个

请问如何处理

终极目标:就是在获取了当前页面的很多信息之后,如何获取右侧的很多很多评论


举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-5-4 14:14

沙发
Fuller 管理员 发表于 2018-5-3 22:00:18 | 只看该作者
是用连续动作,分成两个主题
1,第一个主题:负责点击“查看更多”,目标主题是第二个主题
2,第二个主题:抓取评论列表,并且做翻页抓取
举报 使用道具
板凳
Fuller 管理员 发表于 2018-5-3 22:03:49 | 只看该作者
连续动作不要求跳转页面。定义规则的时候这样做
1,加载你给的那个网页
2,等内容都显示出来以后,点击工具条中部的“定义规则”,进入定义规则模式
3,定义第一个主题的规则,然后存规则
4,工具条中部的“内容定位”不要勾,点击“查看更多”
5,等内容显示出来以后,再次勾上“内容定位”,选择菜单“规则”-》“刷新页面结构”
6,选择菜单“规则”-〉“新建”,清空工作台,为定义第二个规则做准备
7,定义第二个规则,存规则

运行DS打数机,运行第一个规则
举报 使用道具
地板
mmyuan 初级会员 发表于 2018-5-4 12:23:48 | 只看该作者
Fuller 发表于 2018-5-3 22:03
连续动作不要求跳转页面。定义规则的时候这样做
1,加载你给的那个网页
2,等内容都显示出来以后,点击工具 ...

我根据您提供的方法试了

但是在第二个规则抓取时出现以下错误信息

加载抓取规则遇到的错误:
无法定位容器 No.0


加载爬虫路线遇到的错误:
无法定位网页内容,基于XPath://*[.//a//text()="下一页" and @class='ui-pager f-pr j-data-pager auto-1525402520888-parent']
无法定位线索0;定位用XPath:<context>//*[.//a//text()="下一页" and @class='ui-pager f-pr j-data-pager auto-1525402520888-parent']</context>。跳过!
无法定位网页内容,基于XPath://*[.//a//text()="下一页" and @class='ui-pager f-pr j-data-pager auto-1525402520888-parent']
无法定位记号
经检查,记号(下一页)不符合要求,原因:节点号不正确


而且重新加载第二个规则,点击后续分析之后,重新加载的页面并没有弹出框
以下是我的连续动作设置截图


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
yangwenge 金牌会员 发表于 2018-5-4 14:14:01 | 只看该作者
mmyuan 发表于 2018-5-4 12:23
我根据您提供的方法试了

但是在第二个规则抓取时出现以下错误信息

你这个是重新加载规则出现的错误提示,加载连续动作指向的规则时,需要先取消内容定位,手工执行连续动作的操作后再勾上内容定位,然后再后续分析。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-7-11 16:34