我想要爬取的是一个网站的客户产品评价,但是每一条评价都要“展开全部内容”才能够显示完全,一页里面有几十条评论。看了教程只有作一次模拟点击的,求问大神们怎么设置能自动把所有的都点击了(并且翻到下一页也能自动点开所有“展开全部内容”)?谢谢!!!

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2020-10-13 16:13

来自 7#
wangyong 版主 发表于 2020-10-13 16:13:24 | 只看该作者
采集新浪微博的“展开全文”内容,可以使用快捷采集的微博全文采集入口:https://www.gooseeker.com/res/da ... 8%E9%87%87%E9%9B%86
将博文独立链接输入后自动采集完整数据,具体参考帖子:https://www.gooseeker.com/doc/thread-10542-1-1.html
举报 使用道具
沙发
xandy 论坛元老 发表于 2017-3-3 16:39:36 | 只看该作者
这个要用到连续动作,连续动作可以定位到所有的“展开全部内容”,然后一一去做点击。
你先去看教程:《教程->高级教程->连续动作》

左侧目录树展开就能看全了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
isywend 新手上路 发表于 2017-3-3 17:47:18 | 只看该作者
xandy 发表于 2017-3-3 16:39
这个要用到连续动作,连续动作可以定位到所有的“展开全部内容”,然后一一去做点击。
你先去看教程:《教 ...

谢谢您的帮助,但是我看了教程,没有关于连续多次单击动作的,试着自己做了一下,还是不行。。。单击展开全部内容后,网页结构变了,第二级采集文本时需要先取消掉“内容定位”把第一页的所有“展开全部内容”点开之后再提取吗??

举报 使用道具
地板
ym 版主 发表于 2017-3-3 17:58:02 | 只看该作者
第一级规则设置连续动作的点击,xpath定位表达式要锁定网页上每一个“展开全部内容”按钮
第二级规则是对展开全部内容后的页面做映射
可以参考一下这篇教程的操作步骤《把信息与连续动作步骤对应起来—以58同城分类采集为例 》
举报 使用道具
5#
isywend 新手上路 发表于 2017-3-3 19:27:08 | 只看该作者
ym 发表于 2017-3-3 17:58
第一级规则设置连续动作的点击,xpath定位表达式要锁定网页上每一个“展开全部内容”按钮
第二级规则是对展 ...

请问连续动作怎么和翻页一起做?我现在是第一页能连续点开展示全部内容了,但是翻到第二页的时候仍然是爬下来的没展开的状态,谢谢!!!

举报 使用道具
6#
Fuller 管理员 发表于 2017-3-3 19:59:18 | 只看该作者
isywend 发表于 2017-3-3 19:27
请问连续动作怎么和翻页一起做?我现在是第一页能连续点开展示全部内容了,但是翻到第二页的时候仍然是爬 ...

第一级规则负责:
1,连续点击,在“连续动作”工作台做,目标主题是下一级
2,翻页,在“爬虫路线”工作台做,目标主题不变
3,根据需要抓数据

第二级规则负责:
1,只抓数据

你存规则了吗?主题名是什么?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-22 02:25