快捷导航
11 141

下级线索

wangshift 于 2021-4-28 20:55 发表 [复制链接]
在爬取Facebook评论时,点击“更多评论”,但是网址不变,这种结构怎么获取评论数据啊?是下级线索吗?还是翻页呢?
采取翻页线索的模拟点击试了一下,发现不行。求指导!
一级规则:suibe_Facebook3
二级线索:suibe_Facebook4
网页:https://www.facebook.com/ebay
举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2021-4-30 10:34

Fuller 管理员 发表于 2021-4-28 22:29:51 | 显示全部楼层
每条信息的时间都对应一个A节点,有独立的网址href,把这个网址采集下来,作为下一级线索。在下一级采集评论。

举报 使用道具
wangshift 高级会员 发表于 2021-4-29 08:56:05 | 显示全部楼层
可以截图吗?没有看到那个href,谢谢
举报 使用道具
wangshift 高级会员 发表于 2021-4-29 08:58:04 | 显示全部楼层
wangshift 发表于 2021-4-29 08:56
可以截图吗?没有看到那个href,谢谢

已经找到了,谢谢
举报 使用道具
wangshift 高级会员 发表于 2021-4-29 08:58:59 | 显示全部楼层
随便问一下,这个结构可以用模拟点击进行评论的爬取吗?模拟点击的位置是“更多评论”那里
举报 使用道具
wangshift 高级会员 发表于 2021-4-29 08:59:19 | 显示全部楼层
我试了好多次模拟点击,没有成功
举报 使用道具
wangshift 高级会员 发表于 2021-4-29 08:59:52 | 显示全部楼层
一级规则:suibe_Facebook5
二级线索:suibe_Facebook6
举报 使用道具
wangshift 高级会员 发表于 2021-4-29 09:16:29 | 显示全部楼层
Fuller 发表于 2021-4-28 22:29
每条信息的时间都对应一个A节点,有独立的网址href,把这个网址采集下来,作为下一级线索。在下一级采集评 ...

随便问一下,这个结构可以用模拟点击进行评论的爬取吗?模拟点击的位置是“更多评论”那里
举报 使用道具
Fuller 管理员 发表于 2021-4-29 09:32:50 | 显示全部楼层
wangshift 发表于 2021-4-29 09:16
随便问一下,这个结构可以用模拟点击进行评论的爬取吗?模拟点击的位置是“更多评论”那里
...

模拟点击也可以,但是规则会比较复杂。

首先,要做好点击动作,能看到评论信息窗口显示出来
其次,要在动作后的规则中设置点击动作,关闭这个弹出来的评论浮窗
举报 使用道具
Fuller 管理员 发表于 2021-4-29 09:36:02 | 显示全部楼层
Fuller 发表于 2021-4-29 09:32
模拟点击也可以,但是规则会比较复杂。

首先,要做好点击动作,能看到评论信息窗口显示出来

但是,第一级规则已经有滚屏动作了,再做点击,规则不太好做。每次循环,每个动作做一次,显然滚屏动作进度太快,因为每次滚屏,就会显示出来至少10条要点击的新内容。

可以把第一级的滚屏动作删除了,只定义点击动作,而且勾上模拟点击,如果模拟点击还不够,在高级设置那里有窗口可见也勾上。那么每次点击之前都会做一个小幅度的滚屏,就能省掉滚屏动作
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用微博工具箱-以采集微博关键词搜索
  • “只用规则中的输入词”选项的使用方法
  • 去资源库下载规则,轻松抓数据
  • 采集下载指定网页区域内的所有图片
  • 如何使用快捷采集-以京东评论采集为例

热门用户

GMT+8, 2021-5-12 19:09