新浪微博评论无法翻页

笑看人生

规则名：走饭啊
微博评论爬取只能采集第一页
设置了自动滚屏，翻页区，翻页线索
都不行
求救

wangyong · 发表于 2021-4-26 11:14:03

本帖最后由 wangyong 于 2021-5-6 10:10 编辑

1，下载数据管家从左侧工具条进入微博工具箱，使用微博评论/转发采集

2，新建采集任务→勾选评论→输入要采集的微博网址建→确定提交启动采集

数据展示：

Fuller · 发表于 2020-6-3 09:52:09

点击“查看规则”，把规则考出来，搜索一下，可以看到定位到 A 元素上。而A元素下面还有一个SPAN元素，微博评论这个网页很特别，要点击SPAN才行。参看下图，用SPAN节点作为翻页区，这样可缩小翻页区范围，再查看规则，就会发现是定位到很精确的SPAN节点。

笑看人生 · 发表于 2020-6-3 12:05:53

Fuller 发表于 2020-6-3 09:52
点击“查看规则”，把规则考出来，搜索一下，可以看到定位到 A 元素上。而A元素下面还有一个SPAN元素，微博 ...

谢谢。这样操作之后，爬到50页就自动停止了。试了好几次都是

wangyong · 发表于 2020-6-3 14:48:11

新浪微博评论页面过程中可能会不显示内容，所以翻页就中断了

可以用微博评论工具采集以下试试https://www.gooseeker.com/res/softdetail_6.html
微博评论工具再页数多的情况下也采不全，但是做了一些其他设计可能能采集到更多

笑看人生 · 发表于 2020-6-4 18:17:37

wangyong 发表于 2020-6-3 14:48
新浪微博评论页面过程中可能会不显示内容，所以翻页就中断了

可以用微博评论工具采集以下试试https://www. ...

好的，谢谢

共 5 个关于本帖的回复最后回复于 2021-4-26 11:14

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页