快捷导航
请教各位大神,有的微博内容很长,后面有“展开全文”按钮,遇到这样的如何抓取微博的“展开全文”的内容?
屏幕快照 2017-10-24 10.27.05.png
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2020-10-15 15:47

maomao 论坛元老 发表于 2020-7-2 10:33:27 | 显示全部楼层
现在集搜客有微博工具箱,用关键词搜索工具或者博主主页工具会批量采集到博文的独立链接,然后把这些链接添加到博文展开工具,就可以批量采集完整博文了。
举报 使用道具
wangyong 版主 发表于 2020-10-15 15:47:00 | 显示全部楼层
通过Excel筛选出需要“展开全文”的微博后,把博文独立网址字段添加到快捷采集的微博博文展开全部采集中,就可以采集到展开全文后的完整微博了 QQ截图20201015154456.png



举报 使用道具
数据集 高级会员 发表于 2017-10-24 11:04:23 | 显示全部楼层
本帖最后由 数据集 于 2017-10-24 11:08 编辑

用连续点击动作《连续动作》
1,第一级规则定义连续点击动作去点击“展开全文”
2,第二级规则抓取点击“展开全文”后展示的全部内容
举报 使用道具
114127670 新手上路 发表于 2017-10-24 15:49:33 | 显示全部楼层
谢谢。
举报 使用道具
Fuller 管理员 发表于 2020-7-2 10:49:58 | 显示全部楼层
以前大家采集微博的时候,一个不经意的操作可能导致采集不到数据:为了同时用电脑做别的事情,把爬虫窗口最小化了。 现在的数据管家产品会做提示,这是使用体验方面全面提升的一个案例。

爬虫窗口不能最小化,如果还想做别的事情,可以把别的窗口覆盖在爬虫窗口上面。但是,一旦最小化,浏览器是不会加载网页内容的。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-10-23 14:07