971#
2528359831 新手上路 发表于 2019-12-7 13:56:40 | 只看该作者
如果我想爬特定话题下面的所有可见内容,该购买怎样的服务呢?为什么显示只能爬十条呢?我是一点编程基础都没有的文科生,想看看有没有什么相关的服务可以帮我弄。
举报 使用道具
972#
maomao 论坛元老 发表于 2019-12-7 14:25:58 | 只看该作者
2528359831 发表于 2019-12-7 13:56
如果我想爬特定话题下面的所有可见内容,该购买怎样的服务呢?为什么显示只能爬十条呢?我是一点编程基础都 ...

你要采集微博话题?用微博话题采集工具,按提示输入话题名称就可以采集了
举报 使用道具
973#
2528359831 新手上路 发表于 2019-12-7 16:19:46 | 只看该作者
用这个工具采集微博话题,是电脑上显示的该话题下所有消息(比如50页)都可以抓取下来吗?
举报 使用道具
974#
2528359831 新手上路 发表于 2019-12-7 16:20:13 | 只看该作者
maomao 发表于 2019-12-7 14:25
你要采集微博话题?用微博话题采集工具,按提示输入话题名称就可以采集了
...

用这个工具采集包含特定微博话题的消息,是电脑上显示的该话题下所有消息(比如50页)都可以抓取下来吗?
举报 使用道具
975#
2528359831 新手上路 发表于 2019-12-7 16:39:21 | 只看该作者
还有就是,如果一个话题的讨论量太大,微博的页数限制会导致不能显示所有相关的微博内容。那我可不可以用高级搜索功能规定时间,分段爬取某一话题下的全部微博内容?
举报 使用道具
976#
Fuller 管理员 发表于 2019-12-7 17:31:15 | 只看该作者
2528359831 发表于 2019-12-7 16:39
还有就是,如果一个话题的讨论量太大,微博的页数限制会导致不能显示所有相关的微博内容。那我可不可以用高 ...

##这种格式的话题具有高级搜索选项,可以设定时间段进行搜索
举报 使用道具
977#
Zendralyn 初级会员 发表于 2020-1-2 15:53:51 | 只看该作者
请问用户的认证能爬取吗?就是想要知道用户是官微会员或者其他,这个会爬取吗?
举报 使用道具
978#
Fuller 管理员 发表于 2020-1-2 16:12:11 | 只看该作者
Zendralyn 发表于 2020-1-2 15:53
请问用户的认证能爬取吗?就是想要知道用户是官微会员或者其他,这个会爬取吗? ...

把一批网址添加到这个采集工具:https://www.gooseeker.com/res/softdetail_8.html
采集完成后,机构的微博放在一个excel中,个人的微博放在另一个excel中,就分开了
举报 使用道具
979#
Zendralyn 初级会员 发表于 2020-1-2 16:18:34 | 只看该作者
那请问会出现反爬现象吗?因为我爬取的数量很多
举报 使用道具
980#
wangyong 版主 发表于 2020-1-2 16:32:43 | 只看该作者
Zendralyn 发表于 2020-1-2 16:18
那请问会出现反爬现象吗?因为我爬取的数量很多

微博工具箱对爬取速度做了控制,一般不会出现反爬
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-21 06:33