31#
ym 版主 发表于 2016-11-30 10:43:16 | 只看该作者
18765819353 发表于 2016-11-30 09:54
http://weibo.com/p/10080817ba8442fb106703d15fdb34a249160a?k=%E5%BD%93%E8%A1%97%E7%83%A4%E6%AD%BB%E ...

微博话题的网页结构有变,刚修改了规则,你去重新下载就可以了

举报 使用道具
32#
不是归人是过客 新手上路 发表于 2016-12-2 21:01:01 | 只看该作者
这个好像不能翻页啊
举报 使用道具
33#
Fuller 管理员 发表于 2016-12-2 21:11:44 | 只看该作者

DS打数机的自动滚屏打开没有?

微博登录了没有?
举报 使用道具
34#
xxxxxxxl 初级会员 发表于 2017-1-2 23:52:21 | 只看该作者
这个工具可以把话题中所有讨论的内容都抓取吗?比如说有6万条数据。
举报 使用道具
35#
xxxxxxxl 初级会员 发表于 2017-1-2 23:54:37 | 只看该作者
这个工具可以把话题中所有讨论的内容都抓取吗?比如说有6万条数据。但是只显示有32页(294数据)。。。
举报 使用道具
36#
Fuller 管理员 发表于 2017-1-3 09:05:15 | 只看该作者
xxxxxxxl 发表于 2017-1-2 23:54
这个工具可以把话题中所有讨论的内容都抓取吗?比如说有6万条数据。但是只显示有32页(294数据)。。。 ...

是否能抓全取决于:
1,微博是否能显示这么多,如果有翻页限制就没法抓。但是,有另外的方法:用关键词搜索,比如,把话题名字当成关键词,因为关键词搜索允许设定时间段,可有分段抓
2,每个分页是否有独立网址。这么多微博,翻页过程中必然会中断,如果有独立网址,可以从中断位置接上抓

尽量使用现成的微博采集工具箱:http://www.gooseeker.com/land/weibo.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 18:21