15869103528 初级会员 发表于 2023-3-20 20:41:10 | 显示全部楼层
怎么爬取22年发布的所有带有地理信息的博文?用“微博完整博文和地理信息”只能爬取出一条
举报 使用道具
Fuller 管理员 发表于 2023-3-21 09:42:28 | 显示全部楼层
15869103528 发表于 2023-3-20 20:41
怎么爬取22年发布的所有带有地理信息的博文?用“微博完整博文和地理信息”只能爬取出一条 ...

一般来说,先要通过微博关键词搜索工具,采集到博文独立链接,然后再把这些链接批量拷贝到微博完整博文和地理信息,批量采集到完整博文和地理信息。
你说的某年带有地理信息的博文,微博网站没有这样的搜索入口,爬不了。
举报 使用道具
Fuller 管理员 发表于 2023-3-21 10:03:29 | 显示全部楼层
15191091881 发表于 2023-3-19 15:16
是用的您说的这个,但是试了好几次都显示已停止

网页改版了,我们维护一下这个工具
举报 使用道具
Fuller 管理员 发表于 2023-3-21 17:14:02 | 显示全部楼层
15191091881 发表于 2023-3-19 15:16
是用的您说的这个,但是试了好几次都显示已停止

我们已经维护了天猫国际商品评论采集 快捷工具。你再试试
举报 使用道具
15191091881 新手上路 发表于 2023-3-22 09:02:55 | 显示全部楼层
Fuller 发表于 2023-3-21 17:14
我们已经维护了天猫国际商品评论采集 快捷工具。你再试试

可以了!感谢,但是只能60条信息
举报 使用道具
Fuller 管理员 发表于 2023-3-22 09:59:01 | 显示全部楼层
15191091881 发表于 2023-3-22 09:02
可以了!感谢,但是只能60条信息

网页上有多少条,采集多少条
举报 使用道具
15869103528 初级会员 发表于 2023-3-23 15:31:05 | 显示全部楼层
Fuller 发表于 2023-3-21 09:42
一般来说,先要通过微博关键词搜索工具,采集到博文独立链接,然后再把这些链接批量拷贝到微博完整博文和 ...

链接批量拷贝最多支持多少条?10w+可以吗
举报 使用道具
Fuller 管理员 发表于 2023-3-23 16:57:13 | 显示全部楼层
15869103528 发表于 2023-3-23 15:31
链接批量拷贝最多支持多少条?10w+可以吗

每批最多加入1万条,可以一批一批加入。

采集1万条要花很长时间,如果只有一台爬虫电脑,可能要爬一天,所以,没有必要一开始先把所有网址导入进去,看运行效果后再导入下一批
举报 使用道具
15869103528 初级会员 发表于 2023-3-24 15:57:07 | 显示全部楼层
Fuller 发表于 2023-3-23 16:57
每批最多加入1万条,可以一批一批加入。

采集1万条要花很长时间,如果只有一台爬虫电脑,可能要爬一天, ...

了解了,感谢!
举报 使用道具
hoopoe 新手上路 发表于 2023-4-9 10:11:48 | 显示全部楼层
微博关键词搜索爬下的文本都是没有展开全文的,怎么能把完整的爬下来
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 遇到“无法识别的应用”告警怎么办?
  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件

热门用户

GMT+8, 2024-6-19 22:42