新浪微博_博主主页采集

wangyong 发表于 2019-7-2 17:15
新浪不允许一次性查看万博主的所有微博，需要通过细分不同年月的链接来完成所有的爬取
例如这个链接，可 ...

可以通过微博工具的微博博主主页工具来爬取
https://www.gooseeker.com/res/softdetail_3.html

请问是采集的博主主页的热门微博吗？

lydia_rou 发表于 2020-5-29 23:36
请问是采集的博主主页的热门微博吗？

使用微博采集工具箱中的微博博主主页内容采集：https://www.gooseeker.com/land/weibo.html

里面有3个选项，把热门微博的网址加进去，选择第二个选项，就可以专门采集热门微博

感谢回复！请问有什么工具可以批量得到博主热门微博页面的网址吗？

Fuller 发表于 2020-5-30 09:09
使用微博采集工具箱中的微博博主主页内容采集：https://www.gooseeker.com/land/weibo.html

里面有3个选 ...

感谢回复！请问有什么工具可以批量得到博主热门微博页面的网址吗？

lydia_rou 发表于 2020-5-31 10:18
感谢回复！请问有什么工具可以批量得到博主热门微博页面的网址吗？
...

就用我上一个截图展示的微博博主主页内容采集工具：https://www.gooseeker.com/res/softdetail_3.html

Fuller 发表于 2020-5-31 10:23
就用我上一个截图展示的微博博主主页内容采集工具：https://www.gooseeker.com/res/softdetail_3.html
...

我的意思是批量采集博主主页热门微博需要输入热门微博页的网址，怎样可以批量获得这些网址呢？这个采集工具的前提是得知道网址TAT

lydia_rou 发表于 2020-5-31 10:46
我的意思是批量采集博主主页热门微博需要输入热门微博页的网址，怎样可以批量获得这些网址呢？这个采集工 ...

你应该已经有了微博博主的id了吧，看这个例子：

1. https://weibo.com/chemyhuang?profile_ftype=1&is_hot=1#_0

复制代码

weibo.com后面紧接着是id，参数部分is_hot=1表示热门微博。根据这个规律，在excel中把网址构造出来

Fuller 发表于 2020-5-31 12:08
你应该已经有了微博博主的id了吧，看这个例子：weibo.com后面紧接着是id，参数部分is_hot=1表示热门微博 ...

是的这样尝试过，有一些博主的网页是对的但是有一些这样构造不对，批量采集的时候不对的那些网站自动跳回了我的个人主页，然后采集了一堆我的主页上的东西。。。。

lydia_rou 发表于 2020-5-31 12:41
是的这样尝试过，有一些博主的网页是对的但是有一些这样构造不对，批量采集的时候不对的那些网站自动跳回 ...

我重新尝试了一下发现之前好像那个问号没有用英文格式输入。。。之前白花积分了555