集搜客GooSeeker网络爬虫

标题: 微博改版后，博主主页抓取怎样才能采集更多的内容？ [打印本页]

作者: 马涌河畔 时间: 2023-2-13 09:26
标题: 微博改版后，博主主页抓取怎样才能采集更多的内容？
我看微博博主主页已经改版了，新版改成了瀑布流，就是往下滚屏出现新的内容，采集的时候很容易出现往下滚不出新内容的情况。
请问下，怎样采集比较完整的采集新浪微博博主主页内容？我使用的是微博工具箱的博主主页工具
[attach]15735[/attach]

作者: shenzhenwan10 时间: 2023-2-13 09:35
采集瀑布流页面的时候，网速好，计算机处理速度高，会爬的多一些。
上周上架了采集cn端博主主页的快捷采集：微博博主主页数据采集_cn端
[attach]15736[/attach]
这个快捷采集采集的是cn域名的博主主页，支持翻页，采集的数据比较全。
添加网址的时候，注意要把博主主页的普通网址转换为cn结尾的网址，然后再添加。
举例来说，下面这个是普通的博主主页链接：
https://weibo.com/u/2803301701
转换成cn结尾的网址就是：
https://weibo.cn/2803301701

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)