快捷导航
image.jpg image.jpg
想爬取微博评论和点赞,就是用集搜客自带的规则,但是爬取失败,爬到一半就显示已停止,有无大佬解答一下呀~
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2022-11-9 15:04

gz51837844 管理员 发表于 2022-11-7 19:11:04 | 显示全部楼层
你是使用的这个微博评论和转发采集工具
这个工具添加的是每个博文的网址,你看看你添加的是不是:
QQ截图20221107190927.png

或者你把失败的网址发出来,我们测试下
举报 使用道具
13065237598 初级会员 发表于 2022-11-8 16:26:37 | 显示全部楼层
gz51837844 发表于 2022-11-7 19:11
你是使用的这个微博评论和转发采集工具?
这个工具添加的是每个博文的网址,你看看你添加的是不是:

https://weibo.com/1642512402/Mdv ... eed&type=repost
您好,我确实爬取的是微博文章的独立网址,请问如何测试?
举报 使用道具
gz51837844 管理员 发表于 2022-11-8 17:58:46 | 显示全部楼层
13065237598 发表于 2022-11-8 16:26
https://weibo.com/1642512402/MdvSXcsyV?pagetype=profilefeed&type=repost
您好,我确实爬取的是微博文 ...

我们会安排技术人员做测试。如果你这条网址的微博评论转发页面是一种全新的结构,我们会做配置升级。升级完成后会跟帖通知你。


举报 使用道具
13065237598 初级会员 发表于 2022-11-8 19:12:38 | 显示全部楼层
gz51837844 发表于 2022-11-8 17:58
我们会安排技术人员做测试。如果你这条网址的微博评论转发页面是一种全新的结构,我们会做配置升级。升级 ...

好的,谢谢 image.png 我不仅仅是这个规则抓取失败,其他功能也都失败了。微博博主主页内容这条规则我之前爬过,是可以的,但是后来也不行了
举报 使用道具
gz51837844 管理员 发表于 2022-11-8 19:21:51 | 显示全部楼层
13065237598 发表于 2022-11-8 19:12
好的,谢谢我不仅仅是这个规则抓取失败,其他功能也都失败了。微博博主主页内容这条规则我之前爬过,是可 ...

博主主页内容如果有失败的,可以把网址发出来我们测试下
举报 使用道具
gz51837844 管理员 发表于 2022-11-8 19:56:40 | 显示全部楼层
13065237598 发表于 2022-11-8 16:26
https://weibo.com/1642512402/MdvSXcsyV?pagetype=profilefeed&type=repost
您好,我确实爬取的是微博文 ...

微博评论转发工具已经更新了,你之前采集失败的那条网址,我测试采集成功了,你可以试试:https://weibo.com/1642512402/Mdv ... 6&mod=weibotime
举报 使用道具
13065237598 初级会员 发表于 2022-11-9 09:12:18 | 显示全部楼层
gz51837844 发表于 2022-11-8 19:56
微博评论转发工具已经更新了,你之前采集失败的那条网址,我测试采集成功了,你可以试试:https://weibo. ...

image.png
image.png
您好,我还是采集不下来,日志显示是这个错误,您知道怎么解决吗


举报 使用道具
gz51837844 管理员 发表于 2022-11-9 09:35:30 | 显示全部楼层
13065237598 发表于 2022-11-9 09:12
您好,我还是采集不下来,日志显示是这个错误,您知道怎么解决吗

我刚才又测试了一下,你那条网址,转发和评论采集都是正常的:
QQ截图20221109093109.png

建议你做如下检查:
1. 采集前在数据管家浏览器上是否登录了微博
2. 微博工具箱是按旧版微博配置的,你检查下微博的个人设置里,是否设置的是“旧版微博界面”。我的账号配置是旧版微博,如下图会看到一个“回到新版”
QQ截图20221109093154.png
举报 使用道具
13065237598 初级会员 发表于 2022-11-9 15:04:26 | 显示全部楼层
gz51837844 发表于 2022-11-9 09:35
我刚才又测试了一下,你那条网址,转发和评论采集都是正常的:

哦哦!我知道啦,我现在去试试,谢谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何采集微博博主主页并生成共现矩阵用于Ge
  • Gephi社会网络分析-网络图Force Atlas布局
  • 对共词关系求协方差矩阵后再用Girvan-Newma
  • 社区发现算法Girvan-Newman(GN)是否能应用
  • 使用GooSeeker分词和Gephi进行中文文本分析

热门用户

GMT+8, 2023-9-23 13:10