141#
JeromeL 初级会员 发表于 2023-2-10 11:05:54 | 只看该作者
maomao 发表于 2023-2-10 11:03
twitter是瀑布流网页,而且访问比较困难。建议分批输入链接,每批少量,爬完了,检查完数据,再输入下一 ...

明白了,每次100个,好像不太好用
举报 使用道具
142#
Lj001129 初级会员 发表于 2023-2-14 19:28:03 | 只看该作者
gz51837844 发表于 2023-2-8 11:48
我们测试一下,如果可以,就上线一个新的快捷采集用来采集这种相同music的搜索结果
...

您好 请问这个采集规则会上线吗~因为尝试了自己做规则总是无法定位到视频时长和点赞数的节点,特别需要这个数据,谢谢谢谢
举报 使用道具
143#
gz51837844 管理员 发表于 2023-2-15 08:53:08 | 只看该作者
Lj001129 发表于 2023-2-14 19:28
您好 请问这个采集规则会上线吗~因为尝试了自己做规则总是无法定位到视频时长和点赞数的节点,特别需要这 ...

这个页面我们测试了,目前只能采集加载后的初始页面,不能滚屏采集更多内容。所以暂时没有上线
举报 使用道具
144#
student13 新手上路 发表于 2023-3-1 19:09:34 | 只看该作者
快捷采集微博展开正文几条就卡住了怎么办?
举报 使用道具
145#
gz51837844 管理员 发表于 2023-3-1 19:24:35 | 只看该作者
student13 发表于 2023-3-1 19:09
快捷采集微博展开正文几条就卡住了怎么办?

你是使用的这个快捷采集: 微博博文展开全文采集
可以发几条卡住的网址我们测试下
举报 使用道具
146#
student13 新手上路 发表于 2023-3-1 19:52:32 | 只看该作者
gz51837844 发表于 2023-3-1 19:24
你是使用的这个快捷采集: 微博博文展开全文采集 ?
可以发几条卡住的网址我们测试下
...

https://weibo.com/2902311661/M637L1lMa?refer_flag=1001030103_https://weibo.com/6399245004/M4N1DEUmE?refer_flag=1001030103_
您试试,一般停止采集之后重启才能继续



举报 使用道具
147#
wangyong 版主 发表于 2023-3-2 14:43:48 | 只看该作者
student13 发表于 2023-3-1 19:52
https://weibo.com/2902311661/M637L1lMa?refer_flag=1001030103_https://weibo.com/6399245004/M4N1DEUm ...

我们测试正常,你采集的时候有没有开360卫士之类的电脑管家?这个会有影响采集的时候要关掉,再就是采集的时候网络要通畅。
可以再采集试试,如果还不行的话可以录个屏发给我们看看
举报 使用道具
148#
student13 新手上路 发表于 2023-3-2 20:13:51 | 只看该作者
wangyong 发表于 2023-3-2 14:43
我们测试正常,你采集的时候有没有开360卫士之类的电脑管家?这个会有影响采集的时候要关掉,再就是采集 ...

哦,可能是校园网不通畅
举报 使用道具
149#
FALLLL 新手上路 发表于 2023-3-14 22:15:30 | 只看该作者
想问下使用cn端采集微博评论,为什么即使有几千页,也最多只能加载出50页,后面的页数全都不显示了,采集到50页就直接中断了,我试了不一样的帖子都有这个问题
举报 使用道具
150#
Fuller 管理员 发表于 2023-3-14 22:44:06 | 只看该作者
FALLLL 发表于 2023-3-14 22:15
想问下使用cn端采集微博评论,为什么即使有几千页,也最多只能加载出50页,后面的页数全都不显示了,采集到 ...

确实是这样,看来是微博网站的cn端限制了评论的翻页。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 00:12