171#
Fuller 管理员 发表于 2016-6-30 11:14:36 | 只看该作者
Melody_CC 发表于 2016-6-29 23:43
就是抓一条微博的所有转发

因为转发和评论没有独立网址,断了以后就不得不从头开始,目前中断问题无法完美解决,只能让网络快一些,比如,光纤接入
举报 使用道具
172#
ym 版主 发表于 2016-6-30 11:21:27 | 只看该作者
Melody_CC 发表于 2016-6-29 23:43
就是抓一条微博的所有转发

如果一条微博的转发量或评论量比较大时,很容易抓取中断。这是因为微博转发或评论本来就是有限制浏览的,估计是微博的服务器负荷不了频繁的查询吧,翻页到中间就会显示没有评论之类的,这时网页结构发生变化,也就会采集失败了,无法继续了。
举报 使用道具
173#
snsdyoona 新手上路 发表于 2016-7-3 19:41:58 | 只看该作者
采集微博评论需要多久?为什么任务一直显示采集中,而且DS打数机页面一直是空白的?是哪里操作出了问题吗?
举报 使用道具
174#
Fuller 管理员 发表于 2016-7-3 21:42:45 | 只看该作者
snsdyoona 发表于 2016-7-3 19:41
采集微博评论需要多久?为什么任务一直显示采集中,而且DS打数机页面一直是空白的?是哪里操作出了问题吗? ...

DS爬虫群模式运行起来了吗?
举报 使用道具
175#
snsdyoona 新手上路 发表于 2016-7-4 12:02:25 | 只看该作者
Fuller 发表于 2016-7-3 21:42
DS爬虫群模式运行起来了吗?

应该没有
举报 使用道具
176#
snsdyoona 新手上路 发表于 2016-7-4 12:03:23 | 只看该作者
Fuller 发表于 2016-7-3 21:42
DS爬虫群模式运行起来了吗?

开始有运行,后来就停了
举报 使用道具
177#
Fuller 管理员 发表于 2016-7-4 15:11:43 | 只看该作者
snsdyoona 发表于 2016-7-4 12:03
开始有运行,后来就停了

DS爬虫群模式就是指除了运行DS打数机的管理窗口以外,还要通过DS的菜单启动爬虫群窗口,比如,启动一个,他就会等待任务,然后用微博工具添加线索或者关键词,就会分配给DS打数机
举报 使用道具
178#
uarelding 新手上路 发表于 2016-7-11 10:18:28 | 只看该作者
请问如何获取粉丝的关注时间?
举报 使用道具
179#
Fuller 管理员 发表于 2016-7-11 10:54:31 | 只看该作者
uarelding 发表于 2016-7-11 10:18
请问如何获取粉丝的关注时间?

关注时间在网页上显示吗?如果没有显示,就抓不到。或者持续不断地扫描自己的粉丝情况,如果某个时刻发现有新粉丝,就把他当成扫描的时候加粉的
举报 使用道具
180#
121669917 新手上路 发表于 2016-7-12 09:15:31 | 只看该作者
为什么只有转发的信息呢?怎样才能将评论的信息也一并抓出去?谢谢~~~~~
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-19 08:01