481#
小南瓜 初级会员 发表于 2017-10-5 10:21:23 | 只看该作者
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗?
举报 使用道具
482#
Fuller 管理员 发表于 2017-10-5 11:24:41 | 只看该作者
小南瓜 发表于 2017-10-5 10:21
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗? ...

博主主页有时间选择。

时间选择.png (163.34 KB, 下载次数: 434)

时间选择.png
举报 使用道具
483#
一只椰子12138 初级会员 发表于 2017-10-5 12:09:45 | 只看该作者
请问一下,采集微博粉丝数据时,点击采集出现DS打数据机,可是他一直没有反应(白板),没有动是什么情况?急
举报 使用道具
484#
Fuller 管理员 发表于 2017-10-5 13:00:10 | 只看该作者
一只椰子12138 发表于 2017-10-5 12:09
请问一下,采集微博粉丝数据时,点击采集出现DS打数据机,可是他一直没有反应(白板),没有动是什么情况? ...

可能的原因是:
1,登录微博工具/会员中心所用的账号 和 在爬虫客户端配置的账号 是否一致。如果不一致,在微博工具上设置的任务无法被爬虫软件拿到
2,要确保有网址可采,如果配置上的网址都采集完了,那么就会一直拿不到任务
3,如果配置的任务特别多,那么任务排队时间会加长。如果不是最新的8.3.0版本,调度会很慢,要升级到8.3.0版本才好
4,最近还发现了一个程序bug:如果你的密码中含有 & 号,会造成爬虫调度失败,暂时只能修改一下密码,不要出现这个特殊符号
举报 使用道具
485#
一只椰子12138 初级会员 发表于 2017-10-7 15:20:55 | 只看该作者
请问一下,采集微博粉丝数据时,采集完成后,打包完,下载下来的数据无法打开,压缩包解压后里面的excel文件显示文件已损坏无法打开,是什么情况?
举报 使用道具
486#
Fuller 管理员 发表于 2017-10-7 16:09:07 | 只看该作者
一只椰子12138 发表于 2017-10-7 15:20
请问一下,采集微博粉丝数据时,采集完成后,打包完,下载下来的数据无法打开,压缩包解压后里面的excel文 ...

重新下载一次试试,下载文件不要积分
举报 使用道具
487#
chengyiling 初级会员 发表于 2017-10-8 23:48:22 | 只看该作者
xandy 发表于 2016-3-1 11:00
在使用过程中有问题可以在本帖留言~~~

抓取失败的怎么处理啊

微信图片_20171008234937.png (30.62 KB, 下载次数: 485)

微信图片_20171008234937.png
举报 使用道具
488#
ld1425 新手上路 发表于 2017-10-9 00:19:59 | 只看该作者
本人在搜集微博评论的时候,发现打包下载的excel结果中并没有包括网友的回复“@某人 评论”,每个数据只有“回复”二字,没有后面的评论的内容。请问这是怎么回事?以前可以搜集到, 现在只有直接评帖子本身的评论才能被搜集到
举报 使用道具
489#
Fuller 管理员 发表于 2017-10-9 08:41:38 | 只看该作者
chengyiling 发表于 2017-10-8 23:48
抓取失败的怎么处理啊

这些失败的网址记录下来,重新添加任务重新抓
举报 使用道具
490#
Fuller 管理员 发表于 2017-10-9 08:43:09 | 只看该作者
ld1425 发表于 2017-10-9 00:19
本人在搜集微博评论的时候,发现打包下载的excel结果中并没有包括网友的回复“@某人 评论”,每个数据只有 ...

能否发个截图看看?

网友回复是在哪个位置?是评论中的回复吗?这个抓取工具好像不采集评论中的回复
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 09:51