烁儿 新手上路 发表于 2017-9-22 22:13:20 | 显示全部楼层
要是想限定采集的区域可以吗?比如说我只抓取厦门市的数据
举报 使用道具
Fuller 管理员 发表于 2017-9-22 22:39:34 | 显示全部楼层
烁儿 发表于 2017-9-22 22:13
要是想限定采集的区域可以吗?比如说我只抓取厦门市的数据

用工具箱不可以。你可以下载微博关键词的规则http://www.gooseeker.com/res/detail_114518.html,用微博的高级搜索,限定城市后,把网址输入,就可以采集关键词在这个城市的数据了。
举报 使用道具
jiuyuejiudejiu 新手上路 发表于 2017-9-23 11:54:32 | 显示全部楼层
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢?
举报 使用道具
sciencenature 初级会员 发表于 2017-9-23 12:02:19 | 显示全部楼层
一条微博的评论有4000多,但是仅能爬到130多条,这是什么原因呢?怎么解决,本人小白
举报 使用道具
Fuller 管理员 发表于 2017-9-23 12:06:45 | 显示全部楼层
jiuyuejiudejiu 发表于 2017-9-23 11:54
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢? ...

因为用户很多,采集任务要排队,通常需要等待几分钟时间,如果等待时间过长,就不对了。很可能原因是: 你登录GS网络爬虫软件用的账号和登录微博工具箱后台所用的账号不一样
举报 使用道具
Fuller 管理员 发表于 2017-9-23 12:07:51 | 显示全部楼层
sciencenature 发表于 2017-9-23 12:02
一条微博的评论有4000多,但是仅能爬到130多条,这是什么原因呢?怎么解决,本人小白
...

微博评论要一口气爬下来,断了的话只能从头再爬。所以,要确保网络很稳定,如果是共享的校园网,通常会很不稳定。可以找网络空闲的时间,比如晚上
举报 使用道具
bowieD 金牌会员 发表于 2017-9-25 09:31:53 | 显示全部楼层
jiuyuejiudejiu 发表于 2017-9-23 11:54
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢? ...

对着这个教程检查一下原因《爬虫群一直显示正在等待采集任务有哪几种原因?》
举报 使用道具
小南瓜 初级会员 发表于 2017-10-5 10:21:23 | 显示全部楼层
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗?
举报 使用道具
Fuller 管理员 发表于 2017-10-5 11:24:41 | 显示全部楼层
小南瓜 发表于 2017-10-5 10:21
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗? ...

博主主页有时间选择。

时间选择.png
举报 使用道具
一只椰子12138 初级会员 发表于 2017-10-5 12:09:45 | 显示全部楼层
请问一下,采集微博粉丝数据时,点击采集出现DS打数据机,可是他一直没有反应(白板),没有动是什么情况?急
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 16:19