471#
烁儿 新手上路 发表于 2017-9-22 22:13:20 | 只看该作者
要是想限定采集的区域可以吗?比如说我只抓取厦门市的数据
举报 使用道具
472#
Fuller 管理员 发表于 2017-9-22 22:39:34 | 只看该作者
烁儿 发表于 2017-9-22 22:13
要是想限定采集的区域可以吗?比如说我只抓取厦门市的数据

用工具箱不可以。你可以下载微博关键词的规则http://www.gooseeker.com/res/detail_114518.html,用微博的高级搜索,限定城市后,把网址输入,就可以采集关键词在这个城市的数据了。
举报 使用道具
473#
jiuyuejiudejiu 新手上路 发表于 2017-9-23 11:54:32 | 只看该作者
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢?
举报 使用道具
474#
sciencenature 初级会员 发表于 2017-9-23 12:02:19 | 只看该作者
一条微博的评论有4000多,但是仅能爬到130多条,这是什么原因呢?怎么解决,本人小白
举报 使用道具
475#
Fuller 管理员 发表于 2017-9-23 12:06:45 | 只看该作者
jiuyuejiudejiu 发表于 2017-9-23 11:54
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢? ...

因为用户很多,采集任务要排队,通常需要等待几分钟时间,如果等待时间过长,就不对了。很可能原因是: 你登录GS网络爬虫软件用的账号和登录微博工具箱后台所用的账号不一样
举报 使用道具
476#
Fuller 管理员 发表于 2017-9-23 12:07:51 | 只看该作者
sciencenature 发表于 2017-9-23 12:02
一条微博的评论有4000多,但是仅能爬到130多条,这是什么原因呢?怎么解决,本人小白
...

微博评论要一口气爬下来,断了的话只能从头再爬。所以,要确保网络很稳定,如果是共享的校园网,通常会很不稳定。可以找网络空闲的时间,比如晚上
举报 使用道具
477#
bowieD 金牌会员 发表于 2017-9-25 09:31:53 | 只看该作者
jiuyuejiudejiu 发表于 2017-9-23 11:54
请问弹出两个爬虫窗口一直都是待分配任务,而四个采集任务一个都没有开始是怎么回事呢? ...

对着这个教程检查一下原因《爬虫群一直显示正在等待采集任务有哪几种原因?》
举报 使用道具
478#
小南瓜 初级会员 发表于 2017-10-5 10:21:23 | 只看该作者
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗?
举报 使用道具
479#
Fuller 管理员 发表于 2017-10-5 11:24:41 | 只看该作者
小南瓜 发表于 2017-10-5 10:21
请问下,可不可以选择爬取得微博的时间,我只想爬某用户最近两年的微博数据,可以吗? ...

博主主页有时间选择。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
480#
一只椰子12138 初级会员 发表于 2017-10-5 12:09:45 | 只看该作者
请问一下,采集微博粉丝数据时,点击采集出现DS打数据机,可是他一直没有反应(白板),没有动是什么情况?急
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-10-19 11:57