11#
liqiuyi 初级会员 发表于 2016-7-27 11:31:36 | 只看该作者

今天用微博关键词爬数据,老是中断错误。

今天用微博关键词爬数据,老是出错。状态显示中断错误。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
12#
liqiuyi 初级会员 发表于 2016-7-27 11:34:05 | 只看该作者
还有我的积分昨天还有130多分,今天没怎么还没爬到1000条数据,我的分就剩下5分了。我今天也没打包的数据最多500条,按说就扣30分左右,积分怎么没的?
举报 使用道具
13#
Fuller 管理员 发表于 2016-7-27 12:18:19 | 只看该作者
liqiuyi 发表于 2016-7-27 11:31
今天用微博关键词爬数据,老是出错。状态显示中断错误。

微博账号是不是被封锁了?浏览器能看到微博的内容吗?
通常一个账号一天抓取不要超过2000个微博网页,要换账号。
举报 使用道具
14#
Fuller 管理员 发表于 2016-7-27 12:18:43 | 只看该作者
liqiuyi 发表于 2016-7-27 11:34
还有我的积分昨天还有130多分,今天没怎么还没爬到1000条数据,我的分就剩下5分了。我今天也没打包的数据最 ...

我们从后台查查积分使用历史
举报 使用道具
15#
liqiuyi 初级会员 发表于 2016-7-27 16:20:08 | 只看该作者
Fuller 发表于 2016-7-27 12:18
微博账号是不是被封锁了?浏览器能看到微博的内容吗?
通常一个账号一天抓取不要超过2000个微博网页,要 ...

我看了看浏览器能看到内容。
举报 使用道具
16#
liqiuyi 初级会员 发表于 2016-7-27 16:23:24 | 只看该作者
Fuller 发表于 2016-7-27 12:18
我们从后台查查积分使用历史

刚才报了错误503:
举报 使用道具
17#
Fuller 管理员 发表于 2016-7-27 21:54:53 | 只看该作者
liqiuyi 发表于 2016-7-27 16:23
刚才报了错误503:

503是服务不可用,要么目标网站暂时性出现故障,要么就是你爬的太多,可以清cookie和换ip,避免被封锁
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-24 00:19