51#
caisinong 新手上路 发表于 2016-4-25 01:45:57 | 只看该作者
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次
举报 使用道具
52#
Fuller 管理员 发表于 2016-4-25 09:56:14 | 只看该作者
caisinong 发表于 2016-4-25 01:45
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次 ...

一定要有好的网络环境,微博下载很容易中断。评论和转发的下载中断后只能从头开始,但是消息搜索和博主都可以从断的地方接上
举报 使用道具
53#
ym 版主 发表于 2016-4-25 10:01:39 | 只看该作者
caisinong 发表于 2016-4-25 01:45
为什么不能全部下载一个账号的所有微博呢……总是下着下着就停了,试了好几次 ...

新浪微博是有严格的反爬虫机制,最多能采集一个博主30多页微博就会翻页断掉。
但是,你可以点击博主右侧各个年月,把每个月份的发博网址导入到规则里,这样每个网址都能翻页到最后,从而把博主的所有博文都采集全,导入线索的方法参见http://www.gooseeker.com/doc/article-129-1.html

也可以把博主某个月份的微博网址拷贝到excel里,单击格子的右下角往下拖动,这样月份就会递增,从而构造出各个月份的网址,然后批量导入到规则里


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
54#
caisinong 新手上路 发表于 2016-4-25 11:17:19 | 只看该作者
ym 发表于 2016-4-25 10:01
新浪微博是有严格的反爬虫机制,最多能采集一个博主30多页微博就会翻页断掉。
但是,你可以点击博主右侧 ...

明白了,谢谢!我去试试
举报 使用道具
55#
caisinong 新手上路 发表于 2016-4-25 13:34:30 | 只看该作者
请问规则调度里那些设置的说明在哪里可以看到呀?
举报 使用道具
56#
ym 版主 发表于 2016-4-25 14:34:42 | 只看该作者
caisinong 发表于 2016-4-25 13:34
请问规则调度里那些设置的说明在哪里可以看到呀?

看这里http://www.gooseeker.com/doc/article-112-1.html
举报 使用道具
57#
Fuller 管理员 发表于 2016-4-25 17:42:04 | 只看该作者
会员中心里面的调度参数跟crontab文档中的一一对应,只是名称不同,可以参照楼上那个文档。
举报 使用道具
58#
huzhuqing 新手上路 发表于 2016-4-27 15:39:23 | 只看该作者
积分不够啊
举报 使用道具
59#
huzhuqing 新手上路 发表于 2016-4-27 15:40:27 | 只看该作者
积分能不能少点啊
举报 使用道具
60#
kakaven 新手上路 发表于 2016-5-27 16:19:07 | 只看该作者
感觉这个比较实用啊
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 08:27