【集微库】微博采集工具箱使用常见问题

18765819353 · 发表于 2016-10-18 10:16:25

点赞数都是0

vainglare · 发表于 2016-10-23 15:33:35

请问采集中断了怎么再次开始？每次重新启动大叔级主题名称都是unassigned

Fuller · 发表于 2016-10-23 15:39:14

vainglare 发表于 2016-10-23 15:33
请问采集中断了怎么再次开始？每次重新启动大叔级主题名称都是unassigned

你可以重新添加网址，就会把线索激活，这个界面上没有重新激活功能

vainglare · 发表于 2016-10-23 17:51:06

那请问重新添加网址的时候，评论页码没办法继续，还是从第一页开始，该怎么办……有200多页最多跑到150多页就中断了……

Fuller · 发表于 2016-10-23 18:00:06

vainglare 发表于 2016-10-23 17:51
那请问重新添加网址的时候，评论页码没办法继续，还是从第一页开始，该怎么办……有200多页最多跑到150多页 ...

评论和转发都无法从断的地方重新开始，因为这两类，他们没有独立url地址，只能重新从头翻页。这么多分页，要完整翻页到底确实有些难度，新浪微博不太稳定

gz51837844 · 发表于 2016-10-26 16:30:03

之前少量用户碰到的微博话题采集失败的问题已经解决，原因是微博话题网页结构在部分用户登陆时和其它用户的不同，这个今天下午已经调整了采集规则

470782938 · 发表于 2016-11-1 19:04:16

在采集粉丝和关注者信息时，微博限制只能看5页，怎么让爬虫只爬5页进入下一个线索呢？

Fuller · 发表于 2016-11-1 19:27:14

470782938 发表于 2016-11-1 19:04
在采集粉丝和关注者信息时，微博限制只能看5页，怎么让爬虫只爬5页进入下一个线索呢？ ...

如果用这套微博采集工具箱，调度参数已经设置好了，只采集5页。

如果要给自己的抓取规则设置调度参数，那就进入会员中心-》规则管理，找到这个规则，设置调度参数中的“同一线索内翻页次数”

liuyang9374 · 发表于 2016-11-2 13:52:17

结果显示采集45条数据打包但下载后文件夹名是 default 打开之后的文件里面也没有数据

xandy · 发表于 2016-11-2 14:11:32

liuyang9374 发表于 2016-11-2 13:52
结果显示采集45条数据打包但下载后文件夹名是 default 打开之后的文件里面也没有数据 ...

技术人员查看下是什么原因

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页