【集微库】微博采集工具箱使用常见问题

Fuller 发表于 2016-12-5 12:38
添加任务的时候，要分别选择 评论 和 转发，是两个不同的任务，同一个网址要分别添加
...

评论显示已采集，但是无法打包，现在微博评论改了，还能爬吗？

BigredLi 发表于 2016-12-15 10:17
评论显示已采集，但是无法打包，现在微博评论改了，还能爬吗？

抓取规则也已经修改过了，能够爬。打包按钮是灰色？我们查一下

Fuller 发表于 2016-12-15 10:24
抓取规则也已经修改过了，能够爬。打包按钮是灰色？我们查一下

是的呢，试了几次都是灰色的

BigredLi 发表于 2016-12-15 10:40
是的呢，试了几次都是灰色的

可以下载了，你试下打包下载

为什么采集不成功啊

<fullpath>字段是转发前的链接，就是输入的被转发链接。应该是转发后的链接才有意义。

1700000072 发表于 2016-12-15 15:03
为什么采集不成功啊

具体失败的现象是什么？

yusir0710 发表于 2016-12-17 16:38
<fullpath>字段是转发前的链接，就是输入的被转发链接。应该是转发后的链接才有意义。 ...

你是要采集微博转发？  这里我说的“转发”不是微博转发，前面我用词不准，fullpath存储的是网址重定向前的网址，realpath是重定向后的网址。你可以用百度搜索做实验。百度搜索列表中显示的每个搜索结果的网址都是baidu域名的，点击它的时候，会发生跳转，跳转到真实网址。这就发生了一次网址重定向。GooSeeker爬虫会把定向前和定向后的网址都记录下来

想问一下，是不是一定要付费才能下载打包的数据呀，跑完了没法下载……

249305365 发表于 2016-12-18 14:08
想问一下，是不是一定要付费才能下载打包的数据呀，跑完了没法下载……

会根据数据量扣积分。没法下载的现象是什么？