【集微库】微博采集工具箱使用常见问题

874527466 发表于 2018-5-16 19:50
使用这个工具的时候怎么预览已经抓取的数据？

选中一个任务，下面就显示实际数据。如果不选中，就是demo数据

爬虫主题显示unassigned，我尝试更改服务器地址，也没有出来

有的时候打数机没有显示翻页，但是另一页反馈出数据打包是怎么回事

fr1115mini 发表于 2018-5-29 18:13
爬虫主题显示unassigned，我尝试更改服务器地址，也没有出来

能否截个图，在哪里显示unassigned？是在DS打数机状态面板上吗？如果是这里，那么这表示还没有给他分配任务。

DS打数机有两种窗口：
1，从集搜客爬虫浏览器的工具条上，点击“DS打数机”运行起来的窗口，主要是起管理作用。他的状态面板上的主题名一直是unassigned，直到你手工启动抓数据才填写内容
2，自动抓取数据的窗口，也就是点击微博采集工具箱页面上的“启动采集”运行起来的窗口，这些窗口会自动接受工具箱发来的采集任务，一旦接到任务，主题名就从unassigned变成真正的任务名

通常会同时运行两个自动抓取数据的窗口，不要关闭他们，一个抓数据，一个打包数据

fr1115mini 发表于 2018-5-29 18:20
有的时候打数机没有显示翻页，但是另一页反馈出数据打包是怎么回事

你使用的微博采集工具是哪一个？关键词搜索还是博主主页？

是否翻页跟工具有关，也跟网页上有多少数据有关。如果只有一页，比如，采集博主主页，如果你只选择采集首页一页，那么不会翻页

是在状态面板上显示，主题名称：unassigned

我用的是微博主页采集，原来的时候我可以用两台电脑同时爬，现在Mac电脑总是不爬取了。

/Users/apple/Desktop/屏幕快照 2018-05-30 13.18.42.png

就是这种

fr1115mini 发表于 2018-5-30 13:31
/Users/apple/Desktop/屏幕快照 2018-05-30 13.18.42.png

就是这种

停留在这个状态，应该是遇到错误了。只是Mac电脑有这个问题吗？

在Mac电脑上，在集搜客浏览器中输入网址  https://www.gooseeker.com 看看是否能正常显示网页。

可以把日志文件发给我，我分析一下具体原因。日志文件名字是 metaseeker.log.txt，位置是在$HOME/.metaseeker 目录中，因为目录名中含有.号，在Finder中看不到，可以参照这个文章设置一下，才能看到隐藏文件：https://www.zhihu.com/question/24635640

点击采集运行，跳出爬虫窗口，但一直显示空白……也没有运行的痕迹