【集微库】微博采集工具箱使用常见问题

cattysue 发表于 2016-4-20 18:54
微博关键词搜索，然后现在还有个问题，爬微博启动了一段时间，大概二三十页吧，然后就停了，状态还是显示在 ...

停下来的截图发一个就好了，我们根据截图就能准确判断原因。

DS爬虫群窗口运行了几个？可以同时运行两个，一个抓数据，一个做入库，你不用关心哪个具体是做采集还做入库，他们会自己安排。

同时运行两个的话，就会随时把抓取结果入到数据库中。很快就有数据可供打包。

如果只运行一个DS窗口，我建议把DS窗口重新运行一下，等一分钟，看看是否还在“采集中”状态

微博评论 只能自己爬一页吗？爬一会儿就白屏 然后一直显示采集中怎么回事啊？ 弄了好多次了 ...求助！

linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗？爬一会儿就白屏 然后一直显示采集中怎么回事啊？ 弄了好多次了 ...求助！ ...

滚屏打开了吗？

加入qq群，在线讨论一下吧，帮你把问题诊断一下：GooSeeker网页抓取工具 242144153

linjian1 发表于 2016-4-22 10:16
微博评论 只能自己爬一页吗？爬一会儿就白屏 然后一直显示采集中怎么回事啊？ 弄了好多次了 ...求助！ ...

微博转发&评论采集工具，输入的应该是独立微博的网址，比如说http://weibo.com/5233485928/Dnhe ... t#_rnd1461294535086，而不是博主主页的网址。

请问如果想再采集下这些转发人的地理位置信息该怎么做呢

tttr2_ 发表于 2016-4-22 13:12
请问如果想再采集下这些转发人的地理位置信息该怎么做呢

你可以使用博主主页详细资料采集工具，在该工具输入博主的独立主页网址，可以采集该博主的所在地信息。

转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

每个工具都是经过反复测试之后才上线的，转发和评论采集类型是需要选择的，如果采集类型选择的是评论，抓取的自然是评论内容。

图1是测试微博的最新转发内容


图2是用工具抓到的最新转发内容


经过再次测试，工具是没有问题的。

ydmydm1 发表于 2016-4-25 14:06
转发任务采集的竟然是评论内容/(ㄒoㄒ)/~~

在界面上录入抓取目标的时候，要同时选择 评论 or 转发

Fuller 发表于 2016-4-20 11:56
停止的现象是什么？比如
1，DS的内置浏览器空白了
2，DS中间一条是控制面板，有两串字符，停止闪动了，停 ...

谢谢

内置浏览器空白，请问这个是什么问题导致的啊？