【集微库】微博采集工具箱使用常见问题

迟南乾 · 发表于 2019-4-3 11:19:13

搜索关键字之后没有博文内容，具体显示图片上前几列是DSEngine-+--+-0，DSEngine-+-ds_browser_ds_task_xp1-+-1554260917246之类的，有点疑惑

Fuller · 发表于 2019-4-3 11:38:19

迟南乾发表于 2019-4-3 11:19
搜索关键字之后没有博文内容，具体显示图片上前几列是DSEngine-+--+-0，DSEngine-+-ds_browser_ds_task_xp1 ...

前面几列是爬虫生成的，用于做内容匹配或者记录时间的。

你看到的结果文件中有多少条数据？

运行爬虫之前有没有在集搜客浏览器中登录微博？

goodbrother · 发表于 2019-4-11 16:55:34

这个是使用一次360积分吗

Fuller · 发表于 2019-4-11 17:07:51

goodbrother 发表于 2019-4-11 16:55
这个是使用一次360积分吗

跟导出数据条数有关，1积分可以导出20条

Fuller · 发表于 2019-4-11 17:08:26

如果采集量特别大，可以购买旗舰版，就不限导出数量。https://www.gooseeker.com/about/charge.html

Susuany · 发表于 2019-4-17 17:36:10

微博关键词搜索出来的数据是微博全部的数据吗？因为微博上用微博搜索这个功能搜的微博不全面，我不知道这个网站中微博关键词搜索使用的方法是用了微博上微博搜索这个功能搜出来的结果数据，还是微博全网的数据

Fuller · 发表于 2019-4-17 17:41:22

Susuany 发表于 2019-4-17 17:36
微博关键词搜索出来的数据是微博全部的数据吗？因为微博上用微博搜索这个功能搜的微博不全面，我不知道这个 ...

是微博搜索结果数据，能看到多少就能采集多少，看不到的全网数据采集不下来

Susuany · 发表于 2019-4-17 17:48:59

Fuller 发表于 2019-4-17 17:41
是微博搜索结果数据，能看到多少就能采集多少，看不到的全网数据采集不下来
...

就是基于微博搜索这个功能爬的数据是吧。因为微博搜索出来的不是全网数据这个我已经证实了，那是不是时间越久数据越不完整？比如我一下子要爬两年的数据，两年前的微博能搜索出的条数就很少，但是最近几天的是不是会完整一些？

Fuller · 发表于 2019-4-17 18:00:44

Susuany 发表于 2019-4-17 17:48
就是基于微博搜索这个功能爬的数据是吧。因为微博搜索出来的不是全网数据这个我已经证实了，那是不是时间 ...

确实是这样的，跟时间有关，如果要密切跟踪某个关键词的话，应该至少每天或者隔几个小时采集一次，过几天以后，你会发现密切监视得到的内容远远多于搜索出来的

论文让我头秃 · 发表于 2019-4-20 14:03:21

第一次有些线索没采上，第二次再采，为什么最后导出的数据有很多重复的？

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页