【集微库】微博采集工具箱使用常见问题

maomao 发表于 2018-6-20 22:42
从后台看，你每次采集都有数据的。我建议你这样做检查：
1，下载数据的时候是不是用了下载工具，比如，迅 ...

好的谢谢！我试一试！
非常感谢！

jjjj

微博关键词搜索，只能爬取一页的数据是为什么？

spyqwqqwq 发表于 2018-7-10 15:10
微博关键词搜索，只能爬取一页的数据是为什么？

采集前先要在gs浏览器上登录微博账号

bowieD 发表于 2018-7-10 15:22
采集前先要在gs浏览器上登录微博账号

登录了啊，可是还是就返回几条数据

spyqwqqwq 发表于 2018-7-10 15:33
登录了啊，可是还是就返回几条数据

是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中，观察一些加载的网页，有没有自动滚动屏幕，如果只抓一页，那么滚动到底以后，就变成白屏了，上面显示做了什么动作。

爬虫运行的时候，不能把DS打数机窗口最小化。微博这种网页，显示的内容多少跟窗口大小对应的。你可以把其他窗口叠在上面，但是不能最小化

Fuller 发表于 2018-7-10 17:21
是要在集搜客浏览器中登录微博的。然后在爬虫运行过程中，观察一些加载的网页，有没有自动滚动屏幕，如果 ...

是这样的，登录后滚动到底了，没有自动翻页，点击翻页之后大概翻个三次左右，就会自动跳转到微博搜索的页面，之后就白屏了，最多一次抓取了80条数据

spyqwqqwq 发表于 2018-7-10 17:28
是这样的，登录后滚动到底了，没有自动翻页，点击翻页之后大概翻个三次左右，就会自动跳转到微博搜索的页 ...

能否把关键词告诉我？我试试。或者在qq群里面问，那里回答及时。

已经能翻三页，应该是其他问题。

Fuller 发表于 2018-7-10 18:37
能否把关键词告诉我？我试试。或者在qq群里面问，那里回答及时。

已经能翻三页，应该是其他问题。

关键词是 武汉机场 ，麻烦您了

spyqwqqwq 发表于 2018-7-11 15:19
关键词是 武汉机场 ，麻烦您了

这边测试能 正常采集，没有出现你说的跳转到搜索页面，而且是能自动翻页的，你是自己制作的规则还是用的快捷采集？