【集微库】微博采集工具箱使用常见问题

你好！我在采集时候只能采到微博未登录页面的第一页，我总是登录不上去，不知道是采集的太快还是什么，连密码都没输完就采集完毕了，然后浏览器页面就再也加载不出来了，导致一直只能采集到第一页的tag信息，请太太指教！！！

酵母酵母 发表于 2020-2-29 00:41
你好！我在采集时候只能采到微博未登录页面的第一页，我总是登录不上去，不知道是采集的太快还是什么，连密 ...

不是在爬虫都运行起来才登录，而是预先登录。就是把集搜客爬虫软件运行起来以后，你看到的是一个浏览器的样子，这时候访问微博，手工做登录。这个都准备好了，再运行起来DS打数机爬数据

Fuller 发表于 2020-2-29 08:10
不是在爬虫都运行起来才登录，而是预先登录。就是把集搜客爬虫软件运行起来以后，你看到的是一个浏览器的 ...

谢谢！已经解决了！
但是两万多条的转发我只抓到了一半TwT
是因为我不是氪金用户吗

粉丝与关注者信息 为什么爬出来的主页链接都是一样的？

spurs20 发表于 2020-3-2 14:25
粉丝与关注者信息 为什么爬出来的主页链接都是一样的？

同一个微博博主的链接是一样的。

你看到了两个不同的博主爬下来的是同一个网址？

爬微博评论，一直显示抓取规则不合适或者超时时间设置太短 怎么办啊

zhaozihan99 发表于 2020-3-4 17:19
爬微博评论，一直显示抓取规则不合适或者超时时间设置太短 怎么办啊

在DS打数机运行的时候，注意观察有没有评论显示出来，现在新浪微博很慢，经常不显示。

另外，DS打数机窗口不能缩小

微博采集的常见问题汇总：https://www.gooseeker.com/doc/thread-17343-1-1.html

求问爬取微博评论页面一直加载中，无法爬取评论怎么解决？单独用其他浏览器打开是可以看到评论的

pypypy 发表于 2020-3-6 22:05
求问爬取微博评论页面一直加载中，无法爬取评论怎么解决？单独用其他浏览器打开是可以看到评论的 ...

按这个帖子一楼的回答清缓存https://www.gooseeker.com/doc/thread-11667-1-1.html