豆瓣电影短评为何只能爬500条？

为什么豆瓣中的电影短评只能爬取500条？？（已经登陆了账号，用的集搜客数据管家），爬到500条就说采集完成了

在集搜客爬虫浏览器中登录豆瓣没有？豆瓣是有限制的，登录以后能看到更多的评论，但是也是看到的有限

Fuller 发表于 2020-12-17 16:04
在集搜客爬虫浏览器中登录豆瓣没有？豆瓣是有限制的，登录以后能看到更多的评论，但是也是看到的有限
...

登录了的，但还是只有500条

对，登陆了，豆瓣也有翻页限制，最多翻25页，每页20条评论，总计500条。可以分别爬好评，中评，差评，每种25页，就有75页了，1500条评论。

比如把这个差评链接https://www.gooseeker.com/res/da ... 1%E7%9F%AD%E8%AF%84
添加到豆瓣短评工具中，采集到500条差评

有道理，好的，谢谢！