豆瓣电影评论没法抓取

我想抓取豆瓣电影短评的数据，结果试了几次都什么也没有抓到。是工具被禁了吗？

快捷采集有两个，一个是 豆瓣_电影短评，另一个是 豆瓣_电影影评。两个所用的样本页面是不一样的。前者的网址是 xxx/comments，后者的网址是 xxx/reviews

你检查一下添加的网址对吗？我刚才使用样本网址测试了，采集都是正确的。如果翻页的时候出现 “加载中”说明网络速度太慢或者网站暂时性拥塞，要重新采集

嗯嗯，原来是反映太迟钝，不过采集下来每次就100个数据，是被限制了吗

采集之前，在数据管家打开douban并登录一个douban账号，会采集更多

Fuller 发表于 2024-9-3 20:46
采集之前，在数据管家打开douban并登录一个douban账号，会采集更多

是多了一些，这次用了半天数个小时时间，一直没去关掉，结果采了400条，但对于总共的数万条短评来说没有实际意义。。。

douban网站上只有这么多，只能看到几百条

Fuller 发表于 2024-9-5 22:18
douban网站上只有这么多，只能看到几百条

哦，有点明白了