用数据DIY采集豆瓣影评翻页失败

为什么我最近爬的豆瓣影评爬到一千多页就断了啊

可能是翻页不稳定造成的，豆瓣的每个分页都有独立网址，从断的位置可以接上再抓

xandy 发表于 2017-2-22 11:23
可能是翻页不稳定造成的，豆瓣的每个分页都有独立网址，从断的位置可以接上再抓
...

主要是豆瓣短评没有页码， 都不知道翻到哪里了

科技子 发表于 2017-2-22 11:24
主要是豆瓣短评没有页码， 都不知道翻到哪里了

抓取结果中有这个字段，可以看 fullpath，realpath字段，或者pageno字段，就能看到翻页到哪了，然后将这个网址添加进去就可以接着翻了。

现在豆瓣网站的电影短评限制翻页了，采集之前在集搜客浏览器登陆豆瓣，能采集25页，500条。如果不登陆，大概采集10页，200条。

为什么登录了也只搜集到300多条呢？

Jacinthe 发表于 2023-11-14 15:18
为什么登录了也只搜集到300多条呢？

你采集的网址是什么？我测试一下试试

Fuller 发表于 2023-11-14 15:48
你采集的网址是什么？我测试一下试试

芭比 短评 (douban.com)  应该有20w+条数据。以及，方便问一下爬取豆瓣电影短评做中文分词与数据分析 - 知乎 (zhihu.com) 文章里第四部分的折线图柱状图是怎么做出来的呢？

Jacinthe 发表于 2023-11-14 17:37
芭比 短评 (douban.com)  应该有20w+条数据。以及，方便问一下爬取豆瓣电影短评做中文分词与数据分析 -  ...

https://movie.douban.com/subject/4058939/comments?status=P   

https://zhuanlan.zhihu.com/p/36149059

Jacinthe 发表于 2023-11-14 17:37
芭比 短评 (douban.com)  应该有20w+条数据。以及，方便问一下爬取豆瓣电影短评做中文分词与数据分析 -  ...

那篇文章很早了，现在记不清楚是不是只使用excel做了那些图，excel是很强大的，能满足绝大部分需求