【豆瓣_电影短评采集】#GooSeeker数据DIY#

Fuller · 发表于 2019-12-10 22:14:20

我查了一下后台，在8：22到8：49期间，你采集到了442条数据，一条都没有打包出来吗?

lukecho · 发表于 2019-12-10 22:23:53

Fuller 发表于 2019-12-10 22:12
打包的时候，会提示有多少条数据，如果条数是0，那么很可能是采集失败了，也有可能数据库处理速度有点慢 ...

现在采集成功了，那为什么我解压会失败呢？另外，我加了群，但是管理员一直不通过我，求通过，我已经买了旗舰版

lukecho · 发表于 2019-12-10 22:27:29

Fuller 发表于 2019-12-10 22:14
我查了一下后台，在8：22到8：49期间，你采集到了442条数据，一条都没有打包出来吗? ...

我这边压缩文件，显示已损坏，打不开，怎么解

maomao · 发表于 2019-12-10 23:08:30

lukecho 发表于 2019-12-10 22:27
我这边压缩文件，显示已损坏，打不开，怎么解

你的爬虫是MAC版吗？

Fuller · 发表于 2019-12-11 10:14:53

mac电脑有可能在处理中文名的zip文件的时候会失败，但是最近升级了一个版本，已经修改了这个问题，现在显示文件损坏，很可能是下载过程被中断了，可以重新下载一次

carina0622 · 发表于 2019-12-12 16:37:13

你好我想问下，评论明明有700+但是爬下来只有200多

Fuller · 发表于 2019-12-12 16:51:40

carina0622 发表于 2019-12-12 16:37
你好我想问下，评论明明有700+但是爬下来只有200多

哪个网址？发出来我试试。豆瓣说不定限制了翻页次数

kid_aaa · 发表于 2020-3-9 17:11:07

是不是收集到442条就不能再收集了，我也是收集了442

Fuller · 发表于 2020-3-9 17:38:53

kid_aaa 发表于 2020-3-9 17:11
是不是收集到442条就不能再收集了，我也是收集了442

每个网站都会设定翻页限制，为了能够采集更多，一般需要登录以后再采集，即便这样，也会达到网站规定的限制数

ym · 发表于 2020-3-9 17:46:13

本帖最后由 ym 于 2020-3-9 17:53 编辑

kid_aaa 发表于 2020-3-9 17:11
是不是收集到442条就不能再收集了，我也是收集了442

豆瓣无论是否登陆，都限制了翻页数量，最多可以浏览前25页，所以采集也是一样最多采到前25页，一页20条，单次最多能采集到500条

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页