自定义采集

数据爬呀爬 · 发表于 2019-12-5 19:30:01

好的，我也尝试了一下，后面最多可以爬取8页，之后就加载不出来了。第二个网页应该是有问题没办法采集，就不打算用了。
还有就是快捷采集过程中采集博主主页详细信息，显示有效网址是好几百条，可是采集之后只出来几十条是怎么回事呢？而且采集过程已经结束了，但是页面那里还是显示采集中是为什么

Fuller · 发表于 2019-12-5 19:40:37

数据爬呀爬发表于 2019-12-5 19:30
好的，我也尝试了一下，后面最多可以爬取8页，之后就加载不出来了。第二个网页应该是有问题没办法采集，就 ...

应该是好多网址采集失败了

数据爬呀爬 · 发表于 2019-12-5 20:32:46

那有什么解决办法吗？我一直在重新尝试

Fuller · 发表于 2019-12-5 22:04:49

数据爬呀爬发表于 2019-12-5 20:32
那有什么解决办法吗？我一直在重新尝试

爬微博一定要网速比较好才行。如果有失败的，只能重采一遍

数据爬呀爬 · 发表于 2019-12-6 12:43:19

意思是网速的问题吗？我确实发现加载速度特别慢

Fuller · 发表于 2019-12-6 14:59:39

数据爬呀爬发表于 2019-12-6 12:43
意思是网速的问题吗？我确实发现加载速度特别慢

微博的抓取受网速影响很大，目前我所了解到的情况是：很多校园网的速度太差了，而微博方面的分析由是高校做研究的一个重要方向。有些课题需要数据量比较大的时候，需要委托我们做一些采集

数据爬呀爬 · 发表于 2019-12-6 15:37:41

的确是这样，而且采集的信息很不稳定

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页