抓取特别慢有什么改进方法吗？

淼淼

最近在抓一个国外网站的面板数据，之前抓静态数据的时候都很快的，基本2天就可以抓完1000条，可是开始抓面板数据的时候，2天50条都抓不到怎么办，数据急用，有什么办法解决吗？
就是抓如图的众筹网站的出资里面的出资人、出资时间、出资额这些

Fuller · 发表于 2018-4-15 12:41:11

不可能这么慢。你的主题名是什么？

淼淼 · 发表于 2018-4-15 19:09:13

Fuller 发表于 2018-4-15 12:41
不可能这么慢。你的主题名是什么？

主题名是支持记录试抓

Fuller · 发表于 2018-4-15 23:10:18

这个网站太慢了，应该用vpn

淼淼 · 发表于 2018-4-16 09:36:28

Fuller 发表于 2018-4-15 23:10
这个网站太慢了，应该用vpn

可是我之前从2月份就断断续续一直在抓这个网站，都挺快的，就是这一次，特别慢

wangyong · 发表于 2018-4-16 09:41:42

这次的慢是加载网页慢，还是加载网页后等待抓取的时间慢？

淼淼 · 发表于 2018-4-16 15:55:21

wangyong 发表于 2018-4-16 09:41
这次的慢是加载网页慢，还是加载网页后等待抓取的时间慢？

是等待抓取时间慢

数据集 · 发表于 2018-4-16 16:30:19

淼淼发表于 2018-4-16 15:55
是等待抓取时间慢

勾选定时器触发

共 7 个关于本帖的回复最后回复于 2018-4-16 16:30

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页