最近在抓一个国外网站的面板数据,之前抓静态数据的时候都很快的,基本2天就可以抓完1000条,可是开始抓面板数据的时候,2天50条都抓不到怎么办,数据急用,有什么办法解决吗?
就是抓如图的众筹网站的出资里面的出资人、出资时间、出资额这些

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2018-4-16 16:30

沙发
Fuller 管理员 发表于 2018-4-15 12:41:11 | 只看该作者
不可能这么慢。你的主题名是什么?
举报 使用道具
板凳
淼淼 初级会员 发表于 2018-4-15 19:09:13 | 只看该作者
Fuller 发表于 2018-4-15 12:41
不可能这么慢。你的主题名是什么?

主题名是支持记录试抓
举报 使用道具
地板
Fuller 管理员 发表于 2018-4-15 23:10:18 | 只看该作者
这个网站太慢了,应该用vpn
举报 使用道具
5#
淼淼 初级会员 发表于 2018-4-16 09:36:28 | 只看该作者
Fuller 发表于 2018-4-15 23:10
这个网站太慢了,应该用vpn

可是我之前从2月份就断断续续一直在抓这个网站,都挺快的,就是这一次,特别慢

举报 使用道具
6#
wangyong 版主 发表于 2018-4-16 09:41:42 | 只看该作者
这次的慢是加载网页慢,还是加载网页后等待抓取的时间慢?
举报 使用道具
7#
淼淼 初级会员 发表于 2018-4-16 15:55:21 | 只看该作者
wangyong 发表于 2018-4-16 09:41
这次的慢是加载网页慢,还是加载网页后等待抓取的时间慢?

是等待抓取时间慢
举报 使用道具
8#
数据集 高级会员 发表于 2018-4-16 16:30:19 | 只看该作者
淼淼 发表于 2018-4-16 15:55
是等待抓取时间慢

勾选定时器触发

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-7-12 06:51