近日,信息抓取工具DataScraper升级到V4.11.1,进一步提升了AJAX网站数据采集能力,主要特性有:
- 通过自动滚屏,更全面得抓取AJAX网站数据,应用案例参见采集新浪微博数据建设网络舆情监测系统
- 调整了网页加载策略,一定程度降低了CPU占用率
- 优化了超链接抓取算法,一定程度提高了抓取效率
- 修改了本阶段的BUG,例如,超时检测的bug 等。
DataScraper V4.10.0高性能版本是GooSeeker(深圳)研发中心发展壮大历程的里程碑,该版本开发过程严格按照ISO9001软件企业质量管理体系的规定,参照CMM原则建设成熟的研发团队,因此,V4.10.0自发布以来表现出卓越的稳定性,半年多时间,已经被超过3000个用户应用于各种信息处理系统中,收到的bug报告很少,半年中只做了一次小版本升级。近期,将启动DataScraper V5版本的开发,对系统性能做一次飞跃式提高;同时,将展开MetaStudio的改造和改进。