集搜客网络爬虫产生的采集结果文件是一个个xml,怎样合并起来
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2016-10-23 21:14

沙发
Fuller 管理员 发表于 2016-10-23 21:14:03 | 只看该作者
我不赞成将一个个xml文件合并成一个xml,这样无法处理大量数据,而是推荐如下处理路线

1)将一批xml文件转换成一个excel表,这种适合中小批量数据,一般的数据研究足够用。集搜客提供两种手段:1)用含有宏的excel来导入xml文件;2)导入到会员中心再导出excel。后者特别适合持续不断的抓取过程,一边抓一边导入,具体参看教程《xml转换为excel

2)将xml导入到数据库,这种适合大批量,以及在线数据处理过程,因为抓取结果是xml格式的,既有数据也有meta信息,最方便转换成其他各种格式
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 00:32