Hadoop数据迁入到Hive

由于很多数据在Hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下：create table test（uid string,name string）row format delimited fields terminated by " "；通过这种方式，完成分隔符的指定。然后通过hadoop fs -cp或者hadoop distcp 进行文件夹复制。由于数据复制的成本比较高，时间比较慢，当不需要复制数据的时候，可以直接采取移动的方式将hadoop数据转移到hive，hadoop fs -mv src dest。一个比较简单的方法是直接创建 external table,语法如下：create table test（uid string,name string）row format delimited fields terminated by " " location "hdfs"；通过这种方式，避免数据的移动带来时间损耗，提高运行的效率。Hive导入Apache Nginx等日志与分析MySQL集群配置相关资讯 Hadoop Hive

Hive 简明教程 PDF （今 09:40）
Apache Hive v2.1.0-rc1 发布下载（06月04日）
云中巨象——作为一种服务的Hadoop （05月16日）

Apache Hive v2.1.0 发布下载（06月22日）
SparkSQL读取Hive中的数据（05月20日）
在 Apache Hive 中轻松生存的12个（04月07日）

本文评论查看全部评论（0）