Hive 关于merge的几个参数

分析一下Hive 关于merge的三个容易混淆的参数：hive.mergejob.maponlyhive.merge.mapfileshive.merge.mapredfiles这三个参数是merge以哪种方式的输出文件，以及以哪种方merge.听起来是不是很绕Jhive.merge.mapfiles（defaulttrue）：这个参数是用来控制是否merge MAP-ONLY型Job的文件输出（如果在Hive里设置了支持DP的话，并且涉及到含有DP列的表，如果Hadoop不支持CombineInputFormat，即版本pre-0.20的话那么这个参数和下个参数是不生效的，即都是false）hive.merge.mapredfiles（defaultfalse）：这个参数是用来控制merge MAP-REDUCE型Job的文件输出hive.mergejob.maponly（defaulttrue）：这个参数是用来控制是以MAP-ONLY的形式来进行merge（这里有个前提条件就是需要Hadoop支持CombineInputFormat，0.20之前的即使设置了这个参数true也不会生效）或者以MAP-REDUCE的形式来进行merge.不过关于这个参数还有一个未修复的Bug（https://issues.apache.org/jira/browse/HIVE-2869）因此默认值是trueHive 的详细介绍：请点这里
Hive 的下载地址：请点这里相关阅读：基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htmHive内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htmHadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htmHive本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htmHive学习之WordCount单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm控制Hive MAP个数详解Ubuntu下MySQL的"Access denied for user "root"@"localhost" （using password: YES）"错误相关资讯 Hive Hive参数

Hive 简明教程 PDF （今 09:40）
Apache Hive v2.1.0-rc1 发布下载（06月04日）
在 Apache Hive 中轻松生存的12个（04月07日）

Apache Hive v2.1.0 发布下载（06月22日）
SparkSQL读取Hive中的数据（05月20日）
Apache Hive 2.0.0 发布下载，数据（02月17日）

本文评论查看全部评论（0）