引言: Hive是一种强大的数据仓库查询语言,类似SQL,本文将介绍如何搭建Hive的开发测试环境。1. 什么是Hive?hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。2. 按照Hive的准备条件2.1 Hadoop集群环境已经安装完毕 2.2 本文使用Ubuntu做为开发环境(14.04)3. 安装步骤3.1 下载Hive包:apache-hive-0.13.1-bin.tar.gz3.2 将其解压到/opt目录下 tar xzvf apache-hive-0.13.1-bin.tar.gz3.3 设置环境变量export HIVE_HOME=/opt/apache-hive-0.13export PATH=$PATH:$HIVE_HOME/binexport CLASSPATH=$CLASSPATH:$HIVE_HOME/bin3.4. 修改hive-env.xml,复制hive-env.xml.template.# Set HADOOP_HOME to point to a specific hadoop install directoryHADOOP_HOME=/opt/hadoop-1.2.1# Hive Configuration Directory can be controlled by:export HIVE_CONF_DIR=/opt/apache-hive-0.13/conf3.5 修改hive-site.xml,主要修改数据库的连接信息. <property>
<name>hive.metastore.uris</name>
<value>thrift://127.0.0.1:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property><property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://BladeStone-Laptop:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property><property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
<description>username to use against metastore database</description>
</property><property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>基于Hadoop集群的Hive安装 http://www.linuxidc.com/Linux/2013-07/87952.htmHive内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htmHadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htmHive本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htmHive学习之WordCount单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm3.6 安装mysql数据库(Ubuntu系统)sudo apt-get install mysql-server
3.7 创建mysql用户hive3.8 在mysql中创建hive数据库
更多详情见请继续阅读下一页的精彩内容: http://www.linuxidc.com/Linux/2014-08/105363p2.htm
Neo4j集群环境搭建Ubunu 14.04下MongoDB的安装指南相关资讯 Hive Hive安装
- Hive 简明教程 PDF (今 09:40)
- Apache Hive v2.1.0-rc1 发布下载 (06月04日)
- 在 Apache Hive 中轻松生存的12个 (04月07日)
| - Apache Hive v2.1.0 发布下载 (06月22日)
- SparkSQL读取Hive中的数据 (05月20日)
- Apache Hive 2.0.0 发布下载,数据 (02月17日)
|
本文评论 查看全部评论 (0)