CentOS 5.6下利用Sqoop将hive数据导入导出数据到MySQL

2017年02月05日 27 阅读

运行环境 CentOS 5.6 Hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具相关阅读：Sqoop配置安装 http://www.linuxidc.com/Linux/2011-08/41442.htm1 首先安装sqoop,如果你使用的是clouder分发版的话就非常简单 # yum install sqoop 如果用官方版本的话 # cd /etc/y...

Sqoop配置安装

2017年02月05日 25 阅读

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。Sqoop的User Guide地址：http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_introduction1:tar zxvf sqoop-1...

Hive使用MySQL保存Metastore

2017年02月05日 24 阅读

Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库： 1）ingle User Mode： 此模式连接到一个 In-memory 的数据库 Derby，一般用于 Unit Test。 2）Multi User Mode：通过网络连接到一个数据库中，是最经常使用到的模式。 3）Remote Server Mode：用于非 Java 客户端访问元数据库，在服务器端启动一个 MetaStoreServer，客户端利用 Thrift 协议通过 M...

PHP连接Hive执行sql查询

2017年02月05日 26 阅读

使用php连接hive的条件1 需要安装thrift 安装步骤# ./configure --without-ruby# make && make install如果没有安装libevent libevent-devel的应该先安装这两个依赖库yum -y install libevent libevent-devel安装好后启动hive thrift# ./hive--service hiveserver >/dev/null 2&...

Hive导入Apache Nginx等日志与分析

2017年02月05日 27 阅读

将nginx日志导入到hive中的两种方法1 在hive中建表CREATETABLEapachelog（ipaddressSTRING,identdSTRING,userSTRING,finishtimeSTRING,requestlinestring,returncodeINT,sizeINT,refererstring,agentstring）ROWFORMATSERDE"org.apache.Hadoop.hive.serde2.dynamic_ty...

Hadoop数据迁入到Hive

2017年02月05日 25 阅读

由于很多数据在Hadoop平台，当从hadoop平台的数据迁移到hive目录下时，由于hive默认的分隔符是,为了平滑迁移，需要在创建表格时指定数据的分割符号，语法如下：create table test（uid string,name string）row format delimited fields terminated by " "；通过这种方式，完成分隔符的指定。然后通过hadoop fs -cp或者hadoop distcp 进行文件夹复制。由...

MySQL集群配置

2017年02月05日 26 阅读

一、介绍========这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是这样的架构，一旦一台服务器宕机之后集群就无法继续正常工作了，...

Oracle两个表连接的分段查询

2017年02月05日 26 阅读

Select * From （ Select RowNum field_ByName,d.* From （SELECT b.*,c.loginaccount FROM JITUMS.TB_READERS b, JITUMS.tb_rd_account c where b.reader_id= c.reader_id） d Where RowNum <= 10 ） A Where A.field_ByName >= 1;Select * From...

Ubuntu Server下无界面安装Oracle笔记

2017年02月05日 25 阅读

db_install.rsp配置######################################################################Copyright（c）OracleCorporation1998,2008.Allrightsreserved.########Specifyvaluesforthevariableslistedbelowtocustomize####yourinstallation.########...

Oracle定时任务 时间间隔

2017年02月05日 26 阅读

当定义Oracle定时任务时，时间间隔的定义是，一次任务的结束时刻到另一次任务的开始时刻。例：select （TRUNC（sysdate,"mi"） + 1 / （24*60））,（sysdate + 1 / （24*60）） from dual错误：sysdate + 1 / （24*60）作为时间间隔，这样每次计算下次执行时间时，会把当前时间加进去，也就是任务的执行时间被加进去了。正确：TRUNC（sysdate,"mi"） + 1 / （24*60）...

五种Oracle用户的授权与管理

2017年02月05日 27 阅读

创建和删除用户是Oracle用户管理中的常见操作，但这其中隐含了Oracle数据库系统的系统权限与对象权限方面的知识。掌握还Oracle用户的授权操作和原理，可以有效提升我们的工作效率。 Oracle数据库的权限系统分为系统权限与对象权限。系统权限（ Database System Privilege ）可以让用户执行特定的命令集。例如，CREATE TABLE权限允许用户创建表，GRANT ANY PRIVILEGE 权限允许用户授予任何系统权限。对象权...

关闭和启动Oracle的几种方法总结

2017年02月05日 27 阅读

关闭和启动Oracle的几种方法总结：有以下几种启动方式：1、startup nomount非安装启动，这种方式启动下可执行：重建控制文件、重建数据库读取init.ora文件，启动instance，即启动SGA和后台进程，这种启动只需要init.ora文件。2、startup mount dbname安装启动，这种方式启动下可执行： 数据库日志归档、 数据库介质恢复、 使数据文件联机或脱机， 重新定位数据文件、重做日志文件。 执行“nomount”，然后打...

Oracle 10g Instant Client

2017年02月05日 25 阅读

在Linux上启用PHP OCI8扩展要在Linux上添加Oracle连接，需要重新编译PHP。1.下载并安装Apachecdapache_1.3.31./configure--prefix=/usr/local/apache --enable-module=so --enable-shared=max --enable-module=mostmakemakeinstall--enable-module=so so模块用来提供...

Oracle的timestamp类型使用

2017年02月05日 24 阅读

我们都知道date和timestamp都是对日期和时间的表示，只是两种类型的精确度不同，前者精确到秒，后者精确到小数秒（fractional_seconds_precision），可以是 0 to 9，缺省是６。但是对date类型的运算很简单，有很多函数可用来处理；而两个timestamp的差则是很直观地显示为多少天＋多少小时＋多少分钟＋多少秒＋多少小数秒，SQL> create table test （T1 TIMESTAMP（6）,2 T2 TI...

SHOPXX转换为Oracle

2017年02月05日 26 阅读

shopxx 采用的是spring+jpa hibernate 没有hbm文件，采用hbm2dllauto 默认 updateupdate的意思是 ，第一次加载hibernate时根据model类会自动建立起表的结构（前提是先建立好数据库），以后加载hibernate时根据 model类自动更新表结构，即使表结构改变了但表中的行仍然存在不会删除以前的行。因此 提供的 示例sql 可以不用。 需要修改的就是有些字段是 number 的改成 num 不要用Or...

Oracle 11g 的 逻辑存储结构和物理存储结构

2017年02月05日 25 阅读

逻辑存储结构 在操作系统中无法找到逻辑存储结构所对应的文件，但通过查询Oracle数据库的数据字典，可以找到逻辑存储结构的描述。逻辑存储结构包括表空间，段，区，块。简单的说，逻辑存储结构之间的关系是：多个块组成区，多个区组成段，多个段组成表空间，多个表空间组成逻辑数据库。一个区只能在一个数据文件中，一个段中的各个区可以分别在多个数据文件中。组成区的块是连续的。由于逻辑的块对应磁盘空间中某个固定大小的尺寸（一般为操作系统数据库的整数倍），所以逻辑存储结构也是...

在SQL*Plus中启动和关闭Oracle数据库

2017年02月05日 26 阅读

关闭数据库与数据库启动一样，有几个可供选择的选项用于关闭数据库。无论在什么情况下，读者都需要弄清楚这些关闭选项关闭数据库的语法是：SHUTDOWN [ NORMAL | TRANSACTIONAL | IMMEDIATE | ABORT ]注意：如果不在windows服务中事先关闭OracleDBControlSID，则使用shutdown或shutdown normal 来关闭数据库时没有相应结果，但其他几个选项有响应结果。一、 NORMAL（正常）选项...

RedHat 下 WebLogic 10.3.3.0 的安装

2017年02月05日 27 阅读

现在新版本WebLogic是在Oracle下的产品了，所以会看到红色的Oracle的标志，安装过程如下截图：1. 官方下载免费安装包 wls1033_oepe111150_linux32.bin2. 以非root用户登陆系统，安装改bin文件，命令如下：./wls1033_oepe111150_linux32.bin改命令执行结果是将该包解压，解压后的文件放在系统的/temp目录下；注意： 文件很大，请预留足够大的空间，至少2个G吧列外，有个问题，如果以当...

Linux安装JDK与VI编辑器操作浅析

2017年02月05日 29 阅读

在Linux下安装web服务器经常要安装JDK和编辑一些配置文件，那么如何进行配置呢，让我们开始基本操作吧：一、安装JDK：（1）从SUN下载jdk-1_5_0_04-linux-i586-rpm.bin，在/usr下新建java文件夹，将安装包放在/usr/java目录下，然后执行如下命令：#chmod 777 jdk-1_5_0_04-linux-i586-rpm.bin #./jdk-1_5_0_04-linux-i586-rpm.bin #rpm-...

Oracle中的序列和触发器

2017年02月05日 30 阅读

序列：序列（SEQUENCE）是序列号生成器，可以为表中的行自动生成序列号，产生一组等间隔的数值（类型为数字）。其主要的用途是生成表的主键值，可以在插入语句中引用，也可以通过查询检查当前值，或使序列增至下一个值。创建序列需要CREATE SEQUENCE系统权限。序列的创建语法如下：CREATE SEQUENCE 序列名 [INCREMENT BY n] [START WITH n] [{MAXVALUE/ MINVALUE n|NOMAXVALUE}] ...