使用Sqoop实现Hive与MySQL数据库间数据迁移时报错

2016年10月15日 7 阅读

执行 ./sqoop create-hive-table --connect jdbc:mysql://192.168.1.10:3306/ekp_11 --table job_log --username root --password 123456 --hive-table job_log准备将关系型数据的表结构复制到hive中。但是提示如下一堆错误信息：Warning: /usr/lib/hbase does not exist！ HBase imp...

如何在 Redis 实现 Lua 脚本事务？

2016年10月15日 7 阅读

在刚过去的几个月中，我一直在构思并尝试在 redis 中实现 lua 脚本的事务功能。没有多少人理解我的想法，所以我将通过一些历史为大家做下解释。MySQL 与 Postgres在 1998-2003 年间，如果你想运行一个正规的数据库驱动的网站/服务，但又没有足够的资金购买微软或 Oracle 的数据库，你可以选择 MySQL 或 Postgres 。很多人都选择了 MySQL，因为它速度较快——主要是因为 MyISAM 存储引擎...

MariaDB的GTID复制和多源复制

2016年10月15日 7 阅读

什么是GTID？GTID就是全局事务ID（global transaction identifier ），最初由google实现，官方MySQL在5.6才加入该功能。GTID实际上是由UUID+TID组成的。其中UUID是一个MySQL实例的唯一标识。TID代表了该实例上已经提交的事务数量，并且随着事务提交单调递增。什么是多源复制？多源复制意味着一个服务器能从多个从服务器上复制。这是MariaDB 10.0的一个新特性。实验系统：CentOS 6.6_x8...

ORA-12154: TNS: 无法解析指定的连接标识符 解决

2016年10月15日 8 阅读

相信使用过Oracle数据库的人一定碰到过“ORA-12154: TNS: 无法解析指定的连接标识符”错误，我在此做一个小小的总结。在程序中连接Oracle数据库的方式与其他常用数据库，如：MySql,Sql Server不同，这些数据库可以通过直接指定IP的方式连接，但是Oracle则需要通过Oracle客户端配置网络服务名的方式来连接。否则就会出现“ORA-12154: TNS: 无法解析指定的连接标识符&rdquo...

CentOS安装Oracle数据库详细介绍及常见问题汇总

2016年10月15日 8 阅读

一、安装前准备1.软件硬件要求操作系统：CentOS 6.4（32bit）Oracle数据库版本：Oracle 10g（10201_database_linux32.zip）最小内存：1G（检查命令：#grep MemTotal /proc/meminfo）最小Swap：2G（检查命令：#grep SwapTotal /proc/meminfo）CentOS 6.3（x86_32）下安装Oracle 10g R2 http://www.linuxidc.c...

PuTTY + Xming 实现Oracle图形安装

2016年10月15日 7 阅读

当我们用PuTTY软件连接至Linux服务器时默认使用的是ssh或者telnet连接，由于PuTTY自身不具备X window功能所以无法开启Oracle的图形安装界面。本文介绍如何使用PuTTY配合使用Xming工具来实现开启图形界面的功能。1. 需要用到的软件PuTTY 下载地址：http://putty.cs.utah.edu/download.htmlXming 下载地址：http://xming.en.softonic.com/也可以在Linux...

WebLogic重新设置管理员账号和口令

2016年10月15日 8 阅读

在实际工作中我们经常会遇到有客户忘记其WebLogic管理账号口令，无法登录管理员控制台的情况。本文介绍在WebLogic集群环境下如何修改管理员账号的操作步骤。测试环境：WebLogic 10.3.6版本，采用生成模式部署domain。两台Win2003服务器上构建WebLogic集群，配置NodeManage。一台Windows上配置管理服务器和一个被管服务器，另一台Windows上只配置了被管服务器。修改管理员账号步骤：1. 关闭停止整个WebLog...

CentOS 下 MySQL root 密码重置

2016年10月15日 7 阅读

CentOS 下 重置MySQL密码的方法有很多，官网也提供了很方便的快捷操作办法，可参考资料 resetting permissions 。本文重置密码的具体步骤如下：一、停止MySQL（如果处于运行状态）#service mysqld stop输出Shutting down MySQL. [ OK ]关于 #service mysqld stop 命令，可参考CentOS 6.5 平台离线编译安装 MySQL 5.6...

CentOS 6.5 平台离线编译安装 MySQL 5.6.22

2016年10月15日 7 阅读

在CentOS 6.5 平台离线编译安装 MySQL 5.6.22过程记录。一、下载源码包http://cdn.mysql.com/archives/mysql-5.6/mysql-5.6.22.tar.gz二、准备工作卸载之前本机自带的MYSQL安装 cmake,编译MYSQL 的工具yum install cmake三、解压源码包tar -zxv -f mysql-5.6.16.tar.gz cd mysql-5.6.16四、CMake编译cmake ...

利用MySQL-Proxy进行MySQL数据库的读写分离

2016年10月15日 7 阅读

实验系统：CentOS 6.6_x86_64实验前提：防火墙和selinux都关闭实验说明：本实验共有4台主机，IP分配如拓扑实验软件：mariadb-10.0.20 mysql-proxy-0.8.5-linux-el6-x86-64bit下载地址：http://pan.baidu.com/s/1o6EFEQmMySQL Proxy读写分离实战 http://www.linuxidc.com/Linux/2008-09/15656.htm在CentOS...

Oracle 10g实现只读表的N种方法

2016年10月15日 7 阅读

有时为了提高数据的安全性，我们需要把一个或多个表设置为只读，即不允许对其执行任何 DML（Insert, Update, Delete） 操作。在Oracle11g中实现只读表非常简单，只需要执行alter table ... read only;语句即可；但是在11g之前的版本，“只读”只对数据库和表空间有效，如果我们要实现一个只读表，只能通过其他办法。下面就介绍在Oracle10g中实现只读表的几种常用方法。首先，我们先创建测试...

Oracle 11g新特性之只读表

2016年10月15日 8 阅读

在Oracle 11g之前的版本中，若想对表设置只读，可以通过赋予SELECT对象权限给指定用户，但是表的拥有者仍然拥有读写权限。而Oracle 11g 允许通过ALTER TABLE 命令将表标记为只读（read-only）。只读表跟普通的表没有区别，只是不允许任何事务对其执行任何 DML（Insert, Update, Delete） 操作。测试环境 我们在Oracle11g（11.2.0.3）进行测试。SQL>SQL> select *...

ORA-00382与DB_nK_CACHE_SIZE参数设置

2016年10月15日 8 阅读

最近在尝试优化一个包含blob字段表的查询，考虑使用非标准块缓存。但是，在尝试设置DB_32K_CACHE_SIZE参数时，遭遇报错（报错内容：ORA-00382: 32768 不是有效的块大小, 有效范围为 [..]）。于是，到官方文档查了一下，才明白这个参数的设置由于和底层数据块相关，与操作系统是紧密相连的。在Windows操作系统下，DB_32K_CACHE_SIZE参数时不可用的，但是，它支持DB_16K_CACHE_SIZE。这里给出参数的官方文...

Oracle 11g维护分区（六）——Modifying Default Attributes

2016年10月15日 7 阅读

你可以修改Oracle一个表或者复合分区表的一个分区的默认属性。当你修改默认属性时，新属性只会影响到以后创建的分区或者子分区。当创建一个新的分区或者子分区时，默认属性也可以被覆盖。你可以修改引用分区表的默认属性。修改表的默认属性你可以使用ALTER TABLE语句的MODIFY DEFAULT ATTRIBUTES子句来修改范围、哈希、列表、间隔或者引用分区继承的默认属性。对于哈希分区表而言，只有TABLESPACE属性可以被修改。修改分区的默认属性当创建...

Oracle 11g维护分区（五）——Merging Partitions

2016年10月15日 7 阅读

合并分区使用ALTER TABLE ... MERGE PARTITION语句将两个分区的内容合并到一个分区。原来的两个分区将会被删除，相关的本地索引也会被删除。对于哈希分区表或者复合哈希分区表的哈希子分区，你不能使用这个语句。对于引用分区表，你不能合并分区。相反，父表的合并操作会级联到所有子表。尽管如此，当你在父表执行合并分区或者子分区操作时，你也可以使用DEPENDENT TABLES子句来为相关表设置特定属性。如果涉及到的分区或者子分区包含数据，那么...

RMAN中三个不完全恢复场景

2016年10月15日 7 阅读

RMAN在数据的备份恢复中还是发挥了重大的作用，把冷备，热备这种手工备份方式做了集成化的管理，可以基于这个工具集完成相对复杂额备份恢复工作。当然了RMAN相对于传统的手工备份，提供了更多的改进， 比如压缩备份，我们手工测试的场景中，一个1.5G的小库，如果数据文件的使用率不到300M，那么生成的dump就在近300M，如果开启压缩备份的方式，生成的备份集差不多会在80M左右，改进的幅度还是很大的。比如并行备份，开启多个通道对于数据库中的多个数据文件备份进行...

MySQL5.6新特性之crash-safe

2016年10月15日 7 阅读

一 介绍MySQL 5.6 针对复制功能提供了新特性: slave支持crash-safe. 该功能可以解决之前版本中系统异常断电可能导致的SQL thread 信息不准确的问题。本文从原理方面对该特性进行介绍。二 原理在了解crash-safe slave 之前，我们先分析一下MySQL 5.6 之前的版本出现 crash-unsafe 的原因。在slave上,复制包含两个线程:即replication中的IO thread和SQL thread。IO ...

Hive本地模式安装及遇到的问题和解决方案

2016年10月15日 8 阅读

Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive有三种运行模式：1.内嵌模式：将元数据保存在本地内嵌的Derby数据库中，这得使用Hive最简单的方式，不过使用内嵌模式的...

HBase快速导入数据--BulkLoad

2016年10月15日 8 阅读

Apache HBase是一个分布式的、面向列的开源数据库，它可以让我们随机的、实时的访问大数据。但是怎样有效的将数据导入到HBase呢？HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API，但是这些都不是非常有效的方法。Bulkload利用MapReduce作业输出HBase内部数据格式的表数据，然后将生成的StoreFiles直接导入到集群中。与使用HBas...

ImportTsv－HBase数据导入工具

2016年10月15日 7 阅读

一、概述HBase官方提供了基于Mapreduce的批量数据导入工具：Bulk load和ImportTsv。关于Bulk load大家可以看下我另一篇http://www.linuxidc.com/Linux/2015-08/121141.htm。通常HBase用户会使用HBase API导数，但是如果一次性导入大批量数据，可能占用大量Regionserver资源，影响存储在该Regionserver上其他表的查询，本文将会从源码上解析ImportTsv...