HBase 系统架构

2017年02月05日 20 阅读

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。HBase特性：1 高可靠性2 高效性3 面向列4 可伸缩5 可在廉价PC Server搭建大规模结构化存储集群HBase是Google BigTable的开源实现，其相互对应如下：Google HBase文件存储系统 ...

Oracle下批量生成ADDM报告

2017年02月05日 15 阅读

之前写过一篇文章 Oracle 批量生成AWR报告（http://www.linuxidc.com/Linux/2014-12/110086.htm），我们之前每天监控AWR报告，及时消除性能隐患。现在又多了一种手段，生成ADDM报告，听取下Oracle的建议未尝不可。ADDM能发现定位的问题包括：.操作系统内存页入页出问题.由于Oracle负载和非Oracle负载导致的CPU瓶颈问题.导致不同资源负载的Top SQL语句和对象——...

Oracle 批量生成AWR报告

2017年02月05日 16 阅读

在日常的工作中需要每天监控AWR报告，消除隐患，下面是自动运维脚本。Oracle的ADDM也会给出部分优化建议，ADDM报告自动生成脚本参见：Oracle下批量生成ADDM报告 （见http://www.linuxidc.com/Linux/2014-12/110085.htm）。使用方法: 在E盘下面建立AWR的目录，将三个文件放入到其中awr.cmd、awr.sql、myawr.sql. 通过window的任务计划建立定时任务触发awr.cmd.前提连...

如何在CentOS 7/6.5/6.4 下安装PostgreSQL 9.3 与 phpPgAdmin

2017年02月05日 16 阅读

PostgreSQL是一个强大开源的对象关系类型数据库系统，它能运行于几乎所有主要的操作系统，包括Linux、Unix（AIX、BSD、HP-UX、SGI IRIX、Mac OS、Solaris、Tru64）、Windows OS。在这篇教程里，我们将学习如何在CentOS7/6.5/6.4 server 中建立PostgreSQL。1.安装PostgreSQL首先根据你的服务器架构添加PostgreSQL库：对CentOS 6.x 32bit: rpm...

Oracle 11g的Deferred Segment Creation

2017年02月05日 15 阅读

本篇主要介绍Oracle 11g中推出的“延迟段创建”（Deferred Segment Creation）特性，以及当我们使用这种特性时，需要注意的问题。 1）Deferred Segment Creation 在Oracle中，“表空间（Tablespace）、段（Segment）、分区（Extent）和块（Block）”是逻辑存储结构的四个层次。对数据表而言，通常是由一个或者多个段对象（分区表）Se...

Oracle 11g导出空表、少表的解决办法

2017年02月05日 14 阅读

Oracle 11g中有个新特性，当表无数据时，不分配segment，以节省空间。解决方法： 1）insert一行，再rollback就产生segment了 该方法是在在空表中插入数据，再删除，则产生segment。导出时则可导出空表。 2）设置deferred_segment_creation参数SQL> show parameter deferred_segment_creation NAME TYPE V...

利用XtraBackup进行MySQL数据库的备份

2017年02月05日 16 阅读

Xtrabackup是有percona公司开发的一款开源备份工具，它与ibbackup这个备份工具不同的是。ibbackup是一个收费的备份工具，而且在其备份性能上，ibbackup不如Xtrabackup。ibbackup和Xtrabackup都对Innodb存储引擎支持在线物理完全备份和在线物理增量备份，对MyISAM存储引擎来说，只支持温备份而已。更对关于两者的特性比较，请参考http://www.percona.com/software/perco...

利用LVM的快照功能来实现对数据做几乎热备

2017年02月05日 15 阅读

LVM的快照功能可以将某一时刻的信息记录到快照区中，因此，可以利用这一特点对数据做完全备份。而后，新提交的数据可以利用二进制日志文件来做增量备份和还原。因此，通过这种方式就可以实现对数据做几乎热备。使用LVM快照进行数据库备份 http://www.linuxidc.com/Linux/2013-10/91062.htm要想利用LVM的快照功能实现几乎热备，需要满足如下条件：1、数据文件必须要逻辑卷上2、此逻辑卷所在卷组必须要有足够空间存储快照卷3、数据文...

MySQL的日志系统

2017年02月05日 17 阅读

MySQL的日志类型共有5种，不同的日志类型，记录的日志信息不一样。这里的日志类型有如下这些：错误日志：1、记录了服务器启动和关闭过程中的信息2、记录了服务器运行过程中产生的错误信息3、记录了时间调度器运行一个事件产生的信息4、记录了从服务器启动从服务器进程时产生的信息MySQL相关的日志文件 http://www.linuxidc.com/Linux/2012-03/56441.htm关于错误日志的相关变量有：log_error=/PATH/TO/ERR...

简阅MongoDB JVM开发库

2017年02月05日 15 阅读

当存储基于文档的 JSON 数据的时候，MongoDB 是我最喜欢的数据库。基于 JVM 的语言在与 MongoDB 交互上有很多种选择。我觉得拿四个最流行的解决方案并且都实现一个用例，对我来说不失为一个好的练习。用例：创建一个可以获取一个城市和距其最近的城市的列表的 REST 服务。我要比较的四个选择是：标准的MongoDB Java Driver、Jongo、Monphia和Spring Data Mongo。为了简洁，我是用 groovy 完成代码，...

Oracle外键约束（Foreign Key）的几个操作选项

2017年02月05日 14 阅读

关系型数据库是以数据表和关系作为两大对象基础。数据表是以二维关系将数据组织在DBMS中，而关系建立数据表之间的关联，搭建现实对象模型。主外键是任何数据库系统都需存在的约束对象，从对象模型中的业务逻辑加以抽象，作为物理设计的一个部分在数据库中加以实现。Oracle外键是维护参照完整性的重要手段，大多数情况下的外键都是紧密关联关系。外键约束的作用，是保证字表某个字段取值全都与另一个数据表主键字段相对应。也就是说，只要外键约束存在并有效，就不允许无参照取值出现在...

Oracle数据库对表的基本操作和一些常用函数

2017年02月05日 16 阅读

首先，创建一个员工表，sql语句如下：CREATE TABLE employee（ id NUMBER（4）, name VARCHAR2（20） NOT NULL, gender CHAR（1） DEFAULT "M", birth DATE, salary NUMBER（6,2）, comn NUMBER（6,2）, job VARCHAR2（30）, manager NUMBER（4）, deptno NUMBER（2））下面，是对这个表的一些基本操...

Oracle中的一些查询语句及其执行顺序

2017年02月05日 16 阅读

Oracle中的一些查询语句及其执行顺序查询条件：1）LIKE：模糊查询，需要借助两个通配符，%：表示0到多个字符；_：标识单个字符。2）IN（list）：用来取出符合列表范围中的数据。3）NOT IN（list）： 取出不符合此列表中的数据记录。4）BETWEEN…AND…:用来查询符合某个值域范围条件的数据，最常见的是使用在数字类型的数据范围上，但对字符类型和日期类型数据也同样适用。for example： SELECT ...

Hibernate的映射机制

2017年02月05日 18 阅读

Hibernate的映射机制对象关系映射（Object Relation Mapping（ORM））是一种为了解决面向对象与面向关系数据库互不匹配现象的技术，简而言之ORM是通过使用描述对象之间映射的元数据，将java程序中的对象自动持久化到关系数据库中，这种映射机制从本质上来说其实就是将数据从一种形式转化为另一种形式Hibernate的基本映射数据类型Hibernate的基本映射数据类型是java基本类型与标准SQL类型相互转化的桥梁，其关系java类型...

CentOS下MySQL 5.1升级到5.7

2017年02月05日 16 阅读

前言：今天在CentOS上将MySQL版本由5.1升级到5.7的时候出现了各种问题，不过经过一步步的调查解决了问题，下面就记录一下过程，其中经历了很多次的卸载和删除，在这次记录的过程中，我就按照最后成功的一次顺序来记录，对于其中可能出现的一些错误会做特殊的说明。1.下载Linux的5.7版本，主要需要两个文件MySQL-server-5.7.4_m14-1.el6.x86_64.rpmMySQL-client-5.7.4_m14-1.el6.x86_64....

MySQL使用字符串作为查询条件

2017年02月05日 16 阅读

前言：今天在做MySQL的查询时遇到一个问题，情景是这样的，假如现在我的一张表里面有一个字段scode（表示商品编号），然后有一个字符串存储了多个商品编号，如“0001ME,0002BL”是一个字符串，假如叫str，本来是打算使用in的方式，就是说想把str作为in的条件，如下where scode in “0001ME,0002BL”，但是没有成功，然后就查阅MySQL的文档，找各种函数，最后发现了inst...

MySQL的远程连接总结

2017年02月05日 15 阅读

前言：一直以来，我缺乏对项目中遇到的问题进行总结的习惯，我觉得从今天开始，无论遇到的问题大小，注意对工作中的问题解决思路以及过程进行总结是必须的。那么今天我进行总结的是关于Linux创建MySQL服务以及通过Windows的远程连接的经验总结。第一步：项目使用的是云主机，那么安装起来就比较轻松，需要注意的就是尽量只安装相关的文件，注意list列出的文件命令注释yum list mysql*列出mysql的安装包yum install mysql-serve...

MySQL连接查询中索引的重要性

2017年02月05日 15 阅读

在MySQL中，我们要从多张表中读取数据时，往往需要用到连接查询。连接查询通过两张表中符合连接关系的字段来建立两张表的关联，通常包括内连接、左外连接、右外连接和全连接。内连接会保留两张表中共有的那部分记录，因此最后产生的连接表记录数最少；全连接会保留两张表中所有的记录，因此最后产生的连接表记录数最多；而左外连接会保留左表的全部记录，右外连接会保留右表的全部记录，因此最后产生的连接表记录数处于内连接和外连接之间。下面我们以一个学生选课的例子，来分析下左外连接...

ERROR 2049 （HY000）: Connection using old （pre-4.1.1）

2017年02月05日 17 阅读

测试环境新装了MySQL服务器，在登陆时无法成功登陆。其提示为使用的旧的认证协议而被拒绝。其具体的错误提示为ERROR 2049 （HY000）: Connection using old （pre-4.1.1） authentication protocol refused （client option "secure_auth" enabled）以下是关于这个问题的描述及其解决方案，供大家参考。1、故障现象[root@HKBO ~]# mysqladm...

使用Sqoop将MySQL数据导入到Hadoop

2017年02月05日 14 阅读

Hadoop的安装配置这里就不讲了。Sqoop的安装也很简单。Sqoop的安装与使用 http://www.linuxidc.com/Linux/2014-10/108337.htm完成sqoop的安装后，可以这样测试是否可以连接到mysql（注意：mysql的jar包要放到 SQOOP_HOME/lib 下）：sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --usernam...