HBase实现记录定期定量删除

2016年10月15日 8 阅读

文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org/apidocs/index.html？overview-summary.htmlBegin！HBase如何实现定期定量的删除记录？使用场景分析：我们在HBase中存储的记录可能有一些是增速很快且又不需要永久保存的，比如大量的“系统日志&rd...

HBase在处理中文字符串时的问题

2016年10月15日 8 阅读

文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org/apidocs/index.html？overview-summary.htmlBegin！在设置scan的startRowKey与endRowKey时，经常需要在某个条件字符串后面补充出一个范围。（再比如SingleColumnValueFilter...

HBase 增量备份

2016年10月15日 8 阅读

文中可能涉及到的API：Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/HBase: http://hbase.apache.org/apidocs/index.html？overview-summary.htmlBegin！一、概述使用了HBase提供的Export与Import工具。Export：http://hbase.apache.org/apidocs/org/apache...

HBase 定期备份

2016年10月15日 8 阅读

如何使用HBase的Export与Import完成备份功能，请参照我之前的《HBase 增量备份》http://www.linuxidc.com/Linux/2013-03/81361.htm。转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。import time import datetime from datetime import date import sys import os ...

HBase 事务性 （Transaction）

2016年10月15日 8 阅读

What is Transaction先摘录一段Wiki关于Transaction（事务）的释义：A transaction comprises a unit of work performed within a database management system （or similar system） against a database, and treated in a coherent and reliable way independent o...

Redis批量导入数据

2016年10月15日 10 阅读

环境：openstack上的一个8核CPU、16GB内存、110GB磁盘的虚拟机Ubuntu 12.04 x64 Server系统安装redis2.6.7过程：做实验的时候需要把一个2.1亿条的key-value数据导入redis以提供快速的查询。安装、配置、启动redis之后，需要把数据导入到redis中。尝试用jedis写客户端往redis中逐条插入数据的话，速度很慢，一分钟插入几万条就谢天谢地了，2.1亿条得好几天（我猜redis每秒10万条的插入速...

Oracle数据库通过定义TYPE及Member对象来实现日志信息的分级管理

2016年10月15日 7 阅读

调用路径：存储过程-》调用函数初始化TYPE里变量-》存储过程调用具体级别的日志操作-》调用TYPES实现体TYPE BOBIES里的具体Member实现体-》调用公用的Member成员存储过程写入syslog表。代码样例展示：1、存储过程createorreplaceprocedure sp_message_hisorderdata_create（ p_l_dateHsCrmType.LDate%TYPE, p_vc_customer hscrmty...

Oracle控制文件多元化

2016年10月15日 8 阅读

控制文件多元化：就是复制多个控制文件并存放到不同的磁盘。1、使用SPFILE多元化控制文件1）查看控制文件信息和spfile 信息05:55:48 SQL> select name from v$controlfile;NAME------------------------------------------------------------------------------------------------------ ----------...

Oracle控制文件的重建

2016年10月15日 8 阅读

场景：存储介质被破坏，造成控制文件丢失，需更换硬盘，并重新建立控制文件。（1）修改初始化参数control_files，改变控制文件位置SQL> ALTER SYSTEM SET CONTROL_FILES="/disk1/oradata/control01.ctl","/disk2/oradata/control.ctl" scope=spfile;（2）关闭数据库SQL>shutdown immediate（3）启动实例SQL>sta...

Oracle控制文件的备份

2016年10月15日 8 阅读

备份控制文件的原则是：在数据库物理结构发生变化后备份控制文件。1、trace :用于控制文件重建 （生成的trace文件在udump）SQL> alter database backup controlfile to trace;Database altered.以下是控制文件的备份：CREATE CONTROLFILE REUSE DATABASE "LX01" NORESETLOGS ARCHIVELOGMAXLOGFILES 16MAXLOGM...

Oracle控制文件的内容

2016年10月15日 8 阅读

1、控制文件的功能和特点1）定义数据库当前物理状态2）维护数据的一致性：如果控制文件中的检查点与数据文件中的一致，则说明数据一致，可以启动到open状态）查看数据一致性的方法：SQL> select file#,checkpoint_change# from v$datafile;【从控制文件读取】FILE# CHECKPOINT_CHANGE#---------- ------------------1 1723732 172373...

Oracle高级显式游标的使用

2016年10月15日 8 阅读

1、参数化的游标作用：多次打开相同的游标，返回不同的结果集。游标声明部分的形参必须与OPEN语句中提供的实参相对应（数量与数据类型）。例1：DECLARE v_empno emp1.empno%TYPE; v_ename emp1.ename%TYPE; CURSOR emp_cursor （p_deptno NUMBER, p_job VARCHAR2） IS ——定义参数时不需要指定精度 SELECT empno, en...

Oracle触发器的使用

2016年10月15日 8 阅读

1、定义触发器：与表或数据库事件联系在一起，当一个触发器事件发生时，定义在表上的触发器被触发执行。触发器触发次序1）执行 BEFORE语句级触发器;2）对与受语句影响的每一行：· 执行 BEFORE行级触发器· 执行 DML语句· 执行 AFTER行级触发器3）执行 AFTER语句级触发器2、DML触发器触发类型--行级和表级行级：触发语句处理每一行时，行级别触发器都激发一次。通过:old访问原始值、:new访问修...

Oracle表碎片起因及解决办法

2016年10月15日 8 阅读

今天发现在一个SQL查询用不到索引，classid是建了索引的，如下：select * from infobase where classid in（10001,10002,10003,10004,10005）;奇怪的发现在classid in（10001,10002）的值两以上就用不索引，两个以下就可以用到，开始怀疑是索引有问题，于是就重建下了下classid上的索引还是不行。从网上找到一篇文章才知道可能是表中存在碎片的问题于是用下面的步骤解决：1、重建...

保持Oracle数据库的优良性能的几种办法

2016年10月15日 8 阅读

Oracle数据库以其高可靠性、安全性、可兼容性，得到越来越多的企业的青睐。如何使Oracle数据库保持优良性能，这是许多数据库管理员关心的问题，根据笔者经验建议不妨针对以下几个方面加以考虑。一、分区根据实际经验，在一个大数据库中，数据空间的绝大多数是被少量的表所占有。为了简化大型数据库的管理，改善应用的查询性能，一般可以使用分区这种手段。所谓分区就是动态表中的记录分离到若干不同的表空间上，使数据在物理上被分割开来，便于维护、备份、恢复、事务及查询性能。当...

Solaris 10 u10 安装 Oracle 10g2 链接时出现错误的解决方法

2016年10月15日 8 阅读

Solaris 10 u10 安装 Oracle 10g2 链接时出现错误的解决方法问题描述：Exception String: Error in invoking target "client_sharedlib" of makefile "/u01/app/oracle/product/10.2.0/db_1/network/lib/ins_net_client.mk". See"/u01/app/oracle/oraInventory/logs/in...

Oracle恢复内部原理（块修复）

2016年10月15日 8 阅读

块修复是最简单的恢复，在数据库正常操作过程中由系统自动做的，用户几乎感觉不到。系列文章：Oracle恢复内部原理 http://www.linuxidc.com/search.aspx？where=nkey&keyword=198247.1 块修复初始化和操作前台进程在修改一个缓冲区的时候调用重做程序在该缓冲区上应用改变向量时因为前台进程僵死或者触发一个错误而导致缓冲区的状态不一致，块修复就是用来修复这种缓冲区的状态。修复的过程包括：（i）从磁盘上...

Oracle恢复内部原理（重置日志RESETLOGS）

2016年10月15日 9 阅读

重置日志选项用于下列情形后的第一次打开数据库的时候：1.不完全恢复2.基于备份控制文件的恢复3.CREATE CONTROLFILE...RESETLOGS重置日志的最主要的作用就是丢弃不完全恢复中没有使用的重做日志并保证后续的恢复不再需要。为此，重置日志选项将所有联机日志和归档日志都做废掉。副作用就是此前的所有备份对将来的恢复都没有用了。重做日志选项还初始化了控制文件中关于联机日志和重做线程的内容，清除了当前存在的联机重做日志的内容，如果联机日志文件不存...

Oracle 巡检工具：RDA 使用简介

2016年10月15日 8 阅读

㈠ 下载 RDA 并 解压缩：RDA 下载免费下载地址在 http://linux.linuxidc.com/用户名与密码都是www.linuxidc.com具体下载目录在 /2013年资料/3月/23日/Oracle 巡检工具：RDA 使用简介[oracle@localhost vmshare]$ gunzip rda_4[1].1-051205.tar.gz[oracle@localhost vmshare]$ tar -xf rda_4[1].1-0...

MySQL查询优化-Show命令

2016年10月15日 8 阅读

MySQL查询优化-Show命令Show命令我们可以通过show命令查看MySQL状态及变量，找到系统的瓶颈：Mysql> show status ——显示状态信息（扩展show status like ‘XXX’）Mysql> show variables ——显示系统变量（扩展show variables like ‘XXX’）Mysql>...