Hive 优化 tips

2016年10月15日 12 阅读

一、 Hive join优化1. 尽量将小表放在join的左边，我们使用的Hive-0.90,所以是自动转化的，既把小表自动装入内存，执行map side join（性能好）, 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可以适当调整此参数，进行map side join，避免reduce side join。...

Oracle块编程返回结果集详解

2016年10月15日 8 阅读

一、概述在Oracle块编程（begin系列）中，由于其不支持select .... from ...返回结果集的形式，因此就只能通过输出参数的形式返回结果。游标作为一种将结果集封装成以指针单调向下读取数据的结构，类似于只有出队并删除操作的队列，正好作为输出参数的类型。而为了使用这种方式，必须保证存储过程的参数在声明与调用时的统一，因此不得不使用程序包。所以程序包+游标+存储过程或函数就成了块编程返回结果集的方法。下面来谈pl/sql与ODP.net实现的...

Oracle控制文件的多路复用

2016年10月15日 8 阅读

一、控制文件的多路复用a）、shutdown immediate;b）、操作系统下,复制备份文件到新的磁盘,拷贝下新控制文件的全路径;c）startup nomount;d）、alter system set control_files = "F:OraclePRODUCT10.1.0ORADATAORCLCONTROL01.CTL","F:ORACLEPRODUCT10.1.0ORADATAORCLCONTROL02.CTL","F:ORACLEPROD...

ORA-01102 的解决办法

2016年10月15日 8 阅读

安装完Oracle 数据库后启时，遇到ora-01102错误。oracle@r05a11016.yh.com:/home/oracle>sqlplus "/as sysdba"SQL*Plus: Release 11.2.0.2.0 Production on Fri Apr 15 16:17:39 2011Copyright （c） 1982, 2010, Oracle. All rights reserved.Connected to an id...

Oracle 11g 使用exp命令 导出空表

2016年10月15日 8 阅读

1、Oracle11g默认对空表不分配segment，故使用exp导出Oracle11g数据库时，空表不会导出。2、设置deferred_segment_creation 参数为FALSE后，无论是空表还是非空表，都分配segment。在sqlplus中，执行如下命令：SQL>alter system set deferred_segment_creation=false;查看：SQL>show parameter deferred_segme...

Oracle 12c R1 DataGuard的主备切换

2016年10月15日 9 阅读

Data Guard物理备库的主备切换1.查看状态主库：SQL> SELECT SWITCHOVER_STATUS FROM V$DATABASE;SWITCHOVER_STATUS------------------------------------------------------------TO STANDBY //可以转换成备库备库：SQL> SELECT SWITCHOVER_STATUS FROM V$DATABASE...

Oracle DataGuard物理备库的数据模式

2016年10月15日 8 阅读

在DataGuard中数据保护模式要按照需求来设置在所有的配置中都是用性能换数据的安全，要么就是用数据的安全级别来换性能。1.数据的保护模式第一种：最大限度保护数据Maximum availability： This protection mode provides the highest level of data protection that is possible without compromising the availability of a...

使用select语句查看Oracle的各种命中率和性能统计数据

2016年10月15日 9 阅读

--buffer命中率 缓冲区命中率获得的数据与所有访问数据之间的比例,正常指标90%~100%。但在数据库繁忙运行期间也可能低于--90%。buffer命中率受Oracle sga中data block buffers参数设置影响，也可以通过调整buffer池的使用方法来提高buffer命中率select round（（1-（physical.value-direct.value-lobs.value）/logical.value）*100,2）"缓冲区...

Oracle数据库临时表空间问题

2016年10月15日 8 阅读

笔者在日常系统检查时，通过Oracle Enterprise Manager Console检查数据库表空间使用情况，发现系统表空间使用率100% ，而且每个用户所对应临时表空间为系统表空间。发现此情况后，为了不影响系统正常运行对此问题进行检查。1、通过sql查看数据库临时表空间、用户对应的临时表空间、系统默认临时表空间select tablespace_name,file_name,bytes/1024/1024 file_size,autoextens...

重命名Oracle数据库服务器

2016年10月15日 8 阅读

网络改造等情况下，需要修改数据库服务器的名称或者IP地址。这种情况会影响Oracle数据库的正常工作，因为监听器和很多数据库工具都需要正确的机器名或者IP地址才能正常工作。因工作需要准备了一台服务器专门按照oracle数据库，并且服务器上安装了windows 2003操作系统，在安装系统是没有指定计算机名称，安装完成oracle数据库才发现数据库服务器名称为WIN-GFBYHSJZSU5，而访问OEM的地址：https://WIN-GFBYHSJZSU5:...

InnoDB 修改表共享空间为独立空间

2016年10月15日 8 阅读

最近在优化mysql innodb存储引擎，准备把共享表空间转换成独立表空间。刚开始的没考虑这么多，过段时间又要推广，所以优化一下，看看效果如何。说一个转换过程。1,查看一下是共享表空间，还是独立表空间mysql> show variables like "%per_table%";+-----------------------+-------+| Variable_name | Value |+-----------------------+--...

Oracle数据泵导入导出案例

2016年10月15日 8 阅读

Oracle数据库导入导出工具，可以使用exp/imp，但这是比较早期的工具。本文主要介绍数据泵expdp/impdp工具的使用。建立数据泵目录使用数据泵需要先建directorycreate directory dump_scott as"/home/oracle/dump/scott"查看建立的目录Select * from dba_directories赋权Grant read,write on directory dump_scott toscot...

RMAN 配置归档日志删除策略

2016年10月15日 8 阅读

Oracle 11g中对于归档日志的删除，除了遵循RMAN保留策略外，也可以通过RMAN来配置归档日志的删除策略，也就是归档日志何时可以被删除。归档日志删除策略适用于所有归档位置（使用快速闪回区FRA/不使用FRA http://www.linuxidc.com/Linux/2013-11/92489.htm）。本文主要描述归档日志删除策略并给出了具体的演示。1、关于归档日志删除策略 也就是哪些归档日志符合删除策略能够被删除，如前所述，归档位置适用于所...

RMAN 配置保留策略

2016年10月15日 8 阅读

RMAN保留策略关乎数据的完整性，因此事关重大，由用户定义的、基于用户数据恢复所能承受的容忍度来设置。也就是说根据恢复的需要，用户需要保留几天的数据，或者说用户需要备份的保留几个副本，或者不需要设定保留策略。在生产环境中多数使用的是基于恢复窗口的保留策略，因此需要重点关注与理解其用法。最本文主要描述了RMAN下的三种保留策略方式。1、什么是备份保留策略 也就是说备份可以保留多久，需要保留多久的问题，我们可以通过configure retention po...

Oracle 10g 裸设备数据文件恢复，ORA-19501、ORA-27063

2016年10月15日 8 阅读

环境说明：OS:aix 6.1DB:Oracle 10gR2 裸设备使用rman备份整个数据库备份失败，提示71数据文件失败，单独备份这个数据文件$ rman target /Recovery Manager: Release 10.2.0.1.0 - Production on Thu Nov 7 09:14:31 2013Copyright （c） 1982, 2005, Oracle. All rights reserved.connected to...

Oracle DataGuard 主备切换switchover

2016年10月15日 8 阅读

环境：OS：rhel63_64bitDB: Oracle10gR2主备切换 切换的顺序： 先从主库到备用，再从备库到主库Switchover Switchover：无损转换，通常是用户手动触发或者有计划的让其自动触发，比如硬件升级啦，软件升级啦之类的。通常它给你带来的工作量非常小并且都是可预计的。其执行分两个阶段，第一步，primary 数据库转换为standby 角色，第二步，standby 数据库（之一）转换为 primary 角色，primary 和...

Oracle 10g DataGuard 级别切换

2016年10月15日 8 阅读

环境：OS: rhel 6.3_64bitDB: Oracle 10gR2级别切换过程：主库SQL> select protection_mode,protection_level from v$database;PROTECTION_MODE PROTECTION_LEVEL-------------------- --------------------MAXIMUM PERFORMANCE MAXIMUM PERFORMANCESQL>...

MongoDB Capped Collection 使用

2016年10月15日 8 阅读

一 Capped Collection 简介 Capped Collection 是一种特殊的集合，它大小固定，当集合的大小达到指定大小时，新数据覆盖老数据。Capped collections可以按照文档的插入顺序保存到集合中，而且这些文档在磁盘上存放位置也是按照插入顺序来保存的，所以当我们更新Capped collections中文档的时候，更新后的文档不可以超过之前文档的大小，这样话就可以确保所有文档在磁盘上的位置一直保持不变。由于Capped co...

MongoDB 复制集自动故障切换

2016年10月15日 9 阅读

一 复制集的高可用性简介复制集通过故障自动切换来实现高可用性，当主节点出现故障当时候，从节点可以通过选举成为主节点，而这个过程在大多数当情况下是自动进行的，不需要手动当干预。在某些情况下，故障自动切换需要数据回滚。复制集部署的方式（复制集成员数量、物理因素，如带宽 复制集成员当地理位置等）可能会影响自动切换当效率。为了提高自动切换的效率，我们应该将复制集的大多数成员放到一个核心的数据中心来进行管理，在复制集里多放几个从节点，当主节点失效的时候，保证有可用的...

MongoDB备份与恢复数据

2016年10月15日 8 阅读

任何数据库都需要备份和恢复，这个重要性就不多说了，大家都懂的。MongoDB也提供了备份和恢复的功能，分别是MongoDB下载目录下的mongdump.exe和mongorestore.exe文件。首先说下语法：备份：>mongodump -h dbhost -d dbname -o dbdirectory-h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017-d：需要备份的数据库实例，例如：...