mysqldump缺失-q参数导致MySQL被oom干掉

2016年10月15日 8 阅读

某日凌晨收到db故障告警，上机器检查，mysql已经被myqld守护进程重新启动。检查/var/log/messages和最近的dmesg发现mysql进程是被oom干掉了。信息大概摘录如下：[13045702.638964] kthread invoked oom-killer: gfp_mask=0xd0, order=1, oomkilladj=0[13045702.638969] [13045702.638969] Call Trace: <...

Oracle 11g升级到11.2.0.3过程中XDB.DBMS_XMLSCHEMA相关报错

2016年10月15日 8 阅读

记录一下：在从Oracle11g升级到版本11.2.0.3执行@？/rdbms/admin/catupgrd.sql的过程中，会碰到下面的报错信息：ORA-00604: error occurred at recursive SQL level 1ORA-01704: string literal too longORA-00932: inconsistent datatypes: expected XDB.XDB$SCHEMA_T gotORA-0651...

ORA-00979: not a GROUP BY expression报错处理

2016年10月15日 8 阅读

环境：Oracle Database 11gR2（11.2.0.2） on Linux 故障现象： 执行Group By语句报错ORA-00979。具体的SQL如下：SQL> select a.d1,a.EXIT_type,round（a.cnt1/b.cnt2*100,2） from 2 （select substr（LOGIN_DATE,1,8） d1,EXIT_type,count（*） cnt1 from xxx_connect_log g...

Standby上执行RMAN报错RMAN-10006错误处理

2016年10月15日 8 阅读

环境：Oracle 10g 10.2.0.4 on SUSE 11 + Oracle Data Guard说明：每天凌晨Standby DB定时只读打开供统计用，之后再继续同步。故障现象：执行copy datafile命令报错RMAN-10006.如下所示：RMAN> copy datafile 14 to "/u/oracle/oradata/XXDB22/db2_c037dat03.dbf";Starting backup at 04/25/20...

配置Oracle网络环境

2016年10月15日 8 阅读

当客户端通过网络以"connect 用户名/密码@连接字符串"的形式连接Oracle数据库时，需要监听程序的协助，当连接建立后，即使监听程序挂掉也不会影响已经建立好的连接。用户连接oracle数据库服务器主要有两种方式：专有服务器连接和共享服务器连接在专用服务器模式中，对于每个运行数据库应用程序的用户进程都由执行Oracle 数据库服务器代码的专用服务器进程提供服务。每个服务器进程都有自己专用的PGA，这个PGA 在服务器进程启动时创建，对PGA 的访问权...

配置Oracle共享服务器

2016年10月15日 8 阅读

用户连接Oracle数据库服务器主要有两种方式：专有服务器连接和共享服务器连接在专有服务器模式中，当客户端发出连接数据库的请求时，监听器负责把客户端连接到专有服务器进程，该专有服务器进程只为该会话的用户进程服务，即使处于空闲状态。专有服务器进程与用户进程之间是一一对应的，每个服务器进程都会使用系统资源，包括CPU周期和内存。在负荷很高的系统中，由于专有服务器进程占用了内存和CPU资源，因而会对系统的可伸缩性产生负面影响，所以一般客户端要通过中间件的连接池连...

Oracle体系结构之SCN、实例恢复

2016年10月15日 8 阅读

SCN：System Change NumberSCN是Oracle数据库的一个逻辑的内部时间戳，用以标识数据库在某个确切时刻提交的版本。在事务提交或回滚时，它被赋予一个惟一的标识事务的SCN，用来保证数据库的一致性。SQL> select dbms_flashback.get_system_change_number, SCN_TO_TIMESTAMP（dbms_flashback.get_system_change_number） from du...

Oracle体系结构之检查点

2016年10月15日 9 阅读

CKPTQ：Checkpoint Queue（检查点队列）检查点队列中的数据块记录着每个数据块的LRBA地址RBA ：Redo Block Address（重做日志块的地址,相当于数据文件中的rowid,可以通过该地址定位重做日志块）由三个部分组成：4byte+4byte+2bytelogfile sequence number（日志文件序列号）logfile block number（日志文件块编号）byte offset into the block（...

Oracle体系结构之SQL语句的执行过程

2016年10月15日 10 阅读

一般来说,数据库处理SQL都会经过三个过程:解析（parse）、执行（exec）、返回结果（fetch）1.解析当用户发起一个SQL语句时，Oracle通过Server Process 接收SQL语句到达oracle实例，并在Shared pool 中的 Library Cache 查找是否存在该语句对应执行计划的缓存。如果不存在则将该SQL进行硬解析（Hard parse），生成最优化的执行计划（plan），并将该执行计划等信息载入Library Cac...

MySQL配置文件my.cnf 学习笔记

2016年10月15日 9 阅读

mysql配置文件为my.cnf，它所在位置根据安装时设定的。当mysqld服务启动的时候，默认会按一定的顺序读取配置文件的。[root@zhu2 ~]# /opt/mysql/libexec/mysqld --verbose --help Default options are read from the following files in the given order: /etc/my.cnf /etc/mysql/my.cnf /opt/mysq...

MySQL编译安装 之 cmake

2016年10月15日 9 阅读

mysql版本5.5以上编译安装时需要用到软件cmake，cmake特性是独立于源码编译，编译工作可以在另外一个目录中而非源码目录中进行，好处是可以保证源码目录不受任何一次编译的影响。1.下载安装cmake[root@linuxidc ~]# wget http://www.cmake.org/files/v2.8/cmake-2.8.11.2.tar.gz [root@linuxidc ~]# tar zxvf cmake-2.8.11.2.tar.gz...

MySQL架构分析与工作流程

2016年10月15日 8 阅读

MySQL体系架构1.支持接口 ：指通过各种语言可与MySQL进行交互2.连接池 ：MySQL的工作流程：1.MySQL客户端向服务器发送用户连接请求，该请求被发送到连接管理器，连接管理器是一个侦听器用于真挺来自客户端的连接，用户请求接收后，一个用户请求需要一个线程来相应，线程管理器负责给用户创建生成新的线程。用户连接进来后需要对用户的权限进行验证，验证由用户模块负责管理2.连接上以后，可以发送sql语句，不同的语句分配给不同的解析器，这由命令分发模块完成...

MySQL体系结构

2016年10月15日 8 阅读

1.MySQL整体逻辑架构我们先下图看看MySQL整体逻辑架构（MySQL’s Logical Architecture）图1第一层，即最上一层，所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的 ：连接处理，身份验证，安全性等等。第二层值得关注。这是MySQL的核心部分。通常叫做 SQL Layer。在 MySQL据库系统处理底层数据之前的所有工作都是在这一层完成的，包括权限判断， sql解析，行计划优化...

Redis 代理服务Twemproxy

2016年10月15日 8 阅读

1、twemproxy explore当我们有大量 Redis 或 Memcached 的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性。虽然Redis 2.6版本已经发布Redis Cluster，但还不是很成熟适用正式生产环境。 Redis 的 Cluster 方案还没有正式推出之前，我们通过 Proxy 的方式来实现集群存储。Twitter，世界最大的Redis集群之一部署在Twitter用于为用户提供时间轴数据。...

Redis集群明细文档

2016年10月15日 9 阅读

Redis目前版本是没有提供集群功能的，如果要实现多台Redis同时提供服务只能通过客户端自身去实现（Memchached也是客户端实现分布式）。目前根据文档已经看到Redis正在开发集群功能，其中一部分已经开发完成，但是具体什么时候可以用上，还不得而知。文档来源：http://redis.io/topics/cluster-spec一、介绍 该文档是开发之中的redis集群实现细节。该文档分成两个部分，第一部分为在redis非稳定版本代码分支上已...

Redis应用场景

2016年10月15日 8 阅读

1. MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量开发时间。 2.Memcached与MySQL数据库数据一致性问题。 3.Memcached数据命中率低或d...

Redis主从遇到的两个问题解决

2016年10月15日 8 阅读

最近在使用redis主从的时候做了下面两件事情：1 希望redis主从从操作上分析，所有写操作都在master上写，所有读操作都在从上读。2 由于redis的从是放在本地的，所以有的key的读写操作就直接放在从上操作了。但是出现了下面的几个问题：1 在主上setex的key即使过期后在从上也始终get的到。重现：主： setex abc 20 test从：get abc >> testttl abc >> 18...ttl abc ...

MySQL索引学习笔记

2016年10月15日 8 阅读

myisam和innodb的索引有什么区别？两个索引都是B+树索引，但是myisam的表存储和索引存储是分开的，索引存储中存放的是表的地址。而innodb表存储本身就是一个B+树，它是用主键来做B+树的key的。因此innodb需要设置主键，如果没有的话，mysql会优先使用unique键做主键，如果没有unique的话，会生成一个隐含字段做主键。innodb中的主键最好是要使用自增id，因为这样当进行插入操作的时候是不需要修改表的存储结构的。innodb...

Oracle RAC中一个实例不能随crs自动启动的解决

2016年10月15日 8 阅读

现象：在两个节点上做CRS的重启，这个实例都不能随CRS的启动而启动。CRS启动后做crs_start -all可以把没启动的资源起来，而且无报错。分析：去crsd.log中找原因，发现CRS根本就没有去尝试启动该instance以及相关的HA资源。用crs_stat -p把资源详细信息输出后发现该实例的所有资源的auto_start=2，意味着该资源不会自动启动解决：更新资源的auto_start=1./crs_register resource_nam...

Oracle RAC中的oc4j和gsd资源以及RAC相关的进程

2016年10月15日 8 阅读

1.RAC相比单实例数据库多出的进程：LMS - Gobal Cache Service Process 全局缓存服务进程LMD - Global Enqueue Service Daemon 全局查询服务守护进程LMON - Global Enqueue Service Monitor全局查询服务监视进程LCK0 - Instance Enqueue Process 实例查询进程DIAG （Diagnostic Daemon） 诊断守护进程2.在11g ...