MySQL与MariaDB 新型主从集群配置GTID

2017年02月05日 13 阅读

前面写了《MySQL与MariaDB 传统主从集群配置》，该技术已经非常成熟。从Mysql5.6和MariaDB10.0开始，有了新型的主从方案GTID，不过这两个系统到这个版本出现了分支，具体实现已经不同，配置方法也不同，下文分别讲述。MariaDB：我用的版本还是10.1版，目前该版本还不是稳定版，但不影响测试。先部署好两个数据库实例，参见 http://www.linuxidc.com/Linux/2015-10/124420.htm直到创建好复制用...

MongoDBV3.0.7版本（shard+replica）集群的搭建及验证

2017年02月05日 14 阅读

集群的模块介绍：从MongoDB官方给的集群架构了解，整个集群主要有4个模块：Config Server、mongs、 shard、replica set：Config Server：用来存放集群的元数据，也就是存放所有分片的的配置数据，mongos第一次启动就需要连接configServer读取相关数据，当configServer有数据进行更新时，也会主动推送消息到所有的mongos上，在3.0.7版本中，官方是建议配置3份的Config Server，...

MongoDB3.0.6版本wiredtiger与MMAPv1引擎的写入耗时对比

2017年02月05日 14 阅读

一、业务需求： 公司某个APP应用的数据库已经实现了日志与业务的垂直分割，将原有的一套RAC，拆分成两套，目前数据库暂时还比较稳定，服务器负载也在正常范围内，但是现有用户数450万，日活跃用户达到100万，每日日志产生1000万条记录，100G的数据量，而目标用户数接近1800万，预估届时的每日数据库将达到6000万/条，且需要满足单条记录查询的需求，计划采用MongoDB来替代Oracle RAC，现测试MongoDB WiredTiger引擎与MMA...

Spring+MyBatis多数据源切换

2017年02月05日 14 阅读

在实际的公司项目中，很可能会遇到一个问题就是，一个Java项目，但是项目中涉及两个数据库，这两个数据库还在不同IP的机子上。遇到这种情况的时候，我们有两个选择1、不走spring的aop方式，直接去多做两个dataSource2、用spring进行管理，灵活地进行数据源切换现在就来对第2种方式进行笔记：spring.xml配置文件：<？xml version="1.0" encoding="UTF-8"？> <beans xmlns="h...

MariaDB 10.1 和 MySQL 5.7 在普通商用硬件上的表现

2017年02月05日 15 阅读

你读到我的上一篇文章关于 MariaDB 10.1 GA 性能的文章时，你可能会困惑我为什么对 MySQL 5.7 只字未提。原因有两个：首先，MySQL 在那时还不是 GA。其次，MySQL 在 Power8 上运行并不稳定。这次，我会拿出一个比较基准来对比他们之间的性能差别。我选了一些比较普通的硬件，因为大多数用户将运行这样的主机。用的是一个OVH的SP-64主机。4核英特尔CPU，内存为64G。磁盘一般，但基准又是一个简化的只读OLTP往返内存的工作...

使用XtraBackup给MySQL在线增量备份及恢复数据库

2017年02月05日 14 阅读

一、Percona Xtrabackup 简介1、Xtrabackup bin目录文件 介绍1）innobackupexinnobackupex 是xtrabackup的一个符号链接 . innobackupex still supports all features and syntax as 2.2 version did, but is now deprecated and will be removed in next major release....

MongoDB学习笔记——聚合

2017年02月05日 15 阅读

最近要去的新项目使用mysql，趁着还没忘记，总结记录以下MongoDB的聚合。聚合是泛指各种可以处理批量记录并返回计算结果的操作。MongoDB提供了丰富的聚合操作，用于对数据集执行计算操作。在mongod实例上执行聚合操作可以大大简化应用的代码，并降低对资源的消耗。在MongoDB中，像查询之类的聚合操作都是使用集合中的文档作为输入，最终的结果会输出一个或者多个文档。聚合管道聚合管道是一个基于数据处理管道概念的框架。通过使用一个多阶段的管道，将一组文档...

DB2表空间重定向恢复数据库实战

2017年02月05日 13 阅读

DB2的备份恢复有点坑，当源系统和目标系统的路径设置不同时，要手动进行重定向恢复，本文是我一次实战操作之后总结的过程，仅供参考。一、发出重定向恢复命令DB2 RESTORE DB OLDDB FROM "C:OLDDBbak" TAKEN AT 20150717164847 TO "C:" INTO NEWDB REDIRECT其中，OLDDB是旧数据库、备份的数据库名称，NEWDB是新数据库名称，不用事先创建也可以，C:OLDDBbak是备份文件放置的目...

数据处理之PostgreSQL过程语言学习

2017年02月05日 16 阅读

前段时间，公司更换新的PostgreSQL数据集市的系统过程中，自己下载了postgresqlAPI的pdf文件研究了一下PostgreSQL数据集市。发现使用PostgreSQL过程语言可以大大加快自己处理数据的效率，下面就举个例子吧！相信大家看了后，也会喜欢上PostgreSQL过程语言的.......首先给出一段SQL脚本，该SQL查询2015年9月10日的欠费数据:SELECT DISTINCTA.DAY_ID 统计日期,A.CHANNEL_NAM...

MySQL 命令行工具之 mysqldump 深入研究

2017年02月05日 16 阅读

mysqldump 是MySQL的一个命令行工具，用于逻辑备份。可以将数据库和表的结构，以及表中的数据分别导出成：create database, create table, insert into的sql语句。当然也可以导出 存储过程，触发器，函数，调度事件（events）。不管是程序员，还是DBA都会经常使用的一个工具。1. mysqldump --helpmysqldump 的选项很多，我们看一下他的帮助文档：mysqldumpVer 10.13 D...

mysqldump 逻辑备份的正确方法

2017年02月05日 13 阅读

在上一篇文章 MySQL 命令行工具之 mysqldump 深入研究 中，我们搞定了mysqldump的参数和基本原理。那么我们该怎么样最好的使用它的？它有哪些坑呢？1. 利用mysqldump进行逻辑备份1）全逻辑备份：mysqldump -uxxx -p --flush-logs --delete-master-logs --all-databases > alldb.sql （每天晚上进行一次全备）2）增量备份：mysqladmin flush...

Oracle 11g在Linux系统下开机自启动设置

2017年02月05日 13 阅读

Oracle服务器一般来说最好是手动启动，这样碰到问题的话，可以现场解决，但是也担心有时候机器故障，自动重启后，为了快速恢复应用，需要自动开机启动Oracle，而且发现在不同的os下，启动的设置都不太一样1，CentOS操作系统下，可以这样设置直接在rc.local里面添加[root@localhost ~]# vim /etc/rc.local touch /var/lock/subsys/localsu - oracle < lsnrctl st...

DBCA出错：ORA-19809: limit exceeded for recovery files处理过程

2017年02月05日 16 阅读

1，dbca建库后台报错问题描述[root@companydb1 rpms]# find / -name *alert*log/mnt/resource/app/Oracle/diag/rdbms/strora/strora/trace/alert_strora.log/mnt/resource/app/oracle/product/11.2.0/dbhome_1/log/diag/rdbms/dbua0/DBUA0/trace/alert_DBUA0.l...

Oracle表空间过大时候的处理

2017年02月05日 15 阅读

先查看Oracle所有表空间的数据使用情况SELECT Upper（F.TABLESPACE_NAME） "表空间名", D.TOT_GROOTTE_MB "表空间大小（M）", D.TOT_GROOTTE_MB - F.TOTAL_BYTES "已使用空间（M）", To_char（Round（（ D.TOT_GROOTTE_MB - F.TOTAL_BYTES ） / D.TOT_GROOTTE_MB * 100, 2）, "990.99"） || "...

手动清理Oracle审计记录

2017年02月05日 13 阅读

Oracle 数据库审计功能非常强大，通常包括标准审计（包括用户级审计和系统级审计）和细粒度审计。尽管如此，一不小心就容易造成性能问题。同时会把系统表空间给撑爆。下面的内容描述的是如何将审计从系统表空间剥离以及清理Oracle审计记录，供大家参考。一、审计的相关配置--环境SQL> select * from v$version where rownum=1;BANNER----------------------------------------...

Oracle大表清理truncate .. reuse storage

2017年02月05日 15 阅读

最近需要清理一张大表，要求不能影响性能。在MySQL里边我们可以通过借助coreutils以及硬链接的方式来最小化I/O，Oracle也可以通过分批次回收空间来最小化I/O，到底如何，下面我们拭目以待。一、TRUNCATE TABLE 语法TRUNCATE TABLE [schema_name.]table_name [ PRESERVE MATERIALIZED VIEW LOG | PURGE MATERIALIZED VIEW LOG ] [ DRO...

MySQL多实例配置

2017年02月05日 15 阅读

实验环境：RHEL6.4为最小化安装，mysql安装包为通用二进制安装包，版本为mysql-5.6.261.创建mysql用户#useradd –M –s /sbin/nologin mysql#yum –y install ncurses-devel libaio-devel#安装mysql的依赖包，否则下面无法初始化成功2.软件包解压缩# tar xf mysql-5.6.26-linux-glibc2.5-x86_...

如何将 Oracle 11g 升级到 Orcale 12c

2017年02月05日 15 阅读

大家好。今天我们来学习一下如何将 Oracle 11g 升级到 Oracle 12c。开始吧。在此，我使用的是 CentOS 7 64 位 Linux 发行版。我假设你已经在你的系统上安装了 Oracle 11g。这里我会展示一下安装 Oracle 11g 时我的操作步骤。我在 Oracle 11g 上选择 “Create and configure a database”，如下图所示。然后我选择安装 Oracle 11g &ldq...

MySQL 5.7.9源码编译安装说明

2017年02月05日 15 阅读

一、环境说明1.操作系统系统版本：RHEL 6.3 X64操作系统安装类型：Basic系统安装包：gcc gcc-c++ bzip2（default） bzip2-devel bzip2-libs（default） python-devel ncurses-devel bison1）gcc gcc-c++[root@mdb01 Packages]# rpm -ivh kernel-headers-2.6.32-279.el6.x86_64.rpmwarni...

MongoDB3.0.x版本用户授权配置（单机环境）

2017年02月05日 15 阅读

MongoDB数据库默认情况下是没有做权限控制的，只要能够连接所开放的端口就能进行访问，而且拥有root级别的权限；对于生产环境而言是极不安全的，所以需要建立用户，进行授权控制。单机环境下的用户授权模块配置：MongoDB的社区版本中有两个模块可以控制用户的访问：--auth:在mongod启动项中加入--auth，mongodb启动后，就可以完成授权模块的启用）；PS:虽然auth模块启用后本机还能否登陆到数据库，但是不具备增删改查的权限了，所以启动au...