MySQL教程：关于I/O内存方面的一些优化

2016年10月15日 6 阅读

这里使用的是mysql Ver 14.14 Distrib 5.6.19, for Linux （i686） using EditLine wrapper一、mysql目录文件ibdata1:系统表空间 包含数据字典、回滚日志/undolog等（insert buffer segment/double write segment/rollback segment/index segment/dictionary segment/undo segment）i...

MySQL教程：关于checkpoint机制

2016年10月15日 6 阅读

一、简介思考一下这个场景：如果重做日志可以无限地增大，同时缓冲池也足够大，那么是不需要将缓冲池中页的新版本刷新回磁盘。因为当发生宕机时，完全可以通过重做日志来恢复整个数据库系统中的数据到宕机发生的时刻。但是这需要两个前提条件：1、缓冲池可以缓存数据库中所有的数据；2、重做日志可以无限增大因此Checkpoint（检查点）技术就诞生了，目的是解决以下几个问题：1、缩短数据库的恢复时间；2、缓冲池不够用时，将脏页刷新到磁盘；3、重做日志不可用时，刷新脏页。当数...

SQL Server自动备份脚本

2016年10月15日 6 阅读

SQL Server备份脚本：脚本周三全备份，其他时间差异备份。declare@devicevarchar（30）; declare@filenamevarchar（50）; declare@datetimevarchar（50）; declare@weeknamevarchar（50）; declare@weeknametmpvarchar（4）; declare@weekdayint; set@weekname=datename（weekday,get...

Oracle 12c 用户的创建

2016年10月15日 6 阅读

Oracle 12c 的账户可以分为公用账户和本地用户，共有账户是在CDB下创建，可以给所有的PDB用户使用，本地账户是只能在PDB中创建的账号创建公共用户alter session set container=CDB$ROOT;create USER C##u02 identified by oracle container=all;创建本地用户alter session set container=pdb4;create USER u01 identi...

关于使用MySQL binlog对数据进行恢复的实战

2016年10月15日 6 阅读

前几天，加班到晚上10点多了，在回去的路上，朋友打来电话，说他们公司的开发维护人员在对线上系统进行版本更新时，不小心把线上的数据库给drop掉了，叫我过去救火，唉！ 虽然在运维界也混迹多年，这情况也是头一回见哈，怀着即兴奋又担心的心情去到现场，兴奋是因为可以好好的实战一下，担心是怕帮不到朋友，唉，废话不多说，上“战场”。第一步，既然数据库都被干掉了，又没做主从，只好把所有相关系统程序关闭。第二步，查看一下每天一备的包，万幸，凌晨3点...

php for Linux之MySQL扩展模块安装与配置

2016年10月15日 6 阅读

安装PHP扩展，已经有太多人写过了，随便百度、谷歌一下，都可以查到各种PHP扩展的安装方法，今天我要写的是，在本地没有安装msyql应用的情况下，如何安装配置php的mysql扩展。首先说说为什么会有这种需求吧，今年可以说是VPS，即云主机开始最火的一年，很多小公司及个人，都大量购买云主机，云数据库等等。当我们的网站或者应用系统，使用RDS即阿里云的云数据库的时候，我们的云主机是不需要安装mysql的，因为我们要做分布式的系统架构，即每台服务器，只跑一个专...

MyCAT常用分片规则之分片枚举

2016年10月15日 6 阅读

MyCAT支持多种分片规则，下面测试的这种是分片枚举。适用场景，列值的个数是固定的，譬如省份，月份等。在这里，需定义三个值，规则均是在rule.xml中定义。1. tableRule2.function3.mapFile首先，定义tableRule， <tableRule name="sharding-by-intfile-test"><rule><columns>province</columns><...

CentOS 7下MySQL服务启动失败的解决思路

2016年10月15日 7 阅读

今天，启动MySQL服务器失败，如下所示：[root@spark01 ~]# /etc/init.d/mysqld startStarting mysqld （via systemctl）:Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl...

ERROR 1819 （HY000）: Your password does not satisfy the current policy requirements

2016年10月15日 6 阅读

为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+---------------------+| @@log_error |+---------------------+| /var/log/mysqld.log |+-----...

SUSE 11下安装 Oracle 11g图解及相关依赖库

2016年10月15日 6 阅读

安装环境Linux服务器：SUSE11-linux 64/32位Oracle服务器：Oracle11gR2 64/32位系统要求内存：必须高于1G的物理内存交换空间：一般为内存的2倍，例如：1G的内存可以设置swap 分区为3G大小硬盘 ：5G以上安装包为了选择正确的ORACLE版本，我们需要先了解服务器的一些基本信息：系统名称为SUSE Linux Enterprise Server 11（x86_64），所以我们的ORACLE安装包为： lin...

MySQL大数据量的导入

2016年10月15日 6 阅读

第一：其实最好的方法是直接用：mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql在Linux系统操作的，测试过一个一万多行的导入数据，共121m。在Linux下，几秒内导入成功。如果是在phpmyadmin，或者在各个终端中实施导入121M的数据，是比较困难的，你会遇到各个问题，浏览器卡顿，索引临时文件太大，以及php本身配置对sql语句的限制等等。我推荐用以上这个方法来导入。如果是表名的话，那么就是：mysqldump -ur...

Hive 处理count distinct 产生数据倾斜处理

2016年10月15日 6 阅读

问题描述问题数据倾斜范畴，但是又不可以在Map端join，剔除特殊Key等方法进行处理。set hive.groupby.skewindata=true;insert overwrite table ad_overall_day partition（part_time="99", part_date="2015-11-99"） select account_id, nvl（client_id,-1）, nvl（track_id,"total"）, sum（...

用SQL语句修复SQL Server数据库

2016年10月15日 6 阅读

使用SQL Server数据库的过程中，由于断电或其他原因,有可能导致数据库出现一些小错误，比如检索某些表特别慢,查询不到符合条件的数据等。出现这些情况的原因,往往是因为数据库有些损坏，或索引不完整。在ACCESS中,有个修复数据库的功能可以解决这个问题，在SQL企业管理器,没有这个功能,要用语句来完成,下面就介绍如何用SQL语句完成数据库的修复,需要注意的是,在进行下面的操作时,必须断开所有用户的连接： USE MASTER GO sp_dbopt...

Oracle学习之数据库数据保存成文件

2016年10月15日 6 阅读

常常需要将Oracle数据库中的数据生成文档，由于比较喜欢脚本的方式，所以就需要使用spool的时候进行格式设置，以下简单整理了一下Oracle中进行格式设置的一些东西，一共十八条，其实常用的也就那么几个，稍后会附上自己写的简单的shell操作的脚本，希望能供同样有需要的共同交流，也作为自己的备份。set命令的各项及其含义：arraysize 从数据库中一次提取的行数，默认为15autocommit 是否自动提交，默认为offcolsep 在选定列...

关于MyCAT字符集的验证

2016年10月15日 6 阅读

MyCAT默认字符集是UTF8下面通过查看日志来验证不同的MySQL客户端字符集和服务器字符集对于MyCAT的影响。日志中与字符集有关的主要有三部分：1. 初始化MyCAT连接池2. 心跳检测3. 在执行SQL语句时的连接同步。因为MyCAT实现的是三节点的读写分离和自动切换，以下修改的均是localhost节点上MySQL实例的字符集，其它两个点（192.168.244.146和192.168.244.144）均没有修改。默认为mysql> sho...

MyCAT日志分析

2016年10月15日 6 阅读

MyCAT日志对于了解MyCAT的运行信息不可获取，譬如MyCAT是否采用读写分离，对于一个查询语句，MyCAT是怎样执行的，每个分片会分发到哪个节点上等等。默认是info级别，通过log4j.xml可将其设置debug级别，这样就可获得更多有关MyCAT运行的内部信息。下面通过对MyCAT的启动以及执行一个查询语句来分析MyCAT的运行流程。Here We Go！Mycat的启动日志输入如下：processors指的是CPU的核数，aio thread ...

CentOS6.5上源码安装MongoDB3.2.1

2016年10月15日 6 阅读

1、环境准备：1 mkdir /home/mongodb #创建MongoDB程序存放目录2 mkdir /data/mongodata -p#创建数据存放目录3 mkdir /data/log/mongolog -p #创建日志存放目录2、下载：1 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.1.tgz3、安装：1 tar xf mongodb-linux-x86_6...

MySQL5.6基于GTID的主从复制

2016年10月15日 6 阅读

一、GTID简介MySQL 5.6 的新特性之一，是加入了全局事务 ID （GTID） 来强化数据库的主备一致性，故障恢复，以及容错能力。什么是GTID？官方文档：http://dev.mysql.com/doc/refman/5.6/en/replication-gtids.html在这篇文档里，我们可以知道全局事务 ID 的官方定义是：GTID = source_id:transaction_idMySQL 5.6 中，每一个 GTID 代表一个数据库...

MyCAT实现MySQL读写分离实践

2016年10月15日 6 阅读

MyCAT是一个的数据库中间件，基于阿里开源的cobar产品而研发，由几个有志之士的牛人共同完成并开源。提供高可用性数据分片集群，自动故障切换，高可用性 ，支持读写分离，支持MySQL双主多从，以及一主多从的模式 ，支持全局表，数据自动分片到多个节点，用于高效表关联查询 ，支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询多平台支持，部署和实施简单。今天来实践下用MyCAT实现MySQL的读写分离，1.配置MySQL端主从数据同步，2.用MyCA...

SQLite3简单操作

2016年10月15日 6 阅读

目录1 建立数据库档案2 在sqlite3提示列下操作3 SQL的指令格式4 建立资料表5 建立索引6 加入一笔资料7 查询资料8 如何更改或删除资料9 其他sqlite的特别用法10 小结建立数据库档案用sqlite3建立数据库的方法很简单，只要在shell下键入（以下$符号为shell提示号，请勿键入）：$ sqlite3 foo.db如果目录下没有foo.db，sqlite3就会建立这个数据库。sqlite3并没有强制数据库档名要怎么取，因此如果你喜...