MyCAT常用分片规则之分片枚举

2017年02月05日 14 阅读

MyCAT支持多种分片规则，下面测试的这种是分片枚举。适用场景，列值的个数是固定的，譬如省份，月份等。在这里，需定义三个值，规则均是在rule.xml中定义。1. tableRule2.function3.mapFile首先，定义tableRule， <tableRule name="sharding-by-intfile-test"><rule><columns>province</columns><...

CentOS 7下MySQL服务启动失败的解决思路

2017年02月05日 13 阅读

今天，启动MySQL服务器失败，如下所示：[root@spark01 ~]# /etc/init.d/mysqld startStarting mysqld （via systemctl）:Job for mysqld.service failed because the control process exited with error code. See "systemctl status mysqld.service" and "journalctl...

ERROR 1819 （HY000）: Your password does not satisfy the current policy requirements

2017年02月05日 14 阅读

为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.log。一般可通过log_error设置mysql> select @@log_error;+---------------------+| @@log_error |+---------------------+| /var/log/mysqld.log |+-----...

SUSE 11下安装 Oracle 11g图解及相关依赖库

2017年02月05日 13 阅读

安装环境Linux服务器：SUSE11-linux 64/32位Oracle服务器：Oracle11gR2 64/32位系统要求内存：必须高于1G的物理内存交换空间：一般为内存的2倍，例如：1G的内存可以设置swap 分区为3G大小硬盘 ：5G以上安装包为了选择正确的ORACLE版本，我们需要先了解服务器的一些基本信息：系统名称为SUSE Linux Enterprise Server 11（x86_64），所以我们的ORACLE安装包为： lin...

MySQL大数据量的导入

2017年02月05日 15 阅读

第一：其实最好的方法是直接用：mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql在Linux系统操作的，测试过一个一万多行的导入数据，共121m。在Linux下，几秒内导入成功。如果是在phpmyadmin，或者在各个终端中实施导入121M的数据，是比较困难的，你会遇到各个问题，浏览器卡顿，索引临时文件太大，以及php本身配置对sql语句的限制等等。我推荐用以上这个方法来导入。如果是表名的话，那么就是：mysqldump -ur...

Hive 处理count distinct 产生数据倾斜处理

2017年02月05日 14 阅读

问题描述问题数据倾斜范畴，但是又不可以在Map端join，剔除特殊Key等方法进行处理。set hive.groupby.skewindata=true;insert overwrite table ad_overall_day partition（part_time="99", part_date="2015-11-99"） select account_id, nvl（client_id,-1）, nvl（track_id,"total"）, sum（...

用SQL语句修复SQL Server数据库

2017年02月05日 17 阅读

使用SQL Server数据库的过程中，由于断电或其他原因,有可能导致数据库出现一些小错误，比如检索某些表特别慢,查询不到符合条件的数据等。出现这些情况的原因,往往是因为数据库有些损坏，或索引不完整。在ACCESS中,有个修复数据库的功能可以解决这个问题，在SQL企业管理器,没有这个功能,要用语句来完成,下面就介绍如何用SQL语句完成数据库的修复,需要注意的是,在进行下面的操作时,必须断开所有用户的连接： USE MASTER GO sp_dbopt...

Oracle学习之数据库数据保存成文件

2017年02月05日 15 阅读

常常需要将Oracle数据库中的数据生成文档，由于比较喜欢脚本的方式，所以就需要使用spool的时候进行格式设置，以下简单整理了一下Oracle中进行格式设置的一些东西，一共十八条，其实常用的也就那么几个，稍后会附上自己写的简单的shell操作的脚本，希望能供同样有需要的共同交流，也作为自己的备份。set命令的各项及其含义：arraysize 从数据库中一次提取的行数，默认为15autocommit 是否自动提交，默认为offcolsep 在选定列...

关于MyCAT字符集的验证

2017年02月05日 14 阅读

MyCAT默认字符集是UTF8下面通过查看日志来验证不同的MySQL客户端字符集和服务器字符集对于MyCAT的影响。日志中与字符集有关的主要有三部分：1. 初始化MyCAT连接池2. 心跳检测3. 在执行SQL语句时的连接同步。因为MyCAT实现的是三节点的读写分离和自动切换，以下修改的均是localhost节点上MySQL实例的字符集，其它两个点（192.168.244.146和192.168.244.144）均没有修改。默认为mysql> sho...

MyCAT日志分析

2017年02月05日 15 阅读

MyCAT日志对于了解MyCAT的运行信息不可获取，譬如MyCAT是否采用读写分离，对于一个查询语句，MyCAT是怎样执行的，每个分片会分发到哪个节点上等等。默认是info级别，通过log4j.xml可将其设置debug级别，这样就可获得更多有关MyCAT运行的内部信息。下面通过对MyCAT的启动以及执行一个查询语句来分析MyCAT的运行流程。Here We Go！Mycat的启动日志输入如下：processors指的是CPU的核数，aio thread ...

CentOS6.5上源码安装MongoDB3.2.1

2017年02月05日 15 阅读

1、环境准备：1 mkdir /home/mongodb #创建MongoDB程序存放目录2 mkdir /data/mongodata -p#创建数据存放目录3 mkdir /data/log/mongolog -p #创建日志存放目录2、下载：1 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.1.tgz3、安装：1 tar xf mongodb-linux-x86_6...

MySQL5.6基于GTID的主从复制

2017年02月05日 14 阅读

一、GTID简介MySQL 5.6 的新特性之一，是加入了全局事务 ID （GTID） 来强化数据库的主备一致性，故障恢复，以及容错能力。什么是GTID？官方文档：http://dev.mysql.com/doc/refman/5.6/en/replication-gtids.html在这篇文档里，我们可以知道全局事务 ID 的官方定义是：GTID = source_id:transaction_idMySQL 5.6 中，每一个 GTID 代表一个数据库...

MyCAT实现MySQL读写分离实践

2017年02月05日 16 阅读

MyCAT是一个的数据库中间件，基于阿里开源的cobar产品而研发，由几个有志之士的牛人共同完成并开源。提供高可用性数据分片集群，自动故障切换，高可用性 ，支持读写分离，支持MySQL双主多从，以及一主多从的模式 ，支持全局表，数据自动分片到多个节点，用于高效表关联查询 ，支持独有的基于E-R 关系的分片策略，实现了高效的表关联查询多平台支持，部署和实施简单。今天来实践下用MyCAT实现MySQL的读写分离，1.配置MySQL端主从数据同步，2.用MyCA...

SQLite3简单操作

2017年02月05日 16 阅读

目录1 建立数据库档案2 在sqlite3提示列下操作3 SQL的指令格式4 建立资料表5 建立索引6 加入一笔资料7 查询资料8 如何更改或删除资料9 其他sqlite的特别用法10 小结建立数据库档案用sqlite3建立数据库的方法很简单，只要在shell下键入（以下$符号为shell提示号，请勿键入）：$ sqlite3 foo.db如果目录下没有foo.db，sqlite3就会建立这个数据库。sqlite3并没有强制数据库档名要怎么取，因此如果你喜...

SQL Server 2008数据库同步札记

2017年02月05日 15 阅读

前阵子测试了下SQL Server 2008数据库同步，大概意思就是服务器上有一个数据库，与本地数据库进行同步，服务器上的数据库有什么改变，可以同步到本地数据库中。做之前百度了下，流程分以下三步，第一步: 服务器上的数据库进行发布第二步: 本地数据库进行订阅第三步: 把冰箱门关上看起来很简单，实际上远不是这么一回事，把哥都弄得上火了。首先第一天，开始弄了，结果打开sql server 2008一看，死活没找到发布和订阅功能，复制一项里面空空如也，吊毛没有。...

关于redis中的Replication

2017年02月05日 14 阅读

一、简介Redis的replication机制允许slave从master那里通过网络传输拷贝到完整的数据备份。具有以下特点：异步复制可以配置一主多从可以配置从服务器可以级联从服务器，既 M->S->SM replication时是非阻塞的（在replication期间，M依然能够处理客户端的请求）S replication期间也是非阻塞的（也可以接受来自客户端的请求，但是它用的是之前的旧数据）可以通过配置来决定S是否在进行replicatio...

Oracle设置定时任务JOB调度执行存储过程或PL/SQL代码块

2017年02月05日 14 阅读

目前Oracle数据库设置定时任务job调度一般有两种方式，分别是dbms_scheduler创建job调度和dbms_job创建job调度。dbms_scheduler创建job调度是在10g以后才有的，甲骨文公司为了用来替换dbms_job而提供了更强大的功能与更灵活的机制/管理。下面介绍这两种方式。1. dbms_scheduler创建job调度。--查询 select * from dba_scheduler_jobs; --创建job begin...

CentOS Linux下每天自动备份MySQL数据库

2017年02月05日 14 阅读

CentOS Linux下每天自动备份MySQL数据库1.先在服务器下建文件夹以下3个文件夹：mkdir /bak,mkdir /bak/bakmysql,mkdir /bak/bakmysqlold 。在/bak/bakmysql文件夹下建一个shell脚本：touch /bak/bakmysql/backup.sh 。给文件授权：chmod 755 /bak/bakmysql/backup.sh 。2.编辑shell脚本：vi /bak/bakmysq...

通过Linux命令过滤出binlog中完整的SQL语句

2017年02月05日 13 阅读

DB：MySQL 5.6.16CentOS：CentOS release 6.3 （Final）当insert语句通过空格跨行输入的时候，如何提取完整的insert语句！创建一个空表：mysql> create table yoon as select * from sakila.actor where 1=0;Query OK, 0 rows affected （0.06 sec）Records: 0 Duplicates: 0 Warnings:...

Error NO.2013 Lost connection to MySQL server during query

2017年02月05日 14 阅读

系统：[root@www.linuxidc.com ~]# cat /etc/RedHat-releaseCentOS release 6.3 （Final）DB版本：mysql> select @@version;+------------+| @@version |+------------+| 5.6.26-log |+------------+数据中心部门申请线上数据库select权限，直接grant select on DB.* to "u...