如何高效地向Redis写入大量的数据

2016年10月15日 6 阅读

最近有个哥们在群里问，有一个日志，里面存的是IP地址（一行一个），如何将这些IP快速导入到Redis中。我刚开始的建议是Shell+redis客户端。今天，查看Redis官档，发现文档的首页部分（http://www.redis.io/documentation）有一个专门的主题是讲述“Redis Mass Insertion”的，才知道自己的建议很low。官方给出的理由如下：Using a normal Redis client ...

CentOS 6.5通过yum安装 MySQL-5.5

2016年10月15日 7 阅读

1.安装mysql-5.5的yum源rpm -ivh http://repo.mysql.com/yum/mysql-5.5-community/el/6/x86_64/mysql-community-release-el6-5.noarch.rpm2.修改安装好的yum源编辑/etc/yum.repos.d/mysql-community.repo文件，将5.5的enabled改为1,5.6的enabled改为0# Enable to use MySQL...

Redis集群搭建部署详细文档

2016年10月15日 7 阅读

Redis集群搭建部署详细文档1.安装依赖（不一定需要安装这么多，我的环境安装了mysql，php，所以没有测试具体需要那些依赖，全部安装反正没得错）yum -y install make apr* autoconf automake curl-devel gcc gcc-c++ zlib-devel openssl openssl-devel pcre-devel gd kernel keyutils patch perl kernel-headers ...

浅谈 Kingshard MySQL 中间件

2016年10月15日 6 阅读

实现功能：可以实现MySQL的分表，以及分表之后的增加，删除，修改，查询等MySQL的一系列操作。可以扩展MySQL的主从架构，方便MySQL架构的分布式扩展。实验测试架构为在两个MASTER上面安装了keepalived和kingshard中间件,两个master之间互为主从，两个master都有一个slave。实现MySQL和kingshard的高可用，防止单点故障。注意：所有关于分表的操作都必须通过kingshard连接。Kingshard只负责分表...

XtraBackup实现MySQL不停机重做主从复制

2016年10月15日 6 阅读

不停机实现MySQL主从同步，可以使用mysqldump，但是这个效率比较低，利用XtraBackup来实现这个，效率比较高！一 xtrabackup安装：yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQLrpm -ivh percona-xtrabackup-2.2.12-1.el6.x86_64.rpm安装libenv：wget ftp://...

Java如何连接到MySQL数据库

2016年10月15日 6 阅读

Java如何连接到MySQL数据库下载：mysql-connector-java-5.1.38.tar.gzhttp://dev.mysql.com/downloads/connector/j/tar zxvf mysql-connector-java-5.1.38.tar.gz解压后linuxidc@Ubuntu:~/Downloads$ cd ./mysql-connector-java-5.1.38/linuxidc@ubuntu:~/Downloa...

MySQL高可用方案

2016年10月15日 6 阅读

高可用架构对于互联网服务基本是标配，无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务，但多多少少有一些时候服务不可用，比如某些时候网页打不开，百度不能搜索或者无法发微博，发微信等。一般而言，衡量高可用做到什么程度可以通过一年内服务不可用时间作为参考，要做到3个9的可用性，一年内只能累计有8个小时不可服务，而如果要做到5个9的可用性，则一年内只能累计5分钟服务中断。所以虽说每个公司都说自己的服务是7*24不间断的，但实际...

MySQL修改表的存储引擎（myisam<=>innodb）

2016年10月15日 6 阅读

查看当前MySQL数据库的所支持的数据库引擎以及默认数据库引擎123456789101112131415mysql> show engines;+--------------------+---------+----------------------------------------------------------------+--------------+------+------------+| Engine | Support ...

SQL Server 2005附加数据库为只读的解决方法

2016年10月15日 6 阅读

在SQL Server 2005中附加数据库时，附加的数据库会变成只读的，只能进行查询操作。解决方法1 打开SqlServer Configuration Manager开始-》Microsoft SQL Server 2005-》配置工具-》SqlServer Configuration Manager2 在SqlServer Configuration Manager 窗口左边选中SQL Server 2005 服务，在窗口右边会出现一些列表项，选中S...

Linux下MySQL主从复制（Master-Slave）与读写分离（Amoeba）实践

2016年10月15日 6 阅读

一、为什么要做Mysql的主从复制（读写分离）？通俗来讲，如果对数据库的读和写都在同一个数据库服务器中操作，业务系统性能会降低。为了提升业务系统性能，优化用户体验，可以通过做主从复制（读写分离）来减轻主数据库的负载。而且如果主数据库宕机，可快速将业务系统切换到从数据库上，可避免数据丢失。二、MySQL主从复制 Mysql主从复制（读写分离）和集群的区别我对MySQL也是刚开始研究，不是很专业。我的理解是：1、主从复制（读写分离）：一般需要两台及以上数据库服...

CentOS6 更改MySQL数据存放位置

2016年10月15日 6 阅读

mysql使用yum安装时，默认的数据是存储在/var/lib/mysql下。一般情况下，为了数据的安全性，建议将mysql数据库的数据文件存储在系统的第二块磁盘上的目录下可以按照以下步骤进行操作；1、关闭selinux和mysqldsed -i "s/enforcing/disabled/g" /etc/selinux/configsetenforce 0service mysqld stop<br>chkconfig mysqld off2...

MySQL基于ROW格式的数据恢复

2016年10月15日 6 阅读

大家都知道MySQL Binlog 有三种格式，分别是Statement、Row、Mixd。Statement记录了用户执行的原始SQL，而Row则是记录了行的修改情况，在MySQL 5.6以上的版本默认是Mixd格式，但为了保证复制数据的完整性，建议生产环境都使用Row格式，就前面所说的Row记录的是行数据的修改情况，而不是原始SQL。那么线上或者测试环境误操删除或者更新几条数据后，又想恢复，那怎么办呢？下面演示基于Binlog格式为Row的误操后数据恢...

MySQL MHA高可用环境搭建

2016年10月15日 6 阅读

一、安装MHA基本环境1. 安装MHA node（1） 基本环境说明，本文参考互联网文章学习，搭建MHA与测试如下。参考文档：http://www.linuxidc.com/Linux/2016-05/130923.htm角色 IP地址 主机名 ============================================= Master 192.168.1.121 node1 Slave 192...

Oracle导出表（即DMP文件）的两种方法

2016年10月15日 6 阅读

Oracle导出表（即DMP文件）的两种方法：方法一：利用PL/SQL Developer工具导出:菜单栏---->Tools---->Export Tables，如下图，设置相关参数即可：方法二：利用cmd的操作命令导出，详情如下（备注：方法二是转载网上的教程）：1:G:Oracleproduct10.1.0Client_1NETWORKADMIN目录下有个tnsname.ora文件，内容如下：CMSTAR = （DESCRIPTION = ...

线上Slave报1062的案例

2016年10月15日 6 阅读

最近经常线上的Slave老报1062的错误，蛋碎一地，幸好Slave暂时没有用到业务上，也就是说没有做读写分离，所以Slave有问题，影响也不大，但每隔一阵子就报1062主键冲突的错误，让我好纠结，如果不解决的话，我都不敢上Atlas，所以一直在排查到底是什么引起的。虽然大家都知道当Master插入的数据所包含的主键或者唯一键在Slave上已经存在的时候，就会报Last_Errno: 1062，主从同步就断开了。但是奇怪的是每次报1062的时候，Slave...

Oracle数据库语言——结构化查询语言SQL

2016年10月15日 6 阅读

一、数据定义语言DDL1.创建表空间：CREAT TABLESPACE lyyDATAFILE "C:/app/lyy.dbf" SIZE10M;（创建一个10M的表空间，存放在C盘app文件夹中）删除表空间：DROP TABLESPACE lyy;2.创建用户和赋权：CREAT USER lyy PROFILE DEFAULT IDENTIFIED BY 123456 DEFAULT TABLESPACE lyy TEMPORARY TABLESPACE...

Oracle 数据库基础——安装

2016年10月15日 6 阅读

一、数据库基础知识1.概念 数据库全称数据库管理系统，简称DBMS，是一种在计算机中，针对数据进行管理、存储、共享的一种技术。2.分类数据库的发展过程中，按逻辑模型可分为以下几种：3.关系型数据库PS：1.候选键、主键、外键都是需要用户来定义的，一般来说，这些键的定义都会和业务、真实数据匹配。2.NF范式：在关系模型数据库中为了排除数据的冗余、数据的完整性、排除新增或删除数据的异常，通常引入范式的概念； 范式简称NF，总计有6种：1NF2N...

Oracle数据库表是否需要碎片整理

2016年10月15日 6 阅读

近日有mysql的朋友问我 Oracle数据库的表是否需要定期进行碎片整理，由于Oracle的数据表的存储。不像mysql（innodb）那样使用的聚集组织表（IOT）存放数据，而是使用的是称为堆（HEAP）的方式来存放数据。数据行被存放到的块是随机的．进行全表扫描的时候读取出来的数据行没有按一定的方式进行排序.所以Oracle可以对任意有空闲空间的数据块进行数据插入。假设我们现在创建一个表,过程如下.SQL> create table t2 as ...

Oracle DataGuard归档日志丢失处理方法

2016年10月15日 6 阅读

某数据库配置了Physical DataGuard（以下简称dg）,由于没有检查，所以在主库上把归档日删除了，而备库又没有完全应用，所以导致备库一直停留在之前的归档日志中。主库检查，发现dest_id为的25号日志就丢失了.PRIMARY> select dest_id,sequence#,applied,status,first_change#,next_change# from v$archived_log where s...

DataGuard如何传送Redo到Standby

2016年10月15日 6 阅读

DataGuard通过传送redo到standby,然后在standby上应用这些redo来保持两者数据一致.在PRIMARY传送redo主要是通过lgwr进程来实现传送redo。lgwr传送模式下，lgwr进程本身并不真正传送redo到standby上，而是由lgwr派生一个lns（local network server）进程来传送redo信息.这样做的好处主要在于减轻lgwr进程的压力，防止网络意外等情况使lgwr进程产生不稳定情况。在standby...