Redis 内存优化理解和存储总结

2017年02月05日 27 阅读

1.Redis 存储机制Redis存储机制分成两种Snapshot 和 AOF。无论是那种机制,Redis都是将数据存储在内存中。 Snapshot工作原理: 是将数据先存储在内存，然后当数据累计达到某些设定的伐值的时候，就会触发一次DUMP操作，将变化的数据一次性写入数据文件（RDB文件）。 AOF 工作原理: 是将数据也是先存在内存，但是在存储的时候会使用调用fsync来完成对本次写操作的日志记录，这个日志揭露文件其实是一个基于Redis网络交互协议...

MySQL 5.5使用裸设备存储

2017年02月05日 24 阅读

MySQL的innodb支持把表和索引存储在裸设备中，存储的I/O等待问题一直是影响数据库性能的关键，裸设备不需要经过文件系统I/O处理，因而在性能上有一定的提升，在使用rhel中的kvm虚拟机的时候有明显的感觉，使用裸设备+virtio的性能基本与物理机没差别；在Oracle中，裸设备从11g开始就不被支持，而10g rac的ocr和votedisk还必须使用裸设备存储，Oracle推荐使用ASM来提升存储的I/O性能，ASM支持条带，冗余和在线添加删除...

红旗Linux的Asianux 3.0安装Oracle 10.2

2017年02月05日 27 阅读

由于Oracle 10g出来的时候还没有红旗Linux的Asianux 3.0版本出来，所以按照Asianux 2.0的要求来安装rpm包就好了。we must have the following RPMs installed:Red Hat Enterprise Linux 4.0 and Asianux 2.0:binutils-2.15.92.0.2-13.EL4compat-db-4.1.25-9compat-libstdc++-296-2.96...

MySQL导入大容量SQL文件数据问题

2017年02月05日 25 阅读

mysql在通过导入sql文件可能会出现下面二个问题:1.如果sql文件过大,会出现"MySQL server has gone away"问题;2.如果sql文件数据有中文,会出现乱码解决问题:问题1:出现MySQL server has gone away"问题,是因为mysql默认的"max_allowed_packet"变量值过小.查看目前配置show VARIABLES like "%max_allowed_packet%";显示的结果为：+--...

【Oracle笔记】1.Oracle体系结构

2017年02月05日 24 阅读

体系结构一、基本组成1.Oracle服务器是一个数据库管理系统，包括oracle例程（oracle instance）和oracle数据库（oracle database）。2.oracle例程是一种访问数据库的工具，由内存结构和后台进程组成，始终打开一个，并且只能打开一个数据库，与数据库是一个一对多的关系。3.oracle数据库是一个被处理的数据集合，包括三类文件：数据文件（data files），控制文件（control files），重做日志文件（...

【Oracle笔记】2.Oracle服务器入门和管理Oracle例程

2017年02月05日 24 阅读

Oracle服务器入门和管理oracle例程一、oracle常用的数据库管理工具 Oracle Universal Installer（OUI）：用于安装、升级或删除软件组件 Oracle Database Configuration Assistant（DBCA）：与OUI进行交互的图形用户界面工具，也可单独使用，用于创建、删除或修改数据库。 SQL*Plus：用于访问Oracle数据库中数据的实用程序，日常操作中最常用的操作数据库的工具。 Oracle...

【Oracle笔记】3.Oracle的启动与关闭

2017年02月05日 24 阅读

Oracle的启动与关闭一、启动与关闭过程 启动（startup）：shutdown→nomount（例程启动）→mount→open 关闭（shutdown）：open→mount→nomount→shutdown二、启动例程（nomount） 启动例程让数据库处于nomount状态一般用于创建数据库或重新创建控制文件过程中 启动例程包括下列任务 按下列顺序从$ORACLE_HOME/dbs读取初始化文件： 首先读取spfileSID.ora 如果找不到...

【Oracle笔记】4.Oracle服务器中的诊断文件

2017年02月05日 24 阅读

使用诊断文件监视例程一、诊断文件 诊断文件是获取有关数据库活动的信息的一种方式，用于解决数据库出现的一些 问题，主要包含有关数据库中出现的重要事件的一些信息，这些文件能更好的对数据库进行日常的管理 主要类型有一下几种 1.alertSID.log.文件：记录数据库日常操作的信息 2.后台跟踪文件（background trace file）：记录SMON、PMON、DBWn和其他后台进程失败时产生的重要信息 3.用户跟踪文件（user trace fil...

MySQL远程连接慢的问题

2017年02月05日 27 阅读

1，当 mysql client 发起连接请求时，MySql Server 会主动去查 client 的主机名。2，首先查找Windows系统目录下 /etc/hosts 文件，搜索域名和IP的对应关系。3，如果hosts文件没有，则查找DNS设置，如果没有设置DNS服务器，会立刻返回失败；如果设置了DNS服务器，就进行反向解析，直到timeout。解决办法第一种方法 修改Hosts在 MySql Server 所在服务器上，修改 Windows 的 ho...

CentOS 5.6下MySQL迁移

2017年02月05日 26 阅读

这周主要迁移两套EMC储存，有几台内网的数据库服务器挂载的储存空间，需要把储存上的数据库迁移服务器上，下面记录具体迁移步骤：一、环境：1.原数据库服务器：172.28.29.21（挂载EMC到/sandata目录）2.先数据库服务器：10.20.220.107二、具体思路：1.在10.20.220.107上做NFS，把/data/db给172.28.29.21挂载2.在172.28.29.21上把10.20.220.107的/data/db挂载到/data...

MongoDB保存Java对象的三种方法

2017年02月05日 25 阅读

MongoDB有三种方法来保存java对象，一种是通过类实现DBObject接口，一种是利用spring-mongodb工具的对象映射功能，把java对象转换成MongoDB的BSON文档，一种是通过序列化类实例，转成二进制存储，MongoDB是支持二进制的数据格式的。下面分别介绍三种方法：1.实现DBObject接口用这种方法的话类还是个DBObject，存取对象属性都要用到put和get方法，感觉很不方便，这个我们可以参考官网的例子：publiccla...

Mongodb与spring集成

2017年02月05日 27 阅读

这里我们用到的是spring-data中一个集成mongodb的项目，首先在maven中添加对它的依赖，这里我用的是1.0.0.M5版本<！--mongodbspring--><dependency><groupId>org.springframework.data</groupId><artifactId>spring-data-mongodb</artifactId><ver...

Oracle 11g备份文件导入10g

2017年02月05日 26 阅读

Oracle 11g备份文件导入10g,将*.dmp文件导入到10g的时候 碰到了好多问题刚开始不知道是从11g里导出的 然后导入到10g里会出现以下错误IMP-00010:不是有效的导出文件,头部验证失败IMP-00000:未成功终止导入用工具打开dmp文件，第一行有版本的cEXPORT:V11.01.00然后我把它改为cEXPORT:V10.02.01ps: 我的是Oracle 10g第一个问题算是解决了。接下来再次导入 提示经由常规路径导出由EXPO...

Oracle 10g修改数据库字符集

2017年02月05日 26 阅读

查看当前字符集 引用SQL> select * from nls_database_parameters where parameter like "%SET%"; PARAMETER VALUE ------------------------------ ---------------------------------------- NLS_CHARACTERSET WE8ISO8859P1 NLS_NCHAR_CHARACTERSET AL1...

MySQL 运用存储过程实现主键生成

2017年02月05日 24 阅读

写了一个根据当天日期生成序列号主键的一个procedure，规则为：当天的日期加上序列号，如20120604002，表明是2012年06月04号的第2单。 具体的时间方式是通过表的策略来生成的。生成一张管理表（用于多种主键生成）createtablesysOption（ keyNamevarchar（255）, valuevarchar（255）, timetimestamp ）;然后就是使用存储过程（结合游标的方式） 来生成主键了，如下 ：droppro...

Oracle Golden Gate体系架构详解

2017年02月05日 25 阅读

GoldenGate简介 Oracle Golden Gate软件是一种基于日志的结构化数据复制备份软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。Oracle Golden Gate可以在异构的IT基础结构（包括几乎所有常用操作系统平台和数据库平台）之间实现大量数据亚秒一级的实时复制,从而在可以在应急系统、在线报表、实时数据仓库供应、交易跟踪、数据同步、集中/分发、容灾、数据库...

如何保证数据库同步中目的端交易提交的原子性

2017年02月05日 28 阅读

数据库同步过程中既要保证数据库装载的效率，又要保证数据库每个交易的原子性，即保证一个事务中多条SQL语句执行的成功出于以上目的，我们选择多表并发加多断点方式来进行同步，原理是取出需要同步的事务，按照表及SQL语句量进行划分，分给不同的进程来执行，每个进程有一个断点，当一个表的某一条SQL语句执行出错的时候，该进程会记录下此断点，该表停止同步，其他表的数据同步继续进行，当手工处理完该表出错的SQL语句后，该进程根据标志把错误表需要同步的SQL语句重新执行或跳...

数据库同步过程中一致性和完整性的保证

2017年02月05日 26 阅读

数据库同步过程，最严格的指标，第一是效率，即每秒同步SQL条数；其次是一致性，即主库产生的数据，备库同步后是否一致；第三就是数据库同步的完整性如何保证，即当同步各个环节出现问题时，如何考虑出错处理，下面我们将分别进行讨论并进行合理性分析第一、效率数据库同步过程主要分为三个阶段，即抽取、分析、装载。抽取过程主要是实时读取数据库日志，这部分可以作到毫秒级别间隔，所以不存在效率问题，基本上可以作到实时抽取；分析过程主要是分析SQL语句并把源日志转化为备库的可装载...

用show parameter也能显示隐含参数

2017年02月05日 24 阅读

Oracle 数据库启动时用到的数据库初始化参数，我们通常是在 sqlplus 中使用 show parameter 命令来获取。但这里看到只会是一些公开的参数，和已经修改的隐含参数。 Oracle 还有一批隐含参数，在 debug 或者实现某些功能时非常有用。 在网上，你可以很方便的查到如何查询这些隐含参数。但是，如果我还想继续使用 show parameter 方法显示隐含参数呢？这该如何实现？ 我在这里介绍一个方法，来实现这个目标。介绍这个方法的目的...

exp/expdp传输表空间和rman convert实现大数据量快速迁移

2017年02月05日 24 阅读

将Oracle数据库中某个用户迁移到另外一个库上，迁移的数据量大小约 120GB 。如果采用 expdp 导出的话时间会很长，再加上导出的 DMP 文件拷贝和 impdp 导入数据的时间，不能满足要求。这里采用 RMAN 的 CONVERT 功能和 exp/expdp 的 transport_tablespace 的功能。前者将用户所在的表空间的数据文件从一个数据库所在的系统平台中拷贝到另外一个数据库系统上，后者将表空间对应的 metadata 数据拷贝出...