Welcome 微信登录

首页 / 数据库 / MySQL

使用 sysbench 0.5 测试 MySQL 的性能

使用 sysbench 0.5 测试 MySQL 的性能

鉴于最近对OpenStack的兴趣和激情,我想要确保我可以做恰当的系统性能评估。我主要开始转向sysbench,是因为它带来一系列丰富的针对不同层面的测试(通过 -test=option 来获知),包括有:fileio - 文件 I/O测试cpu - CPU系能测试memory - 内存功能速度测试threads - 线程子系统系能测试mutex - 互斥性能测试正如你所看到的的,sysbench将让你的心思着重放在你的硬件和基础架构的许多基础组件上,例如...
PostgreSQL复制集群概要

PostgreSQL复制集群概要

PostgreSQ的复制、高可用、负载均衡相关集群,这儿写个概要备查。PostgreSQ有以下各种基于复制的集群方案,多数配过,有的当时没有整理。现在网上也有很多这些集群配置的文档,在这篇文档后找完备点的集中一下备档,不用每次用时到处查。基于流复制的功能内置、触发器主从复制slony,基于sql复制的PostgreSQpool-II,其它如同步多主复制EDB MMR(这个也支持异步复制,玩过的时间有点长了,后面要找到当年记录再总结),异步多主复制Bucar...
MySQL 数据库简单操作

MySQL 数据库简单操作

对于想要从事或爱好mysql相关工作的童鞋们,有必要掌握在命令行下对mysql实现一些简单的操作。本文从描述了如何登录到mysql数据库服务器,如何在mysql提示符下发布命令,创建数据库,以及执行一些简单的DML操作。1、连接到与退出mysql为了连接mysql数据库服务器,当调用mysql时,通常需要提供一个MySQL用户名并且很可能需要一个密码。如果服务器运行在登录服务器之外的其它机器上,还需要指定主机名。联系管理员以找出进行连接所使用的参数 (即,...
Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表

Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表

需求将Oracle中的业务基础表增量数据导入Hive中,与当前的全量表合并为最新的全量表。设计涉及的三张表:全量表:保存了截止上一次同步时间的全量基础数据表增量表:增量临时表更新后的全量表:更新后的全量数据表步骤:通过Sqoop将Oracle中的表导入Hive,模拟全量表和增量表通过Hive将“全量表+增量表”合并为“更新后的全量表”,覆盖当前的全量表步骤1:通过Sqoop将Oracle中表的导入Hive,模...
Linux下构建MySQL集群

Linux下构建MySQL集群

一、目标1.安装MySQL-Cluster相关软件包。2.依次配置管理/数据/SQL节点。3.启动并测试MySQL-Cluster集群架构。二、方案使用6台RHEL 6.5虚拟机,如图所示。其中sql1和sql2作为SQL节点,ndb1和ndb2作为数据节点,mgmsvr作为管理节点,这5个构成MySQL集群体系的5个节点应安装Cluster版的MySQL相关软件包;测试用的Linux客户机只需安装普通版的MySQL-client即可。----------...
简单分析Oracle的数据存储

简单分析Oracle的数据存储

在数据库的存储结构中,我们知道一般来说一个表都存储在对应的数据文件里,数据文件可以分为多个段,一般来说一个表会对应一个数据段,单纯考虑数据段的时候,数据段又可以分为多个区,每个区都可以分为若干个数据块,在操作系统层面,有对应的数据块和数据库层面的数据块有一个映射,可以打个比方来说,一栋大楼里面可以有很多的楼层,每个楼层可能都有不同的公司,这样来考虑,这栋大楼就类似数据文件,楼的每一层就类似一个数据段,每一层比方最多可以有4家公司,一家公司有40个人,有的公...
通过shell脚本来查看Undo中资源消耗高的SQL

通过shell脚本来查看Undo中资源消耗高的SQL

在查看undo的使用率的时候,在Undo_management为auto的时候,经常会看到undo自己在不断的伸缩扩展,自我调节。有时候看到Undo收缩的很紧,就想知道哪些sql语句在运行,可能有哪些潜在的问题。对于在线业务系统而言,如果某一条sql语句运行时间较长,而且消耗的undo资源极高的情况下,sql语句很可能是有问题的。可以通过如下的sql语句来简单定位,找到一个sql_id列表,可以看到每个sql_id消耗的Undo资源情况。sqlplus -...
通过shell检查Oracle分区表中是否含有默认分区

通过shell检查Oracle分区表中是否含有默认分区

在大数据量的系统中,分区表是很常见的,分区有多种类型,可以根据业务来选择自己需要的分区,不过为了数据的兼容性,需要考虑对于分区表设定一个默认的表分区,如果数据在插入表分区的时候,没有符合条件的分区,就会插入默认的表分区中。这个可以根据自己的需要来设定,如果确实对数据有严格的要求,甚至可以要求不加入默认的分区。以下的脚本会去"扫描"分区的信息,如果检测到没有默认的分区,就会生成对应的脚本。可以根据自己的情况来决定是否需要加入分区。sqlplus -s $1/...
Oracle通过shell脚本查看package的信息

Oracle通过shell脚本查看package的信息

有时候想查看一个package的信息,但是对于package的名字不是很确定,比如只知道一个大概,知道一些关键字,这个时候通过图形工具是查找不到package的信息的,而且对于package的信息,我只关心package里面有哪些存储过程,哪些函数等,看看简单的参数情况就可以了,类似sqlplus的desc的形式。shell脚本的实现如下,以下的脚本是查看是否有对应的package信息。PROC_OWNER=`sqlplus -silent $DB_CON...
Oracle通过shell脚本查看procedure的信息

Oracle通过shell脚本查看procedure的信息

在一个schema中,可能含有大量的procedure, 有时候想查看具体的信息,一般得通过toad,plsql dev等工具来查看,有时候在尽可能摆脱图形工具的前提下,想能够尽快的查找一些信息,还是使用shell脚本更快,更准,更直接。可以使用如下的shell脚本来查找procedure的信息。以下的脚本可以查找是否有需要的prcedure信息。PROC_OWNER=`sqlplus -silent $DB_CONN_STR@$SH_DB_SID <...
Oracle通过分区键值发现性能问题

Oracle通过分区键值发现性能问题

在很多应用中如果数据量少有规模,都会有大量的分区表存在,使用比较多的是range partition.一般的range partition都一时间为键值,或者根据业务绑定的关键id值。虽然已经做了一些大数据量的数据迁移,但是不管是按照分区抽取,还是根据数据条数抽取,发现有一个表比较奇怪,一个100G左右的分区表,80%以上的数据都分布在一个分区里面,而这个大分区表却有180多个分区表。如下所示,对于表charge,如果分区的大小在200M以内,就标记为1,...
Oracle海量数据迁移之使用shell启用多个动态并行

Oracle海量数据迁移之使用shell启用多个动态并行

在Oracle数据迁移中,可能有成百上千个表,有些表很大,有些表又很小。如果启用了多个并行的进程,可能会有资源分配上的问题。比如下面有10个表,100代表预计的时间为100分钟。table1 100table2 90table3 90table4 80table5 80table6 70table7 60table8 60table9 50table10 40如果分为4个进程来并行执行,可能一种比较理想的方案就是parallel1: table1,tabl...
<< 791 792 793 794 795 796 797 798 799 800 >>