Linux HugePages及MySQL 大页配置

2016年10月15日 8 阅读

㈠ HugePages简介HugePages是kernel 2.6引入以便适应越来越大的物理内存在Linux下、page size默认是4K、如果使用HugePages、默认是2M再看2个术语：page table 映射表：物理内存和swap的对应关系、访问内存是先读page table、根据表里的映射关系操作TLB ：cpu cache组件、缓存部分page table以提高转换速度㈡ MySQL 配置大页好处① 提高TLB的命中率② 利用HugePag...

突破MySQL视图限制：获取创建视图的SQL语句

2016年10月15日 9 阅读

视图本质上只是一条SQL语句而已、但令人蛋疼的是MySQL并没有把该SQL语句存储下来而是像对待表一样、把视图的定义用文件的形式保存、以 .frm 存在那么用show create view 显示的SQL将非常不友好下面介绍一种方法来突破这种限制创建视图：mysql> create view v_t as select id from t where id=2;Query OK, 0 rows affected （0.03 sec）到相应目录查找视图...

诊断Oracle RMAN备份慢的原因

2016年10月15日 8 阅读

㈠ 先在系统层面查询CPU、IO使用情况：top、iostat、sar...等㈡ EXEC DBMS_WORKLOAD_REPOSITORY.CREATE_SNAPSHOT（）;㈢ rman target / debug trace =/tmp/rmandebug.txt log=/tmp/rman_log20130727.txt执行备份㈣ EXEC DBMS_WORKLOAD_REPOSITORY.CREATE_SNAPSHOT（）;㈤ 查询v$back...

MySQL Connector/Python 安装、测试

2016年10月15日 8 阅读

安装Connector/Python：# wget http://cdn.mysql.com/Downloads/Connector-Python/mysql-connector-python-1.0.11.zip# unzip mysql-connector-python-1.0.11.zip# cd mysql-connector-python-1.0.11 # python setup.py install测试Connector/Python是否装上...

MySQL 大DML操作建议

2016年10月15日 10 阅读

㈠ 大数据量INSERT⑴ 使用多行插入代替单行：insert into t values （）,（）,（）,...⑵ LOAD DATA INFILE ... INTO TABLE t⑶ 写入临时表、在 INSERT ... SELECT⑷ 取消索引、约束，等数据加载完后在重建⑸ INSERT时指定DELAYED属性⑹ 对于InnoDB、可以分散INSERT到多个事务、批量提交㈡ 大数据量UPDATE这之前也应该disable掉索引和相关约束① SELE...

利用硬链接原理秒删MySQL大文件

2016年10月15日 8 阅读

原理：硬链接基础 http://www.linuxidc.com/Linux/2013-08/88236.htm当多个文件共同指向同一inode、inode链接数N>1、删除任何一个文件都是巨快因为、此时删除的仅仅是指向inode的指针而当N=1时、则不一样了、此时删除的文件相关的所有数据块、所以慢测试：root@ # ln stock.ibd stock.id.hdlkroot@ # ls stock.* -l-rw-rw—- 1 my...

MySQL 连接Python 的2 种方法

2016年10月15日 8 阅读

㈠ MySQLdb这是个提供MySQL支持Python的第三方驱动符合 Python DB API 2.0的标准官网：http://sourceforge.net/projects/mysql-python/㈡ MySQL Connector/Python这是个内建于MySQL Server层、被Oracle支持、提供Python API它完全由Python实现、除了Python标准库之外、完全没有其他第三方库的依赖MySQL Connector/Pyth...

MySQL 讨厌哪种类型的查询

2016年10月15日 8 阅读

㈠ 任何查询都讨厌只要是查询、MySQL都讨厌、执行查询最快的方式就是不去执行缓存为王、比如Redis或者memcache㈡ 查询结果集最小尽量基于主键或者二级索引来查询、通过覆盖索引避免回表来节省IO如：select col1 from table where primary_key_column=something;㈢ 带JOINS 的查询采用适当的反范式来避免JOIN如：SELECT t2.value FROM t2 JOIN t1 ON （t1.i...

Linux UDEV和为MySQL InnoDB共享表空间配置裸设备

2016年10月15日 8 阅读

⑴ UDEV 基础udev 可管理保存在/dev 目录下的文件、文件只有在接入相应设备后才会生成、设备被拔出后自动删除它还允许用户添加规则、以便修改/dev中默认的名称和权限、规则保存在/etc/udev/rules.d/目录下⑵ MySQL 绑定裸设备只有InnoDB可以用裸设备优点：绕过了文件系统，读写速度会有提高，并且数据会比较安全、同时降低文件系统负担、也改善系统性能缺点：太安全了，好多备份工具可能没法用、dd可以考虑下面介绍如何为mysql共享表...

ORA-02097、ORA-00837（修改memory_target时碰到的一个小问题）

2016年10月15日 9 阅读

今天看到一ocp的题有点疑问，就做了个小实验，碰到了ORA-02097、ORA-00837两个错误；题如下：Q484. You set the following parameters in the parameter fileand restarted the database:MEMORY_MAX_TARGET=0MEMORY_TARGET=500MPGA_AGGREGATE_TARGET=90MSGA_TARGET=270MWhich two sta...

如何将ASM中的数据文件复制到操作系统中

2016年10月15日 8 阅读

环境：Red Hat 5.7 + Oracle 10.2.0.5.0 Rac+ASM如果你的Oracle数据库系统使用正使用ASM自动存储管理，你可曾想过要窥视一下ASM中的数据文件，ASM是个黑匣子，通过操作系统无法看到里面的数据文件，也不能通过操作系统命令对它们进行复制、删除等操作。下面给大家介绍一个可以复制出ASM中数据文件的小方法，简单适用。工具大家都很熟悉，那就是：Rman ！大家都知道在进行跨平台移植数据的时候会碰到操作系统字节存储次序的问题，...

MySQL主从、主主复制及高可用性

2016年10月15日 8 阅读

一：MySQL复制：MySQL复制简介：将master服务器中主数据库的ddl和dml操作通过二进制日志传到slaves服务器上，然后在master服务器上将这些日志文件重新执行，从而使得slave服务器和master服务器上的数据信息保持同步。Mysql复制的原理：将数据分布到多个系统上去，是通过将Mysql的某一台master主机的数据复制到其它（slave）主机上，并重新执行一遍来实现的；复制过程中一个服务器充当master服务器，而一台或多台其它服...

MySQL数据库运维的五大指标

2016年10月15日 8 阅读

如何评价一个公司数据库运维水平的高低？用什么来进行横向与纵向对比？自动化平台建设的目标是什么？必须有相应的指标体系来指导，此指标体系必须满足以下条件：可以用数字来测算和衡量最终指标，而不是中间指标比如有时DBA会关注数据库的吞吐量，但吞吐量越高不能代表数据库提供的服务质量越好，开发人员关心这个指标的原因也是因为担心过高的吞吐量会影响响应时间或者造成系统不可用，所以这只是一个中间指标。可以全面衡量一个网站的数据库运维水平，而不会顾此失彼有人文关注推荐阅读：生...

如何不让Oracle使用Linux的swap分区

2016年10月15日 8 阅读

经常看到swap分区被使用，被缓存的内容本来是为了增加命中率，结果去不断换入换出，导致本地磁盘IO增加，影响访问速度。所以在内存充足的情况下，如果我们觉得不需要使用swap分区的时候，那就要想办法尽量避免使用swap。我的环境大部分都是Oracle数据库服务器，linux+oracle是常见组合，这里针对这个背景做一下分析。1、hugepage功能使用hugepages之后可以避免SGA被swap。直接使用hugepages技术就可以，不要使用lock_s...

Oracle数据仓库部署注意事项（OLAP）

2016年10月15日 8 阅读

最近Oracle数据库升级到11G之后，出现一些问题，慢慢的开始发现一些需要总结的东西，每次心里都在想：下次，我自己搭建数据仓库的时候，一定要注意这些细节，在仓库的创建初期就做好这些工作。1、redo log的设计1）如果可以单独放，redo和数据文件单独划组做条带化等。物理上分开。2）redolog如果可以单独放，就不要设置得太大，最多500M一个，因为日志太大，可能会导致实例恢复的时间很长。另外在极端倒霉的情况下，如果再数据恢复过程中，实例再次down...

Linux下开启异步IO

2016年10月15日 9 阅读

最近在研究如何在IO竞争的情况下，如果存储级别已经无法优化，还有其他什么办法解决IO竞争问题。最后想到了异步IO。我的redo写磁盘的速度已经达到了最大值，无论我如何调整redo大小和组数，无论我如何调整检查点频率都没有什么用处。调整redo大小，之后减少redo切换的频率，增加redo组数只是为了避免所有redo都已经没使用但是业务仍然需要新的日志来记录数据更改。可是如果IO不给力，会造成一堆redo都依然不够的局面。也许异步IO是你最后一招了，那就试试...

CentOS 安装MongoDB

2016年10月15日 8 阅读

今天看到了MongoDB，熟悉了一下，便动手开始安装，在安装过程中遇到了一系列的问题，在此分享给大家，一来为自己做一个记录，二来方便大家遇到相同的问题时能够顺利解决。废话少说，直接进入正题吧。本人的实验环境为CentOS5.5 ,32位系统，CentOS下，我们一般都会通过yum来安装相关软件，二话不说，我们先yum一下：[root@h3 /]# yum install mongo-10gen-serverLoaded plugins: fastestmi...

Oracle中检查是否需要重构索引

2016年10月15日 8 阅读

Oracle中检查是否需要重构索引SELECTheight, /*Height of the B-Tree*/ blocks, /* Blocks in the index segment */ name, /*index name */ lf_rows, /* number of leaf rows in the index */ lf_blks, /* number of leaf blocks in the index */ del_lf_rows,...

Oracle提高sql执行效率的建议

2016年10月15日 8 阅读

-->FROM子句中包含多个表的情况下,选择记录条数最少的表作为基础表 -->解析WHERE子句是自下而上的 过滤条件要有顺序 -->Oracle会将"*"转换成列名 -->DELETE会在rollback segment中存放可恢复信息，可以试试TRUNCATE -->COMMIT会释放: 1.rollback segment 2.被程序语句获得的锁 3.redo log...

Oracle实例和服务知识点

2016年10月15日 9 阅读

shutdown是对实例而言service是启动的，根本不代表instance就是启动的。启动数据库基本可分为三个过程：1，nomount（即只启动instance，而不加载数据库）2，mount（加载数据库，但没有打开）3，open（将数据库置于打开状态）在DBA执行connect 到Oracle后，执行startup（不带参数），将使数据库处于open状态，当然也可以带上前面的参数（如startup nonount）使数据库处于所需要的状态；但是DBA...