MySQL 5.5 大量数据插入出现的抖动问题及解决方法

背景日志型应用的一个典型操作，是周期性地有大量的insert操作。这类操作需要对扩展表空间。分析在InnoDB里，扩展表空间的操作是在语句执行过程中，由执行线程直接调用的。尤其是对于一些表每行比较大，则会出现每插入几条记录就需要扩展表空间。虽然有insert buffer和write ahead logging策略保证在执行线程中不直接操作表数据文件，但扩展表空间的操作会导致更新的tps出现瞬间低点。现象如下图。实际上整体TPS也受此影响。改进方案及可行性可以在这类大操作之前预分配表空间来优化这个问题。我们的业务上线之前都有容量预估，每天也有监控。因此接下来一段时间表空间增长到多少，是能够预估得到。在实际更新开始之前，在低峰期甚至是提供服务之前就将表空间预分配好，能够避免这种抖动和提高TPS。工具验证InnoDB的表空间结构上，空间头部有4个byte的数字N表示这个表空间的大小（page数目），文件的实际大小是N*Page_SIZE.实现了一个工具extend_space，修改4个byte并将文件append到指定的大小。测试发现insert性能提升10%。由这个原因引起的抖动消除。后续目前还只是用工具实现。工具使用起来比较麻烦，主要是更新过程中的锁表操作就需要外部脚本，而且以后应用的新版本中page_size可变，因此比较优美的方案是将这个功能加入到MySQL支持的命令中。补充更新新增MySQL命令支持预扩展http://bugs.mysql.com/bug.php？id=63858效果如图RMAN-01009: syntax error: found “dot” 解决方法Oracle动态性能视图 v$event_name相关资讯 MySQL 5.5

MySQL 5.5.41/5.6.22 发布下载（12/02/2014 08:09:46）
CMake安装MySQL 5.5 （08/29/2014 14:42:28）
MySQL 5.5半同步复制（05/25/2014 10:06:56）

MySQL 5.5 遇到的路径问题（11/10/2014 19:22:59）
Linux下源码安装MySQL 5.5 （07/27/2014 06:34:48）
CentOS 6.3下安装MySQL 5.5.35 （01/15/2014 15:14:23）

本文评论查看全部评论（0）

首页 / 数据库 / MySQL / MySQL 5.5 大量数据插入出现的抖动问题 及 解决方法

首页 / 数据库 / MySQL / MySQL 5.5 大量数据插入出现的抖动问题及解决方法