更新大量记录

最近的项目中需要将几个dump文件（文本格式、1~2G）的记录导入到mysql数据库中，由于数据量比较大（几百万、上千万条记录），有插入记录，也有更新记录的，导致插入更新速度比较慢。一开始，将单条sql语句交给mysql执行，测试下来，最快一次也要一个半小时。于是想办法改进之。（1）针对插入记录，使用sql语句一次插入多条记录。实例：INSERT INTO tbl_name （a,b,c） VALUES（1,2,3）,（4,5,6）,（7,8,9）;具体参见sql语法：http://dev.mysql.com/doc/refman/5.0/en/insert.html在程序中，使用循环拼接sql语句，然后一次性丢给myql_query（）处理即可。需要注意的是，sql语句不是越长越好，太长了可能会超出mysql限制（听同事介绍，mysql的限制是63M）。我在实测中，我限制sql长度在10M:for（...）
{
m_strSQL += ...;

if （m_strSQL.length（） > 10485760） //10M
{
m_pMysqlStatement->execute（m_strSQL.substr（0, m_strSQL.length（） - 1））;
m_strSQL= "INSERT INTO location （locationid, name, alternatename） VALUES ";
}

}测试结果为：8267787条记录，耗时754秒（数据库在局域网内的不同机器上），基本满足要求。（2）对于更新记录，由于update语法不支持一次更新多条记录，无法使用类似“INSERT INTO tbl_name （a,b,c） VALUES（1,2,3）,（4,5,6）,（7,8,9）;”的形式进行更新，只能拼接多条sql语句一起更新：update location set languages = "zh" where locationid = "12344";update location set postalcode = "14343" where locationid = "3455";但是这样一来，问题出现了:（I）在连接数据库时需要启用multi-query支持，允许一次执行多条sql语句。参见：http://www.linuxidc.com/Linux/2013-04/82619.htm（II）还需要处理resultset的释放问题，否则mysql会报错："Commands out of sync; you can"t run this command now"（III）针对update语句，虽然并没有resultset返回，但仍然需要释放。而由于未知原因（可能是sql语句太长？），释放resultset非常耗时，最终算下来得不偿失。

MySQL快速插入以及批量更新MySQL问题解决:Commands out of sync; you can"t run this command now以及相关问题相关资讯 MySQL快速插入 MySQL更新大量记录

MySQL快速插入以及批量更新（04/12/2013 06:17:12）

本文评论查看全部评论（0）