SQL Server几种数据迁移/导出导入的实践

2017年02月05日 14 阅读

SQL Server提供了多种数据导出导入的工具和方法，在此，分享我实践的经验（只涉及数据库与Excel、数据库与文本文件、数据库与数据库之间的导出导入）。（一）数据库与Excel方法1：使用数据库客户端（SSMS）的界面工具。右键选择要导出数据的数据库，选择“任务”——“导出数据”，下图1，按照向导一步一步操作即可。而导入则相反，导入时，SQLServer会默认创建一张新表，字段名也...

BCP导出导入大容量数据实践

2017年02月05日 13 阅读

前言SQL SERVER提供多种不同的数据导出导入的工具，也可以编写SQL脚本，使用存储过程，生成所需的数据文件，甚至可以生成包含SQL语句和数据的脚本文件。各有优缺点，以适用不同的需求。下面介绍大容量数据导出导入的利器——BCP实用工具。同时在后面也介绍BULK INSERT导入大容量数据，以及BCP结合BULK INSERT做数据接口的实践（在SQL2008R2上实践）。1. BCP的用法BCP 实用工具可以在 Microsof...

一次性事务和CTE插入数据的比较

2017年02月05日 13 阅读

有时要构造一些数据来做测试数据，像下面这样：IF OBJECT_ID（N"T14"） IS NOT NULLBEGIN DROP TABLE T14ENDGOCREATE TABLE T14 （t14_id INT）GODECLARE @i INT = 1WHILE @i <= 1000BEGIN INSERT INTO T14 （t14_id） SELECT @i SET @i = @i + 1ENDGOcode-1这里存在一个问题，每运行一...

SQL Server附加数据库报5123错误

2017年02月05日 14 阅读

最近家里的电脑从WIN7升级到WIN10。安装完常用软件和SQL SERVER之后，附加一些测试数据库，发现报以下错误：figure-1：使用SSMS附加数据库文件报错尝试用脚本，同时报错：figure-2：使用SQL脚本附加数据库文件报错从错误提示来看，估计是所操作的用户对文件访问的权限不足。但是无论是使用windows认证登录还是sa登录，都报同样的错。奇怪了，自己的电脑都是使用管理员权限。再去检查数据库文件的权限，发现：figure-3：数据库文件的...

SQL Server附加数据库出现错误5123的正确解决方法

2017年02月05日 13 阅读

因为自己有一本基于SQL Server 2005的数据库教程，里边使用的示例数据库是AdventureWorks for SQL Server 2005，而我的机子上装的是SQL Server 2008，示例数据库是AdventureWorks for SQL Server 2008。起初我以为示例数据库AdventureWorks for SQL Server 2005 与AdventureWorks for SQL Server 2008 数据库结构应...

Windows Server 2012 R2 Datacenter 安装 SQL Server 2016 CTP

2017年02月05日 12 阅读

SQL 2008 R2和SQL 2012还是我主要使用的数据库，SQL 2014还没用上，SQL 2016都已经来了，尽管是Community Technology Preview版本，还是下载回来体验一下吧。下载地址是：https://technet.microsoft.com/zh-cn/evalcenter，而SQL SERVER 2016的软硬件安装要求：https://msdn.microsoft.com/en-us/library/ms1435...

MongoDB 分组查询统计去掉重复的记录

2017年02月05日 13 阅读

mongodb版本号是，MongoDB shell version: 2.4.4 操作环境，shell窗口 ，如下所示：[mongo_user@mongodb_dbs ~]# mongo --port 30100MongoDB shell version: 2.4.4connecting to: 127.0.0.1:30000/testmongos> mongos> use posswitched to db posmongos> 1，先...

MongoDB使用aggregate、group、match实现mysql中的having（count（1）&gt;1）的功能

2017年02月05日 13 阅读

关系型数据库中分组去重一般都是group by … having（count（1）>1）…赛选出来重复的记录组，然后一条sql搞定，但是在mongodb里面，没有这么方便了，需要自己写脚本来实现，可以通过aggregate、group、match来操作处理。1，准备录入测试数据db.stu.insert（{cid:1,age:14,name:"gom1"}）;db.stu.insert（{cid:1,age:12,name...

MySQL监控利器-Innotop

2017年02月05日 15 阅读

Innotop是一款十分强大的MySQL监控工具，用perl所写，通过文本模式展示MysQL服务器和Innodb的运行状况。安装innotop下载地址：https://github.com/innotop/innotopGithub上提供两种版本，一种是开发版（innotop-master），一种是稳定版（innotop-gtid）。在这里，我们使用的是开发版。注意：网上提供的下载地址是http://code.google.com/p/innotop/，但...

MySQL的分页优化

2017年02月05日 13 阅读

今天下午，帮同事重写了一个MySQL SQL语句，该SQL语句涉及两张表，其中一张表是字典表（需返回一个字段），另一张表是业务表（本身就有150个字段，需全部返回），当然，字段的个数是否合理在这里不予评价。平时，返回的数据大概5w左右，系统尚能收到数据。但12月31日那天，数据量大概20w，导致SQL执行时间过长，未能在规定的时间内反馈结果，于是系统直接报错。一般的思路是用MySQL的分页功能，即直接在原SQL语句后面增加LIMIT子句。但请注意，虽然你看...

ORA-00824: cannot set sga_target due to existing 问题解决

2017年02月05日 14 阅读

今天下班到家，接到一同事电话，说是用Oracle9i的客户端连接Oracle10g后，修改某些参数后，导致Oracle10无法正常启动，小机重启了好几次都不行。远程连接之后，用Oracle用户在sqlplus下面startup时，系统提示如下：ORA-00824: cannot set sga_target due to existing internal settings, see alert log for more information看来是sga...

MySQL5.6.12 Waiting for commit lock导致从库hang住的问题剖析

2017年02月05日 15 阅读

Nagios报警，线上一台从库检测不到slave状态，于是远程上去查看问题：1，show slave statusG卡住：Type "help;" or "h" for help. Type "c" to clear the current input statement.mysql> show slave statusGshow slave status卡住了，动弹不了，这种情况还是第一次遇到。2，看w负载无压力：[root@tmp3_72 ~]#...

Oracle DataGuard的原理与基本配置

2017年02月05日 14 阅读

最近集团在做灾备方案，用于Oracle的高可用性，在不影响主库性能的前提下，我们选择使用DG的"最大性能"模式。DG是Oracle数据库自带的数据同步功能，其基本原理是将日志文件从主库传输到备库，然后在备库上应用这些日志文件，从而使备库与主库保持同步。DataGuard提供了三种日志传输（Redo Transport）方式，分别是ARCH传输、LGWR同步传输和LGWR异步传输。在上述三种日志传输方式的基础上，提供了三种数据保护模式，即最大性能（Maxim...

关于几个MySQL环境问题的对比

2017年02月05日 14 阅读

有时候出现了环境问题，对比是一种很好的方式，如果对比得当，可以避免反复的出现问题，可以根据对比的情况推理出一些可能出现的情况或者问题。如果对比不当，很可能得出错误的结论。今天就简单举几个例子来说明一下。MySQL重启的对比之前出现过一次备机的硬件故障，但是庆幸的是幸亏是备机，备机上意味值有备库，但是实际发现备机上的备库和主库没什么关联，也是让人直冒冷汗，那就搭建备库吧，结果发现主库没有开启binlog，这种情况下是没有任何办法的，所以在评估之后，发现还有一...

innodb存储引擎备份工具--Xtrabackup

2017年02月05日 13 阅读

Xtrabackup是一个对InnoDB做数据备份的工具，支持在线热备份（备份时不影响数据读写），是商业备份工具InnoDB Hotbackup的一个很好的替代品。Xtrabackup有两个主要的工具：xtrabackup、innobackupex（1）xtrabackup只能备份InnoDB和XtraDB两种数据表，而不能备份MyISAM数据表（2）innobackupex-1.5.1则封装了xtrabackup，是一个脚本封装，所以能同时备份处理inn...

cursor_sharing引发的ORA-00600错误

2017年02月05日 13 阅读

主机：IBM S85主要硬件：6 CPU+8GB内存系统：AIX5.2补丁：ML04数据库：Oracle 9.2.0.4中间件：BEA Tuxedo 8.1该系统属于新oltp类金融系统，上线前性能压力测试表现良好，结果上线以后确实表现不错，但是日志文件里每隔10分钟就报：ORA-00600: internal error code, arguments: [736], [7], [0], [128], [128], [], [], []在这节骨眼上碰到b...

MySQL5.6 5.7用户临时表 对比

2017年02月05日 13 阅读

基于会话的temporary table在MySQL5.6中默认生成的临时表结构和内容都在tmpdir下5.6没有ibtmp1这个临时表空间都是放在tmpdir下，当然会话中断后，这两个文件就消失了，下面我们看看5.7的临时表是用户临时表，临时存过程中的数据，默认创建的temporary表是innoDB表，5.6 5.7都有这个参数。本文永久更新链接地址...

MySQL 5.7与5.6 group by的不同之处

2017年02月05日 13 阅读

在MySQL 5.7版本中注意group的用法：use emp;set sql_mode="";select x.salary,x.department_id from（select e.* from emp e order by department_id,salary desc） x group by x.department_id;本文永久更新链接地址...

利用Oracle Data Guard完成跨平台的数据库迁移案例

2017年02月05日 12 阅读

客户原本是一套单机版的Oracle 11.2.0.3.0Database forWindows的数据库系统，客户的需求是将单机版的Oracle Database迁移到3节点的Oracle RAC Database中，并且平台变成Linux，但数据库版本不变化。客户希望尽可能短的停机时间。通常对于不跨版本的Oracle Database迁移常使用DG（Data Guard），配置好DG之后做一次switchover即可完成数据库的快速迁移，后续再进行修改IP...

Oracle RAC 10.2.0.5升级到11.2.0.4遇到的问题

2017年02月05日 13 阅读

最近有这个需求所以提前在家里的测试环境做了相关的测试，将Oracle RAC 10.2.0.5 for Linux升级到Oracle RAC 11.2.0.4，不对物理结构做任何变更，直接升级RAC。升级的过程大致分为如下几步：1）.升级Grid Infrastructure（Clusterware）。 <<<<如下图所示，直接用Grid Infrastructure11.2.0.4版本的安装介质升级。2）.升级ASM。 <...