MongoDB里的集合数据迁移到MySQL库

2016年10月15日 6 阅读

1，在mongodb上导出数据，写个脚步expmongo.sh，shell脚本如下#！/bin/shdatestr=`date "+%Y-%m-%d"`/usr/local/mongodb/mongodb-linux-x86_64-2.4.4/bin/mongoexport -im_user -pxxxeedd -d im -c message -f txnType,issNo,sn,merchantorder,paymentType,paymentTim...

Oracle 11g系统级别触发器来跟踪监控drop误操作

2016年10月15日 6 阅读

前言： db中有一张表的数据老是紊乱，猜猜是经历过drop、create的数据同步操作，但是现在谁也不知道在哪里操作的，所以准备做一个触发器去记录下是哪个应用服务器那个db账号操作的。3，系统级别触发器3.1 触发事件包括各种DDL操作以及各种数据库事件，ddl包括create、alter、drop、rename、grant、revoke、audit、noaudit、commit、truncate、analyze、associate statistics、...

MongoDB 3.2版WiredTiger存储引擎性能测试

2016年10月15日 6 阅读

MongoDB 3.2于最近发布了，它使用WiredTiger作为其默认的存储引擎。这五年来，MongoDB从诞生到流行，发展可谓是相当迅猛。MongoDB 3.0就开始支持“可插拔的存储引擎”功能，因此在3.2版使用WiredTiger也在情理之中。WiredTiger引擎基于B-Tree算法，B-tree即多路搜索树，非二叉树，是一种常见的数据结构，使用B-tree结构可以显著减少定位记录时所经历的中间过程，从而加快存取速度。B...

Hazelcast与MongoDB集成

2016年10月15日 6 阅读

一、Hazelcast与MongoDBHazelcast的分布式数据结构和计算性能使得它可以作为应用程序后端的“MongoDB”。MongoDB是一个开源的、面向文档的数据库，其扩展性和灵活性都非常好。MongoDB不是把数据存入（关系数据库的）表和行，而类似于JSON文档的方式和是以动态模式进行存储。简而言之，MongoDB是一种NoSQL数据存储，主要涉及数据的存储和持久化以及无模式数据的检索。Hazelcast是一个开源的、分...

Redis数据类型简介

2016年10月15日 6 阅读

Redis支持五种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset（sorted set：有序集合）。String（字符串）string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。string类型是Redis最基本的数据类型，一个键最大能存...

在64位Windows Server 2012 R2中安装Oracle 10g第二版（10.2.0.4.0）

2016年10月15日 6 阅读

1.操作系统版本用于安装数据库的操作系统镜像文件名为：cn_windows_server_2012_r2_vl_with_update_x64_dvd_6052729.iso安装DataCenter（带GUI）版本2.数据库版本安装的数据库文件名为：10204_vista_w2k8_x64_production_db.zip（710,440,513 字节）3.数据库安装文件准备使用迅雷下载以下链接http://download.Oracle.com/otn...

Redis 性能测试

2016年10月15日 6 阅读

Redis 性能测试是通过同时执行多个命令实现的。Redis性能测试主要是通过src文件夹下的redis-benchmark来实现（Linux系统下）语法redis 性能测试的基本命令如下：redis-benchmark [option] [option value]实例以下实例同时执行 10000 个请求来检测性能：redis-benchmark -n 100000PING_INLINE: 141043.72 requests per secondPIN...

SQL Server几种数据迁移/导出导入的实践

2016年10月15日 6 阅读

SQL Server提供了多种数据导出导入的工具和方法，在此，分享我实践的经验（只涉及数据库与Excel、数据库与文本文件、数据库与数据库之间的导出导入）。（一）数据库与Excel方法1：使用数据库客户端（SSMS）的界面工具。右键选择要导出数据的数据库，选择“任务”——“导出数据”，下图1，按照向导一步一步操作即可。而导入则相反，导入时，SQLServer会默认创建一张新表，字段名也...

BCP导出导入大容量数据实践

2016年10月15日 6 阅读

前言SQL SERVER提供多种不同的数据导出导入的工具，也可以编写SQL脚本，使用存储过程，生成所需的数据文件，甚至可以生成包含SQL语句和数据的脚本文件。各有优缺点，以适用不同的需求。下面介绍大容量数据导出导入的利器——BCP实用工具。同时在后面也介绍BULK INSERT导入大容量数据，以及BCP结合BULK INSERT做数据接口的实践（在SQL2008R2上实践）。1. BCP的用法BCP 实用工具可以在 Microsof...

一次性事务和CTE插入数据的比较

2016年10月15日 6 阅读

有时要构造一些数据来做测试数据，像下面这样：IF OBJECT_ID（N"T14"） IS NOT NULLBEGIN DROP TABLE T14ENDGOCREATE TABLE T14 （t14_id INT）GODECLARE @i INT = 1WHILE @i <= 1000BEGIN INSERT INTO T14 （t14_id） SELECT @i SET @i = @i + 1ENDGOcode-1这里存在一个问题，每运行一...

SQL Server附加数据库报5123错误

2016年10月15日 6 阅读

最近家里的电脑从WIN7升级到WIN10。安装完常用软件和SQL SERVER之后，附加一些测试数据库，发现报以下错误：figure-1：使用SSMS附加数据库文件报错尝试用脚本，同时报错：figure-2：使用SQL脚本附加数据库文件报错从错误提示来看，估计是所操作的用户对文件访问的权限不足。但是无论是使用windows认证登录还是sa登录，都报同样的错。奇怪了，自己的电脑都是使用管理员权限。再去检查数据库文件的权限，发现：figure-3：数据库文件的...

SQL Server附加数据库出现错误5123的正确解决方法

2016年10月15日 6 阅读

因为自己有一本基于SQL Server 2005的数据库教程，里边使用的示例数据库是AdventureWorks for SQL Server 2005，而我的机子上装的是SQL Server 2008，示例数据库是AdventureWorks for SQL Server 2008。起初我以为示例数据库AdventureWorks for SQL Server 2005 与AdventureWorks for SQL Server 2008 数据库结构应...

Windows Server 2012 R2 Datacenter 安装 SQL Server 2016 CTP

2016年10月15日 6 阅读

SQL 2008 R2和SQL 2012还是我主要使用的数据库，SQL 2014还没用上，SQL 2016都已经来了，尽管是Community Technology Preview版本，还是下载回来体验一下吧。下载地址是：https://technet.microsoft.com/zh-cn/evalcenter，而SQL SERVER 2016的软硬件安装要求：https://msdn.microsoft.com/en-us/library/ms1435...

MongoDB 分组查询统计去掉重复的记录

2016年10月15日 6 阅读

mongodb版本号是，MongoDB shell version: 2.4.4 操作环境，shell窗口 ，如下所示：[mongo_user@mongodb_dbs ~]# mongo --port 30100MongoDB shell version: 2.4.4connecting to: 127.0.0.1:30000/testmongos> mongos> use posswitched to db posmongos> 1，先...

MongoDB使用aggregate、group、match实现mysql中的having（count（1）&gt;1）的功能

2016年10月15日 6 阅读

关系型数据库中分组去重一般都是group by … having（count（1）>1）…赛选出来重复的记录组，然后一条sql搞定，但是在mongodb里面，没有这么方便了，需要自己写脚本来实现，可以通过aggregate、group、match来操作处理。1，准备录入测试数据db.stu.insert（{cid:1,age:14,name:"gom1"}）;db.stu.insert（{cid:1,age:12,name...

MySQL监控利器-Innotop

2016年10月15日 6 阅读

Innotop是一款十分强大的MySQL监控工具，用perl所写，通过文本模式展示MysQL服务器和Innodb的运行状况。安装innotop下载地址：https://github.com/innotop/innotopGithub上提供两种版本，一种是开发版（innotop-master），一种是稳定版（innotop-gtid）。在这里，我们使用的是开发版。注意：网上提供的下载地址是http://code.google.com/p/innotop/，但...

MySQL的分页优化

2016年10月15日 6 阅读

今天下午，帮同事重写了一个MySQL SQL语句，该SQL语句涉及两张表，其中一张表是字典表（需返回一个字段），另一张表是业务表（本身就有150个字段，需全部返回），当然，字段的个数是否合理在这里不予评价。平时，返回的数据大概5w左右，系统尚能收到数据。但12月31日那天，数据量大概20w，导致SQL执行时间过长，未能在规定的时间内反馈结果，于是系统直接报错。一般的思路是用MySQL的分页功能，即直接在原SQL语句后面增加LIMIT子句。但请注意，虽然你看...

ORA-00824: cannot set sga_target due to existing 问题解决

2016年10月15日 6 阅读

今天下班到家，接到一同事电话，说是用Oracle9i的客户端连接Oracle10g后，修改某些参数后，导致Oracle10无法正常启动，小机重启了好几次都不行。远程连接之后，用Oracle用户在sqlplus下面startup时，系统提示如下：ORA-00824: cannot set sga_target due to existing internal settings, see alert log for more information看来是sga...

MySQL5.6.12 Waiting for commit lock导致从库hang住的问题剖析

2016年10月15日 6 阅读

Nagios报警，线上一台从库检测不到slave状态，于是远程上去查看问题：1，show slave statusG卡住：Type "help;" or "h" for help. Type "c" to clear the current input statement.mysql> show slave statusGshow slave status卡住了，动弹不了，这种情况还是第一次遇到。2，看w负载无压力：[root@tmp3_72 ~]#...

Oracle DataGuard的原理与基本配置

2016年10月15日 6 阅读

最近集团在做灾备方案，用于Oracle的高可用性，在不影响主库性能的前提下，我们选择使用DG的"最大性能"模式。DG是Oracle数据库自带的数据同步功能，其基本原理是将日志文件从主库传输到备库，然后在备库上应用这些日志文件，从而使备库与主库保持同步。DataGuard提供了三种日志传输（Redo Transport）方式，分别是ARCH传输、LGWR同步传输和LGWR异步传输。在上述三种日志传输方式的基础上，提供了三种数据保护模式，即最大性能（Maxim...