MySQL查询表重复数据的SQL

2016年10月15日 7 阅读

MySQL查询表中重复数据，比如现在需要查询出表中条码重复的记录，SQL如下：SELECT GUIDE_BARCODE FROM checker_barcodeGROUP BY GUIDE_BARCODE HAVING COUNT（GUIDE_BARCODE） >1现在查询重复的数据的sql是出来了，但是一般写sql可能都会像我这样写出来：SELECT GUIDE_BARCODE FROM checker_barcodewhere COUNT（GUI...

Redis的日志系统

2016年10月15日 6 阅读

今天中间件接口响应时间很长，经过大致排查,发现是访问Redis慢，并且Redis的cpu确实已经飙到了98%左右，现在需要定位问题.先打开redis的slowlog。什么是 SLOWLOGSlow log 是 Redis 用来记录查询执行时间的日志系统。查询执行时间指的是不包括像客户端响应（talking）、发送回复等 IO 操作，而单单是执行一个查询命令所耗费的时间。另外，slow log 保存在内存里面，读写速度非常快，因此你可以放心地使用它，不必担心...

当主键碰到NULL

2016年10月15日 6 阅读

主键和Null看似没有多大的关系，因为一般的主键设置都是not null,但是把两者结合起来，会有很多意想不到的情况，说是意想不到是因为结果不在预期范围，但是如果明白了基本的原理，整个过程又在情理之中。我们先来演示一下问题。首先创建一个表，创建唯一性索引。SQL> conn n1/n1Connected.SQL> SQL> select*from cat;no rows selectedSQL> create table test（...

记DG备库CPU消耗达到瓶颈的修复

2016年10月15日 6 阅读

问题描述：DG standby 不定时CPU消耗达到瓶颈，重启数据库后问题解除吗，由于备库未对外提供任何服务，理论上不应该出现该问题解决步骤：在CPU消耗达到瓶颈时查看等待事件SELECT Sid, Event, P1text, P1, P2text, P2, P3text, P3FROM V$session_WaitWHERE Event NOT LIKE "%SQL%"AND Event NOT LIKE "%rdbms%"AND Event NOT ...

Linux 非图形界面安装Oracle数据库

2016年10月15日 6 阅读

注释：一个未开图形界面的Linux OS，如何安装Oracle软件及数据库，如下是2大步骤克隆软件手动建库一、克隆软件1、基本配置1.1）系统软件包安装yum -y install binutils compat-libstdc++-33 compat-libstdc++-33.i686 elfutils-libelf elfutils-libelf-devel gcc gcc-c++ glibc glibc.i686 glibc-common glibc...

在MySQL的InnoDB存储引擎中count（*）函数的优化

2016年10月15日 6 阅读

写这篇文章之前已经看过了很多数据库方面的优化内容，大部分都是加索引、使用事务、要什么select什么等等。然而，只是停留在阅读的层面上，很少有实践，因为没有遇到真实的项目，一切都是纸上谈兵。实践是检验真理的唯一标准，于是就想在数据库上测试一些性能优化的方案，比如索引之类的，但是不想使用假的数据，于是就想着能不能抓取网上的一些数据来作分析，后来自己通过PHP抓取了一些数据（这个博文即将补上），抓了大约110W的用户数据之后，当然需要统计一下具体的数量，于是我...

MySQL中VARCHAR和CHAR格式数据的区别

2016年10月15日 6 阅读

区别CHAR与VARCHAR类型类似，但它们保存和检索的方式不同。CHAR有固定的长度，而VARCHAR属于可变长的字符类型。它们最大长度和是否尾部空格被保留等方面也不同。在存储和检索过程中不进行大小写转换。下面的表格显示了将各种字符串值保存到CHAR（4）和VARCHAR（4）列后的结果，说明了CHAR和VARCHAR之间的差别：值CHAR（4）存储需求VARCHAR（4）存储需求""" "4个字节""1个字节"ab""ab "4个字节"ab"3个字节"...

分析MySQL 5.6的Dockerfile

2016年10月15日 6 阅读

Docker官方的Mysql镜像的Dockerfile托管在Github上，地址如下：https://github.com/docker-library/mysql/tree/5836bc9af9deb67b68c32bebad09a0f7513da36e/5.6仔细研究了一下其Dockerfile，发现最有技术含量的倒不是其Dockerfile本身，无非是更新软件仓库，下载Mysql Server，稍微修改一下其配置文件。倒是ENTRYPOINT对应的d...

Oracle归档日志删除

2016年10月15日 6 阅读

我们都都知道在controlfile中记录着每一个archivelog的相关信息，当然们在OS下把这些物理文件delete掉后，在我们的controlfile中仍然记录着这些archivelog的信息，在Oracle的OEM管理器中有可视化的日志展现出，当我们手工清除archive目录下的文件后，这些记录并没有被我们从controlfile中清除掉，也就是oracle并不知道这些文件已经不存在了！这时候我们要做手工的清除的话，下面我经过实验，可以尝试这种方...

Oracle 还原库

2016年10月15日 6 阅读

数据库一般有两种常见故障介质损坏人为失误防止介质损坏一般使用Data Guard等技术防止人为失误,可以使用Oracle闪回功能.但是人为失误一旦不能通过闪回恢复,就需要使用Rman恢复了。使用Rman恢复,想想那个恢复速度和自己窘迫的样子还有里三层外三层的老板,领导,同事..为了避免这个情况,可以使用另外一台服务器,做一个Oracle的还原库.主库每隔一段时间,将归档日志推送至还原库的指定目录（scp,rsync,我们使用的是小花狸监控软件）还原库每隔一...

从Java的类型转换看MySQL和Oracle中的隐式转换

2016年10月15日 6 阅读

说起数据类型转换，在开发中如此，在数据库中也是如此，之前简单对比过MySQL和Oracle的数据类型转换情况，可以参见MySQL和Oracle中的隐式转换 http://www.linuxidc.com/Linux/2015-09/122658.htm不过当时写完之后，有个读者随口问了一句为什么，为什么呢？似乎自己还是一知半解，说是规则，无规矩不成方圆，倒也无可非议，不过我觉得还是要再看看，看看还能有哪些收获，接下来的内容我就不能保证正确性了，希望大家明辨...

MySQL服务器时间同步问题处理

2016年10月15日 6 阅读

1，调整数据库服务器时间因为应用app摇一摇活动发现过时15分钟，还可以继续摇一摇，问题根源在于数据库服务器时间比应用服务器时间蛮了18分钟，而app取得是数据库的now（），所以才导致的。2个解决办法，1是修改程序代码，不通过数据库now（）去取而是通过应用服务器取；2是直接修改数据库的时间。经过权衡之后采纳第二种方案。1.1，通过date -s修改时间修改linux服务器时间date -s 2015-08-03修改时间：date -s 10:18:00...

MySQL日期字符串转换成NULL值的异常处理

2016年10月15日 6 阅读

1，YYYYmmdd格式日期转换为null看如下记录，一个能取到值，一个取不到值** mysql> SELECT DATE_FORMAT（STR_TO_DATE（‘20150922 13:01:01’, ‘%Y%m%d %H:%m:%s’）,’%H:%m’）; +————————&md...

MongoDB 聚合报错

2016年10月15日 6 阅读

聚合框架它是数据聚合的一个新框架，其概念类似于数据处理的管道。 每个文档通过一个由多个节点组成的管道，每个节点有自己特殊的功能（分组、过滤等），文档经过管道处理后，最后输出相应的结果。管道基本的功能有两个：一是对文档进行“过滤”，也就是筛选出符合条件的文档;二是对文档进行“变换”，也就是改变文档的输出形式。errmsg:Exceeded memory limit for $group,but didn"t a...

如果使用得当，MySQL也可以化身NoSQL

2016年10月15日 6 阅读

【编者按】随着互联网和移动互联网的发展，各个机构都需要支撑远超过以往的数据。而在这个需求的刺激下，IT领域出现了大量数据处理技术，其中之一就是 NoSQL。灵活的数据类型，高效的处理能力，让NoSQL已占据数据管理系统的一席之地，比如人气NoSQL数据库MongoDB。然而在Wix工程实践中，他们发现，大量场景中其实并不需要NoSQL，反而成熟的RDBMS更具效益，比如MySQL。下面一起看Wix工程主管AviranMordo的分享，由 OneAPM工程 ...

Linux下实现MySQL数据库每天自动备份定时备份

2016年10月15日 6 阅读

概述备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。而对于一些网站、系统来说，数据库就是一切，所以做好数据库的备份是至关重要的！备份是什么？为什么要备份容灾方案建设存储介质光盘 磁带 硬盘 磁盘阵列 DAS：直接附加存储 NAS：网络附加存储 SAN：存储区域网络 云存储这里主要以本地磁盘为存储介质讲一下计划任务的添加使用，基本的备份脚本，其它存储介质只是介质的访问...

MySQL备份工具mydumper备份

2016年10月15日 6 阅读

MySQL备份工具mydumper备份#！/usr/bin/phthon import os import time import commands import shutil import threading from os.path import join, getsize import MySQLdb as mydb # 备份目录baseDir = "/data2/backup/backup_data/" # ns 或 wx; 备份后是否要...

Oracle 在重要的表上限制某些IP、用户的恶意操作

2016年10月15日 6 阅读

1，问题描述Oracle默认账号是没有限制ip的，这样的隐患就在于，如果我知道了oracle账号用户名密码，我只要能连接到db，就可以对db进行操作，这样对于线上的db来说是很危险的，因为有些非dba人员，比如开发人员、测试人员一不小心误删除了线上的数据，就惨了，坑太大不敢看。所以查了查，找到一种办法，在一些重要的表上加触发器来限制用户对线上db的表的操作。2，触发器编写如果开全局的sql审计，消耗性能太大，不太合适，想来只有在某些重要的表上做限制，初步解...

Oracle 11g用户权限管理学习笔记

2016年10月15日 6 阅读

总结工作中经常用到一些Oracle 11g用户权限管理学习笔记：1、查看数据库里所有用户各自拥有的角色：select * from （select distinct connect_by_root grantee username,granted_role from dba_role_privs connect by prior granted_role =grantee ） a where exists （select 1 from dba_users ...

Oracle数据库导入导出实战

2016年10月15日 6 阅读

有一台Oracle服务器要进行导出、导入，以前接触过Oracle，可是对Oracle导出、导入没研究过，这下急坏我了，于是赶紧上网补了一下。操作结果如下：Oracle 数据导出导入第一步 创建用户的表空间和数据文件以oracle的用户的登录[oracle@oracle ~]$ ps -ef|grep pmon|grep -v greporacle 4052 1 0 Jun23 ？ 00:00:10 ora_pmon_zlzxdboracle 44...