部署MongoDB时需要注意的调参

2017年02月05日 16 阅读

部署MongoDB的生产服务器，给出如下相关建议：使用虚拟化环境；系统配置 1）推荐RAID配置RAID（Redundant Array of Independent Disk，独立磁盘冗余阵列）是一种可以让我们把多块磁盘当做单独一块磁盘来使用的技术。可使用它来提高磁盘的可靠性或者性能，或二者兼有。一组使用RAID技术的磁盘被称作RAID磁盘阵列。RAID根据性能的不同，存在着多种配置方式，通常兼顾了速度与容错性。下列是几种最常见的配置方式：RAID0使...

Python对MySQL的CRUD

2017年02月05日 15 阅读

Python对各种数据库的各种操作满大街都是，不过，我还是喜欢我这种风格的，涉及到其它操作，不过重点还是对数据库的操作。Python操作MySQL首先，我习惯将配置信息写到配置文件，这样修改时可以不用源代码，然后再写通用的函数供调用新建一个配置文件，就命名为conf.ini，可以写各种配置信息，不过都指明节点（文件格式要求还是较严格的）：[app_info]DATABASE=testUSER=appPASSWORD=123456HOST=172.17.1....

利用Python 发送MySQL 慢日志邮件

2017年02月05日 16 阅读

一 需求 因为开发针对某系统做稳定性建设，需要对数据库系统的慢日志进行审计，检查优化。和开发沟通选择定期发送慢查询到开发的邮箱的方式,每日汇总，然后一起评估 优化slow query 。二 工具实现mail.py 脚本#！/usr/bin/env python# -*- coding: utf-8 -*-# mail.pyimport os.pathimport timeimport sysimport osimport jsonimport strin...

Ubuntu下设置MySQL自启动故障解决一例

2017年02月05日 14 阅读

Ubuntu下解决MySQL自启动，执行命令：# chkconfig --listThe program "chkconfig" is currently not installed. You can install it by typing:apt-get install chkconfig发现没安装chkconfig脚本，安装它：root@www.linuxidc.com:~# apt-get install chkconfigReading pack...

Ubuntu下MySQL启动不了的解决办法

2017年02月05日 15 阅读

发现我们一台Ubuntu服务器上的MySQL数据库卡死了，有可能是死锁了吧，于是我尝试去使用命令service mysql restart，结果MySQL在stop的时候返回stop/waiting的状态，采用service mysql status查看其状态，返回的是“mysql respawn/post-start”，就这样，MySQL没法启动了，然后，就是起不来了，在网上搜索了一阵，折腾了半个多小时，一时没找到好的办法。最后没...

H2数据库函数及数据类型概述

2017年02月05日 15 阅读

一、H2数据库常用数据类型INT类型：对应java.lang.IntegerREAL类型：对应java.lang.FloatDOUBLE类型：对应java.lang.DoubleDECIMAL类型：对应java.math.BigDecimal，比如DECIMAL（20,2）CHAR类型：对应java.lang.String，比如CHAR（10）VARCHAR类型：对应java.lang.StringVARCHAR_IGNORECASE类型：对应java.l...

MongoDB 查询超时异常 SocketTimeoutException

2017年02月05日 15 阅读

在对超过百万条记录的集合进行聚合操作。DBObject match=（DBObject）JSON.parse（"{$match:{logType:{"$in":[5,9]}}}"）;DBObject group=（DBObject）JSON.parse（"{$group:{"_id":"$domainUrl","count":{"$sum":1}}}"）;AggregationOutput output = logCollection.aggregate（...

MySQL乱码的几种原因

2017年02月05日 15 阅读

MySQL之所以会乱码，无非是以下几种原因：1、存进数据库之前就乱码2、在存进数据库过程中乱码3、存进数据库后乱码想知道在哪里出现乱码很简单，在后台打印一下就知道了。既然知道问题出在哪里，那解决方法也很简单：1、jsp设置编码是utf-8，保证传到后台的是utf-8的编码2、在数据库连接上加这么一段jdbc:mysql://localhost:3306/test？useUnicode=true&characterEncoding=utf-8，保证传...

HBase完全分布式安装以及Hive远程模式（MySQL作为数据库）的安装

2017年02月05日 14 阅读

首先是HBase的完成分布式安装。这次部署的环境是Hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1，故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性。OK，下载后解压，进入conf目录，配置hbase-env.sh文件。如图。这里HBASE_CLASSPATH是指向hadoop的conf目录的，这点需要注意。下面是打开zookeeper。接下来是配置hbase-site.xml。这里的...

Oracle反转倒置函数

2017年02月05日 14 阅读

Oracle提供了一个反转倒置函数reverse，但此函数不能分组倒置，本文提供了一个即可分组倒置的函数，如下所示：CREATE OR REPLACE FUNCTION REVERSE_F（p_str VARCHAR2, p_delimiter VARCHAR2:=""） RETURN VARCHAR2 IS v_return VARCHAR2（4000）; vp_strVARCHAR2（4000） := p_str; v_idx number; vp_...

Oracle 10046事件

2017年02月05日 17 阅读

10046 事件Oracle 10046是一个Oracle内部事件。最常用的是在Session级别设置sql_trace（alter session set sql_trace=true）即是开启了级别为1的10046调试事件。当设置了10046事件之后，Oracle 将产生一个dump文件。通过得到的dump文件进行进一步分析，可以得到Oracle 内部执行系统解析、调用、等待、绑定变量等详细的trace信息，对于分析系统的性能有着举足轻重的作用。当SQ...

EXP-00091: Exporting questionable statistics 问题处理方法

2017年02月05日 16 阅读

在使用EXP工具进行导出备份或迁移数据的时候有时会报很多的“EXP-00091: Exporting questionable statistics”错误，具体的现象和处理方法请观看……1.问题现象[Oracle@RH207 exp]$ exp test/test file=test.dmf log=test.log……忽略……EXP-00091: ...

MySQL模糊查询：LIKE模式和REGEXP模式

2017年02月05日 15 阅读

MySQL模糊查询提供了两种模式：LIKE模式和REGEXP模式。LIKE模式LIKE模式是使用的LIKE 或 NOT LIKE 比较运算符进行模糊查询。SELECT 字段 FROM 表 WHERE 字段 LIKE[NOT LIKE] "条件"针对条件，有以下几种通配符：通配符含义%表示任意一个或多个字符，可匹配任意类型和长度的字符_表示任意单个字符，匹配单个任意字符ESCAPE关键字定义转义符。在模式中，当转义符置于通配符之前时，该通配符就解释为普通字符...

MongoDB 3.0新特性

2017年02月05日 15 阅读

3月3日，MongoDB3.0终于发布了。主要特点包括了对之前收购的WiredTiger存储引擎的支持，插件式存储引擎API，SCRAM-SHA-1认证机制，并改进了解释功能。此外，包含了自动化、备份和监控的MongoDB运维管理现在也可用了。下面一张图可以概括Mongodb 3.0的改进：降低运营开销高达95％多达50副本集成员的全局分销新的灵活的存储架构，包括WiredTiger存储引擎7-10倍更好地写入性能减少高达80％的存储与压缩MongoDB ...

MongoDB学习笔记（1）—在Windows系统中安装MongoDB

2017年02月05日 15 阅读

概述本文主要介绍在Windows系统安装MongoDB的方法。MongoDB官方网址：http://www.mongodb.org/，最新版本为2.6.7。注意：从2.2版本开始，MongoDB并不支持Windows XP。请使用最新版本的windows来使用最新版本的MongoDB。如果您正在运行任何版本的Windows Server 2008 R2或Windows 7，请安装热修复补丁来解决一个在Windows上使用内存映射文件问题。补丁下载地址：官方...

MongoDB学习笔记（2）—Node.js与MongoDB的基本连接示例

2017年02月05日 16 阅读

前提已经安装了node.js和MongoDB，本文使用的node.js是v0.12.0，MongoDB是3.0.0。MongoDB学习笔记（1）—在Windows系统中安装MongoDB http://www.linuxidc.com/Linux/2015-03/114582.htm如何在CentOS 7安装Node.js http://www.linuxidc.com/Linux/2015-02/113554.htmUbuntu 14.04下...

使用HugePages优化内存性能

2017年02月05日 16 阅读

1.引子系统进程是通过虚拟地址访问内存，但是CPU必须把它转换程物理内存地址才能真正访问内存。为了提高这个转换效率，CPU会缓存最近的虚拟内存地址和物理内存地址的映射关系，并保存在一个由CPU维护的映射表中。为了尽量提高内存的访问速度，需要在映射表中保存尽量多的映射关系。而在Linux中，内存都是以页的形式划分的，默认情况下每页是4K，这就意味着如果物理内存很大，则映射表的条目将会非常多，会影响CPU的检索效率。因为内存大小是固定的，为了减少映射表的条目，...

Oracle 10g中约束与列属性NULLABLE的关系

2017年02月05日 15 阅读

结论：columname type not null与check （columnname is not null）的结果是不一样的因此：1、不需要手工去匹配NULLABLE属性,当所有显式导致NULLABLE由Y变N的约束被删除后，NULLABLE自然会恢复为Y。2、尽量不要使用CHECK来实现NOT NULL，可以使用MODIFY或直接在字段后声明drop table zwxtest04;create table zwxtest04（id integer...

Oracle 10g中unique与index的问题

2017年02月05日 15 阅读

Oracle 10g中unique与index的问题create table test（ x integer, y integer, z integer）;alter table test add constraint primary key （x）; --产生一个约束,并产生一个同名索引create unique index index01 on test（x,y）;--create unique index index02 on test（x,y）; ...

MySQL如何跟踪sql语句

2017年02月05日 16 阅读

在项目开发中，难免会遇到在数据库服务器端跟踪sql执行语句的需求，通过跟踪sql执行语句，我们可以确定当上层应用在执行sql语句时，数据库端是否执行了sql语句，执行的sql语句是否有错误等等。总之，在数据库端跟踪sql执行语句极大的便利了数据库逻辑代码编写中的错误排查。我们都知道在SQL SERVER下跟踪sql采用事件探查器，那么在MySQL下如何跟踪执行的sql语句了？通过一番google、baidu,找到了一个简单但是不是终极的解决方法。解决办法1...