Oracle PipeLined方式究竟能提升多少性能

2017年02月05日 24 阅读

最近在使用到了Oracle的表函数，尤其是实现嵌套表的数据按表结构进行返回，发现PIPELINED方式，确实能让性能有非常高的提升。Oracle PipeLined：看了相关的文章，大致是将数据进行按流水线方式进行处理，执行无等待，而不是那种传统的将本次数据全处理完了，再送往下一个处理环节。最近找了个时间，特意进行了一下测试。结论：1 表函数以嵌套表返回时，是非常耗时与耗内存的；2 PIPELINED方式，能让数据无等待，效率非常高，尤其是应用在Oracl...

MySQL主从库认识

2017年02月05日 24 阅读

如下图所示，整个数据层有Group1，Group2，Group3三个集群组成，这三个集群就是数据水平切分的结果，当然这三个集群也就组成了一个包含完整数据的DB。每一个Group包括1个Master（当然Master也可以是多个）和 N个Slave，这些Master和Slave的数据是一致的。比如Group1中的一个slave发生了宕机现象，那么还有两个slave是可以用的，这样的模型总是不会造成某部分数据不能访问的问题，除非整个 Group里的机器全部宕掉...

在SHELL中执行MySQL语句

2017年02月05日 25 阅读

使用shell脚本做日志分析，为了将分析后的结果直接存储到mysql数据库中需要在shell脚本中执行mysql的语句。方法一将每一步需要执行的语句保存到 tmp.sql 中，最后在使用mysql -u uname -p pwd < tmp.sql方式执行方法二使用参数传递执行mysql -u$user -p$pass -D $db -e “select afield from atable;”例: 对test.dat中的每一...

每日分析日志文件并将结果入库到MySQL的实现过程讲解

2017年02月05日 21 阅读

互联网公司每天都要统计日志文件，从中挖掘出想要的信息，比如一个软件的安装量、活跃度等。这些信息都需要入库，并进行展示。下面，对这个实现过程进行讲解。具体的过程可分为以下几个步骤：（1）awk统计日志文件，并将统计结果拼接成sql语句；（2）写shell脚本，将这些sql语句入库；（3）将shell脚本加入linux中的计划任务中，让其每天凌晨定时执行，从而实现每天自动分析日志并入库；下面分步骤进行讲解。一. awk统计日志文件，并拼接成sql语句awk是对...

MySQL快速插入以及批量更新

2017年02月05日 26 阅读

插入：MySql提供了可以一次插入多条数据的用法：INSERT INTO tbl_name （a,b,c） VALUES（1,2,3）,（4,5,6）,（7,8,9）,（10,11,12）...;在程序中可以通过循环，添加Values对应的列表，最后使用一次executeUpdate完成插入操作。但是Mysql语句并不是越长越好，MYsql语句长度有限制，可以查看mysql的配置文件my.in中max_allowed_packet属性，并进行相应设置。更新...

MySQL快速插入/更新大量记录

2017年02月05日 26 阅读

最近的项目中需要将几个dump文件（文本格式、1~2G）的记录导入到mysql数据库中，由于数据量比较大（几百万、上千万条记录），有插入记录，也有更新记录的，导致插入更新速度比较慢。一开始，将单条sql语句交给mysql执行，测试下来，最快一次也要一个半小时。于是想办法改进之。（1）针对插入记录，使用sql语句一次插入多条记录。实例：INSERT INTO tbl_name （a,b,c） VALUES（1,2,3）,（4,5,6）,（7,8,9）;具体参...

Oracle 10g 数据库类型

2017年02月05日 24 阅读

在通过DBCA来创建Oracle数据库或删除已有数据库的时候。下面来主要说明创建数据库。在创建数据库的时候，一般会给你提供三种数据库模板（就是数据库类型）：一般用途：General Database事物处理：Transaction Processing数据仓库：Data Warehouse定制数据库：Custom Database下面就Ceneral Database， Transaction Processing，Data WareHouse，即一般用途...

MongoDB官方提供了更方便的Ubuntu下安装方法

2017年02月05日 23 阅读

我的系统是Ubuntu 12.10首先添加key:apt-key adv --keyserver keyserver.ubuntu.com --recv 7F0CEB10一上来就出错：Executing: gpg --ignore-time-conflict --no-options --no-default-keyring --secret-keyring /tmp/tmp.PJ6JkuPTDR --trustdb-name /etc/apt//trus...

Oracle standby库的ORA-01274问题

2017年02月05日 23 阅读

在standby数据库中，初始化参数STANDBY_FILE_MANAGEMENT设置为MANUAL环境中，当主库新建一个数据文件时，它MRP进程中止，后台介质恢复工作失败。这是因为standby数据库不能自动创建新文件，参数配置决定了。在alert.log中，日志信息如下：Thu Apr 11 16:44:37 2013Primary database is in MAXIMUM PERFORMANCE modeRFS[4]: Successfully ...

Oracle出现ORA-00257错误解决方法

2017年02月05日 24 阅读

rchive log 日志已满ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法1. 用sys用户登录sqlplus sys/pass@tt as sysdba2. 看看archiv log所在位置SQL> show parameter log_archive_dest;NAME TYPE VALUE-------------...

Oracle spfile在线修改时损坏的经验分享

2017年02月05日 26 阅读

前些天，刚接触Oracle，知道数据库一定要运行在归档模式下：好手多把它改为归档模式了：先查询SQL> select name,log_mode from v$database;NAME LOG_MODE--------- ------------IPTVBMSARCHIVELOGSQL> archive log listDatabase log mode Archive Mode--表示已经改为归档了Automatic arc...

重现Oracle数据库Hang住的情况

2017年02月05日 23 阅读

What is the Oracle Diagnostic Methodology （ODM）？ [ID 312789.1]ODM TEST:查询语句：select to_number（addr,"xxxxxxxxxxxxxxxx"） from v$latch_parent where name="process allocation";select name from v$latch_parent where name like "%library%";...

MySQL 5.6 关于登陆的初始化设置

2017年02月05日 23 阅读

最近研究一下MySQL 5.6 版本发现安装后，使用空密码无法登陆安装的过程中有这样的一句话：A RANDOM PASSWORD HAS BEEN SET FOR THE MySQL root USER ！You will find that password in "/root/.mysql_secret".You must change that password on your first connect,no other statement but...

MySQL &amp; Entity Framework Code First 数据表大小写的问题

2017年02月05日 23 阅读

以前都是使用Linux平台下的MySQL，现在为了调试方便，在开发机上安装了MySQL的Windows版本5.6.10，在使用Entity Framework Code First生成数据库对象时，发现所有的数据表的表名都变成了小写字符，而字段的名称是混合大小写的，这个问题在Linux平台上没有出现过，于是着手弄明白这是肿么一回事。经过网上搜索，找到这篇文章：Entity Framework with mysql, Table Capitalization...

CentOS 6.3/6.4 Minimal 源码安装 MySQL 5.6.10

2017年02月05日 26 阅读

MySQL 5.6正式版发布了，相对于5.5版本作出了不少改进，其源码安装配置方式也有所变化，本文根据实际操作，不断尝试，精确还原了安装的具体步骤。环境：CentOS 6.3/6.4 最小化缺省安装，配置好网卡。安装MySQL前，确认Internet连接正常，以便下载安装文件。先使用 yum -y update 指令升级系统到最新版本。本安装将MySQL的数据文件与执行文件分离，如果你打算设置到不同的路径，注意修改对应的执行命令和数据库初始化脚本。＃ 修改...

MySQL 自增列插入0值的方法

2017年02月05日 27 阅读

在将数据库从MSSQL迁移到MySQL的过程中，基于业务逻辑的要求，需要在MySQL的自增列插入0值。在MSSQL中是这样完成的：string sql;sql = " set identity_insert dbo.AppUsers on " + " insert dbo.AppUsers （Id, IsLocked, IsMustChangeLocalPassword, IsAvailable, Name, Sequence, CreatedBy, Cr...

使用MySQL的镜像功能进行数据同步

2017年02月05日 23 阅读

数据库版本：5.1.24。4.x版本的数据库请自己去找相应文档。英文版文档的原文地址：http://dev.mysql.com/doc/refman/5.1/en/replication-howto.html1 在主服务器（master）正常运行的情况下，创建一个专门用来同步数据的用户。CREATE USER ‘用户名’@"从服务器IP’ IDENTIFIED BY ‘密码’;GRANT REPL...

MySQL::Sandbox

2017年02月05日 24 阅读

MySQL::Sandbox这东西用起来还真简单……可以快速地安装一个或者一组mysql服务端程序。安装的时候使用root用户，只需要一条命令就搞定：# cpan MySQL::Sandbox日常使用的时候，就不需要root权限了。以用户modify为例：1） 建立一个存放mysql源程序的仓库，并设置环境变量。[modify@H209 ~]$ mkdir /home/modify/mysql#这行指令应该要添加到 /home/...

MySQL 5.6主从复制第一部分[简介及配置]

2017年02月05日 26 阅读

很久之前写过《MySQL 5.1的主从配置》http://www.linuxidc.com/Linux/2013-04/82710.htm，如今MySQL已经发布了5.6.10，在主从复制功能上做了很多优化，特别是GTID（Global Transaction ID）的引入，值得再重新写一篇文章介绍如何配置MySQL 5.6.10的主从复制。相关阅读：MySQL 5.6主从复制第一部分[简介及配置] http://www.linuxidc.com/Linu...

MySQL 5.6主从复制第二部分[恢复某一台从服务器]

2017年02月05日 22 阅读

本来第二部分是想测试主服务器挂掉，提升从服务器的情况，可是出了点点意外，改为测试某一台从服务器挂掉的时候，如何恢复。主服务器挂掉的情况放到第三部分吧。继续用mysql::sandbox来测试。http://www.linuxidc.com/Linux/2013-04/82711.htm主服务器（别名black）（server-id:1）安装在 /home/modify/sandboxes/msb_5_6_10/ 使用5610端口。从服务器（别名blue）（...