如何利用Oracle外部表导入文本文件的数据

2017年02月05日 14 阅读

同事最近在忙数据一致性比对工作，需要对不同文本文件中的数据进行比对，有的文件较大，记录较多，如果用普通的文本编辑器打开的话，很显然，会很卡，甚至打不开。基于此，可将该文本文件的数据导入到数据库中，在集合的层面进行比对。那么如何将文本文件的数据导入到数据库中呢？在这里，主要利用了Oracle的外部表特性。Oracle外部表支持两种类型的驱动：一种是ORACLE_LOADER，外部表的数据必须来源于文件文件，另一种则是ORACLE_DATAPUMP，外部表的数...

使用Yii2实现读写分离（MySQL主从数据库）

2017年02月05日 14 阅读

读写分离（Read/Write Splitting）。1.原理：让主数据库（master）处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库（slave）处理SELECT查询操作。2.好处：备份数据库，分担数据库压力，承受更大的访问量。yii实现读写分离非常简单，只需要在配置文件中写几个配置参数即可实现。1.配置db.php文件2.创建两个数据库为了演示ip都指向本地的MySQL数据库，但是数据库名称不同，同时在数据库分别插入...

RBAC 基于角色的权限管理的简单实现

2017年02月05日 15 阅读

1、什么是权限管理，权限管理就是对后台功能的细分，和对不同工作人员划分不同的工作的管理RBAC是如何实现的，通过对不同控制器和控制器不同方法的限制，实现的管理。要实现RBAC需要三张表，一张用户表，一张角色表 ，一张权限表用户表：id****** role_id角色表role_id ****** access_ids（记录所有可以访问的权限id）权限表access_id 记录所有控制器 或者控制器下的 action2、如何控制，在控制器的父类 或者控制器的...

Zabbix监控之Redis自动发现并监控

2017年02月05日 14 阅读

系统版本CentOS5.10Python版本2.4.31、python支持yum -y install python-simplejson2、discovery脚本[root@localhost etc]# cat redis_port.py#！/usr/bin/env python import os #import json import simplejson as json #特别要注意的地方 t=os.popen（"""sudo netstat -...

Oracle 11g维护分区（二）——Coalescing Partitions

2017年02月05日 14 阅读

融合分区融合分区是减少哈希分区表或索引的分区数量的一种方法，也可以用来减少复合哈希分区表的子分区数量。当一个哈希分区被融合时，它的内容会根据哈希函数重新分配到一个或多个其他分区。被融合的分区是由数据库来选定的，在其内容完成重新分布后会被删除。如果你在引用分区表定义的基表中进行融合分区操作，那么引用分区表会自动继承新的分区定义。索引可能被标识为UNUSABLE，如下表所述：表类型索引操作普通表（堆表）除非你在ALTER TABLE语句中指定UPDATE IN...

使用YCSB测试MongoDB的微分片性能

2017年02月05日 13 阅读

MongoDB的库级锁MongoDB是目前最流行的NoSQL数据库，以其自然的文档型数据结构，灵活的数据模式以及简单易用的水平扩展能力而获得了很多开发人员的青睐。 但是金无足赤人无完人，MongoDB不是没有它的一些弱点，比如说它的库级锁就是人们经常抱怨的一个性能瓶颈。简单来说MongoDB的库级锁就是针对某一个数据库的所有写操作，必须在获得这个数据库仅有的一个互斥锁情况下才能进行。这个听上去很糟糕，但实际上由于一个写操作只是针对于内存数据更新的那一刹那保...

MongoDB在Linux下常用优化设置

2017年02月05日 17 阅读

以下是一些MongoDB推荐的常用优化设置。在生产环境下选取合适的参数值，例如预读值和默认文件描述符数目等，会对系统性能有很大的影响。** 关闭数据库文件的 atime禁止系统对文件的访问时间更新会有效提高文件读取的性能。这个可以通过在 /etc/fstab 文件中增加 noatime 参数来实现。例如:/dev/xvdb /data ext4 noatime 0 0修改完文件后重新 mount就可以:＃ mount -o remount /data** ...

Oracle数据库物理文件备份/恢复

2017年02月05日 15 阅读

之前也写过一篇类似的，虽然恢复Oracle数据库物理文件不成问题，但总感觉有不对的地方，后面才了解到，以前自己有存在误区的地方，重新用此文方法简便得多。环境：CentOS release 5.6 （Final） Oracle Database Release 11.2.0.1.01、解压压缩好的数据库文件到相应目录[root@OATest oabak]# tar -jxvf testoa_20140702.tar.bz22、还原文件 [root@OAT...

管理REDO LOG记录

2017年02月05日 14 阅读

Redo Log概念规划Redo Log创建Redo Log组和成员重新分配、命名Redo Log成员删除Redo Log组和成员强制切换日志验证Redo Log文件块清理Redo Log 文件Redo Log字典视图Redo Log 概念Redo Threadsredo log相对于每一个数据库实例都有一个redo线程。典型配置中，仅一个数据库实例访问数据库，所以仅出现一个redo 线程。但在RAC环境中，两个或更多的实例并行访问一个数据库，每一个实例都...

安装Oracle数据库时的报错处理[INS-35172]

2017年02月05日 16 阅读

通过桌面安装Oracle在分配SGA的时候报如下错误：[INS-35172] Target database memory （XXMB） exceeds the systems available shared memory （{0}MB）一开始一直以为是系统参数分配不足导致的，检查/etc/sysctl.conf中的如下参数kernel.shmall = 2097152 # 共享内存页数 shmmax/4096kernel.shmmax...

Oracle TDE 透明数据加密技术

2017年02月05日 14 阅读

从ORALE 10GR2开始出现透明数据加密技术（Transparent Data Encryption，TDE）。TDE用来对数据加密，通常 SQL 执行的应用程序逻辑不需要进行更改，仍能正常运行。 换言之，应用程序可以使用同一语法将数据插入到应用程序表中，并且 Oracle 数据库在将信息写入磁盘之前将自动对数据进行加密。 随后的选择操作将透明地解密数据，因此应用程序将继续正常地运行。 这一点很重要，因为当前的应用程序通常期望未加密的应用程序数据。 显...

Oracle通过视图和告警日志检查主库，物理和快照备库

2017年02月05日 14 阅读

Oracle通过视图和告警日志检查主库，物理和快照备库主库动作主库信息备库信息是否启用redo线程alert logv$threadalert log展示数据库角色，保护模式，保护级别，切换状态，快速启用，失效转换信息v$databasev$database增删redo日志文件组alert logv$logv$logfile的status字段alert log控制文件的创建alert logalert log表空间状态的改变v$recover_filedb...

恢复数据库遇到ORA-0600故障

2017年02月05日 14 阅读

Errors in file /u01/admin/UIDB/udump/uidb_ora_59394.trc: ORA-00600: internal error code, arguments: [krbrrd_bz2_ksfqrd_noblks], [/u01/test/db_0_UIDB_dlq7rlus_1_1], [576000], [], [], [], [], [] Full restore complete of datafile 33 ...

Oracle background processes后台进程

2017年02月05日 16 阅读

Oracle进程类型：对于数据库的进程，数据库实例包含或与之交互。按照使用对象分为客户端进程（client）ORACLE进程，ORACLE进程有分为后台进程（background）、服务进程（server）和从进程（slave）。server进程执行基于client进程的请求。例如：server进程解析SQL查询，将这些查询语句存放于shared pool中，对每个查询创建并执行查询计划。并且从buffer cache或磁盘中读取数据。进程结构依赖于操作系...

Oracle客户端Dedicated和Shared连接模式

2017年02月05日 14 阅读

Dedicated（专用模式）用户进程和服务器进程是分开的。每个用户进程都有自己的服务器进程。用户进程和服务器进程可在不同的机器上运行，以利用分布式处理的优势。用户进程和服务器进程的比率是1 比1。即使用户进程不发出数据库请求，专用服务器也存在，只是保持空闲状态。此处所用的程序接口取决于用户进程和专用服务器进程是否在同一台机器上。如果在同一机器上，进程间的程序接口将使用主机操作系统的交互进程通信（IPC） 机制。下图展示了Oracle专用服务模式下的客户进...

MySQL函数：group_concat（）函数

2017年02月05日 14 阅读

GROUP_CONCAT（expr）该函数将非空列值按照分组条件进行合并并最终返回。如果有空值，则返回为空，其完整语法如下：GROUP_CONCAT（[DISTINCT] expr [,expr ...] [ORDER BY {unsigned_integer | col_name | expr} [ASC | DESC] [,col_name ...]] [SEPARATOR str_val]）举例 列1：SELECT ...

Oracle故障分析ORA-01089

2017年02月05日 15 阅读

今天对测试库发出shutdown immediate命令后观察日志发现如下内容：Tue May 12 09:52:45 2015SHUTDOWN: Active processes prevent shutdown operationshutdown被活动的进程阻止了，Ctrl+C无法中断当前回话，退出重连服务器，打开新的会话：[Oracle@021Y-SH-BKAP ~]$ sqlplus / as sysdba SQL*Plus: Release 11...

Oracle数据库关于命中率的查询语句总结

2017年02月05日 14 阅读

1） Library Cache的命中率公式：Library Cache Hit Ratio=SUM（PINHITS）/SUM（PINS）SELECT SUM（PINHITS）/SUM（PINS） FROM V$LIBRARYCACHE;命中率不能低于99%，否则需要考虑是否受共享池大小，绑定变量，cursor_sharing等因素的影响。SELECT NAME,VALUE FROM V$PARAMETER WHERE NAME="cursor_shari...

Oracle归档日志满导致数据库性能异常慢

2017年02月05日 14 阅读

遇到Oracle归档日志满导致数据库性能异常慢这个问题的时候，我没有查看告警日志，一直以为是数据库的锁阻塞影响了性能。知道查看日志才发现时归档日志已满。才导致这种问题的产生：Errors in file /DBBK/oracle/diag/rdbms/orcl/orcl/trace/orcl_arc0_28918.trc: ORA-19809: limit exceeded for recovery files ORA-19804: cannot re...

通过DBMS_STAT函数关闭执行任务

2017年02月05日 15 阅读

过以下语句查看到发生物理读较大的SQL语句select executions, disk_reads, buffer_gets, round（（buffer_gets - disk_reads） / buffer_gets, 2） Hit_radio, round（disk_reads / executions, 2） reads_per_run, sql_text, sql_id, last_load_time From v...