基于Oracle的大数据导入方案探索

2016年10月15日 8 阅读

数据导入功能在报表项目中是经常可见的，因为它是报表数据展示的基础，但对于大量数据的导入，真正从性能、效率等方面兼顾的方案却很少有。最近在南航广西数据服务平台的项目开发中，我需要设计一个能快速将40多万条数据导入Oracle数据库的方案，为了实现导入的高效，我通过在网上收集资料以及动手实践测试，得出了一些分析总结与大家分享探讨。谈到数据导入功能的实现，无可厚非应该包括两个过程，首先是数据文件的上传，其次是数据的导入。一、数据文件上传文件上传本应该是与导入无关...

Oracle 10.2.0.5 EM管理器的BUG

2016年10月15日 8 阅读

问题背景环境操作系统：SUSE linux 11 sp1数据库：Oracle 10.2.0.5问题：不能使用em管理器，但是10.2.0.1是可以用的，打了补丁就不行了。问题解决办法：此为oracle数据库在该版本的BUG，Oracle专门发布了补丁8350262来解决这一问题。此bug在1222603.1有详细描述。也就意味着以后升级到10204或10205版本，如果要使用em，补丁8350262成为了必打之补丁。oracle官方的描述如下：In Ent...

把数据库从Oracle迁移到Postgres Plus Advanced Server

2016年10月15日 9 阅读

Postgres Plus Advanced Server有两个迁移工具，一个图形界面的，一个命令行的，下面以图形界面为例。相关阅读：64位RHEL6.2上安装Postgres Plus Advanced Server 9.2 http://www.linuxidc.com/Linux/2012-12/76784.htm1首先需要在目标数据库系统Postgres Plus Advanced Server上建立和源库对应的用户和对等的权限，再建立目标数据库。...

Oracle 10g RAC 添加节点

2016年10月15日 8 阅读

目前环境是一个版本为Oracle 10.2.0.5的双节点RAC,hostname分别为racnode1,racnode2需要添加新节点racnode3。OS版本是Oracle Linux 5.7 x86_64保证RAC正常运行配置public IP,private IP,VIP,将这些信息配置到/etc/hosts文件中192.168.1.51 racnode1 192.168.1.151 racnode1-vip 172.168.1.5...

Oracle EXP-00011 导出数据时空表报错的解决

2016年10月15日 8 阅读

在Oracle exp 导出表、数据时，碰到该问题（用10g客户端到处11g表、数据时）；解决方法如下：1． 设置deferred_segment_creation的值为false此方法只对以后的表有效，之前的表没有Segment的还是没有。2． 创建表的时候声明立即创建Segmentcreate table XXX （XXX XXX） SEGMENT CREATION IMMEDIATE;3.对于已经创建但是还没有Segment的表来说，可以执行alte...

关于Oracle中in和exists的区别

2016年10月15日 8 阅读

以Oracle数据库为例1 exists的使用Exists用于只能用于子查询，可以替代in，若匹配到结果，则退出内部查询，并将条件标志为true，传回全部结果资料,in不管匹配到匹配不到都全部匹配完毕，使用exists可以将子查询结果定为常量，不影响查询效果，而且效率高。如查询所有销售部门员工的姓名，对比如下：IN is often better if the results of the subquery are very smallWhen you w...

ORA-03113: 通信通道的文件结尾（错误解决）

2016年10月15日 8 阅读

今天关闭服务器的时候出现莫名原因导致数据库无法shutdown，只好利用强制命令shutdown abort;但随便Oracle数据库无法打开了，总是报“ORA-03113: 通信通道的文件结尾”错误，分析可能由于数据库立即关闭，导致文件状态可能不一致，因为正常关闭数据库会同步校验各文件，使得重新启动的时候文件时间点一致并且不用进行崩溃恢复，不得不进行下面的恢复，建议大家以后在利用abort选项时，先在os上观察IO状况，在IO值为...

Oracle归档空间不足导致 imp 大数据假死

2016年10月15日 8 阅读

这里说的大数据只是相对来讲，试验用的数据大小为4GB...先描述下出现的状况，首先，用vmware workstation 9 新建一个虚拟机，安装CentOS 6,在Oracle官方下载了联机文档，安照官方的文档一步一步操作。（其实安装次数多了也就明白了，安装oracle无非是做好这些工作：1,必须有图 形界面。2,所需要的包要安装齐全。3,更改内核参数。4,建立用户，以及组群。5,安装目录授权）之前oracle一直没有RHEL6的安装文档，现在 有了，...

对Oracle中group语句的浅显理解

2016年10月15日 8 阅读

Oracle为我们设置了一个非常好的参考，那就是scott用户和其中的员工表。今天就从emp表入手，共同研究研究group分组的用法。SQL> select * from emp2 ;EMPNO ENAME JOB MGR HIREDATE SAL COMM DEPTNO----- ---------- --------- ----- ----------- --------- --------- ------ 7369 SMIT...

Linux操作系统中Oracle 11g数据库安装过程图文详解

2016年10月15日 9 阅读

Linux操作系统中Oracle11g数据库安装规范一：数据库安装软件（含补丁）的下载说明Oracle数据库安装软件获得途径：1、可以通过ftp的方式上传至服务器2、Oracle官方网站下载：（从11.2.0.2开始ORACLE不再提供升级patch，只提供完整的安装包）二：数据库版本规定本安装规范所针对的Oracle数据库版本为：Oracle 11.2.0.3.0三：安装环境需求1、系统硬件需求系统必须满足下列最小硬件要求内存需求系统架构要求磁盘空间需求...

ORA_ROWSCN伪列的用途

2016年10月15日 8 阅读

ora_rowscn对于每一行数据,ora_rowscn返回每一行最近被修改的大概时间.这对于判断一行数据大概是在什么时间被修改的还是有用的.因Oracle是通过事务提交对行所在数据块来进行scn的跟踪的所以说它不精确.可以通过在创建表时使用行级别的依赖跟踪来获得一个更加精确的scn.create table ... norowdependencies|rowdependencies在对视图进行查询时不能使用ora_rowscn.但对于视图的基表是可以使用...

Oracle启动实例时使用参数文件的顺序

2016年10月15日 9 阅读

Oracle先会使用spfile<sid>.ora文件作为启动参数文件如果该文件不存在就使用查找spfile.ora文件如果spfile<sid>.ora与spfile.ora文件都不存在的话就会使用init<sid>.ora文件如果上述三个文件都没有就没有办法启动oracle实例先通过spfile文件来创建pfile文件SQL> create pfile from spfile;File created.SQL&...

Oracle中Sequence使用的限制

2016年10月15日 8 阅读

在使用Oracle序列的currval和nextval时的限制创建一个序列create sequence test_seqminvalue 1maxvalue 10000000start with 1increment by 1cache 20;在delete,select,update语句的子查询中不能使用sequence的值SQL> delete from test_jy where test_id <（select test_seq.cu...

Data Gurad物理备份方式下重命名数据文件

2016年10月15日 8 阅读

重命名数据文件如果primary 数据库重命令了一个或多个数据文件，该项修改并不会自动传播到standby 数据库。如果你想让standby 和数据文件与primary 保持一致，那你也只能自己手工操作了。就算STANDBY_FILE_MANAGEMENT 也帮不上忙啦，不管它是auto 还是manual。下面通过示例做个演示：A）.将重命名的数据文件所在表空间offline --primary 数据库操作SQL> alter tablespace ...

Data Gurad物理备份方式下以READ ONLY/WRITE模式打开物理STANDBY

2016年10月15日 8 阅读

一、READONLY/WRITE模式打开物理STANDBY物理standby可以有效分担primary 数据库压力，提升资源利用，实际上说的就是这个。以read only 或read write 模式打开物理standby，你可以转移一些查询任何啦，备份之类的操作到standby 数据库，以这种方式来分担一些primary 的压力。下面我们来演示一下，如何切换standby 数据库的打开模式，其实，非常简单。例如，以Read-only 模式打开物理stan...

Data Gurad物理备份方式下standby_file_management为auto时修改表空间的操作

2016年10月15日 9 阅读

STANDBY_FILE_MANAGEMENT设置为AUTO增加及删除表空间和数据文件我们先来看看初始化参数的设置： ----standby 数据库操作SQL> show parameter standby_fileNAME TYPE VALUE------------------------------------ ----------- ------------------------------standby_file_management s...

Data Gurad物理备份方式下standby_file_management为manual时修改表空间的操作

2016年10月15日 8 阅读

STANDBY_FILE_MANAGEMENT设置为MANUAL，增加及删除表空间和数据文件SQL> show parameter standby_file_managementNAME TYPE VALUE------------------------------------ ----------- ------------------------------standby_file_management ...

SUSE Linux下安装Oracle 11g服务器

2016年10月15日 8 阅读

安装环境Linux服务器：SUSE10 sp2 64位Oracle服务器：Oracle11gR2 64位系统要求Linux安装Oracle系统要求系统要求说明内存必须高于1G的物理内存交换空间一般为内存的2倍，例如：1G的内存可以设置swap 分区为3G大小硬盘5G以上2.修改操作系统核心参数在Root用户下执行以下步骤：1）修改用户的SHELL的限制，修改/etc/security/limits.conf文件输入命令：vi /etc/security/l...

MySQL中文显示乱码问题

2016年10月15日 8 阅读

1、查看MySQL数据库字符集mysql> show variables like "%char%";-------------------------- -------------------------- | Variable_name | Value |-------------------------- -------------------------- | character_set_client | utf8 || character_...

用Memcached缓存MySQL数据

2016年10月15日 8 阅读

Memcached是一个分布式的内存对象缓存系统，通常用于动态Web应用以减轻数据库负载。Memcached是基于一个存储键对的hashmap，当表格满了以后，就使用LRU（最近最小使用）算法机制替换掉。Memcached使用了libevent来均衡任何数量的打开链接，使用非阻塞的网络I/O，对内部对象实现引用计数（因此，针对多样的客户端，对象可以处在多样的状态）， 使用自己的页块分配器和哈希表，因此虚拟内存不会产生碎片并且虚拟内存分配的时间复杂度可以保证...