Welcome 微信登录

首页 / 数据库 / MySQL

基于 Hive 的文件格式:RCFile 简介及其应用

基于 Hive 的文件格式:RCFile 简介及其应用

目录1、Hadoop 文件格式简介(1)SequenceFile(2)RCFile(3)Avro(4)文本格式(5)外部格式2、为什么需要 RCFile3、RCFile 简介4、超越RCFile,下一步采用什么方法5、如何生成 RCFile 文件(1)hive 中直接通过textfile表进行insert转换(2)通过 mapreduce 生成6、Refer:Hadoop 作为MR 的开源实现,一直以动态运行解析文件格式并获得比MPP数据库快上几倍的装载速...
数据库范式详解

数据库范式详解

数据库的设计范式是数据库设计所需要满足的规范,满足这些规范的数据库是简洁的、结构明晰的,同时,不会发生插入(insert)、删除(delete)和更新(update)操作异常。反之则是乱七八糟,不仅给数据库的编程人员制造麻烦,而且面目可憎,可能存储了大量不需要的冗余信息。范式说明1.1 第一范式(1NF)无重复的列所谓第一范式(1NF)是指数据库表的每一列都是不可分割的基本数据项,同一列中不能有多个值,即实体中的某个属性不能有多个值或者不能有重复的属性。如...
Oracle 数据库开发面试题

Oracle 数据库开发面试题

最近参加了数场面试,总结一下竞聘Oracle 开发岗位最常问到哪些问题:1、delete 与 truncate 区别?1)truncate 是DDL语句,delete 是DML语句;2)truncate 速度远快于 delete;原因是:当我们执行delete操作时所有表数据先被copy到回滚表空间,数据量不同花费时间长短不一。而truncate是直接删除数据不进回滚表空间。3)接(2)这也就导致了delete数据后我们可以运行rollback进行数据回滚...
Oracle 会话(Session)

Oracle 会话(Session)

在Oracle体系结构中很重要的三个概念 数据库(database)、实例(instance)、会话(session)什么是会话(session)?会话描述的角度是客户端,由客户端发起请求,服务器端响应回复。这种交互的过程就叫做会话(session)。实验环境:Oracle 11g R2,专属服务器模式专属服务器session和进程应该是1对1的关系,方便理解。环境构建解释:查看会话与进程当前是否为一对一的关系,如果不是排除问题。SQL> selec...
Oracle数据库开发

Oracle数据库开发

在Oracle数据库系统中,表是数据库的基本对象,数据库中所有数据都是以表的形式存在的。环境——Oracle 11g一.表的类型Oracle数据库系统中常用的表包括:堆组织表、索引组织表、聚簇表(索引、散列、有序散列)、嵌套表、临时表、外部表、分区表、对象表等。1.堆组织表在Oracle系统中,普通的标准数据库表就是堆组织表,其中的数据以堆的方式管理。堆的含义:以随机方式存储数据的一组空间。对于堆组织表而言,当进行数据写入时,数据库...
impdp ORA-39002,ORA-39166,ORA-39164的问题及解决

impdp ORA-39002,ORA-39166,ORA-39164的问题及解决

今天在做imp和impdp的性能测试时,发现如果表中存在lob字段,加载真是慢的厉害,每秒钟大概1000条的样子,按照这种速度,基本上不用干活了。比如5千万条记录,50000000/1000/60/60=13.89小时,时间是无法接受的。所以尝试使用impdp来看看性能的提升。导出的表里面有9千万条记录,而且做了分区,分区大概有300个。如果使用全表导出导入,在之前的测试中,测试5千万数据,大概会有3个多小时,也算是比较长的时间,而且随着数据量的增大,时间...
<< 1491 1492 1493 1494 1495 1496 1497 1498 1499 1500 >>