利用Sqoop对MySQL执行DML操作

2017年02月05日 15 阅读

业务背景利用Sqoop对MySQL进行查询、添加、删除等操作。业务实现select操作：sqoop eval --connect jdbc:mysql://127.0.0.1:3306/market --username admin --password 123456 --query "select end_user_id, category_id, score, last_bought_date, days_left, update_time from ...

mysqldump实现数据库逻辑备份

2017年02月05日 14 阅读

mysqldump是mysql用来逻辑备份的工具。在数据库的备份的过程中，需要备份的包括，数据库本身的数据，二进制文件（用来进行数据库的即使点还原）。下面简单的介绍下。备份开始：①：在登陆mysql的过程中，会需要输入密码，如果想要避免每次输入密码的繁琐，可以在登陆用户的家目录下建立 .my.cnf的隐藏文件，以root用户为例vi /root/.my.cnf[client]user=’root’password=’ex...

Linux下MySQL的简单操作笔记

2017年02月05日 16 阅读

说下Linux中的MySQL大的简单操作应用。安装MySQL1、可以直接挂载好光盘之后直接yum安装，然后启动MySQL服务chkconfig mysqld on //保证下次服务器启动的时候MySQL服务可以启动service mysqld start //启动MySQL服务2、刚刚启动MySQL服务的时候，系统会自动的给我们一个用户名和密码，用户名是root，相应的密码是空的。首次登陆的时候mysql -uroot -p然后直接回车就可以登陆进去。3、...

Java语言测试连接Oracle数据库

2017年02月05日 13 阅读

Java语言测试连接Oracle数据库package com.linuxidc.jdbc;import java.sql.Connection;import java.sql.DriverManager;/*** 测试连接oracle数据库* @author wpc**/public class JdbcSuccess {//驱动，URL，用户名，密码private static final String driver = "oracle.jdbc.dri...

Oracle外部表的管理和应用

2017年02月05日 13 阅读

外部表作为Oracle的一种表类型，虽然不能像普通库表那么应用方便，但有时在数据迁移或数据加载时，也会带来极大的方便，有时比用sql*loader加载数据来的更为方便，下面就将建立和应用外部表的命令和操作记录如下：--创建存放文件的directory对象sqlplus username/passwd@prodcreate directory ex_data as "/home/ex_data/";--创建外部表CREATE TABLE tab1_ex（ C...

Oracle 12c新特点详述

2017年02月05日 15 阅读

1. Oracle 12c PDB新特点的优势1） 可以把多个PDB集成进一个平台。2） 可以快速提供一个新的PDB或一个已有PDB的克隆。3） 通过拔插技术，可以快速把存在的数据库重新部署到一个新平台上。4） 多个PDB数据库补丁或升级一次完成。5） 通过把单个PDB拔插到较高版本的不同CDB，可以补丁或升级一个PDB。6） 从同一个CDB中众多PDB中分离出某个PDB的内容。7） 分离这些PDB应用管理员的责任。2. 12c PDB新...

Oracle 11g中和SQL TUNING相关的新特点

2017年02月05日 15 阅读

1.ACS简介Oracle Database 11g提供了Adaptive Cursor Sharing （ACS）功能，以克服以往不该共享的游标被共享的可能性。ACS使用两个新指标：sensitivity and bindawareness来实施该特点。2.ACS机制2.1. Adaptive Cursor Sharing Metadata：Oracle 11g也提供了三个新视图和动态视图V$SQL的两个新列来允许DBA来确定优化器是否已经确定一个SQL...

关于Hibernate缓存，想要最新数据连session.clear都麻烦

2017年02月05日 16 阅读

一、hibernate一级缓存 （1）hibernate支持两个级别的缓存，默认只支持一级缓存； （2）每个Session内部自带一个一级缓存； （3）某个Session被关闭时，其对应的一级缓存自动清除； （4）save、update、saveOrupdate、load、get、list、iterate、lock方法都会向缓存中存对象. （5）可以从缓存中读数据的只有： get、load、iterate （6）Query对象默认情况下不读缓存，如果要使其...

MySQL中整数类型使用

2017年02月05日 14 阅读

MySQL中整数类型使用bigint 从 -2^63 （-9223372036854775808） 到 2^63-1 （9223372036854775807） 的整型数据（所有数字）。存储大小为 8 个字节。 P.S. bigint已经有长度了，在mysql建表中的length，只是用于显示的位数 int 从 -2^31 （-2,147,483,648） 到 2^31 – 1 （2,147,483,647） 的整型数据（所有数字）。存储大小为...

HBase中MVCC的实现机制及应用情况

2017年02月05日 14 阅读

MVCC（Multi-Version Concurrent Control），即多版本并发控制协议，广泛使用于数据库系统。本文将介绍HBase中对于MVCC的实现及应用情况。MVCC基本原理在介绍MVCC概念之前，我们先来想一下数据库系统里的一个问题：假设有多个用户同时读写数据库里的一行记录，那么怎么保证数据的一致性呢？一个基本的解决方法是对这一行记录加上一把锁，将不同用户对同一行记录的读写操作完全串行化执行，由于同一时刻只有一个用户在操作，因此一致性不存...

如何统计Redis中各种数据的大小

2017年02月05日 16 阅读

如果 MySQL 数据库比较大的话，我们很容易就能查出是哪些表占用的空间；不过如果 Redis 内存比较大的话，我们就不太容易查出是哪些（种）键占用的空间了。有一些工具能够提供必要的帮助，比如redis-rdb-tools可以直接分析 RDB 文件来生成报告，可惜它不能百分百实现我的需求，而我也不想在它的基础上二次开发。实际上开发一个专用工具非常简单，利用 SCAN 和 DEBUG 等命令，没多少行代码就能实现：<？php$patterns = ar...

缓解MySQL写入压力和主从延迟的尝试

2017年02月05日 15 阅读

最近单位需要用MySQL存放大量的日志数据，写入压力很大，并且有很大的主从延迟。具体环境如下MySQL 5.6.14服务器（单CPU,6核心,12线程 32G内存）服务器硬盘（共33T,Raid5）第一个尝试,分散IO一般我们使用/dbdata挂载点存放数据文件/data挂载点存放日志文件（redo log file,binlog,relay log等）这样的好处是将随机IO和顺序IO分开,不形成争用.缺点是/data挂载点的IO使用率一般较低.当然,这种...

通过Shell脚本格式化tnsnames.ora内容案例一则

2017年02月05日 14 阅读

最近总结了下工作过程中的工作量，发现为开发人员配置参数占据了较大的一块，于是便想通过shell脚本简化工作流程操作及减少工作量。在配置参数的过程中，首先需要查看tnsnames.ora中的内容，如果需要配置的tns串已经在文件中存在，则直接将相关参数指向某个tns串即可。如果不存在，则涉及在tnsnames.ora中添加tns串，再设置相关参数。在现在的工作中，我们确定通过cat查看tnsnames.ora，接着结合管道和grep来确认tns串是否存在，但...

Oracle 高级分组group by cube拓展

2017年02月05日 14 阅读

Oracle的cube拓展功能会将cube（）里指定的每一列按照顺序替换成null值，并返回指定列的所有组合。oracle的cube分组拓展主要用于替换需要通过union all和goup by 组合来实现业务功能的场景。通过该函数可以节省代码量，且使代码更加简洁。实验过程如下：首先看一下A表的内容：HR@ORA11GR2 > select * from a; A ...

Oracle AWR常用指标整理

2017年02月05日 14 阅读

之前的工作对AWR的分析较少，但AWR是分析数据库性能的一个重要工具，故做了本片初步学习总结。关于AWR，我们一定知道前段时间的RWP中国行中的重量级嘉宾之一 Graham Wood ，其在Oracle内部被称为AWR之父，他在活动中解释说AWR中的每一个数据都是精心选取的，通过认真分析这些数据，可以看到隐匿其中的许多问题。而作为DBA日常工作中的一项重要内容，AWR报告的检查分析，可以了解日常高峰时段数据库各项指标和运行状态，通过对比报告观察和基线的变化...

Oracle 常见初始化参数

2017年02月05日 14 阅读

间隔分区是范围分区的一个拓展，当插入的数据超过了现有的所有分区时，数据库会按照指定的间隔自动创建分区。Oracle支持创建单一的间隔分区表也可以创建interval-range、interval-hash和interval-list三种组合分区表。使用间隔分区的场景：1.使用间隔分区最大的好处就是不用再提前手工的创建分区，只要后续创建的分区的分区间隔是统一的，就可以考虑使用间隔分区。并且，在后续创建的分区中还能通过store in 选项以循环复用的方式来将...

Oracle 关于实例恢复的一个讨论

2017年02月05日 13 阅读

问题：在Oracle中update一条记录，长时间不提交，DBWn会不会将脏块写入数据文件？LGWR会不会把redo log buffer中的记录写入online redo log？ 如果二者都已写入磁盘，用户发出rollback命令，将会做哪些操作？如果此时数据库实例crash，实例恢复时，将做哪些操作？讨论结论：1.当用户DML语句修改一条记录，记录所在脏块是有可能被写入数据文件（提交时间越长，写入数据文件几率越大），因为DBWn的写触发条件为：每3秒...

Oracle常见身份验证

2017年02月05日 13 阅读

1.Oracle常见的身份验证有：操作系统验证、数据字典验证和口令文件验证。2.操作系统验证： CONNECT / AS [ SYSOPER | SYSDBA ] ;操作系统验证需要登陆数据库服务器所在操作系统使用操作系统验证的用户需要有sysdba或sysoper角色：GRANT [ sysdba | sysoper ] TO username ;一般可将用户用户加入oinstall或者dba用户组，即可获取sysdba或sysoper角色所拥有的权限；...

Oracle数据并发性和一致性

2017年02月05日 13 阅读

1.Oracle数据库的一致性是通过多版本一致性模型和多种类型的锁和事务来实现的。2.Oracle的多版本一致性读，使得Oracle查询具有读一致性查询和非阻塞读两个特性。3.语句级的一致性指查询返回的结果与发起查询的时间点保持一致并且当时已提交的数据。例如：当SQL语句在SCN=1000发起，则在提交读的隔离级别下，返回的结果和SCN=1000保持一致；在序列化或者只读的事务中，事务中所有的查询都与事务开始时间点保持一致；在闪回查询中，查询结果和语句中指...

MySQL修改默认字符集为utf-8

2017年02月05日 14 阅读

MySQL修改环境的默认字符集为utf-8（当然你也可以设置成utf-8） ,首先得在服务里关掉MySQL的服务，然后到你的mysql的安装路径，如果是自定义就找到自定义的路径，默认是：C:Program FilesMySQLMySQL Server 5.0my.ini。找到那个 client mysql里加入 default-character-set=utf8mysqld下面加入： default-character-set=utf8 ...