Hadoop涉及GBK编码的文件

2016年10月16日 11 阅读

Hadoop源代码中涉及编码问题时都是写死的utf-8，但是不少情况下，也会遇到输入文件和输出文件需要GBK编码的情况。输入文件为GBK，则只需在mapper或reducer程序中读取Text时，使用transformTextToUTF8（text, "GBK"）;进行一下转码，以确保都是以UTF-8的编码方式在运行。public static Text transformTextToUTF8（Text text, String encoding） { S...

MapReduce高级编程之自定义InputFormat

2016年10月16日 10 阅读

InputFormat是MapReduce中一个很常用的概念，它在程序的运行中到底起到了什么作用呢？InputFormat其实是一个接口，包含了两个方法：public interface InputFormat<K, V> { InputSplit[]getSplits（JobConf job, int numSplits） throws IOException; RecordReader<K, V>getRecordReader（...

shell自动化配置Hadoop配置文件示例

2016年10月16日 10 阅读

shell自动化配置Hadoop配置文件示例#！/bin/bashread -p "Please input the directory of hadoop , ex: /usr/hadoop :" hadoop_dirif [ -d $hadoop_dir ] ; then echo "Yes , this directory exist."else echo "Error , this directory not exist." exit 1fiif...

Java注解annotation用法和自定义注解处理器

2016年10月16日 10 阅读

前言：在J2EE中，注解使得开发更加便利，省去了生成XML文件的过程，在Hibernate实体声明中，可以简简单单的用几个注解就可以免去生成一个XML的文件操作。这里就主要论述一下annotation的用法和自定义注解处理器。当在创建描述符性质的类或接口时，有大量重复性的工作时候，就可以利用注解来实现。基本语法：Java目前包括三种标准注解和四种元注解。元注解主要负责注解其他注解的。 三种标准注解：@Override，表示当前的方法定义覆盖了父类中的方法。...

Java内存模型基本简介

2016年10月16日 10 阅读

Java的内存模型，也就是JVM所设置的内存模型。Java内存模型分为主存储器和工作存储器，这里的存储器与计算机硬件所讲的不一样。主存储器，就是实例位置所在的区域，所有的实例都存在主存储器内，并且实例的字段也位于这里。主存储器为所有的线程所共享。工作存储器，它是各个线程所拥有的独立专门的作业区。在工作存储器中，存在有主存储器中必要的拷贝，称为工作拷贝。每个线程都位于各自的工作存储器中，每个线程都不能直接的对存储器中字段进行引用或者赋值操作。当线程欲引用字段...

Shell条件测试

2016年10月16日 10 阅读

写Shell脚本时，有时要判断字符串是否相等，可能还要检查文件状态或是数字测试。基于这些测试才能做进一步动作。1、文件测试测试文件状态的操作符如下：-d 目录 -s 文件长度大于0、非空-f 正规文件 -w 可写-L 符号连接 -u 文件有suid位设置-r 可读 -x 可执行测试时使用逻辑操作符测试文件状态是否为OK，但是有时要比较两个文件状态。shell提供三种逻辑操作完成此功能。-a 逻辑与，操作符两边均为真，结果为真，否则为假。-o 逻辑或，操作符...

Unix Shell脚本编程知识点总结及范例

2016年10月16日 10 阅读

脚本编程语言与编译型语言：脚本编程语言：（Bash） 脚本编程语言通常是解释型（interpreted）,主要由解释器（interpreter）读入程序代码，并将其转换成内部的形式加以执行。 优点： 能够轻易处理文件与目录之类的对象。 缺点： 运行效率通常不如编译型语言 编译型语言：（C、C++、Java、Fortran、Ada、Pascal） 编译型语言多半运作于底层，所处理的是字节、整数、浮点数或其它及其机器层经的对象。SHELL脚本的基本语法格式：脚...

创建Java内部类的编译错误处理

2016年10月16日 10 阅读

在创建非静态内部类时，经常会遇到“No enclosing instance of type * is accessible. Must qualify the allocation with an enclosing instance of type *（e.g. x.new A（） where x is an instance of *）.”这样的报错，其实原因只有一点，内部类是依赖于外部类存在的，所以在使用非静态内部类时，要求...

Android ProgressBar（进度条）的使用方法

2016年10月16日 10 阅读

在Android开发中ProgressBar是经常要用到的控件，用到ProgressBar一般有两种情况：一种是确定进度，另一种是不确定进度，今天做了一个demo分享给大家。源码下载地址：免费下载地址在 http://linux.linuxidc.com/用户名与密码都是www.linuxidc.com具体下载目录在 /2013年资料/5月/28日/Android ProgressBar（进度条）的使用方法第一步：修改新建的Android工程文件的main...

Android 实现GridView多选效果【附源码】

2016年10月16日 10 阅读

在使用Android GridView的时候，有时需要多选上面显示的类容，比如批量删除上面显示的图片，批量上传图片等。这个时候我们可以使用层叠图来实现，效果如下，点击图片后，上面会显示出一个打钩的图片，如图：再点击选中图片，勾消失。Android 实现GridView多选效果 Demo下载：**************************************************************下载在Linux公社的1号FTP服务器里，下...

谈Python函数的参数处理

2016年10月16日 11 阅读

以下几种函数定义def funcion（a,b）: print a,bfunction（1,2）def function1（*a）: print a <=打印元组function1（1,2,3）def function2（**a）: print a <=打印字典function2（name="zzj",age=30）def function3（*a,**b）: print a,b <=打印元组+字典function3（1,2,...

Python中使用subprocess.Popen返回值乱码解决方案

2016年10月16日 10 阅读

问题描述在python 2.7中，使用subprocess.Popen（）调用*nix命令，并通过管道，获取其输出，并将其返回值格式化成utf-8格式，但是对于返回值出现中文时，会造成转码错误，具体情况如下：# -*- coding: utf-8 -*-import subprocessMY_RPM_FILE_PATH = "/home/dongliang.ma/rpmbuild/RPMS/noarch/q-yumtools-server-1.1.0-1....

shell中变量的测试与替换

2016年10月16日 10 阅读

在某些时刻我们经常需要判断某个变量是否存在，若变量存在则使用既有的设置，若变量不存在则给予一个常用的设置。（1）变量未被设置或者内容为空，则替换为新的内容.new_var=${old_var-content}范例一：测试一下是否存在 username 这个发量，若不存在则给予 username 内容为 root [root@www ~]# echo $username <==由于出现空白，所以 username 可能不存在，也可能是空字符串 ...

shell中正则表达式

2016年10月16日 10 阅读

看了鸟哥的linux总结一下，以备后面用到。1.一些特殊符号2.行首控制符^、行尾控制符$找出行首包含the的：[root@www ~]# grep -n "^the" regular_express.txt 开始为小写字母的：# grep -n "^[a-z]" regular_express.txt 那如果我不想要开头是英文字母：# grep -n "^[^a-zA-Z]" regular_express.txt 开头不是英文字母的：[root@www...

shell的不同执行方式及其区别

2016年10月16日 10 阅读

假设已经写好的这个程序文件名是/home/dmtsai/shell.sh，有以下几种方法执行：1、直接命令执行：shell文件必须具备可执行（rx）权限。然后：（1）绝对路径执行：/home/dmtsai/shell.sh；（2）相对路径执行，假设工作目录在/home/dmtsai/，则使用./shell.sh执行；（3）变量“PATH”功能：将shell放在PATH指定的目录下或者在PATH添加你shell文件所在的目录。2、以b...

生产环境备份shell脚本

2016年10月16日 10 阅读

批量备份多个数据库#！/bin/bashBACKUP_HOST="localhost"BACKUP_USER="root"BACKUP_PASS="123456"BACKUP_DIR="/backup/mysql"BACKUP_DBNAME="one two three"COPIES=10MYSQLDUMP="mysqldump"TIMEPOINT=$（date +%Y-%m-%d）MYSQLDUMP_OPTS="-h $BACKUP_HOST -u$BA...

二叉搜索树的后序遍历序列

2016年10月16日 10 阅读

前言本来是九度oj是一道三星的acm题目，但是同样在《剑指offer》这本书上有所提及，正好我看的时候发现了一处错误，这里纠正一下概念二叉搜索树（binary search tree），或者是一棵空树，或者是具有下列性质的二叉树：若它的左子树不为空，则左子树上所有结点的值均小于它的根结点的值;若它的右子树不为空，则右子树上所有结点的值均大于它的根节点的值。它的左、右子树也分别为二叉排序树。注意：根据概念我们可以明确的知道，二叉搜索树的左、右子树均可为空。构...

二叉排序树

2016年10月16日 10 阅读

二叉排序树题目题目描述： 输入一系列整数，建立二叉排序数，并进行前序，中序，后序遍历。输入： 输入第一行包括一个整数n（1<=n<=100）。 接下来的一行包括n个整数。输出： 可能有多组测试数据，对于每组数据，将题目所给数据建立一个二叉排序树，并对二叉排序树进行前序、中序和后序遍历。 每种遍历结果输出一行。每行最后一个数据之后有一个空格。样例输入：51 6 5 9 8样例输出：1 6 5 9 8 1 5 6 8 9 5 8 9 6 ...

shell中的通配符以及特殊符

2016年10月16日 10 阅读

1.通配符在 bash的操作环境中还有一个非常有用的功能，那就是通配符 （wildcard）！我们利用 bash 处理数据就更方便了！底下我们列出一些常用的通配符喔。例子：（1）找出 /etc/ 底下以 cron 为开头的档名：# ll -d /etc/cron* <==加上 -d 是为了仅显示目录而已（2）找出 /etc/ 底下文件名『刚好是五个字母』的文件名：# ll -d /etc/？？？？？ <==由于？ 一定有一个，所以五个 ？ ...

shell中的&amp;&amp;与||

2016年10月16日 10 阅读

在linux中前一个命令执行的结果正确，则Linux下面会回传一个$？=0的值。那么我们怎么透过这个回传值来判断后续的指令是否要执行呢？这就得要由&&及||的帮忙了！范例一：使用 ls 查阅目录 /tmp/abc 是否存在，若存在则用 touch 建立 /tmp/abc/hehe [root@www ~]# ls /tmp/abc && touch /tmp/abc/hehe ls: /tmp/abc: No such fi...