自定义Hadoop Writable

2016年10月16日 10 阅读

Hadoop中已经定义了很多Writable的实现，基本上可以符合我们日常使用，但是在一些特殊的场景我们可能还是需要自己去实现Writable，下面主要说明如何去实现自己的Writeable，及使用自定义的Writable作为map/reduce中的key值时遇到的一些问题。首先需要实现org.apache.hadoop.io.Writable这个接口，该接口有write和readFields这两个方法，write用于写数据，readFields用于读取数...

java.util.ServiceLoader使用

2016年10月16日 10 阅读

今天在看Hadoop源代的时候发现，在FileSystem中用到了java.util.ServiceLoader这个类来从配置文件中加载子类或者接口的实现类。以前从来没有使用过这个类，进去大概看了一下具体的实现。主要是从META-INF/services这个目录下的配置文件加载给定接口或者基类的实现，ServiceLoader会根据给定的类的full name来在META-INF/services下面找对应的文件，在这个文件中定义了所有这个类的子类或者接口...

嵌入式ARM平台的内核编译

2016年10月16日 10 阅读

0.下载内核代码。更多关于Linux Kernel的详细信息，或者下载地址请点这里jiang_dlut/linux-3.0.15$ make mrproperCLEAN drivers/tty/vtCLEAN drivers/video/logoCLEAN firmwareCLEAN kernelCLEAN libCLEAN .tmp_versionsCLEAN vmlinux System.map .tmp_kallsyms1.o .tmp_kallsy...

交叉编译的Makefile模板

2016年10月16日 10 阅读

之前写的Makefile 范例。两个版本，For PC and Cross compile,以后直接用这个模板。include $（CLEAR_VARS） INCLUDE = -I. -I../include -I../zlib CFLAGS = $（INCLUDE） #FOR PC compile #LIBS = -L/usr/lib/i386-linux-gnu -lpthread #CC=gcc #FOR cross compile...

Linux C语言调用汇编

2016年10月16日 10 阅读

Linux内核里面和一些开源的代码里，我们经常看到一些内联汇编（inline assemble）函数。里面经常有一些汇编代码下面的函数不是内联汇编，是一个C语言调用AT&T汇编 （还有一种Intel汇编）int replace（）{ int a=1; int b=2; asm（"movl %1,%%eax" "movl %%eax,%0": "=r" （b） /* output Regester */: "r" （a） /* input ...

Linux Kermit 打印时间-即添加时间戳

2016年10月16日 10 阅读

Linux Kermit 打印时间-即添加时间戳set line /dev/ttyS0 set speed 115200set carrier-watch offset handshake noneset flow-control nonerobustset file type inset file name litset rec pack 1000set send pack 100000set window 5set protocol xmodemset...

嵌入式Linux 启动过程

2016年10月16日 10 阅读

嵌入式Linux启动过程包括四个部分。1，Uboot执行，加载内核load kernel。2，内核解压。decompress kernel3，内核启动，加载驱动。 boot kernel4，Init进程,文件系统挂载，系统配置，加载图形界面。init & mount FS & etc configure & GUI initUboot就是bootloader，用来初始化内核区域，内核镜像加载到RAM下面是第1，2，3步内部汇编过程。...

如何在64位的Linux系统上使用汇编和C语言混合编程

2016年10月16日 10 阅读

最近在看于渊的一个操作系统的实现，在第五章的时候汇编和C 同时使用时碰到了问题：代码如下foo.sextern choose ;;;;;the data area num1st dd 3 num2nd dd 4 global _start global myprint _start: push dword [num1st] push dword [num2nd] call choose ...

在64位主机上编译产生32位的目标代码

2016年10月16日 10 阅读

今天有看CS630的Chapter 15，发现里头的一个例程manydots.s无法正常编译。$ gcc manydots.s -o manydots/tmp/ccIvmRVT.o: In function `_start":（.text+0x0）: multiple definition of `_start"/usr/lib/gcc/x86_64-linux-gnu/4.3.1/../../../../lib/crt1.o:（.text+0x0）: f...

Android中dumpsys函数介绍与使用

2016年10月16日 10 阅读

dumpsys是系统中重要的函数，我们来看看它如何使用，都能dump出来一些什么东西首先我们来看看dumpsys的源码，在4.1中，它在framework/native目录下面frameworks/native/cmds/dumpsys/dumpsys.cppif （argc == 1） { services = sm->listServices（）; services.sort（sort_func）; args.add（String16...

Linux I/O Scheduler--Noop

2016年10月16日 10 阅读

每个块设备或者块设备的分区，都对应有自身的请求队列（request_queue）,而每个请求队列都可以选择一个I/O调度器来协调所递交的request。I/O调度器的基本目的是将请求按照它们对应在块设备上的扇区号进行排列，以减少磁头的移动，提高效率。在前面讨论递交I/O请求的时候可以发现，每个request_queue都有一个request的队列，队列里的请求将按顺序被响应。实际上，除了这个队列，每个调度器自身都维护有不同数量的队列，用来对递交上来的req...

配置Struts2后如何使用servlet

2016年10月16日 10 阅读

有时候,我们在配置了Struts2后还会想用servlet,但是默认是用不了的,都被struts2拦截了，并在struts.xml中匹配是否有该action那么,如何使用呢？1.新建一个filter，用于过滤servletimport java.io.IOException; import java.util.ArrayList; import java.util.Arrays; import javax.servlet.Filter; import j...

Linux 设备驱动框架代码（open, release, write close）

2016年10月16日 10 阅读

Linux 设备驱动框架代码：#include <linux/kernel.h> #include <linux/module.h> #include <linux/cdev.h> #include <linux/fs.h> #include <linux/device.h> #include <linux/uaccess.h> #include <linux/string.h...

CMake的使用练习

2016年10月16日 10 阅读

cmake是一个跨平台的开源的编译工具，它能够生成make文件，然后通过make命令编译C++，当然，其他make支持的语言也可以编译。此处不详述了。这里有一个cmake实践的博客，根据该文档可以一步步的熟悉cmake的用法，链接 http://www.linuxidc.com/Linux/2012-12/75894.htm。通过自己建一个工程来学习cmake是最好的方式。在linux命令行下，管理一个C++工程是一个很繁琐的事情。cmake的出现，很好的...

C++中sizeof如何计算类和struct的大小

2016年10月16日 10 阅读

突然想到sizeof的计算，于是写程序计算了一下，环境是32位的Ubuntu12.04，编译器为g++。计算sizeof的规则大致如下：空的class和struct大小为1. 如果在类和struct中有成员变量的话，就不考虑这个为空时的1.如果class和struct中有成员变量，则计算方式是将成员变量对齐之后累加。各成员变量存放的 起始地址相对于起始地址的偏移量必须为该变量的类型所占用的字节数的倍数。继承的话则将父类的大小加入到本类中来。如果类中有虚函数...

C++中sizeof如何计算类的大小（补充）

2016年10月16日 10 阅读

这是上篇文章的补充，上一个关于sizeof的文章链接如下：http://www.linuxidc.com/Linux/2012-12/75896.htm先贴代码：#include<iostream>#include<algorithm>#include<string>#include<vector>#include<deque>#include<iterator>using names...

Ubuntu下Hello World驱动实现全过程

2016年10月16日 10 阅读

今天是一个值得纪念的日子，我也不知道我花了多长时间才编译成功！在编写这个驱动的过程中，真的体会到驱动编程不是那么简单的～，现在有点小小的激动，真的，很不容易啊～我把整个过程在重复一遍吧！在编写这个驱动的过程中参考了网上的很多文档，最终的结果是弄的我头都晕了，每个人写的都不一样，其实我现在还有一些概念不是很清楚。1：到底丫的什么是内核源码树？2:为什么要编译内核源码树？1：内核源码树我现在的理解就是整个linux内核源代码，它是编译驱动的前提。Ubuntu系...

C++中的dynamic_cast和static_cast

2016年10月16日 10 阅读

dynamic_cast和static_cast：dynamic_cast < type-id > （ expression ） 该运算符把expression转换成type-id类型的对象。Type-id必须是类的指针、类的引用或者void*；他们区别是 在类层次间进行上行转换时，dynamic_cast和static_cast的效果是一样的； 在进行下行转换时，dynamic_cast具有类型检查的功能，比static_cast更安全...

Python 获取Linux本机信息

2016年10月16日 10 阅读

用python写的获取linux本机信息，包括kernel、IP、Memory、Disk信息。######################################################Information on this program is used to get the Linux native. ##You can enter the "kernel", "ip", "memory", "disk" keyword...

Linux I/O Scheduler--Deadline

2016年10月16日 10 阅读

一、原理Deadline调度器对一个请求的多方面特性进行权衡来进行调度，以期即能满足块设备扇区的顺寻访问又兼顾到一个请求不会在队列中等待太久导致饿死。试想当应用程序频繁访问文件的一部分而此时如果有另一个远端的请求，那么这个请求将会在很长一段时间内得不到响应，这显然是不合理的。Deadline调度器为了兼顾这两个方面，引入了四个队列，这四个队列可分为两类，每一类都由读和写两种队列组成。一类队列用来对请求按起始扇区序号进行排序，通过红黑树来组织，称为sort_...