C++ Hadoop实战备忘

前言：Hadoop用于解决大数据处理问题。看到这么火，咱也来凑把热闹，瞧瞧到底是什么神奇的技术。实战过程，还是很波折。毕竟，对这些Hadoop的命令不是很熟。所幸，天不负有心人，终于跑通了第一个示例。对我而言，这个的意义，不亚于输出了开天辟地的“hello world”。配置过程中出错时，不要泄气，一般是由于路径配置不对引起，可与本文档对比查错。操作系统：Ubuntu 10.04 LTSJDK：jdk-6u18-linux-i586.binHadoop：hadoop-0.21.0说明：hadoop版本一定要与本文档匹配，新版本目录格式已做修改。步骤一：配置环境本步骤参见：Hadoop环境搭建——单节点篇 http://www.linuxidc.com/Linux/2012-03/56691.htm1、安装jdk1.6.0_181）在usr下面新建一个文件夹Java,然后将jdk复制过来.sudo mkdir /usr/Javasudo cp jdk的路径 /usr/Java2）进入到Java目录下，改变文件权限为可执行cd /usr/Javasudo chmod u+x jdk-6u18-linux-i586.bin3）执行安装（现象为Unpacking....加一连串解压信息）sudo ./jdk-6u18-linux-i586.bin2、安装hadoop0.21.01）将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内sudo cp hadoop的路径 /usr/local2）进入到local目录下，解压hadoop-0.21.0.tar.gzcd /usr/localsudo tar -xzf hadoop-0.21.0.tar.gz3）为了方便管理，将解压后的文件夹名改为hadoopsudo mv hadoop-0.21.0 hadoop3、创建一个名为hadoop的用户和用户组1）创建一个名为hadoop的用户组sudo addgroup hadoop2）创建一个名为hadoop的用户，归到hadoop用户组下sudo adduser --ingroup hadoop hadoop3）用gedit打开etc下的sudoers文件sudo gedit /etc/sudoers4）在 root ALL=（ALL） ALL 下面添加如下一行，然后保存关闭gedithadoop ALL=（ALL） ALL4、配置环境变量1）用gedit打开etc下的profile文件sudo gedit /etc/profile2）在文件最后加入如下几行export CLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_18/jre/lib:$CLASSPATHexport PATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_18/jre/bin:/usr/local/hadoop/bin:$PATH3）保存后关闭gedit，并重启机器sudo reboot4）重启后用hadoop用户登录，验证配置是否成功java -version（验证java配置是否成功）5、创建ssh-key1）确保网络通畅，然后装载ssh服务sudo apt-get install openssh-server2）创建ssh-key，为rsassh-keygen -t rsa --P3）将此ssh-key添加到信任列表中，并启用此ssh-keycat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keyssudo /etc/init.d/ssh reload4）重启系统