Pig安装及本地模式测试,体验

2017年02月05日 36 阅读

Pig是Apache的一个开源项目，用于简化MapReduce的开发。研究了一段时间，略有心得。系废话不多说，我们直接步入实际测试。Pig的运行有两种模式，本地单击模式和集群模式。我目前只是测试学习，是为了检验Pig的运行流程以及学习语法，没必要使用分布式模式，分布式模式下也都是大同小异的。我的环境：1. 系统： Ubuntu 12.04 64位2. JDK：Oracle JDK1.7.0_153. Pig：0.9.2和Apache其他项目一样，安装Pig...

Pig安装与配置教程

2017年02月05日 37 阅读

翻译整理自Hadoop-The Definitive Guide。Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。Pig是一个客户端应用程序，就算你要在Hadoop集群上运行Pig，也不需要在集群上装额外的东西。Pig的安装是灰...

Pig 安装部署及MapReduce模式下测试

2017年02月05日 40 阅读

Pig 安装配置1.下载pig包：（pig-0.9.1）apache版本：http://pig.apache.org/2.解压文件：# tar -zxvf pig-0.9.1.tar.gz3.配置/etc/profitexport PIG_INSTALL=/usr/pig/pig-0.9.1 export PATH=$PATH:$PIG_INSTALL/bin export PIG_Hadoop_VERSION=20 //支持hadoop版本，我的是h...

Fedora 18 编译内核

2017年02月05日 38 阅读

最近有个事必须要用到内核模块实际上在Fedora 18上，只用内核模块的话只需要这一段针对那些只想在内核模块上工作的用户，他们并不想建立一个完整的内核。只要就没必要下载和重新建立整个内核。要为当前运行的内核建立一个模块，只需要下载匹配的 kernel-devel 包。运行下面命令安装 kernel-devel 包：su -c "yum install kernel-devel"做了上面这些就够了，但是我还是想总结一下，试试新内核的编译方法实际上对于fedo...

Linux Mint Debain 2013.3.4版 硬盘安装笔记

2017年02月05日 35 阅读

1、自己安装grub4dos ，（解压grldr到C:, 编辑boot.ini... ）。Grub4DOS 0.4.4 下载 http://www.linuxidc.com/Linux/2009-01/18027.htm2、编辑grub的menu.lst （如果是grub4dos，编辑的是c:menu.lst），示例如下：title LinuxMint Debian 201012 Live CD & Installroot （hd0,5）kerne...

在Fedora 18 内核版本3.8.0下测试虚拟内存实践

2017年02月05日 36 阅读

在Fedora 18 内核版本3.8.0下测试虚拟内存实践 由于内核文件版本不同，难免有一些问题，只要把头文件关系理清楚就行了，这里不说了，下面直接贴出来测试过可以用的代码吧。/* mtest_dump_vma_list（）：打印出当前进程的各个VMA，这个功能我们简称”listvma” mtest_find_vma（）： 找出某个虚地址所在的VMA，这个功能我们简称“findvma” my_follow_p...

在Raspberry Pi 的Raspbian 操作系统上安装中文环境

2017年02月05日 35 阅读

默认的raspbian操作系统是不带中文字库的，所以不能正常显示中文字体我们可以用apt来安装开源字库的安装包 实现中文的显示输入命令sudo apt-get install ttf-wqy-zenhei这条命令安装的是文泉驿的正黑体sudo apt-get install ttf-wqy-microhei这条命令安装的是文泉驿的微米黑体sudo apt-get install ttf-arphic-ukai这条命令安装的是文鼎的楷体sudo apt-ge...

树莓派Raspberry Pi实战之命令行下实现USB存储设备自动挂载

2017年02月05日 36 阅读

简单介绍实现命令行下USB存储设备自动挂载的方法，Linux gnome/kde窗口环境下有移动存储的管理程序，可以实现自动挂载移动存储设备，但是在命令行下 通常需要用mount命令手动挂载USB存储设备。通过给linux下的设备管理服务udev添加规则配置文件，可以实现命令行下USB存储设备自动挂载输入命令sudo nano /etc/udev/rules.d/10-usbstorage.rules复制粘贴这个脚本到编辑窗口 KERNEL！="sd*"...

Ubuntu 12.10下JDK 7u17的安装方法

2017年02月05日 36 阅读

JDK（JavaDevelopment Kit）是Java的核心，包括了Java运行环境、工具及基础类库等。JDK有多个版本，常见的为Java SE即标准版，本文即为标准版7u17的安装方法。以下为Ubuntu 12.10下具体安装步骤。1、 下载安装文件在JDK的官网www.Oracle.com上，进入下载页面后选择接受授权协议，然后选择对应文件下载。本文安装实践中选择LinuxX86对应的jdk-7u17-linux-i586.tar.gz，至于jdk...

Fedora 18下安装视频播放器VLC

2017年02月05日 43 阅读

最近安装了Fedora 18系统，使用系统自带视频播放器打开mp4文件时无法安装解码器。尝试网上帖子中的解决方法未解决，因此安装了VLC视频播放器。安装方法如下：#rpm -ivh http://download1.rpmfusion.org/free/fedora/rpmfusion-free-release-stable.noarch.rpm#yum install vlc安装adobe flash player的方法（32位）：#rpm -ivh h...

Linux系统时间同步

2017年02月05日 42 阅读

在Linux环境下可以通过自带的NTP（Network Time Protocol）协议通过网络使系统保持精确时间， NTP是用来使系统和一个精确的时间源保持时间同步的协议。最好的方法是在自己管理的网络中建立至少一个时间服务器来同步本地时间，这样使得在不同的系统上处理和收集日志和管理更加容易。当然，也有很多免费的NTP客户端供Windows使用。可用的公共时间服务器地址列表可以通过网址：http://ntp.isc.org/bin/view/Servers...

Linux下VNC安装设置

2017年02月05日 44 阅读

Oracle在Linux上的安装需要用到图形界面（静默安装除外），身体好的同志完全可以在机房里面顶着做，身体素质一般的还是老老实实的远程操作吧。方便起见我们就使用Linux自带的vnc-server。首先查看是否安装了vnc-server服务：[root@localhost ~]# rpm -qa vnc-servervnc-server-4.0-8.1如果没有安装则上传安装包安装即可，安装完成以后运行vncserver，如果用户是第一次运行需要设置vnc...

Linux sed 命令详解

2017年02月05日 37 阅读

功能说明：利用script来处理文本文件。 sed可依照script的指令，来处理、编辑文本文件。简介：sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（patternspace），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。两种形式：1、sed [options] "{command}" file（s）2、...

Linux find 命令详解

2017年02月05日 41 阅读

find path -option [-print] [-exec -ok command] {} ;find命令的参数：pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。-print： find命令将匹配的文件输出到标准输出。-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为"command" { } ;，注意{ }和；之间的空格。-ok： 和-exec的作用相同，只不过...

Fedora 18安装Google输入法和云拼音

2017年02月05日 42 阅读

由于sunpinyin的词库选词太不准，网友推荐在Fedora 18下使用谷歌拼音及云拼音，于是想要尝试下怎么样。由于fedora 源中谷歌拼音所以选择自行编译，做下记录以备份。#安装fcitx$sudo yum install fcitx#安装devel$sudo yum install fcitx-devel#安装fcitx可视化配置工具$sudo yum install fcitx-configtool.i686#编译需要cmake命令支持$sudo...

Java JVM虚拟机选项 Xms Xmx PermSize MaxPermSize 的区别

2017年02月05日 43 阅读

Eclipse崩溃，错误提示：MyEclipse has detected that less than 5% of the 64MB of PermGen （Non-heap memory） space remains. It is strongly recommendedthat you exit and restart MyEclipse with new virtual machine memoryparamters to increase thi...

Ubuntu下解决USB不能自动识别问题

2017年02月05日 43 阅读

最近项目需要在Android源码中进行开发，于是在Virtual Box中安装Ubuntu，郁闷的是插上usb连接线，连接上手机，Ubuntu不能自动识别连接设备。在网上搜索了很多解决办法，各抒己见，最终找到一种可行的解决方案：1、安装usbmount$ sudo apt-get install usbmount2、更改usbmount配置文件$ sudo gedit /etc/usbmount/usbmount.conf3、在打开的文件中找到FILESY...

CentOS在虚拟机里面分辨率小的调整

2017年02月05日 42 阅读

曾经一直都对RedHat很钦佩，也一直很喜欢redhat，只是最近一次电脑出了状况，系统好多东西都没了，尤其是redhat虚拟机没有了。于是乎就想去官方网站上下载，没想到遗憾的是只提供旧版本的下载。无奈之下直接换成了CentOS，还好都是基于同一个Linux内核的。安装过程和redhat类似，使用也差不多。只是用起X来分辨率较小，其实是VMtools的问题。以下是解决方案：1、启动CentOS，安装VMtools点击虚拟机 选择 安装VMWare Tool...

Maven3.0 配置和简单使用

2017年02月05日 41 阅读

Disc：maven能做什么这里就不浪费流量了，自己google一下什么都有。这里只是个简单的入门，maven的文档相当细致，这里重复的过多也毫无意义，看完这篇能有个初步的认识就去看文档吧Context：Windows 7，maven3.0.5Step：1、安装maven1.1安装maven（快速开始http://maven.apache.org/guides/getting-started/maven-in-five-minutes.html）2、创建m...

Github生成SSH公钥

2017年02月05日 43 阅读

1 如果没有安装ssh，那么使用下面的指令sudo apt-get install ssh2 检查SSH公钥cd ~/.ssh 看看存不存在.ssh，如果存在的话，掠过下一步；不存在的请看下一步3 生成SSH公钥 $ ssh-keygen -t rsa -C "your_email@youremail.com" # Creates a new ssh key using the provided email Generating public/privat...