大数据环境下的磁盘脚本思考和实现

2016年10月14日 8 阅读

需求：考虑一种场景，譬如hdfs中的存储节点（datanode）所需的磁盘，当集群规模变大，假设每个节点有20块盘，集群有200个节点，那么实际物理磁盘为4000块；假设磁盘年故障率为1%，那么，我们是不是可以认为每天都有1块盘出现故障需要更换或修复？现在，为了解放生产力，具体需求是：当发现磁盘故障后，仅需更换物理磁盘，系统级别的操作全部自动化。一些问题思考：1）：删除其信息写入fstab的故障盘信息2）：新磁盘是不需要分区的，直接格式化3）：故障盘如果修...

Ubuntu 13.04下正确对U盘进行格式化

2016年10月14日 8 阅读

U盘是目前应用最广的移动存储设备。但由于一些原因，我们需要对U盘进行格式化操作。对于习惯了Windows 操作系统的用户来说，格式化非常方便简单，只需要我们点击右键选择“进行格式化”就可以完成对U盘的格式化过程。但是在Linux操作系统中，对U盘的格式化则相对要负责些。下面我们来看一下在Linux操作系统（Ubuntu 13.04）中如何对U盘进行格式化：在Linux操作系统中对U盘进行格式化，我们需要借助一个软件：GParted。...

YUM 安装及清理

2016年10月14日 9 阅读

Yum（全称为 Yellow dog Updater, Modified）是一个在Fedora中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理 依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。 在我们平时对CentOS的软件安装中,yum命令在查找安装盘中的rpm比较快，现将收集的一些常用命令整理如下：1.列出任何可更新的软件清单命令：yum check-update2.安装...

Ubuntu 1 2.04下ndnSIM安装

2016年10月14日 8 阅读

终于在Ubuntu 1 2.04下把ndnSim装上了~~中间碰到很多error，好在一一解决了，把经验分享一下~~1、NS3开发环境设置sudo apt-get install gcc g++ python python-dev //C++和python安装，必装sudo apt-get install mercurial //NS3代码维护使用的源码版本控制管理系统 分布式版本控制系统sudo apt-get install bzr //运行pytho...

如何在Ubuntu 13.04 中安装 Ezame 菜单编辑器

2016年10月14日 8 阅读

Ezame 是一个桌面文件编辑器 – 能够编辑菜单结构的一款很好的应用程序，允许用户创建菜单项和应用启动器。基本上，Ezame 可让用户选择的图标，类别等等。在 Ubuntu 13.04 中安装 Ezame 菜单编辑器打开终端，运行以下命令：sudo add-apt-repository ppa:caldas-lopes/ppasudo apt-get updatesudo apt-get install ezame下面是截图：更多Ubuntu...

Fedora 18升级Fedora 19

2016年10月14日 8 阅读

从Fedora 18升级Fedora 19的过程。1.指定yum源，利用自带的升级工具升级fedup-cli --network 19 --debuglog fedupdebug.log --instrepo=http://mirrors.163.com/fedora/releases/19/Fedora/x86_64/os/2.下载完更新包后，会提示重启，reboot重启3.重启后系统开始更新，按ESC查看更新具体过程4.更新完进入系统清理引导和垃圾数据...

PyPy运行Django+MySQL简单教程

2016年10月14日 8 阅读

PyPy是Python开发者为了更好的Hack Python创建的项目。此外，PyPy比CPython是更加灵活，易于使用和试验，以制定具体的功能在不同情况的实现方法，可以很容易实施。 该项目的目标是，让PyPy比C实现的Python更为容易的适应各个项目和方便裁剪。PyPy的第一部分：用Python实现的Python其实这么说并不准确，准确得说应该是用rPython实现的Python，rPython是Python的一个子集，虽然rPython不是完整的P...

Linux下删除文本、文件中的空行

2016年10月14日 8 阅读

实验描述：可同时处理一个或多个文件；要求在用 sed 删除空行之前先核实文件是否存在；sed的输出被导入一个文件名中含有$ $的临时文件，最后将临时文件移回原来的文件中；使用shift命令取得所有的文件名，用while循环逐个处理所有的文件，直至处理完为止；可以使用del.lines --help获得一个简短的帮助信息。实验过程：1：编写一个脚本，名为del.lines：截图如下：内容如下：#！/bin/bash# Script takes filenam...

安装 Fedora 19 GNOME 后需做的五件事

2016年10月14日 8 阅读

Fedora 19 代号为Schrodinger"s Cat（薛定谔的猫），它是Fedora的最新版本，这是一款得到红帽公司支持的Linux发行版。本文介绍了安装Fedora 19 GNOME后需做的五项简单任务，旨在让它更易于使用。相关阅读：Fedora 19 正式版（薛定谔的猫）发布下载 http://www.linuxidc.com/Linux/2013-07/86808.htm1. 更改主机名称：在安装全新的Fedora 19桌面这个过程中，我确信...

CentOS配置yum源报错：[Errno -1] Metadata file does not match checksum

2016年10月14日 9 阅读

今天心血来潮，想学习下cacti，需要在给CentOS下yum安装rrd tool，于是给我的VMWare workstation里一台centos 5.8 VM配置了yum源，yum makecache，奇怪的事情发生了，居然收到了下面的报错：http://mirrors.tuna.tsinghua.edu.cn/centos/5/os/x86_64/repodata/primary.xml.gz: [Errno -1] Metadata file do...

解决Linux5在telnet时报错“Unencrypted connection refused. Goodbye.”

2016年10月14日 8 阅读

Oracle Linux 5环境，今天在远程telnet时，居然报错如下：Unencrypted connection refused. Goodbye.解决方法：1）将文件/etc/xinetd.d/ekrb5-telnet里面的参数“disable”改成：disable=yes2）重启xinetd服务：service xinetd restart3）防止系统再次更改该参数值，执行：chkconfig ekrb5-telnet o...

ks.cfg 文件，参数讲解

2016年10月14日 8 阅读

Kickstart文件中的主要项目及参数介绍：每个项目都由关键字来识别；关键字可跟一个或多个参数；如果某选项后面跟随了一个等号（=），它后面就必须指定一个值。install（可选） 明确指定系统次次进行的是全新安装系统；是默认项；cdrom （可选） 以本地CD-ROM为源安装系统；harddrive （可选） 以硬盘分区中包含的镜像为源（安装树）安装新系统；当以该种方式安装系统时，即使指定clearpart --all项，源所在分区也不会被重新抹去...

CentOS 5.5 更新网卡驱动 bnx2 version: 2.0.2

2016年10月14日 8 阅读

操作系统：CentOS release 5.5 （Final）故障现象：网卡无故自动down掉，使用service network restart 重启后没多久又会自动down , 连接数大概在200个左右，没有arp攻击；网卡信息：[root@www.linuxidc.com~]# cat /var/log/dmesg |grep eth0eth0: Broadcom NetXtreme II BCM5709 1000Base-T （C0） PCI Ex...

Redis监控数据分布工具Redis-audit 使用总结

2016年10月14日 8 阅读

Redis-audit 是一个用ruby实现的脚本，通过它，我们可以知道每一类 key 对内存的使用量。它可以提供的数据有：某一类 key 值的访问频率如何，有多少值设置了过期时间，某一类 key 值使用内存的大小，这很方便让我们能排查哪些 key 不常用或者压根不用。比较了下，比这些 Sentinel，Redis Live，Redis Faina，Redis-sampler，Redis-rdb-tools 监控或者数据分布工具要好！下载git clone...

Ubuntu 12.04 如何修改背景色

2016年10月14日 8 阅读

之前使用Ubuntu 10.10的时候，设置背景颜色为养眼的绿豆色很容易，最近升级了Ubuntu 12.04，发现系统没有提供可视化的修改工具啊，于是开始Google搜索，在Ubuntu论坛网站上找到了解决方法。首先安装dconf-editor，sudo apt-get install dconf-tools然后打开dconf-editor,然后找：org – gnome -desktop – interface，然后找到 gtk-...

Linux操作系统tcpdump抓包分析详解

2016年10月14日 8 阅读

PS：tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。...

Linux特殊符号大全整理

2016年10月14日 8 阅读

Linux特殊符号大全在shell中常用的特殊符号罗列如下：# ; ;; . , / "string"| ！ $ ${} $？ $$ $* "string"* ** ？ : ^ $# $@ `command`{} [] [[]] （） （（）） || && {xx,yy,zz,...}~ ~+ ~- & <...> + - %= == ！=# 井号 （comments）这几乎是个满场都有的符号，除了先前已经提过的"第一...

yum局域网软件源搭建

2016年10月14日 8 阅读

和其他几个同学一起，在若干台服务器上安装openstack，虚拟出更多的机器，对各种分布式/并行数据分析平台进行测试。目前才刚刚把openstack平台搭建起来，正在安装各种待测试的系统，一个比较现实的问题就是：由于机房路由的关系，服务器和虚拟出的机器是不能直接访问外网的，通过代理的下载速度又很慢，所以需要在局域网中搭建一个软件源。我们的测试选用了CentOS作为操作系统，所以当然是搭建yum软件源了（Debian软件源之前已经搭了一个）搭建的步骤如下：1...

获取CentOS软件源中的updates包

2016年10月14日 8 阅读

之前在本地网络中建了一个CentOS软件源，挺好用的，【见 yum局域网软件源搭建 http://www.linuxidc.com/Linux/2013-07/87315.htm】可是发现有些软件还是装不上，因为系统安装盘中的包并不全，有些软件的依赖在updates源中，updates源在网上，怎么把其中的包拿到呢？一种方法，当然也是最最正常的方法，就是做个计划任务，定时从CentOS官方镜像站中同步。可是我们也就是在本地用用，不需要同步，于是写了个Jav...

Windows 8和CentOS 6.4（64）双系统硬盘安装教程

2016年10月14日 8 阅读

最近在笔记本上升级原来的系统Win7到Win8，同时又安装了CentOS 6.4（64）系统，实现双系统共存。着实折腾了一番，主要是CentOS6.4（64）的两个iso文件加起来5G多（其实只用第一个iso就行，这里两个都用了，以满足一些对CentOS系统的特别需求），在没有光盘而是用硬盘安装的情况下需要解决一些问题。Windows识别的NTFS文件系统能够存放超过4G的单个文件系统，可用于存放镜像，但是在安装CentOS时却不能识别NTFS；安装Cen...