Shell去除空行的4种方法

2017年02月06日 80 阅读

有时我们在处理和查看文件时，经常会有很多空行，为了美观或是有需要时，就有必要把这些除行去掉了，方法如下:1）用tr命令复制代码 代码如下:cat 文件名 |tr -s ‘ "2）用sed命令复制代码 代码如下:cat 文件名 |sed ‘/^$/d" 3）用awk命令复制代码 代码如下:cat 文件名 |awk ‘{if（$0！=”"）print}"cat 文件名 |awk ‘{if（length ！=0） print $0}"4）用grep命令复制代码 ...

Shell脚本模拟多线程功能分享

2017年02月06日 80 阅读

复制代码 代码如下:#！/bin/bashfunction pinghost {ping $1 -c 1 -w 10 |grep rtt|cut -d “/” -f6}tmp_fifofile=”/tmp/$.fifo” # 脚本运行的当前进程ID号作为文件名mkfifo $tmp_fifofile # 新建一个随机fifo管道文件exec 6<>$tmp_fifofile # 定义文件描述符6指向这个fifo管道文件rm $tmp_fifof...

Shell脚本实现的单机流量统计功能

2017年02月06日 76 阅读

在网上看到这个单机流量的脚本，挺不错的。复制代码 代码如下:#！/bin/shusage（）{echo “Usage: $0 [-i INTERFACE] [-s INTERVAL] [-c COUNT]”echoecho “-i INTERFACE”echo “ The interface to monitor, default is eth0.”echo “-s INTERVAL”echo “ The time to wait in seconds b...

Shell脚本批量添加扩展名的两种方法分享

2017年02月06日 74 阅读

方法1：复制代码 代码如下:for file in `ls`; do mv $file $file.txt; done方法2：复制代码 代码如下:find . -type f |xargs -i mv {} {}.txt还有一些试验不成功的，先记录在此。1.用rename命令修改后缀名，这个是最简单最省事的办法复制代码 代码如下:[root@demo test_rename]# ll总计 20-rw-r–r– 1 root root 0 09-27 00:...

Shell实用技巧：快速去除字符串中的空格

2017年02月06日 78 阅读

在整理词库的过程中遇到 一个问题，有些其实是同一个关键词之关有空格的话，无法正常被去重，那么有没有办法能快快速去除这些字符中间的空格呢？经过百度一番，找到一个解决办法，记录一下。效果如下图所示，图上半部分是示例文本，下半部分就是用shell去掉空格后的效果。其中用到就是下面第3个方法。在UNIX上使用sed命令进行字符串处理中常常遇到的问题就是行首行尾的空格怎么删除。下面介绍sed是怎样实现的，当然awk同样可以。1、删除行首空格复制代码 代码如下:sed...

使用shell脚本找出网站的空页面和404错误页面

2017年02月06日 76 阅读

早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这个问题，所以才有下面这些笔记：用shell批量找出网站空页面和404错误页面。废话不多说，直接上shell代码：复制代码 代码如下:time cat sitemap.txt|while read line;do curl -...

shell脚本实现批量采集爱站关键词库

2017年02月06日 82 阅读

shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！复制代码 代码如下:for i in $（seq 1 50）;do curl -s http://baidurank.aizhan.com/baidu/jiameng.com/$i/position/|grep -a "class="zhishu""|sed "s/<a target="...

Shell脚本对比两个文本文件找出不同行的2个方法分享

2017年02月06日 75 阅读

亲自实验过的方法如下：第一种：comm命令法命令如下：comm -3 file1 file2有一个问题就是，如果两个文件排序不一样的话，会出问题第二种：grep命令法命令如下：grep -vwf file1 file2统计file1中没有，file2中有的行具体使用环境以后再补充，今天先记录到这里。...

Shell日志分析常用命令和例子

2017年02月06日 79 阅读

学会用shell分析日志只要一上午！！！很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。1、在Windows下的用户要使用shell命令符的话请先安装cygwin，安装方法自行Google（搜技术问题请使用google，百度搜不到活该）2、下面粗略介绍下SEO日志分析常用的命令符用法，需要详细了解每个命令符请使用Google。less 文件名 查看文件内容 按“q” 退出cat 文...

awk正则表达式和内置函数的使用方法实例详解

2017年02月06日 80 阅读

awk正则表达式及内置函数实例详解：1、模糊匹配：复制代码 代码如下:awk ‘{if（$3~/97/） print $0}" data.f：如果第三项中含有”97”则打印该行awk ‘{if（$4！~/ufcx/） print $0}" data.f：如果第三项中不含ufcx有则打印2、精确匹配：复制代码 代码如下:awk ‘{if（$5==66） print $0}" data.f：如果第五项是66则打印awk ‘{if（$5！=66）print $0...

shell脚本实现快速生成xml格式sitemap实例分享

2017年02月06日 74 阅读

用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下：复制代码 代码如下:cat sitemap.txt|awk "BEGIN{print "<?xml version="1.0" encoding="UTF-8"?> <urlset>"}{print "<url> <loc>"$0...

Shell中实现字符串反转方法分享

2017年02月06日 81 阅读

在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解决方法，现记录一下。shell实现字符串反转，一句命令搞定！复制代码 代码如下:cat keywords.txt|while read line;do echo $line|rev;done命令的：复制代码 代码如下:echo...

Shell脚本实现的一个简易Web服务器例子分享

2017年02月06日 73 阅读

假设你想测试网页和一些CGI,而你又不想麻烦Apache安装完整的包。这个快速的shell脚本可能只是你所需要的东西。简而言之,一个web服务器是一个应用程序,该应用程序将本地文本文件通过网络发送给客户的请求。如果你让另一个程序（例如inetd）处理网络情况下,web服务器可以减少到只有 cat "文件名”发送到stdout。当然,困难将提取部分文件名的HTTP请求字符串:任何一个Bash脚本无法轻易做到。脚本我们的脚本应该像其他任何脚本一样，加上一些定义...

Shell实现多级菜单系统安装维护脚本实例分享

2017年02月06日 77 阅读

演示效果：1、一级菜单2、二级菜单3、执行操作脚本参考：复制代码 代码如下:#！/bin/bash#author lic（oldboy linux student）#date 1304DISK_NO="/dev/sda1"NGINX_DIR="/usr/local/tdoa/nginx/sbin/nginx"MYSQL_DIR="/usr/local/tdoa/mysql/bin/mysqld_safe"SERVER1="WEB"SERVER2="MYSQ...

Bash Shell 注释多行的几种方法

2017年02月06日 76 阅读

1、最简单方法复制代码 代码如下::<<BLOCK....注释内容BLOCK把输入重定义到前面的命令，但是 : 是空命令，所以就相当于注释了。如果注释中有反引号的命令就会报错，反引号部分不会被注释掉，例如 var=`ls -l` 就不会被注释掉。2、解决注释中有反引号的问题A、方法一复制代码 代码如下::<<BLOCK"....注释内容"BLOCKB、方法二复制代码 代码如下::<<"BLOCK....注释内容BLOCK...

shell中的数组操作小结和冒泡排序实现脚本分享

2017年02月06日 77 阅读

shell数组介绍:复制代码 代码如下://数组变量定义:$ arr=（1 3 6 8 2 5 9 0 7 4）// 默认获取第一个元素$ echo $arr // 通过下标访问,下面取的数组第二个元素,shell数组下标是从0开始$ echo ${arr[1]} // 访问整个数组 $ echo ${arr[@]} or echo ${arr[*]} // 获取数组的长度（最大下标）$ echo ${#arr[@]} // 获取单个元素字符串长度$ ec...

shell脚本实现文件锁功能

2017年02月06日 78 阅读

1.背景当多个进程可能会对同样的数据执行操作时，这些进程需要保证其它进程没有在操作，以免损坏数据。通常，这样的进程会使用一个“锁文件”，也就是建立一个文件来告诉别的进程自己在运行，如果检测到那个文件存在则认为有操作同样数据的进程在工作。这样的问题是，进程不小心意外死亡了，没有清理掉那个锁文件，那么只能由用户手动来清理了。2.关于flockflock 是对于整个文件的建议性锁。也就是说，如果一个进程在一个文件（inode）上放了锁，那么其它进程是可以知道的。...

shell脚本实现批量测试局域网主机是否在线

2017年02月06日 74 阅读

由于局域网内主机多，VLAN也多，为时常能知道在线主机的数量，编写脚本以查验在线主机。效果是：主机在线显示绿色，主机离线显示红色结果。用法：./ping IP段 例如：./ping 192.168.0复制代码 代码如下:#！/bin/bashNETWORK=$1for HOST in $（seq 1 254）do ping -c 1 -w 1 $NETWORK.$HOST &>/dev/null && result=0 || result=1 if ...

Shell脚本中调用、引用、包含另外一个脚本文件的两种方法

2017年02月06日 83 阅读

脚本 first （测试示例1） 复制代码 代码如下:#！/bin/bashecho "your are in first file"问）在当前脚本文件中调用另外一个脚本文件？方法一： 使用 source脚本 second （测试示例2）复制代码 代码如下:#！/bin/bashecho "your are in second file"source first方法二： 使用 .脚本 second （测试示例3）复制代码 代码如下:#！/bin/bashe...

Shell脚本判断Linux系统是32位还是64位的几种方法分享

2017年02月06日 80 阅读

一行就能搞定，输出32或者64。可以用“getconf WORD_BIT”和“getconf LONG_BIT”获得word和long的位数，64位系统中应该分别得到32和64。参考代码如下：复制代码 代码如下:ldconfigif [ $（getconf WORD_BIT） = "32" ] && [ $（getconf LONG_BIT） = "64" ] ; then ln -s /usr/local/mysql/lib/mysql /usr/lib...