由于前段时间一直在做Bash和Makefile脚本的编写,所以,本文主要是记录一些Bash使用心得. 有人可能会问了,现在Python这么流行,完全可以用来取代Bash呀。理论上是没错,但是Bash脚本有它自己独特的优点, 比如编写简单,功能强大(主要指的是与管道命令和其它命令行程序结合起来使用),特别适合用来制作一些”简单”的自动化处理任务脚本。 很多时候,我宁愿用shell而不想编写python,因为shell实在是太方便啦。

The Big Picture

编写bash脚本,简单来说就是编写一个批处理程序,这个程序里面的语句都可以在终端里面直接运行。比如我们熟知的“新建文件”(touch filename), “删除文件”(rm filename),“增删改文件夹”(mkdir/rm -rf/mv folername)等命令都可以直接写到bash脚本中。

一个简单的bash脚本一般是以.sh为后缀,但这个不是必须的。我们只需要在我们的脚本文件的最顶端写上下面的语句即可:

1
 #!/bin/sh

接下来所有的语句都会按照shell的语法来解释执行。

一个简单的Hello World示例如下:

1
2
 #!/bin/sh
echo "Hello World"

如果我们把此段脚本保存为ex01.sh,那么我们可以直接通过在终端运行以下命令来执行它:

1
./ex01.sh

不过在运行此脚本之前,我们还需要赋予它可执行权限.

1
chmod +x ex01.sh

如果你是一个命令行重度用户,你会发现编写shell脚本相当得心应手。它可以辅助我们完成一些重复性的任务,而我自己经常也用它们来制作一些命令行小工具。

shell脚本本身的语法还是一点怪异的,不过只需要注意几点,多写几段程序就可以适应了。

shell脚本最强大的还是与管道与现有命令行工具整合起来一起使用,威力相当大。理论上你掌握的命令行工具越多,你编写shell脚本能够完成的工作也就越多.

Basic syntax

关于shell的基本语法,我就不在这里赘述了。大家可以参考Learn X in Y minutes,也可以读一读Bash Programming Intro 中文入门可以读shell 快速入门.

需要注意的一点就是,“空格”在bash里面非常重要。如果使用不当,就会报错.

比如下面两行代码:

1
2
foo="bar"
foo ="bar"

第一条语句是把”bar”这个变量字符串赋值给foo,而第二条语句是会直接执行foo这个命令。一般来讲,就会直接报错,说foo不是一个有效的外部命令。

另外还有在if语句和while等语句里面,如果在[]的两侧忘记添加空格,也是会报语法错误的。

总的来说,shell的语法是很简单的,我们只需要掌握一些基本的顺序选择循环语句怎么编写就差不多了,大部分时候我们会编写一些函数来做模块化分割,主要是为了方便编写更复杂的shell程序。

有时候,为了完成一个特定的功能,我们可能需要编写好几个shell程序,然后让它们相互调用来完成功能。此时就涉及到不同shell脚本之间如果传递数据的问题了。

一般可以通过命令行参数和export变量来传递。而命令行参数则于$1-$n来表示,export导出变量只能向下传递,不能向上传递.

一般建议少用export导出变量来传递数据,因为这样会污染bash的环境变量.

另外,我们在~/.bash_profile里面定义的export变量,默认在shell初始化的时候会全部导出,任何在此shell环境中执行的shell脚本都可以访问和操作这些变量.

接下来,主要是记录一些常用的tips.

Tips and tricks

本小节主要记录一些小的Tips.

Parse Command Options

Method1:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
while [ "$1" != "" ]; do
    PARAM=`echo $1 | awk -F= '{print $1}'`
    VALUE=`echo $1 | awk -F= '{print $2}'`
    case $PARAM in
        --help | -h)
            build_show_help_message=yes
            ;;
        --platform | -p)
            build_platform=$VALUE
            ;;
        --libs)
            build_library=$VALUE
            ;;
        --arch | -a)
            build_arches=$VALUE
            ;;
        --mode | -m)
            build_mode=$VALUE
            ;;
        --list | -l)
            build_list_all_libraries=yes
            ;;
        *)
            echo "ERROR: unknown parameter \"$PARAM\""
            usage
            exit 1
            ;;
    esac
    shift
done

Method2:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
while getopts "hvsk🅰️l:" OPTION
do
     case $OPTION in
         h)
             usage
             exit 1
             ;;
         v)
             VERBOSE=yes
             ;;
         s)
             PLATFORM=Simulator
             ;;
         k)
             SDK_VERSION=$OPTARG
             ;;
         a)
             ARCH=$OPTARG
             ;;
         l)
             OPTIONS=--enable-$OPTARG
             ;;
         ?)
             usage
             exit 1
             ;;
     esac
done

Use Sed, Awk and Grep

  • 使用sed可以完成文件文本的查找与替换:

下面是把xxx.txt里面的xx替换成yy,同时生成一个xxx.txt.bak文件。

1
sed -i .bak 's/xx/yy/g'  xxx.txt

我们可以看到,这里的’s/xx/yy/g’和vim里面的替换命令是一模一样的。

关于sed的入门,推荐大家看这篇文章

  • 使用awk方便操作具有column结构的数据和文本

这里,我也推荐一篇文章

  • 使用grep查找特定目录里面包含自定义正则表达式的文件

关于grep的使用,也推荐一篇文章吧

这三个命令使用的频率特别高,特别是在做文本查找和文本字符串处理的时候。当然,还有perl使用的机会也比较多,以后有时间也要好好学习一下。

Use Various command line tools

常用的shell命令有以下几种:

1
2
3
4
5
6
7
sort
find
tail
head
xargs
cat
touch

通过组合这些命令与前面提到的awk, grep等命令,我们可以在命令行里面完成非常复杂的操作。

比如:

1
2
3
find  ../contrib/src -type f | grep SHA512SUMS | xargs cat |
awk 'match ($0, /.tgz|.tar.gz|.zip|.tar.xz/) { print substr($2,0,length($2)-RLENGTH)}'
| grep -i xxx | awk '{print $1}'

上述这段脚本是查找当前目录的上一级contrib目录下面的src文件夹下面包含字符串”SHA512SUMS”的文件,然后查找这些文件里面包含(.tgz, .tar.gz, .zip 和.tar.xz)的字符串,并把这些字符串中名字包含xxx的打印出来.

Use Man page, Google and SO

因为Linux系统下面的命令行工具实在是太多了,如果我们要精通每一个命令行工具的所有用法和参数,这几乎是不可能完成的任务。 所以,善于利用man命令来实时查找特定命令行工具的用法,这一点太重要了。

当然,有时候面对密密麻麻的man page,我也经常找不到解决方案。这个时候,google和stackoverflow就能大显神威了。特别是stackoverflow,在编写shell脚本的过程中,我遇到的90%的问题都是通过它来解决的。

Debugging

调试可以通过设置以下语句:

1
set -x

也可以用最简单的打印+exit来调试,业内有一种说法叫“二分调试法”,指的是在出问题的程序段里面,采用类似二分查找的方法来打印一些关键变量的值,用以判断程序执行程序及逻辑是否正确。

1
echo 'xxx' && exit

Reference