Tag Archives: Shell

Shell Tips: Unix 时间到字面

2011-06-24

我的工作需要天天跟报表数据打交道，在交换的文件中，一般时间的字段内容都是 Unix 时间。为了检查数据的正确性，不可避免地需要转换 Unix 时间到人类可读的字面时间。

下面想分享的是一个在 Shell 下转换 Unix 时间到字面的小方法。与前面几篇一样，这个小 shell 函数仍然可以放在 ~/.bashrc 中方便快捷使用。

# 转换 Unix 时间到本地时间字符串
function ctime()
{
    date -d "UTC 1970-01-01 $1 secs"
}

使用方法很简单：

$ ctime 1234567890
Sat Feb 14 07:31:30 CST 2009

对 date 命令熟悉的同学会说，date 不是已经有直接转 Unix 时间的参数了吗？

$ date -d @1234567890
Sat Feb 14 07:31:30     2009

但是不好意思的是，小弟有时候用的 date 程序好老，不支持 @ 符号。

$ date --version
date (coreutils) 5.2.1
Written by David MacKenzie.

Copyright (C) 2004 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

PS: 写完这篇博文，我又想到了一个有趣的事情，既然很多 Linux 64 位版本的 time_t 已经是 long long 格式了，那么 date 命令有没有 year 2038 问题呢？

下面是 date (coreutils) 5.2.1 在 64 位服务器上的尝试结果：

$ date +%s -d "Tue Jan 19 11:14:07 CST 2038"
2147483647
$ date +%s -d "Tue Jan 19 11:14:08 CST 2038"
2147483648
$ date +%s -d "Tue Jan 19 11:14:09 CST 2999"
32473710849
$ ctime 2147483647
Tue Jan 19 11:14:07 CST 2038
$ ctime 2147483648
Sat Dec 14 04:51:44 LMT 1901
$ ctime 32473710849
Mon Mar 28 07:33:53 LMT 1910

看来字面时间和 Unix 时间之间互转存在着问题啊！但是用 Ubuntu 11.04 的 date (GNU coreutils) 8.5 尝试就不存在这个问题了。

by Solrex Yang |

1 Comment |

Linux

Shell Tips: 用GNU Screen实现发送交互到所有会话

2011-03-27

服务器冗余和分拆是互联网服务中经常用来缓解访问压力的手段，那么检查或者管理多台同构服务器也是互联网行业工程师们绕不开的操作。经常面临的问题是：如何高效地在多台服务器上执行相同的命令，进行批量系统操作或问题检查。

Windows 下的 ssh 客户端 XShell 和 SecureCRT 都提供了类似的功能，当每个标签页都连接到一个服务器时，可以在命令窗口中发送交互到所有的标签页以实现同时操作多台服务器的目的。这招我还是从 OP 那里学来的，的确大大提高了生产力。

但这种方法也存在一些问题：

只适用于特定的 ssh 客户端。例如对 Linux 来说就有些不适用，不过据说 Konsole 也提供了类似功能，未验证。
每个标签页中，还是得一台一台地登陆上服务器，很难自动化。据说有的客户端支持编写脚本实现，但还要学习对应脚本语言，且灵活性有限。
无法一直保持持续的连接。特别是对有开发机的工程师，本来开发机是一直在线的，但由于客户端的限制，只能在本地电脑连接多服务器。当本地网络断开后，自然多服务器的连接也断开了。

为了解决这些问题，小弟想到了神器 GNU Screen。Screen 也是终端，难道无法做这件事吗？您还别说，在我费心劳力一上午之后，总算摸索出了用 Screen 解决上述问题的方法。下面两个可以放到 ~/.bashrc 中的函数，就是我心血的“结晶” :)

function screenssh ()
{
    local username=YOUR_USERNAME
    local password=YOUR_PASSWORD
    local server=''
    local timeout=3
    for server in $@; do
        screen -S $STY -X screen ssh $username@$server
    done
    sleep $timeout
    local cmd="screen -S $STY -X at ssh# stuff $'$password\n'"
    eval $cmd
}

function lets ()
{
    local cmd="screen -S $STY -X at ssh# stuff $'$1\n'"
    eval $cmd
}

Screen 的用法和技巧，在我之前的文章中也有提及，此处不再赘述。这里主要介绍一下上面两个函数的作用和用法：

screenssh 是在 screen 中自动登陆多台服务器的命令。这个 bash 函数接受服务器列表作为输入，执行后会在当前 screen 中为每个服务器打开一个 window，并使用提供的用户名和密码登陆这些服务器。这样当前 screen 中就会多出 N 个 window，分别对应登陆到 N 个服务器。在使用前，你要修改用户名、密码变量值为你需要的内容，而且该命令必须在 screen 中执行，在 screen 外执行是无效的。

执行完 screenssh 后，就可以祭出 lets 命令来在多个 window 中同时执行操作命令了。lets 接受一个字符串作为输入，执行后该字符串会作为命令发送到 N 个服务器对应的 N 个 windows 中执行。

看完以后令人困惑的地方可能是，我到底应该在哪里执行 screenssh 和 lets 这两个命令呢？下面用一个例子来更直白地阐述一下这两个命令的使用方法。

假设你需要在 3 台服务器：s1.solrex.org, s2.solrex.org, s3.solrex.org 上执行 grep FATAL ~/error_log 查看错误日志。那么你应当：

1. $ screen -S admin
# 首先创建一个 screen，这时候你有了 0 号 window；
2. $ screenssh s1.solrex.org s2.solrex.org s3.solrex.org
# 在 0 号 window 中执行 screenssh 命令，自动打开 3 个 window，连接到三个不同的服务器；
3. $ lets "grep FATAL ~/error_log"
# 在 0 号 window 中执行 lets，将命令自动分发到 3 台服务器上执行；
4. ctrl-a N 切换到不同的 window 查看命令的执行情况；
5. ctrl-a 0 切换到 0 号 window 执行下一条批量命令；

下面我们再回顾一下上文中提到的 3 个问题是否解决了：1. GNU Screen Linux 一般均自带，不存在专用客户端问题；2. screenssh 解决了自动化登陆多台服务器问题，且服务器列表作为参数，非常灵活且易定制；3. 开发机上运行的 screen 保证了客户端离线连接不断。

by Solrex Yang |

9 Comments |

Linux

Shell Tips: cppath、scppath、mybackup

2011-03-23

分享几个觉得有用的小 shell 函数。

1. scppath

在进行一些跨机器的操作时，每次 scp 总要手动去拼那个路径，首先从 PS1 拷贝粘贴用户名和主机名，然后再 pwd 拷贝粘贴当前目录，然后再 ls 拷贝粘贴要 scp 的文件名。好烦啊，所以就写了下面这个小函数来生成 scp 的文件路径，放到 ~/.bashrc 里。

function scppath()
{
    local _IFS=$IFS
    IFS=$(echo -en "\n\b")
    local _file
    for _file in $@; do
        echo "\"$USER@$HOSTNAME:$PWD/$_file\""
    done
    IFS=$_IFS
}

2. cppath

同样可以有 cppath。

function cppath()
{
    local _IFS=$IFS
    IFS=$(echo -en "\n\b")
    local _file
    for _file in $@; do
        echo "\"$PWD/$_file\""
    done
    IFS=$_IFS
}

3. mybackup

这个函数是偷懒备份用的。当写代码写到一半，不想或者不能 check in，但又想备份一下时，就用这个命令对文件或者目录进行自动的备份。

function mybackup()
{
    local _bak_dir=~/history
    local _path=''
    mkdir -p $_bak_dir
    local _IFS=$IFS
    IFS=$(echo -en "\n\b")
    for _path in $@; do
        if [ -f $_path ]; then
            cp $_path $_bak_dir/"$_path".`date +%Y-%m-%d.%H-%M-%S`
        elif [ -d $_path ]; then
            _path=`basename $_path`
            tar -cvf $_bak_dir/$_path.`date +%Y-%m-%d.%H-%M-%S`.tar $_path
        fi
        echo "Backuped $_path to $_bak_dir."
    done
    IFS=$_IFS
}

by Solrex Yang |

9 Comments |

Linux

在 shell 脚本里打日志

2010-12-17

今天小弟在重构代码中的一个脚本模块，其中涉及到日志功能。上午花了点儿时间想出了个在 shell 打日志的技巧，觉得值得写一下。希望要实现的效果是：实现一个 write_log 命令，给一条出错消息作为输入，write_log 记录日志时自动加上时间戳、脚本文件名和行号。形如： … Continue reading →

by Solrex Yang |

4 Comments |