Tag Archives: Python
很多语言或协议选择使用 ASCII 字符 “\”(backslash，0x5c) 作为字符串的转义符，包括 JSON 中的字符串。一般来说，使用 Python 中的 JSON 模块编码英文，不会存在转义符的问题。但如果使用 JSON 模块编解码中文，就可能面临着中文字符包含转义符带来的 bug。本篇文章给出了一个 badcase。
中文解码错误
测试用例文件里面包含繁体的“運動”二字，使用 GB18030 编码。使用 json 解码的错误如下：
$ cat decode.dat
{"a":"運動"}
$ python
>>> import json
>>> fp=open('decode.dat', 'r')
>>> json.load(fp, encoding='gb18030')
Traceback (most recent call last):
File "", line 1, in
File "/home/yangwb/local/lib/python2.7/json/__init__.py", line 278, in load
**kw)
File "/home/yangwb/local/lib/python2.7/json/__init__.py", line 339, in loads
return cls(encoding=encoding, **kw).decode(s)
File "/home/yangwb/local/lib/python2.7/json/decoder.py", line 360, in decode
obj, end = self.raw_decode(s, idx=_w(s, 0).end())
File "/home/yangwb/local/lib/python2.7/json/decoder.py", line 376, in raw_decode
obj, end = self.scan_once(s, idx)
UnicodeDecodeError: 'gb18030' codec can't decode byte 0xdf in position 0: incomplete
multibyte sequence
发生这个问题的原因，就存在于“運”字的编码之中。“運”的 GB18030 编码是 0xdf5c，由于第二个字符与转义符 “\” 编码相同，所以剩下的这个 0xdf 就被认为是一个 incomplete multibyte sequence。
我本来认为，既然已经提供了编码，json 模块就能够区分汉字与转义符（所以我觉得这应该是 json 的一个 bug）。但从实验来看，并非如此。对于一些不需提供字符编码的 JSON 解码器来说，我们倒可以用一种比较 tricky 的方法绕过上面这个问题，即在“運”字后面加一个额外的转义符：
{"a":"運\動"}
遗憾的是，这种方法对 Python 的 json 模块不适用。我仍不知道该如何解决这个解码问题。
中文编码——没错误！
对于相同的 case，Python 倒是能够编码成功：
$ cat in.dat
運動
$ python
>>> import json
>>> in_str = open('in.dat', 'r').read()
>>> out_f = open('out.dat', 'w', 0)
>>> dump_str = json.dumps({'a': in_str}, ensure_ascii=False, encoding='gb18030')
>>> out_f.write(dump_str.encode('gb18030'))
$ cat out.dat
{"a": "運動"}
所以这件事情就把我给搞糊涂了，Python 的 json 模块不能解码自己编码的 json 串。所以我觉得这可能是一个 bug，或者至少是 2.7.1 版本的 bug。
PS: 要仔细看文档
20120516：经网友 TreapDB 提醒，加载字符串时自己做 Unicode 转换，貌似能够解决这个问题。
$ cat decode.dat
{"a":"運動"}
$ python
>>> import json
>>> in_str = open('decode.dat', 'r').read().decode('gb18030')
>>> json.loads(in_str)
回头仔细看了一下 json 的文档，其中有这么一段：
Encodings that are not ASCII based (such as UCS-2) are not allowed, and should be wrapped with codecs.getreader(encoding)(fp), or simply decoded to a unicode object and passed to loads().
已经注明了 encoding 不支持非 ASCII-based 编码的参数，所以应该使用 getreader 进行转码，而不是让 json 模块去转码。看来是我没读懂文档，大惊小怪了，回家面壁去！
>>> json.load(codecs.getreader('gb18030')(fp))
Python NTP library (ntplib) offers a simple interface to query NTP servers from Python. But it does not support IPv6 NTP servers. I wrote a patch for ntplib to support IPv6 connections. You can download the patch file here and the patched library here.
The code bellow is a simple IPv6 enabled NTP client (ntpdate.py) in Python for Windows, using the patched ntplib. It doesn't (and won't) support Linux because the official NTP release offers IPv6 support on that platform.
#!/usr/bin/env python
# ntpdate.py - set the date and time via NTP
# An IPv6 enabled ntp client, for Windows ONLY.import ntplib, time
from os import system
from sys import argvdef usage():
print '''Usage: ntpdate.py [-qh] server
Example:
ntpdate.py 210.72.145.44 # IPv4
ntpdate.py ntp6.remco.org # IPv6
Options:-q Query only - don't set the clock.
-h Print this message.IPv6 NTP Server List:
ntp6.remco.org [2001:888:1031::2]
ntp6.space.net [2001:608:0:dff::2]
time.buptnet.edu.cn [2001:da8:202:10::60]
time.join.uni-muenster.de [2001:638:500:717:2e0:4bff:fe04:bc5f]
ntp.sixxs.net [2001:1291:2::b]
ntp.eu.sixxs.net [2001:808::66]
ntp.us.sixxs.net [2001:1291:2::b]
ntp.rhrk.uni-kl.de [2001:638:208:9::116]
ntp.ipv6.uni-leipzig.de [2001:638:902:1::10]
ntp.hexago.com [2001:5c0:0:2::25]
ntp1.bit.nl [2001:7b8:3:2c::123]Report bugs to http://solrex.org.'''
sys.exit()def main():
ntp_svr = ''
query = Falsefor a in argv[1:]:
if a == '-q':
query = True
elif a == '-h':
usage()
else:
ntp_svr = a
if ntp_svr == '':
usage()c = ntplib.NTPClient()
res = c.request(ntp_svr, version=3)
t_epoch = res.offset + res.delay + time.time()
t = time.localtime(t_epoch)
centi_sec = t_epoch%1 * 100
time_str = time.strftime('%H:%M:%S', t)
if not query:
system('time %s.%2.0f' % (time_str, centi_sec))
date_str = time.strftime('%Y-%m-%d', t)
system('date %s' % date_str)
if query:
print 'server %s, stratum %d, offset %f, delay %f' % (
ntp_svr, res.stratum, res.offset, res.delay)
print '%s %s ntpdate.py: time server %s offset %f sec' % (
time.strftime('%d %b', t), time_str, ntp_svr, res.offset)if __name__ == '__main__':
main()
由于在 CERNET 内，我经常需要用代理上网，没办法直连到 NTP 服务器，因此不能使用 Windows 时间服务对时。偶尔维修电脑或者不小心调整错时间，再加上电脑时钟本身就有一定的漂移，对时就变成了件麻烦的事情。
手动调时也没个参照，误差往往比较大。IPv6 网络上存在一些 NTP 服务器，Linux 下有 ntpdate 是支持 IPv6 NTP 服务器的，但是我搜索了半天，才在一篇文章上看到有人评论说 Windows 下只有一款 NTP 客户端支持 IPv6，还是收费软件——可他也没给出名字。
无奈之下想到 Python 的 httplib 是支持 IPv6 连接的，于是我就仿照 htpdate 写了一个利用 Google 的 IPv6 Web 服务器进行对时的 Python 小工具 htpdate.py。虽然误差比 NTP 大不少，但是还是在可接受范围内（不到 1 秒），而且比较方便，连日期也一块更新了。下面是代码，比较粗糙。
#!/usr/bin/env python
import httplib, time
from os import systemdef main():
conn = httplib.HTTPConnection('google.com')
time.clock()
conn.request('HEAD', '')
t_rtt = time.clock()
res_time = conn.getresponse().getheader('date')
t = time.localtime(time.mktime(time.strptime(res_time,
'%a, %d %b %Y %H:%M:%S %Z')) - time.timezone)
time_str = time.strftime('%H:%M:%S', t)
local_time = time.asctime()
t_exe = time.clock()
centi_sec = (t_exe - t_rtt/2)*100
if centi_sec > 99:
centi_sec = 99
system('time %s.%2.0f' % (time_str, centi_sec))
date_str = time.strftime('%Y-%m-%d', t)
system('date %s' % date_str)
print 'LOCAL TIME: ' + local_time
print 'SERVER TIME: ' + time.asctime(t)
print 'LOCAL TIME: ' + time.asctime()
if (t_exe - t_rtt/2) >= 1:
print 'Round trip time is too long. Time error might be larger than 1 sec.'if __name__ == '__main__':
main()
我不知道为什么在干正事的时候想写这个东西，大概也算是一种强迫症吧，想起来某件事情就总觉得有义务马上去做。那么就赶快写完吧。 这篇文章是写给有心人看的，如果您不知道 eYouIPB 和 CASNET 是什么东西，那么您可以无视以下内容。 eYouIPB 是中科院研究生院目前使用的网关登录客户端，但只能在 … Continue reading
如果您不知道这软件是干嘛的，那您就不用往下看了。这个软件是中科院研究生院师生使用的，更新公告发表在这里只是为了记录一下版本发布历史。 软件主页：http://share.solrex.org/casnet 最新版本 1.3-1(2009年2月11日发布) 更新 增加了单击更换登录模式功能。 增加了自动断线充连功能。 增加了余额不足提醒功能。 … Continue reading
Py2exe 是用来将 Python 程序打包成 Windows 下可执行 exe 程序的工具。这样那些未安装 … Continue reading
昨天为我的 casnet 程序添加新功能。其中一个功能是断线自动重连，本来是单线程的程序，添加这个功能就需要后台有一个线程定时地查询当前状态，如果掉线就自动重连。因之遇到了一个如何设计这个守护线程的问题。 我刚开始的想法是后台线程每次运行查询后 sleep 一段时间，然后再运行查询。但是我马上遇到了一个问题：当主程序退出时，后台线程仍在运行，主窗口无法退出。 在使用其它的库时，比如 POSIX … Continue reading
摘要：这篇博客介绍了一种在 Linux 下使用飞信（libfetion 库）来定时发送天气预报短信的方法。本文的主要贡献是：一、提供了一个 Linux 下发送飞信的命令行程序；二、提供了一个到中国气象网抓取、过滤天气信息并发送短信的脚本。 Libfetion修改了调用接口，而且中国移动现在换IP登录就需要使用验证码。除非我哪天闲得蛋疼，搞一个验证码识别模块出来，否则本项目将不再维护，很抱歉！ 天气预报短信一直是移动通信公司提供的一种收费服务，Google … Continue reading
CASNET 是中科院内部 IP 控制网关登录客户端，支持 Linux 和 Windows 双系统。此软件完全使用 … Continue reading