依云's Blog

近日，Arch Linux 终于开始升级到 Python 3.9 了。很多人认为 Python 小版本升级容易搞坏兼容性，导致项目无法在新的版本上运行。事实是这样的吗？我正好借着 Arch Linux 升级 3.9 的机会，分析一下打包过程中失败的项目到底是出了什么事。

需要说明的是，我仅大致地分析了打包的报错信息，不排除分析出错，或者有额外的问题没有被看见的情况。另外我是在打包过程中随机（arbitrarily）取样，并且排除了我不能确定问题所在的案例。

以下项目测试失败是和 Python 3.9 相关的。排序是按照项目开发者的无辜程度排序的。也就是说，排序越靠前的，我越是认为项目开发者是无辜的；而像「硬编码 Python 3.9 为未发布的版本」这种完全不 future-proof 的做法，现在坏掉了真是自找的。

其中，使用的公开特性变化导致问题的有 3 个，调用私有属性或者方法、依赖非正式的文本信息的有 11 个，使用已废弃的特性的有 8 个，使用已被修复的 bug 的有 2 个，使用未来注定会出问题的信息的有 3 个。总共 27 个。

• freecad: PyTypeObject.tp_print 没了
• python-llfuse: PyTypeObject.tp_print 没了
• linux-tools: PyMODINIT_FUNC 的变化导致了警告，然后被转为错误
• python-blist: _PyObject_GC_IS_TRACKED 宏不再在第三方库中可用（被公开 API 取代）
• python-pyflakes: Python 语法解析报告的列位置似乎不太对，应该是受新的语法解析器的影响
• python-pylint: Python 语法解析报告的列位置似乎不太对，应该是受新的语法解析器的影响
• python-typing_inspect: 使用私有名称 typing._GenericAlias，结果新版本变成了 typing._SpecialGenericAlias
• python-sphinx-autodoc-typehints: 看上去是类型标注相关的内部更改移除了 typing.Dict.__parameters__ 属性造成的
• python-fastnumbers: 看上去是内部函数 _Py_dg_stdnan 不再被默认包含导致的问题
• python-libcst: 类型标注相关的内部更改移除了 typing.Dict.__args__ 属性造成的
• monkeytype: typing.Dict 的类型从 type 变成了 typing._SpecialGenericAlias
• scrapy: 由于 typing.Optional[str] 的字符串表示由 typing.Union[str, NoneType] 变成了 typing.Optional[str] 导致 mitmproxy 运行出错，进而使得 scrapy 的测试失败
• python-billiard: 调用的私有方法 _posixsubprocess.fork_exec 参数发生了变化
• python-pytest-benchmark: argparse 的帮助信息格式有优化
• python-opentracing: 自 3.7 起废弃的 asyncio.Task.current_task 被移除
• python-engineio: 自 3.7 起废弃的 asyncio.Task.all_tasks 被移除
• impacket: 自 3.2 起废弃的 array.array.tostring() 被移除
• python-pybtex: 自 3.2 起废弃的 xml.etree.ElementTree.Element.getchildren 被移除
• python-jsonpickle: 自 3.1 起废弃的 base64.decodestring 被移除
• python-ioflo: 自 3.1 起废弃的 json.loads() 参数 encoding 被移除
• routersploit: 自 Python 3 起废弃的 threading.Thread.isAlive 终于被移除了
• python-socketpool: 自 Python 3 起废弃的 threading.Thread.isAlive 终于被移除了
• python-furl: Python 3.9 修正了一处 URL 解析 bug
• python-stem: Python 3.9 移除了错误的 unittest.mock.__version__
• python-natsort: Python 的 Unicode 支持更新到了 13.0.0 版本，CHORASMIAN NUMBER ONE 字符被判定为数字，但是测试代码不认识，认为程序出错
• python-pony: 对新版本的 Python 报不支持的错误
• python-dephell-pythons: 硬编码 Python 3.9 为未发布的版本，但现在 3.9 已经发布了

而以下项目的测试失败与 Python 3.9 没有直接关系，共 26 个。其中与 Python 生态有关的有 18 个，与其它项目有关的有 4 个，依赖外部信息的有 3 个，包括一个特别搞笑的依赖夏令时是否生效的。

• python-eventlet: 调用的 dnspython 私有方法已不存在；DNS 解析超时
• python-markdown2: 语法高亮的结果有少许变化，不符合预期。推测是 pygments 新版本的变化
• python-flake8-typing-imports: 似乎是 flake8 能够检测到更多的问题了
• python-babel: 使用了已废弃的特性，测试被 pytest 拒绝
• python-pygal: pytest 6.1.0 移除了 Metafunc 的 funcargnames 属性
• python-flask-gravatar: 使用了已废弃的特性，测试被 pytest 拒绝
• python-pytest-relaxed: 使用了已废弃的特性，测试被 pytest 拒绝
• python-pytest-randomly 使用了已废弃的特性，测试被 pytest 拒绝
• python-deprecated: 测试所预期的警告文本信息已经发生变化
• python-dbus-signature-pyparsing: 执行时间超过了测试设定的 200ms 时限
• python-tinycss2: flake8 风格检查未通过
• python-pytest-runner: black 风格检查未通过
• python-portend: black 风格检查未通过
• python-aiohttp: @coroutine 的 DeprecationWarning 被视作错误
• python-poetry: poetry-core 的一项数据由 dict 改为 OrderedDict，使得输出顺序与测试预期的不一致
• python-isort: 将使用旧版本 isort 的外部项目的 import 排序视为正确，然后它还真出错了
• python-cachecontrol: Python 2.7 相关
• python-zc.lockfile: 测试代码把 Python 3 代码喂给了 Python 2.7。可能是该库已经不支持 2.7 了
• python-occ-core: 依赖 OpenCASCADE 的版本更新，不被支持
• protobuf: C 整型比较因表示范围问题而恒为假，警告转错误。是因为新版本的 gcc 比较聪明么？
• gnome-passwordsafe: 构建系统发现有依赖缺失
• io: C 代码引用了不存在的系统头文件
• ceph: C++ 相关问题
• python-distlib: 调用远程 XML-RPC 太多被限制导致预期的数据与实际错位
• python-requests-toolbelt: 测试所需要的 HTTP 资源 404 了
• postgresql: 夏令时结束，导致实际时区与预期对不上。「所以冬天就不要滚包啦，冬天要冬眠！」

所以在这些升级 Python 3.9 的项目中，不兼容 Python 3.9 仅仅只占一半，其中又有一半多属于「总有一天会坏掉」的类型（一大半属于「不听话」，使用没有明确文档、预期为私有的特性，少数尝试当预言家但是失败了）。最后剩下的，再一大半是使用了至少两个版本前已经说了要废弃的特性，只有三个莫名地发现自己真的被 Python 坑了，还都是 C API 部分的。

所以我对我自己的脚本顺利升级到 Python 3.9 非常有信心呢。可能有些老代码使用了已经废弃的特性，所以我也设置了环境变量 PYTHONWARNINGS=default,ignore::ResourceWarning 以便及时得到提示。

哦对了，Arch Linux 中受 Python 3.9 升级影响需要更新的软件包共有2077个，绝大部分我都没见着失败的。目前从开始升级到现在已经过去六天，还剩最后40个失败了的包。

很久以前，我就开始使用纯真 IP 数据库来进行简单的 IP 归属查询。离线数据库的好处在于快速、可依赖，我可以使用 ipmarkup 程序来快速地给文本中的所有 IP 地址注解。

然后随着 IPv6 的普及，我越来越多地需要查询 IPv6 地址了。每次 whois 或者找 ipip.net 实在是太没效率了，还暴露隐私。于是看到这个IP地址查询网站提供离线数据库下载之后，就也做了一个和 LinuxToy 介绍的这个程序类似的工具。

数据格式部分参考《纯真IP数据库格式详解》以及该网站自带的简略说明。

ipdb 程序库（带命令行）使用截图：

用于在文本中标注 IP 的 ipmarkup 工具链接开头给了。另外有一个 cip 可以根据情况调用 ipdb 或者 QQWry。

ipdb 解析部分只依赖 Python 3.5+，下载及更新部分会依赖我同一仓库中的 myutils 库。

顺便我也优化了一下 QQWry 模块：一是没必要保留一个低效率的版本，二是既然用 mmap 了，就去掉了所有的 seek 操作，目前大概是线程安全的了。这种跳转来跳转去的二进制格式，就算不用 mmap，也可以用 pread 来操作，免得要维护个当前文件位置，还线程不安全。

数年过去了，今天经过多次尝试和询问，我终于成功让 nvchecker 的文档以富文件的形式展示在 PyPI 上了！

正确地打包上传命令是这样的：

rm -rf dist && python setup.py sdist && twine check dist/* && twine upload -s dist/*

如果 twine check 不通过，那么修正后重新执行。如果文档包含错误，PyPI 会以纯文本形式展示。

• 听说要设置 long_description_content_type。好像 Markdown 才要设置的，rst 不用。
• 听说不支持 # 开头的链接。实际上现在已经支持了。
• 听说要用 twine，那就用吧。

原来我之前的文档一直没有正确地渲染，是因为有一个标题的「-」少了两个……

关于 PyPI 的资料是挺多的，但是细节不够详细，陈旧信息很多，唉。

俗话说：由俭入奢易，由奢入俭难。

之前写 Python，老是在实现完一个特性之后，弄出来几个 AttributeError: 'NoneType' object has no attribute 或者 TypeError: list indices must be integers or slices, not str，还有 TypeError: can only concatenate str (not "int") to str 这样的错误。一看就明白自己又是哪里一不小心疏忽了，稍微修一下就好。

后来啊，我遇见了 Rust，整个流程就变了。之前写的时候，基本上都是通过手动测试来发现这种问题。为了高效、不破坏性地测试，需要控制测试的数据量，需要保证出错的时候相关的数据不会处于某种中间状态。当然在服务器上跑的脚本，我还要来来回回地传更新的脚本，或者弄个本地测试环境。而这一切，可能不过是为了跑一个成功之后再也不会用到的小程序，比如之前分析抓包数据的那次。而在 Rust 里，这些最容易犯的错误，cargo check 一下，编译器基本上能全给你指出来。所以有时候写一些小工具我也用 Rust，虽然写起来慢，但写好就能正常运行，不用反复试错，多好啊！

最近给 Arch Linux 中文社区的自动打包机器人 lilac 增加新特性。结果实现完部署之后，夜里就被 lilac 叫起来修 bug 了，还一下子就是仨……（lilac 很难本地测试，而短暂地服务中断又没多大影响，所以我都是不进行本地测试的。）

第一个 bug 是，与 dict.get 不一样，getattr 是没有默认值的。Python 里这种不一致很多，比如 configparser 里默认值要用关键字参数指定。Rust 遇到类似的情况，就会返回一个 Option。或者如果 API 决定如果不存在就 panic 的话，那么它就会直接返回我要取的值的类型，而不会包一层 Option。而我后边的代码是预期到这里可能取不到那个属性的，所以弄错了就会类型不匹配。

第二个 bug 是局部变量在一个分支上没有初始化。Rust 当然不会允许这种情况了。实际上 C 都不用担心这种问题，编译器会给出警告的，还有一些 linter 可以用。而 Python，很遗憾的是，我所使用的 pyflakes 并没有对此发出警告。我当然知道 pylint 那些。我很讨厌 pylint 和 jslint 这种不区分潜在 bug 和风格问题的 linter。我只需要工具在我可能疏忽的时候提醒我，而不需要它对我的编码风格指指点点，特别是那些指指点点往往是不对的。比如我的文件描述符变量名不叫 fd 难道要叫 fildes？

第三个 bug 是一个可能为 None 的变量我忘了先作 is not None 判断。这段代码如果初写的话我肯定是会注意到的，但是改的时候，只想着如果 pkg 里有冒号我得处理一下，就忘记了根本没有关联的包名的情况。Python 的 None，以及 C 和 C++ 的 NULL、Java 的 null、Lua 和 Ruby 的 nil、JavaScript 的 undefined 和 null，被称作是十亿美元错误，给无数程序员和用户带来了无尽的 bug。幸好这个东西在 Rust 里不存在：表达「没有值」的值没有被作为特殊值存在于几乎所有类型中，而是作为一类类型的可能的值之一。想要使用「正常」的值，就需要显式地进行类型转换，所以不可能被不小心忽略掉。顺便说一下，Go 里也有 nil 这种东西，以至于会出现这种不容易发现的 bug。

Python 现在也给出了解决方案：类型注解，提供类似的类型检查。不过检查器是第三方的，也并不十分完善。等我找到机会试用过之后再来写感想啦。

这事本来是有个 browsercookie 库可以做的，但是初看它就有不少问题：

1. 不能指定要使用的火狐 profile（后来发现可以指定数据库文件）。
2. 找不到 sessionstore.js 文件时会向标准输出打印一行信息。对于 cron 脚本，这种行为是非常非常讨厌的。

我在尝试解决这些问题时，又发现了额外的问题：它每次都要把所有的 cookie 全部读取。再加上不必要地导入 keyring、Crypto 等库，让我想放弃了。

于是我考虑自己实现一个 cookiejar。但发现它有如下问题：

• 公开接口和实现细节没有清晰地分离
• 没有提供存储和读取 cookie 的抽象，而是存在一个字典里

这样扩展起来就十分令人不爽了，也不知道能正常工作多久。

也罢，cookiejar 是个十分复杂的东西，我不如实现一个获取匹配的 cookie 的独立功能，然后通过各种姿势传给 HTTP 客户端库好了。

火狐的 cookie 数据库文件「cookies.sqlite」里就一个「moz_cookies」表，其结构也挺简单的。但是，怎么做 cookie 的匹配呢？既然决定放弃 Python 自带的 cookiejar，那就不看它，直接看火狐的源码好了。

于是去 DXR 上搜索火狐的源码。没费多少力气就找到了相关的部分，然后跟着代码就能知道是怎么匹配的了：

1. 通过祼域名查得候选 cookie
2. 根据域名、路径和 secure 等属性来过滤 cookie
3. 就这样，没有第三步了

祼域名使用 tldextract 库来做，其它属性的匹配算法直接看火狐的代码。虽然是不熟悉的 C++ 代码，但是写得很棒，很容易理解。

把自己需要的部分写成 Python，得一新模块——firefoxcookies。就一个方法，返回一个 cookie 的字典，用起来也很方便。比如在我的 requestsutils.RequestsBase 中，这么干就可以了：

class FireRequests(RequestsBase):
  def initialize(self):
    self._fc = FirefoxCookies(os.path.expanduser(
      '~/.mozilla/firefox/nightly/cookies.sqlite'))

  def request(self, url, method=None, *args, **kwargs):
    if self.baseurl:
      url = urljoin(self.baseurl, url)

    cookies = self._fc.get_cookies(url)

    return super().request(url, method=method, cookies=cookies)

就这样就满足我的需求了。以后再有别的需求，再慢慢扩展。

you-get 是一个视频下载工具。我于五年零一周前（2012年9月7日）在 AUR 打包并维护其 git 版本。当时还是叫 python-you-get-git，后来根据 Arch 官方的推荐，与语言没什么关系的软件不带语言前缀，改名为 you-get-git。

youtube-dl 是另一个差不多同时期出现的视频下载工具，一开始主要针对 YouTube 等跨国网站。

选择 you-get 一部分原因是当时它对国内网站的支持更好，另一方面也是支持国产。但是今天，我决定放弃 you-get 了。

五年来，我一直是支持 you-get 的。也尝试过向其贡献代码。目前已经有29个提交被合并，排名第五位。基本上都是一些很小的修改，比如编码问题、未回收的僵尸进程、标题的反转义、ffmpeg 命令的特殊字符转义、支持 python -m 调用、视频链接的解析更新和扩充、进度条的修正和优化，等等。

其实这些年来，我一直想做更多事：

• 可选地使用 requests 库，以提高解析速度，改善用户体验
• 支持使用 aria2c 下载视频链接
• 支持网易云课堂的更高清晰度的未内嵌字幕的视频（pr#1002）
• 解析更准确的信息
• 一些其它网站的解析器（比如 bilibili 的 bangumi.bilibili.com 子域）

但是，其中很多都没能完成。勉强完成的也很奇怪：明明是针对网易云课堂的解析，我还非得关心网易云音乐。一直以来，我对 you-get 的修改都是事倍功半。我也曾尝试过更深入的修改，但是牵一发而动全身，往往要改就得改很大很大一部分代码，然后完全没有办法保证其正确性。就像今天的事情一样。

我花了数小时的时间，牺牲睡眠，把命令行选项解析由 getopt 改成了 argparse（pr#2260）。促使我做此修改的原因是，我想下载 bilibili 一整个播放列表的视频。我记得 you-get 有下载整个播放列表的功能。但是我读了好几遍 help 信息，都没有找到那个选项。我记错了吗？阅读源码之后，我终于找到了那个选项。同时，我也看到了在 C 和 bash 代码里经常看到的，一长串 if/else 来解析命令行选项。翻了好几屏。

当一个相对独立的代码片断翻屏时，bug 数量会骤增。

曾经在公司里遇到过一个 case，非常直接地证明这句论断是有多么正确。那个函数刚好超过一屏数行，而在第二屏的那部分代码，有个「}」和「return」的顺序写反了。我也是拿 Vim 的匹配括号跳转功能才发现的。

当然了，不管怎样的代码，不动它是不会出新问题的。然而我动了它。回报我的是两个局部变量名忘记改了：pr#2346、pr#2355。

这种问题在 nvchecker 重构以支持 aiohttp 时并没有发生。为什么呢？我们有测试。如此明显的问题，只要 cover 了必然会发现。所以我可以放心大胆地重构。

you-get 呢？you-get 也有测试。我在提交 pull requests 之后有个习惯：盯着未完成的测试，直到它变绿。如果红了，赶紧看看是不是自己代码的问题，是就赶紧修掉。一些项目（比如 Tornado）的测试本地跑起来要配置环境、装不少东西，太麻烦了，所以我习惯先提了 pr，然后等 Travis-CI 的结果。可这次，测试过了。但是有两个重要的功能却并不能正常工作。

其实呢，对于这种简单的错误，通常 linter 会告诉我的。我有装 neomake，全面支持各种 linter，用起来十分惬意。但 pylint……就像 jslint 一样，我很讨厌它们。因为它们不仅检查潜在的问题，同时还检查代码风格。而代码风格这事是每个项目单独配置的，而不是开发者自己配置好，然后让自己参与的所有开源项目都遵守。不过今天我也终于知道了另一个 Python linter——pyflakes 很对我的味口：只管问题，不管风格。

总之呢，由于各种原因，重写中出了这么两个直接立刻让用户不能用的 bug。很抱歉。一般来说，出错了就改呗。更深入一些，分析一下为什么会出现这种错误，今后怎么避免同样的错误两次出现（早年向 Tornado 提交代码时，Ben Darnell 一个简单的行为教会了我一件事：修了 bug 就写个对应的测试）。但是 you-get 的协作者 rosynirvana 不按惯例来，反而要求放弃此修改。如果就如此也就算了，后续讨论中我意识到了一个真相——为什么我在 you-get 上的工作如此困难？

The best part of you-get is that it's not so pythonic so those who only know js or as3 can take part in, moving from the universal getopt to a py-domain-specific library cannot be a nice idea.

source

What library nowaday pythonists love do not really matter here because those one know js and as3 can contribute even more in this project.

source

因为 you-get 根本就是反 Pythoner 的！作为一个 Python 项目，you-get 想要吸引的是 JavaScript 和 ActionScript 3 开发者！

我很震惊。

• 作为 Python 开发者，我已被他们刻意排斥在外。
• 作为 JavaScript 开发者，我还是觉得 C 好难写，还是 pythonic 的代码比较好维护啊。
• 作为 C 开发者，我倒是对这种长达数屏的作用域见怪不怪了。不过重复的逻辑，咱一般会用宏之类的手段给整成声明式的啊。

所以，我的努力注定不会有多少效果。

然后，我看了一眼 youtube-dl。其实就瞟了一眼，也没看出太多东西来，但是

• 按 URL 进行正则匹配的，网易云音乐和网易云课堂可以分开处理了！
• 解析器以 class 表达，有组织有纪律！不用用 Python 的语法写 C 了！

我 disown 了 AUR 和 [archlinuxcn] 里的 you-get-git 包。关闭了未完成的 issue 和 feature pr。等修复 argparse 引入的错误的 pr 被合并（不管是只修正问题还是退回到 getopt），事一了，我就删掉仓库，只保留网易云课堂的高清视频解析代码（花了我一整天的）。已安装的 you-get 暂时保留，但首选 youtube-dl，遇到问题有时间就去修一下。已经投入到 you-get 的时间是沉没成本，不必留恋。

有时候进程的运行环境里，locale 会被设置成只支持 ASCII 字符集的（比如 LANG=C）。这时候 Python 就会把标准输出和标准错误的编码给设置成 ascii，造成输出中文时报错。

一种解决办法是设置支持 UTF-8 的 locale，但是那需要在 Python 进程启动前设置。启动之后，初始化过了，再设置 locale 也不会重新初始化那些对象。

另一种办法是往 sys.stdout.buffer 这种地方直接写 bytes。理论上完全没问题，但是写起程序来好累……

我就去找了一下怎么优雅地弄一个新的 sys.stdout 出来。Python 3 的 I/O 不再使用 C 标准库的 I/O 函数，而是直接使用 OS 提供的接口。封装位于 io 这个模块里边，有带缓冲的，不带缓冲的，二进制的，文本的。

研究了一下文档可知，sys.stdout 是个 io.TextIOWrapper，有个 buffer 属性，里边是个 io.BufferedWriter。我们用它造一个新的 io.TextIOWrapper，指定编码为 UTF-8：

import sys
import io

def setup_io():
  sys.stdout = sys.__stdout__ = io.TextIOWrapper(
    sys.stdout.detach(), encoding='utf-8', line_buffering=True)
  sys.stderr = sys.__stderr__ = io.TextIOWrapper(
    sys.stderr.detach(), encoding='utf-8', line_buffering=True)

这里除了可以设置编码之外，也可以设置错误处理和缓冲。所以这个技巧也可以用来容忍编码错误、改变标准输出的缓冲（不需要在启动的时候加 -u 了）。

其实这样子还是不够彻底。Python 在很多地方都有用到默认编码。比如 subprocess，指定 universal_newlines=True 时 Python 会自动给标准输入、输出、错误编解码，但是呢，在 Python 3.6 之前，这里的编码是不能手动指定的。还有参数的编码，也是不能指定的（不过可以传 bytes 过去）。

所以，还是想办法去设置合适的 locale 更靠谱……

matplotlib 是很不错的数据可视化库，然而每次写一个脚本，跑出来看完又回头改，改完再跑，实在是累。所以就有 IPython Notebook 啦，后来改名叫 Jupyter 了，不光支持 Python，还支持 Julia 什么的样子（在下一盘很大的棋呢）。

Arch Linux 用户使用以下命令安装：

sudo pacman -S jupyter-nbconvert jupyter-notebook

我没有装 mathjax 这个包。我就用 MathJax 官方的 CDN 地址好了。所以我的启动命令是这样子：

jupyter notebook --NotebookApp.mathjax_url=https://cdn.mathjax.org/mathjax/latest/MathJax.js

然后界面就会在浏览器里打开啦～

Jupyter notebook 最令我不爽的一点是，它的编辑区用起来很不习惯： 不支持 readline 式快捷键（就是 Emacs / bash 风格那些啦），不支持选中复制、中键粘贴 * 不支持补全

我尝试过配置快捷键，但是还是不太会的样子，好像又没有现成而且可用的代码。

不过它的可视化和交互能力实在是太吸引人了～所以做一些交互式的数据处理时还是用用好了～

这里是演示。（当然只是导出的 HTML 页面～）

UDP 套接字是可以使用 connect 系统调用连接到指定的地址的。从此以后，这个套接字只会接收来自这个地址的数据，而且可以使用 send 系统调用直接发数据而不用指定地址。可以再次调用 connect 来连接到别的地方。但是在 Python 里，一旦调用 connect 之后，就再也回不到最初的能够接收从任意地址来的数据的状态了！

这是 Python 的 API 限制，没办法给 connect 方法传递到 AF_UNSPEC 地址簇（在 C 代码里写死了的）。C 里边就可以做到的（代码来自这里）：

int disconnect_udp_sock(int fd) {
 struct sockaddr_in sin;        

 memset((char *)&sin, 0, sizeof(sin));
 sin.sin_family = AF_UNSPEC;
 return (connect(fd, (struct sockaddr *)&sin, sizeof(sin)));
}

不过既然是 Python 的限制，拿 ctypes 就可以绕过了嘛，有些麻烦就是了：

from ctypes import CDLL, create_string_buffer

def disconnect(sock):
  libc = CDLL("libc.so.6")
  buf = create_string_buffer(16) # sizeof struct sockaddr_in
  libc.connect(sock.fileno(), buf, 16)

AF_UNSPEC 的值是 0，所以把一个和 struct sockaddr_in 一样长的全零缓冲区传给 connect 就可以了 :-)

需要 Python 3.4+，一个参数用来选择测试搜索服务还是 GAE 服务。测试 GAE 服务的话需要先修改开头的两个变量。从标准输入读取 IP 地址或者 IP 段（形如 192.168.0.0/16）列表，每行一个。可用 IP 输出到标准输出。实时测试结果输出到标准错误。50 线程并发。

#!/usr/bin/env python3

import sys
from ipaddress import IPv4Network
import http.client as client
from concurrent.futures import ThreadPoolExecutor
import argparse
import ssl
import socket

# 先按自己的情况修改以下几行
APP_ID = 'your_id_here'
APP_PATH = '/fetch.py'

context = ssl.SSLContext(ssl.PROTOCOL_TLSv1)
context.verify_mode = ssl.CERT_REQUIRED
context.load_verify_locations('/etc/ssl/certs/ca-certificates.crt')

class HTTPSConnection(client.HTTPSConnection):
  def __init__(self, *args, hostname=None, **kwargs):
    self._hostname = hostname
    super().__init__(*args, **kwargs)

  def connect(self):
    super(client.HTTPSConnection, self).connect()

    if self._tunnel_host:
      server_hostname = self._tunnel_host
    else:
      server_hostname = self._hostname or self.host
      sni_hostname = server_hostname if ssl.HAS_SNI else None

    self.sock = self._context.wrap_socket(self.sock,
                                          server_hostname=sni_hostname)
    if not self._context.check_hostname and self._check_hostname:
      try:
        ssl.match_hostname(self.sock.getpeercert(), server_hostname)
      except Exception:
        self.sock.shutdown(socket.SHUT_RDWR)
        self.sock.close()
        raise

def check_ip_p(ip, func):
  if func(ip):
    print(ip, flush=True)

def check_for_gae(ip):
  return _check(APP_ID + '.appspot.com', APP_PATH, ip)

def check_for_search(ip):
  return _check('www.google.com', '/', ip)

def _check(host, path, ip):
  for chance in range(1,-1,-1):
    try:
      conn = HTTPSConnection(
        ip, timeout = 5,
        context = context,
        hostname = host,
      )
      conn.request('GET', path, headers = {
        'Host': host,
      })
      response = conn.getresponse()
      if response.status < 400:
        print('GOOD:', ip, file=sys.stderr)
      else:
        raise Exception('HTTP Error %s %s' % (
          response.status, response.reason))
      return True
    except KeyboardInterrupt:
      raise
    except Exception as e:
      if isinstance(e, ssl.CertificateError):
        print('WARN: %s is not Google\'s!' % ip, file=sys.stderr)
        chance = 0
      if chance == 0:
        print('BAD :', ip, e, file=sys.stderr)
        return False
      else:
        print('RE  :', ip, e, file=sys.stderr)

def main():
  parser = argparse.ArgumentParser(description='Check Google IPs')
  parser.add_argument('service', choices=['search', 'gae'],
                      help='service to check')
  args = parser.parse_args()
  func = globals()['check_for_' + args.service]

  count = 0
  with ThreadPoolExecutor(max_workers=50) as executor:
    for l in sys.stdin:
      l = l.strip()
      if '/' in l:
        for ip in IPv4Network(l).hosts():
          executor.submit(check_ip_p, str(ip), func)
          count += 1
      else:
        executor.submit(check_ip_p, l, func)
        count += 1
  print('%d IP checked.' % count)

if __name__ == '__main__':
  main()

脚本下载地址。

2014年9月3日重要更新：由于失误，之前的脚本没有检查 SSL/TLS 证书，所以将错误的 IP 认为是可用的。现已更新。