快速响应命令行脚本

Question

我一直在编写命令行Python脚本,但最近我对速度感到非常沮丧.

我不一定谈论处理速度,调度任务或其他命令行工具特定的进程(这通常是设计/实现问题),而是我说的只是运行工具来获取帮助菜单或显示最少的信息.

例如,Mercurial大约为0.080scs,GIT大约为0.030scs

我已经研究过Mercurial的源代码(毕竟它是Python)但是得到快速响应脚本的答案仍然没有找到我.

我认为imports,你如何管理它们是最初减速的一个重要原因.但是,对于Python中快速响应的快速响应命令行脚本,是否有最佳实践？

导入os和optparse并执行main()来解析一些参数选项的单个Python脚本在我的机器上需要0.160scs才能显示帮助菜单...

这比运行git慢5倍!

编辑:

我不应该提到git,因为它是用C语写的.但Mercurial部分仍然存在,不,pyc不要感觉像是一个很大的改进(至少对我来说).

编辑2:

虽然延迟导入是Mercurial中加速的关键,但它们在常规Python脚本中的缓慢关键是没有自动生成的脚本pkg_resources,例如:

from pkg_resources import load_entry_point

如果您手动生成的脚本不使用pkg_resources,您应该看到至少2倍的速度增加.

然而!请注意,pkg_resources确实提供了一种很好的版本依赖方式,因此请确保您知道不使用它基本上意味着可能的版本冲突.

Answer 1

除了编译Python文件外,Mercurial还可以根据需要修改导入,这确实可以减少启动时间.它__builtin__.__import__在demandimport模块中设置为自己的导入功能.

如果您查看/ usr/lib /中的hg脚本(或者您机器上的任何位置),您可以通过以下方式自行查看:

try:
    from mercurial import demandimport; demandimport.enable()
except ImportError:
    import sys
    sys.stderr.write("abort: couldn't find mercurial libraries in [%s]\n" %
                     ' '.join(sys.path))
    sys.stderr.write("(check your install and PYTHONPATH)\n")
    sys.exit(-1)

如果将demandimport行更改为pass,您会发现启动时间大幅增加.在我的机器上,它似乎大约加倍.

我建议学习demandimport.py来了解如何在自己的项目中应用类似的技术.

PS Git,我相信你知道,是用C语写的,所以我对它的启动时间很快并不感到惊讶.