在Python中缓存已编译的正则表达式对象？

Question

每次导入包含大量静态正则表达式的python文件时,都会花费cpu周期将字符串编译到内存中的代表状态机中.

a = re.compile("a.*b")
b = re.compile("c.*d")
...

问题:是否可以以预编译的方式将这些正则表达式存储在磁盘上的缓存中,以避免在每次导入时执行正则表达式编译？

腌制对象只需执行以下操作,无论如何都会导致编译:

>>> import pickle
>>> import re
>>> x = re.compile(".*")
>>> pickle.dumps(x)
"cre\n_compile\np0\n(S'.*'\np1\nI0\ntp2\nRp3\n."

而re对象是unmarshallable:

>>> import marshal
>>> import re
>>> x = re.compile(".*")
>>> marshal.dumps(x)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: unmarshallable object

Answer 1

是否可以以预编译的方式将这些正则表达式存储在磁盘上的缓存中,以避免在每次导入时执行正则表达式编译？

不容易.您必须编写一个挂钩到srePython正则表达式引擎的C 实现的自定义序列化程序.所需的时间和精力将大大超过任何性能优势.

首先,你有没有实际剖析代码？我怀疑编译正则表达式是应用程序运行时的重要部分.请记住,它们仅在第一次在当前执行中导入模块时进行编译 - 此后,模块及其属性将缓存在内存中.

如果你有一个基本上产生一次的程序,编译一堆正则表达式然后退出,你可以尝试重新设计它以在一次调用中执行多个测试.然后你可以重新使用正则表达式,如上所述.

最后,您可以将正则表达式编译为基于C的状态机,然后将它们与扩展模块链接.虽然这可能更难维护,但它将完全从您的应用程序中消除正则表达式编译.