Rya*_*axe 2 python regex optimization parsing
我想知道正则表达式的优化技术
所以我试图从 40 万行的语料库中解析出每一个货币实例。我还需要包括诸如"$10,999.04"以及"one billion and six hundred twenty five thousand dollars"介于两者之间的所有内容。这需要一个非常冗长的正则表达式，其中包含多个组实例，例如
MONEYEXPRESSION = '(?:\d\d?\d?(?:,?\d{3})*(?:\.\d+)?)'
(one|two|...|ninety[\s-]?nine|hundred|a hundred|MONEYEXPRESSION)((\s*and\s*|\s*-\s*|\s*)(one|two|...|ninety[\s-]?nine|hundred|a hundred|MONEYEXPRESSION))*
更重要的是，为了要求它是货币的实例并避免匹配行，例如"five hundred people were at the event"我有 4 个 OR'd 选项，这些选项需要"$", "dollars?", or "cents?"在句子中的特定位置至少出现一次。
正则表达式将近 20k 个字符！:(
你可以想象，用如此广泛的表达方式，如果有任何不好的做法，它真的会增加时间。过去 2 小时我一直在语料库上运行它，但它仍然没有完成匹配。我想知道优化和修剪不必要的正则表达式的一些最佳实践是什么。我使用的操作是昂贵的，可以补充更好的操作。如果也许有更好的方法来解决这个问题？
您问的是优化性能，所以让我们关注一下。使正则表达式引擎真正变慢的原因是回溯，而导致回溯的是可能在字符串中的不同位置成功的部分，没有明确的决定方法。所以试试这些经验法则：
从上面的回溯链接：“嵌套重复运算符时，请绝对确保只有一种方法可以匹配相同的匹配项。”
避免使用大型可选组件。而不是像(<number>? <number>)? <number>用空格分隔的元素匹配一个序列，写(<number> ?)+.
避免可以由空字符串满足的组件——引擎将尝试在每个位置满足它们。
确保正则表达式中不受约束的部分在长度上是有界的，尤其是在无法可靠识别后面的部分时。诸如自A.*B?找麻烦之类的事情 -这可以匹配任何以A.
不要使用前瞻/后视。几乎总是有更简单的方法。
更一般地说，保持简单。我不确定你是如何设法达到 20K 个字符来完成这项任务的，但我敢打赌有一些方法可以简化它。一个考虑是可以匹配无论如何都看不到的东西。
例如，为什么要匹配从 1 到 99 的所有数字，而不仅仅是它们的组成部分？是的，你会匹配像“九九十和美元”这样的废话，但这没有坏处。您正在搜索金额，而不是验证输入。 例如，这应该匹配所有写出的小于一百万美元的美元金额：
((one|two|three|...|twenty|thirty|...|ninety|hundred|thousand|and) ?)+ (dollars?|euros?)\b
由于这被标记为“python”，这里还有两个建议：
如果任务（或分配）允许您分步分解搜索，请执行此操作。一个做所有事情的正则表达式通常必须非常复杂，以至于它比简单地按顺序运行多个搜索要慢。
即使您被限制使用一个怪物正则表达式，也可以将其分块编写并使用 python 将其组装成一个字符串。执行时不会有任何区别，但会更容易使用。