Python字符串匹配完全等于Postgresql相似度函数

Question

我一直在 PostgreSQL 中使用 pg_trgm 模块的 Similarity 函数，现在我正在搜索类似于Python 中的Similarity的词相似函数。我在python中发现了很多方法，例如difflib、nltk，但是这些方法都没有产生类似于PostgreSQL的Similarity函数的结果。

我一直在使用这段代码进行单词匹配，但结果与PostgreSQL相似度函数的结果有很大不同。这些结果是否比 PostgreSQL 的 Similarity 函数的结果好？是否有任何方法或库可以用来产生类似于 PostgreSQL相似性函数的结果？

from difflib import SequenceMatcher
import nltk
from fuzzywuzzy import fuzz

def similar(a,b):
    return SequenceMatcher(None,a,b).ratio()

def longest_common_substring(s1, s2):
    m = [[0] * (1 + len(s2)) for i in xrange(1 + len(s1))]
    longest, x_longest = 0, 0
    for x in xrange(1, 1 + len(s1)):
        for y in xrange(1, 1 + len(s2)):
            if s1[x - 1] == s2[y - 1]:
                m[x][y] = m[x - 1][y - 1] + 1
                if m[x][y] > longest:
                    longest = m[x][y]
                    x_longest = x
            else:
                m[x][y] = 0
    return s1[x_longest - longest: x_longest]

def similarity(s1, s2):
    return 2. * len(longest_common_substring(s1, s2)) / (len(s1) + len(s2)) * 100

print similarity("New Highway Classic Academy Lahore","Old Highway Classic Academy")
print nltk.edit_distance("This is Your Shop","This")
print fuzz.ratio("ISE-Tower","UfTowerong,")

Answer 1

我知道这是旧的，但我需要同样的东西，当谷歌搜索 python 包时，我没有找到任何东西，这些包以与 postgres 相同的方式执行三元组相似性。

所以我写了一个非常基本的函数来做到这一点。我已经在几个字符串上对其进行了测试，它似乎给出了与 postgres 完全相同的结果。如果你有兴趣，这里是：

import re


def find_ngrams(text: str, number: int=3) -> set:
    """
    returns a set of ngrams for the given string
    :param text: the string to find ngrams for
    :param number: the length the ngrams should be. defaults to 3 (trigrams)
    :return: set of ngram strings
    """

    if not text:
        return set()

    words = [f'  {x} ' for x in re.split(r'\W+', text.lower()) if x.strip()]

    ngrams = set()

    for word in words:
        for x in range(0, len(word) - number + 1):
            ngrams.add(word[x:x+number])

    return ngrams


def similarity(text1: str, text2: str, number: int=3) -> float:
    """
    Finds the similarity between 2 strings using ngrams.
    0 being completely different strings, and 1 being equal strings
    """

    ngrams1 = find_ngrams(text1, number)
    ngrams2 = find_ngrams(text2, number)

    num_unique = len(ngrams1 | ngrams2)
    num_equal = len(ngrams1 & ngrams2)

    return float(num_equal) / float(num_unique)