2个数字列表之间的余弦相似度

Question

我需要计算两个列表之间的余弦相似度,比如列表1,列表2是.我不能使用numpy或统计模块等任何东西.我必须使用通用模块(数学等)(尽可能使用最少的模块,以减少花费的时间).dataSetIdataSetII

比方说,dataSetI是[3, 45, 7, 2]和dataSetII是[2, 54, 13, 15].列表的长度始终相等.

当然,余弦相似度在0和1之间,并且为了它,它将四舍五入到第三或第四个十进制数format(round(cosine, 3)).

非常感谢您提前帮助.

Answer 1

你应该尝试SciPy.它有一堆有用的科学例程,例如"用数字计算积分,求解微分方程,优化和稀疏矩阵的例程".它使用超高速优化的NumPy进行数字运算.请看这里安装.

请注意,spatial.distance.cosine计算距离,而不是相似度.因此,您必须从1中减去该值以获得相似性.

from scipy import spatial

dataSetI = [3, 45, 7, 2]
dataSetII = [2, 54, 13, 15]
result = 1 - spatial.distance.cosine(dataSetI, dataSetII)

Answer 2

另一个版本numpy仅基于

from numpy import dot
from numpy.linalg import norm

cos_sim = dot(a, b)/(norm(a)*norm(b))

Answer 3

您可以使用cosine_similarity函数表单sklearn.metrics.pairwise 文档

In [23]: from sklearn.metrics.pairwise import cosine_similarity

In [24]: cosine_similarity([[1, 0, -1]], [[-1,-1, 0]])
Out[24]: array([[-0.5]])

Answer 4

我认为这里的表现并不重要,但我无法抗拒.zip()函数完全重新复制两个向量(实际上更多的是矩阵转置),只是为了获得"Pythonic"顺序的数据.将螺母和螺栓实施时间计算会很有趣:

import math
def cosine_similarity(v1,v2):
    "compute cosine similarity of v1 to v2: (v1 dot v2)/{||v1||*||v2||)"
    sumxx, sumxy, sumyy = 0, 0, 0
    for i in range(len(v1)):
        x = v1[i]; y = v2[i]
        sumxx += x*x
        sumyy += y*y
        sumxy += x*y
    return sumxy/math.sqrt(sumxx*sumyy)

v1,v2 = [3, 45, 7, 2], [2, 54, 13, 15]
print(v1, v2, cosine_similarity(v1,v2))

Output: [3, 45, 7, 2] [2, 54, 13, 15] 0.972284251712

这就是一次一个地提取元素的C类噪声,但没有批量数组复制,并且在单个for循环中完成所有重要操作,并使用单个平方根.

ETA:更新了打印调用功能.(原始版本是Python 2.7,而不是3.3.当前在Python 2.7下运行并带有一个from __future__ import print_function语句.)无论哪种方式,输出都是相同的.

3.0GHz Core 2 Duo上的CPYthon 2.7.3:

>>> timeit.timeit("cosine_similarity(v1,v2)",setup="from __main__ import cosine_similarity, v1, v2")
2.4261788514654654
>>> timeit.timeit("cosine_measure(v1,v2)",setup="from __main__ import cosine_measure, v1, v2")
8.794677709375264

因此,在这种情况下,unpythonic方式快约3.6倍.

Answer 5

我根据问题中的几个答案做了基准测试,以下片段被认为是最佳选择:

def dot_product2(v1, v2):
    return sum(map(operator.mul, v1, v2))


def vector_cos5(v1, v2):
    prod = dot_product2(v1, v2)
    len1 = math.sqrt(dot_product2(v1, v1))
    len2 = math.sqrt(dot_product2(v2, v2))
    return prod / (len1 * len2)

结果让我感到惊讶的是,基于的实现scipy不是最快的.我分析并发现scipy中的余弦需要花费大量时间将一个向量从python列表转换为numpy数组.

Answer 6

import math
from itertools import izip

def dot_product(v1, v2):
    return sum(map(lambda x: x[0] * x[1], izip(v1, v2)))

def cosine_measure(v1, v2):
    prod = dot_product(v1, v2)
    len1 = math.sqrt(dot_product(v1, v1))
    len2 = math.sqrt(dot_product(v2, v2))
    return prod / (len1 * len2)

您可以在计算后将其舍入:

cosine = format(round(cosine_measure(v1, v2), 3))

如果你想要它真的很短,你可以使用这个单线:

from math import sqrt
from itertools import izip

def cosine_measure(v1, v2):
    return (lambda (x, y, z): x / sqrt(y * z))(reduce(lambda x, y: (x[0] + y[0] * y[1], x[1] + y[0]**2, x[2] + y[1]**2), izip(v1, v2), (0, 0, 0)))

Answer 7

您可以使用这个简单的函数来计算余弦相似度：

def cosine_similarity(a, b):
  return sum([i*j for i,j in zip(a, b)])/(math.sqrt(sum([i*i for i in a]))* math.sqrt(sum([i*i for i in b])))

Answer 8

不使用任何进口

math.sqrt（x）

可以替换为

x ** .5

在不使用numpy.dot（）的情况下，您必须使用列表理解来创建自己的点函数：

def dot(A,B): 
    return (sum(a*b for a,b in zip(A,B)))

然后只需应用余弦相似度公式即可：

def cosine_similarity(a,b):
    return dot(a,b) / ( (dot(a,a) **.5) * (dot(b,b) ** .5) )

Answer 9

用于计算的 Python 代码：

• 余弦距离
• 余弦相似度
• 角距离
• 角度相似度

import math

from scipy import spatial


def calculate_cosine_distance(a, b):
    cosine_distance = float(spatial.distance.cosine(a, b))
    return cosine_distance


def calculate_cosine_similarity(a, b):
    cosine_similarity = 1 - calculate_cosine_distance(a, b)
    return cosine_similarity


def calculate_angular_distance(a, b):
    cosine_similarity = calculate_cosine_similarity(a, b)
    angular_distance = math.acos(cosine_similarity) / math.pi
    return angular_distance


def calculate_angular_similarity(a, b):
    angular_similarity = 1 - calculate_angular_distance(a, b)
    return angular_similarity

• https://en.wikipedia.org/wiki/Cosine_similarity
• https://gist.github.com/amir-saniyan/e102de09b01c4ed1632e3d1a1a1cbf64