我有20,000个文档,我想计算真正的Jaccard相似度,以便稍后我可以检查MinWise散列的准确度是近似的.
每个文档都表示为numpy矩阵中的一列,其中每一行都是出现在document(entry = 1)或不出现(entry = 0)的单词.有大约600个单词(行).
因此,例如,列1将是[1 0 0 0 0 0 1 0 0 0 1 0],这意味着在其中出现单词1,7,11而没有其他单词.
除了我的元素比较方法之外,还有更有效的方法来计算相似性吗?我不知道如何使用集合来提高速度,因为集合刚刚变为(0,1),但是现在代码的速度非常慢.
import numpy as np
#load file into python
rawdata = np.loadtxt("myfile.csv",delimiter="\t")
#Convert the documents from rows to columns
rawdata = np.transpose(rawdata)
#compute true jacard similarity
ndocs = rawdata.shape[1]
nwords = rawdata.shape[0]
tru_sim = np.zeros((ndocs,ndocs))
#computes jaccard similarity of 2 documents
def jaccard(c1, c2):
n11 = sum((c1==1)&(c2==1))
n00 = sum((c1==0)&(c2==0))
jac = n11 / (nfeats-n00)
return (jac)
for i in range(0,ndocs):
tru_sim[i,i]=1 …Run Code Online (Sandbox Code Playgroud)