TFIDF计算混乱

Question

我在互联网上找到以下代码来计算TFIDF:

https://github.com/timtrueman/tf-idf/blob/master/tf-idf.py

我在函数def idf(word,documentList)中添加了"1+",所以我不会被0除错:

return math.log(len(documentList) / (1 + float(numDocsContaining(word,documentList))))

但我对两件事感到困惑:

1. 在某些情况下,我得到负值,这是正确的吗？
2. 我对第62,63和64行感到困惑.

码:

 documentNumber = 0
  for word in documentList[documentNumber].split(None):
       words[word] = tfidf(word,documentList[documentNumber],documentList)

是否应仅在第一份文件上计算TFIDF？

Answer 1

1. 不.Tf-idf是tf,非负值,乘以idf,非负值,所以它永远不会是负数.这段代码似乎正在实现多年来一直在维基百科上的tf-idf的错误定义(在此期间已经修复).