理解逻辑回归的概率解释

Question

我在培养关于逻辑回归的概率解释的直觉方面遇到问题。具体来说，为什么将逻辑回归函数的输出视为概率是有效的？

Answer 1

通过对类条件密度（即给定类，属于该类的概率是多少）和类先验（即类的概率是多少）进行建模，可以将任何类型的分类视为概率生成模型，因此我们可以应用贝叶斯定理来获得后验概率（即给定 x，它属于类的概率是多少）。之所以称为生成，是因为正如 Bishop 在他的书中所说，您可以使用该模型通过从边际分布中提取 的值来生成合成数据。p(x|C_k)C_kxp(C_k)C_kp(C_k|x)C_kxp(x)

这一切只是意味着，每次您想将某物归入特定类别时（例如，肿瘤的大小是良性还是恶性），都有可能是对还是错。

逻辑回归使用sigmoid 函数（或逻辑函数）来对数据进行分类。由于这种类型的函数范围从 0 到 1，因此您可以轻松地将其视为概率分布。最终，您正在寻找p(C_k|x)（在示例中，x可能是肿瘤的大小，C_0 是代表良性的类，C_1 是恶性的），在逻辑回归的情况下，这是通过以下方式建模的：

p(C_k|x) = sigma( w^t x )

其中sigma是 sigmoid 函数，w^t是权重的转置集w，x是您的特征向量。

我强烈建议您阅读Bishop 的书的第 4 章。