为什么我们使用相关系数进行特征选择？

Question

我正在学习特征选择。我发现了这一点，并看到许多内核检查相关系数矩阵。（在上面的链接中，他们介绍了 3 种特征选择方法，首先是过滤方法，包括相关系数和卡方检验。）

为什么我们可以使用相关系数进行特征选择？

我认为它只能表示 2 个变量之间的线性关系，因此它不能表示 2 个或多个变量的组合或非线性关系的影响。

所以我想知道相关系数是否适用于特征选择。为什么以及如何将其用于特征选择？

Answer 1

你是完全正确的 - 相关性是天真的，近乎原始的特征选择方法。因此它有时会起作用（因为数据有时确实遵循线性组合冗余）并且在许多更复杂的任务中会失败。这里没有“黄金”答案。基于相关性的特征选择就像用于分类的逻辑回归 - 最容易尝试的事情，但不应期望解决任何问题。