KNN算法在训练阶段做了什么？

Question

与线性回归等其他算法不同，KNN 在训练阶段似乎不执行任何计算。就像在线性回归的情况下，它在训练阶段找到系数。但是 KNN 呢？

Answer 1

在训练阶段，KNN 排列数据（某种索引过程）以便在推理阶段有效地找到最近的邻居。否则，它必须在推理过程中将每个新案例与整个数据集进行比较，从而使其效率非常低。

您可以在以下位置阅读更多相关信息：https : //scikit-learn.org/stable/modules/neighbors.html#nearest-neighbor-algorithms

Answer 2

KNN属于懒惰学习者群体。logistic regression与、svms、等热切学习器相反neural nets，惰性学习器只是将训练数据存储在内存中。然后，在推理过程中，它从训练数据中找到 K 个最近邻，以便对新实例进行分类。