在正则化中，为什么我们使用 ?^2 而不是 ??

Question

正则化是 lambda*sum(?^2)

Answer 1

_{我已经在你之前的问题中回答了这个问题（见最后一段），但我会再试一次。}

正则化的问题sum(?)是你可能有？相互抵消的参数

例子：

?_1 = +1000000
?_2 = -1000001

在sum(?)这里是百万-1000001 = -1这是小

该sum(?²)是1000000²+（-1000001）²，这是非常大的。

如果你使用sum(?)你可能最终没有正则化（这是目标），因为大 ? 因为这些项相互抵消而逃脱了正则化的值。

您可以sum(|?|)根据您的搜索/优化算法使用。但我知道 ?²（L2 范数）很受欢迎，并且适用于梯度下降。