特征归一化 - l2归一化的优势

Question

特征通常在分类之前归一化.

L1和L2归一化通常用于文献中.

有没有人可以评论L2范数(或L1范数)与L1范数(或L2范数)相比的优势？

Answer 1

L2优于L1规范的优点

• 正如aleju在评论中已经说明的那样,L2范数的推导很容易计算出来.因此,使用基于梯度的学习方法也很容易.
• L2正则化优化了平均成本(而L1减少了中值 解释),这通常用作性能测量.如果您知道没有任何异常值并且希望保持整体错误很小,那么这一点尤其有用.
• 解决方案更可能是独一无二的.这与前一点相关:虽然均值是单个值,但中值可能位于两点之间的间隔中,因此不是唯一的.
• 虽然L1正则化可以为您提供稀疏系数向量,但L2的非稀疏性可以提高您的预测性能(因为您利用更多功能而不是简单地忽略它们).
• L2在旋转下是不变的.如果您有一个由空间中的点组成的数据集并且您应用了旋转,则仍会得到相同的结果(即点之间的距离保持不变).

L1超过L2规范的优点

• L1范数更喜欢稀疏系数向量.(Quora说明)这意味着L1规范执行特征选择,您可以删除系数为0的所有特征.几乎在所有情况下,缩小尺寸都很有用.
• L1范数优化了中位数.因此,L1范数对异常值不敏感.

更多来源:

关于Quora的同样问题

另一个