重要的优化方式——正则化惩罚

我们希望对一些特定的权重W添加一些偏好，对其他权重则不添加，以此来消除模糊性。即向损失函数增加一个正则化惩罚(regularization penalty)，最常用的正则化惩罚是L2范式，L2范式通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重。

                                ​​​​​​​        ​​​​​​​        ​​​​​​​        

假设输入向量x=[1,1,1,1].两个权重向量,w1=[1,0,0,0],w2=[0.25,0.25,0.25,0.25],那么,两个权重向量都得到了同样的内积，但是w2好一点，因为w1只关心第一个像素，不管其他像素是什么值。计算公式，可以得到惩罚项，w1的L2惩罚是1.0，而w2的L2惩罚是0.25。因此w2更好一点。我们还需要定义一个超参数(lambda),其与学习率差不多，需要我们自己调整。超参数定义如下：