MLE和MAP的关系之L1与L2正则化项

L1和L2可以从两个角度进行推导：

1. 带约束条件的优化分解(拉格朗日乘子法)
2. 贝叶斯学派：最大后验概率

基于约束条件的最优化

令目标函数为：

$$\min_w \mathcal{J}(w;X,y)\tag{1-1}$$

为了降低模型的复杂度，即减少模型的参数个数，我们可以通过为目标函数增加约束条件，得：

$$\min_w\mathcal{J}(w;X,y) \tag{1-2}$$

s.t.

$$\|w\|_0 \le C$$

约束条件为，让w向量中的一些元素为0或者限制w中非零元素的个数小于C。$\|w\|_0$表示L0范数，表示的是向量w中非零元素的个数，让非零元素的个数小于某一个C，就能有效的控制模型中的非零元素的个数。

式(1-2)为有约束优化问题，而且是NP hard问题，因此对它进行“松弛”。即不再严格要求w中的某些元素为0，而是使他尽可能的接近0，所以这里使用L1L2范数来代替L0范数，即：

$$\min_w \mathcal{J}(w;X,y) \tag{1-3}$$

s.t.

$$\|w\|_1 \le C$$

或

$$\min_w \mathcal{J}(w;X,y) \tag{1-4}$$

s.t.

$$\|w\|_2 \le C$$

利用拉格朗日乘子法求解：

$$L(w,\alpha) = \mathcal{J}(w;X,y)+\alpha(\|w\|_1-C) \tag{1-5}$$ $$L(w,\alpha)=\mathcal{J}(w;X,y)+\alpha(\|w\|_2^2-C)\tag{1-6}$$

其中，$\alpha$是拉格朗日系数，$\alpha>0$，假设$\alpha$的最优解为$\alpha^*$，对拉格朗日函数求最小化等价于：

$$\min_w \mathcal{J}(w;X,y)+\alpha^*\|w\|_1 \tag{1-7}$$ $$\min_w\mathcal{J}(w;X,y)+\alpha^*\|w\|_2^2 \tag{1-8}$$

结论

L1正则化 $\iff$ 在原目标函数中增加约束条件$\|w\|_1 \le C$

L2正则化$\iff$ 在原目标函数中增加约束条件$\|w\|_2^2\le C$

基于最大后验概率估计

似然函数

无监督模型

假设观测到的数据样本点为X1,X2,…,XN，它们都是独立同分布的，服从概率分布P(X)，那么似然函数为:

$$\mathcal{L} = \prod_{i=1}^N P(X_i) \tag{2-1}$$

假设概率分布P(X)的参数$\theta$未知，那么可以通过最大化似然函数来估计参数$\theta$。即

$$\theta = \arg\max_{\theta} \mathcal{L}(\theta) = \arg\max_{\theta} \prod_{i=1}^N P_{\theta}(X_i) \tag{2-2}$$

对应的对数似然函数为：

$$\theta = \arg\max_{\theta} \sum_{i=1}^N \log P_{\theta}(X_i) \tag{2-3}$$

等式右边乘以1/N，相当于计算$\log P_{\theta}(X_i)$关于训练数据经验分布$\hat{P}_{\mathrm{data}}$的期望：

$$\theta = \arg\max_{\theta} \sum_{i=1}^N \frac{1}{N}\log P_{\theta}(X_i) = \arg\max_{\theta}\mathbb{E}_{\hat{P}_{\mathrm{data}}}[\log P_{\theta}(X)] \tag{2-4}$$

有监督模型

对于生成模型来说，假设数据样本点为(X1,Y1),(X2,Y2),…,(XN,YN)，那么根据式(2-4)，得 ：

$$\theta = \arg\max_{\theta}\mathbb{E}_{\hat{P}_{\mathrm{data}}}[\log P_{\theta}(X,Y)] \tag{2-5}$$

对于判别模型来说，我们通常要学习的是P(Y|X)而不是P(X,Y)，它对应的条件最大似然估计为：

$$\theta = \arg\max_{\theta} P_{\theta}(Y|X)\tag{2-6}$$

假设样本是独立同分布的，所以式(2-6)可写成：

$$\begin{aligned} \theta &= \arg\max_{\theta}\sum_{X,Y}\log P_{\theta}(Y|X)\\ &= \arg\max_{\theta}\sum_{i=1}^N \log P_{\theta}(y_i|x_i) \end{aligned} \tag{2-7}$$

假设，条件概率分布P(Y|X)服从高斯分布，即：

$$P_{\theta}(y_i|x_i) \sim N(\theta^{\top}x_i,\sigma^2)$$

那么式(2-7)对应的条件对数似然函数即可写成:

$$\begin{aligned} \mathcal{l}(\theta) &= \sum_{i=1}^N \log P_{\theta}(y_i|x_i) \\ &= \sum_{i=1}^N \log \left[\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(y_i-\theta^{\top}x_i)^2}{2\sigma^2})\right]\\ &= -m\log \sigma-\frac{m}{2}\log(2\pi)-\sum_{i=1}^m \frac{(y_i-\theta^{\top}x_i)^2}{2\sigma^2}\\ &= -\frac{1}{2\sigma^2}\sum_{i=1}^m (y_i-\theta^{\top}x_i)^2+C \end{aligned} \tag{2-8}$$

C为不包含$\theta$的常数项，所以根据式(2-8)，目标函数为负的对数似然函数，即:

$$\mathcal{L}(\theta;X,y) = - (-\frac{1}{2\sigma^2}\sum_i (y_i-\theta^{\top}x_i)^2) = \frac{1}{2\sigma^2}\sum_i (y_i-\theta^{\top}x_i)^2 \tag{2-9}$$

在最大后验概率估计中，我们将参数$\theta$ 看作随机变量， 参数$\theta$的概率分布为:

$$P(\theta|X,y) = \frac{P(\theta,X,y)}{P(X,y)} = \frac{P(X,y|\theta)P(\theta)}{P(X,y)} \propto P(y|X,\theta)P(\theta) \tag{2-10}$$

同样取对数：

$$\mathrm{MAP} = \log[P(y|X,\theta)P(\theta)]=\log P(y|X,\theta)+\log P(\theta) \tag{2-11}$$

可以看到，后验概率分布为似然函数加上$\log P(\theta)$，P($\theta$)的意义是对参数$\theta$的概率分布的先验假设。在收集到训练样本(X,y)后，则可根据$\theta$在(X,y)下的后验概率对$\theta$进行修正，从而做出对$\theta$更好的估计。

L2

假设$\theta_j$的先验分布服从均值为0的高斯分布，即

$$\theta_j \sim N(0,\sigma^2)$$

则有：

$$\log P(\theta) = \log \prod_j P(\theta_j) = \log \prod_j \left[\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(\theta_j-0)^2}{2\sigma^2})\right] = - \frac{1}{2\sigma^2}\sum_j \theta_j^2 + C \tag{2-12}$$

可以看到，在高斯分布下，$\log P(\theta)$ 相当于在目标函数中增加L2正则项。$-\frac{1}{2\sigma^2}$为正则化系数。

L1

假设$\theta_j$服从均值为0，参数为a的拉普拉斯分布，即:

$$P(\theta_j) = \frac{1}{\sqrt{2a}}\exp(\frac{-|\theta_j|}{a})\tag{2-13}$$

则有：

$$\log P(\theta) = \log \prod_j \frac{1}{\sqrt{2a}}\exp(\frac{-|\theta_j|}{a}) = -\frac{1}{a}\sum_j|\theta_j|+C\tag{2-14}$$

可以看到，在拉普拉斯分布下log P($\theta$)的效果等价于在目标函数中增加L1正则项。$-\frac{1}{a}$为正则化系数。

结论

L1正则化可通过假设权重$\theta$的先验分布为拉普拉斯分布，由最大后验概率估计导出。

L2正则化可通过假设权重$\theta$的先验分布为高斯分布，由最大后验概率估计导出。

参考资料

• 《深度学习》