正则化(Regularization)是机器学习中用于防止模型过拟合(Overfitting)的一系列技术。过拟合是指模型在训练数据上表现良好,但在未见过的测试数据上表现较差的现象。正则化通过在损失函数中添加惩罚项,限制模型复杂度,从而提高模型的泛化能力。
从数学角度看,正则化可以表示为:
$$\tilde{J}(\theta; X, y) = J(\theta; X, y) + \lambda \Omega(\theta)$$
其中:
正则化的核心思想源于奥卡姆剃刀原理:在所有能够解释数据的模型中,最简单的模型往往是最好的。简单模型通常具有较小的参数值或较少的非零参数,对噪声不那么敏感。
L1正则化,也称为Lasso(Least Absolute Shrinkage and Selection Operator)正则化,通过在损失函数中添加参数绝对值之和作为惩罚项:
$$\Omega(\theta) = ||\theta||_1 = \sum_{i} |\theta_i|$$
完整的损失函数为:
$$\tilde{J}(\theta) = J(\theta) + \lambda \sum_{i} |\theta_i|$$
L1正则化的特点:
$$\frac{\partial |\theta_i|}{\partial \theta_i} = \text{sign}(\theta_i) = \begin{cases} 1 & \text{if } \theta_i > 0 \\ -1 & \text{if } \theta_i < 0 \\ [-1, 1] & \text{if } \theta_i = 0 \end{cases}$$
L1正则化的优势:
L1正则化的劣势:
L2正则化,也称为权重衰减(Weight Decay)或Ridge回归,通过在损失函数中添加参数平方和作为惩罚项:
$$\Omega(\theta) = ||\theta||_2^2 = \sum_{i} \theta_i^2$$
完整的损失函数为:
$$\tilde{J}(\theta) = J(\theta) + \lambda \sum_{i} \theta_i^2$$
L2正则化的特点:
$$\frac{\partial \tilde{J}}{\partial \theta_i} = \frac{\partial J}{\partial \theta_i} + 2\lambda \theta_i$$
$$\theta = (X^T X + \lambda I)^{-1} X^T y$$
L2正则化的优势:
L2正则化的劣势:
| 特性 | L1正则化 | L2正则化 |
| 惩罚项 | $\sum |\theta_i|$ | $\sum \theta_i^2$ |
| 解的稀疏性 | 稀疏(产生零值) | 非稀疏(均匀收缩) |
| 特征选择 | 自动选择 | 不能选择 |
| 计算难度 | 较难(不可导点) | 简单(处处可导) |
| 多重解 | 可能 | 唯一(严格凸) |
| 几何形状 | 菱形 | 圆形 |
弹性网络(Elastic Net):结合L1和L2的优点: $$\tilde{J}(\theta) = J(\theta) + \lambda_1 \sum_i |\theta_i| + \lambda_2 \sum_i \theta_i^2$$
Dropout是由Hinton等人于2012年提出的一种随机正则化技术,通过在训练过程中随机“丢弃”(置零)一部分神经元及其连接来防止过拟合。
工作原理:
数学表述:
设$r$是掩码向量,每个元素服从伯努利分布: $$r_j \sim \text{Bernoulli}(p)$$
Dropout后的输出: $$\tilde{x} = r \odot x$$
其中$\odot$表示逐元素乘法。
Dropout的变体:
为什么Dropout有效:
Dropout的最佳实践:
早停法是一种简单有效的正则化策略,通过监控验证集性能来决定何时停止训练。
基本流程:
早停法的数学解释:
早停法实际上限制了优化过程的迭代次数,等价于在参数空间中对参数的$L_2$范数进行约束。研究表明,早停法与L2正则化在特定条件下是等价的。
patience参数:
早停法的优势:
数据增强通过对训练数据进行变换来扩充数据集,是最直接的正则化方法之一。
图像数据增强:
文本数据增强:
音频数据增强:
数据增强的理论基础:
数据增强引入了一种隐式的先验知识,即数据在某些变换下应该具有不变性。这相当于在损失函数中添加了一个正则化项,惩罚模型对这些变换的敏感性。
虽然批归一化主要用于解决内部协变量偏移问题,但它也具有一定的正则化效果。
工作原理:
对于小批量数据$B = \{x_1, ..., x_m\}$:
$$\mu_B = \frac{1}{m} \sum_{i=1}^m x_i$$
$$\sigma_B^2 = \frac{1}{m} \sum_{i=1}^m (x_i - \mu_B)^2$$
$$\hat{x}_i = \frac{x_i - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}$$
$$y_i = \gamma \hat{x}_i + \beta$$
正则化效果:
1.9.1 权重约束(Weight Constraints)
直接限制权重的范数,而非通过惩罚项:
1.9.2 标签平滑(Label Smoothing)
将硬标签(one-hot)替换为软标签:
$$y_{smooth} = (1 - \epsilon) y_{hard} + \epsilon / K$$
其中$K$是类别数,$\epsilon$是平滑参数(通常0.1)。
1.9.3 随机深度(Stochastic Depth)
在残差网络中,随机丢弃整个残差块。
1.9.4 DropBlock
在卷积网络中,连续丢弃特征图的区域块而非单个单元。
1.9.5 谱归一化(Spectral Normalization)
限制权重矩阵的谱范数,常用于生成对抗网络(GAN)。
选择原则:
常见组合策略:
题目:考虑一个简单的线性回归问题,参数$\theta = [\theta_1, \theta_2]^T$。原始损失函数的等高线为椭圆形。请从几何角度解释为什么L1正则化产生稀疏解而L2正则化不产生。
分析过程:
首先,我们需要理解正则化的几何意义。正则化项定义了参数空间中的一个约束区域,优化问题等价于在原始损失函数的等高线与约束区域的交界处寻找最优解。
对于L1正则化,约束区域为: $$|\theta_1| + |\theta_2| \leq C$$
这在二维平面上形成一个菱形(菱形区域),顶点位于$(C, 0)$、$(-C, 0)$、$(0, C)$、$(0, -C)$。
对于L2正则化,约束区域为: $$\theta_1^2 + \theta_2^2 \leq C^2$$
这在二维平面上形成一个圆形。
现在考虑原始损失函数的等高线。由于数据通常包含噪声,损失函数的等高线往往不会与坐标轴对齐。
对于L1正则化,最优解往往出现在菱形的顶点处。这些顶点恰好位于坐标轴上,意味着其中一个参数为零。这是因为: 1. 菱形的“尖角”更容易与椭圆形的等高线相切 2. 在相同周长下,菱形包含的区域比圆形“更分散”到坐标轴方向
对于L2正则化,圆形边界是光滑的。除非原始最优解恰好位于坐标轴上(概率为零),否则最优解不会出现在坐标轴上。因此,L2正则化不会产生精确的零参数。
结论:L1正则化的菱形约束区域具有“尖角”特性,使得最优解更可能出现在坐标轴上,从而产生稀疏解。L2正则化的圆形约束区域光滑对称,不会产生稀疏解。
题目:在一个三层神经网络中,输入层有100个神经元,两个隐藏层各有50个神经元,输出层有10个神经元。请分析: (1) 为什么通常对隐藏层使用$p=0.5$的Dropout? (2) 如果输入层使用$p=0.5$,会有什么影响? (3) 如何确定最优的Dropout概率?
分析过程:
(1) 隐藏层Dropout概率选择:
$p=0.5$是经验上的折中选择: - 如果$p$太大(如0.9):保留太多神经元,正则化效果弱 - 如果$p$太小(如0.1):保留太少神经元,模型可能欠拟合,且训练信息损失过大 - $p=0.5$提供了良好的平衡:每次训练约一半子网络,同时保证足够的信息传递
数学上,对于$n$个神经元的层,可能的子网络数量为$2^n$。当$p=0.5$时,期望子网络大小为$n/2$,这是指数级多样性的良好折中。
(2) 输入层Dropout的影响:
输入层Dropout直接丢弃原始特征: - 如果$p=0.5$,意味着50%的特征信息被丢弃 - 这可能导致严重的信息损失,使模型难以学习 - 通常输入层使用更高的保留概率($p=0.8$),丢弃20%特征 - 对于图像等高冗余数据,可以使用较强的输入层Dropout
(3) 确定最优Dropout概率:
方法包括: - 网格搜索:在验证集上尝试不同概率组合 - 贝叶斯优化:高效搜索超参数空间 - 自适应Dropout:根据层的重要性动态调整 - 交叉验证:使用k-fold交叉验证选择
一般原则: - 更深的层可以使用更低的保留概率 - 更宽的层可以使用更低的保留概率 - 数据量小→降低Dropout强度 - 数据量大→可以增加Dropout强度
题目:实现早停法时需要考虑哪些关键因素?请详细说明patience参数的选择策略、模型恢复机制以及早停法与其他正则化技术的配合。
分析过程:
关键因素1:验证集划分
关键因素2:监控指标选择
关键因素3:Patience参数
Patience定义了性能不提升时等待的周期数:
关键因素4:模型恢复机制
实现方式:
关键因素5:与其他正则化的配合
早停法与其他技术的交互:
一、选择题答案:
解析:L1正则化由于其绝对值函数的几何特性,会产生稀疏解,许多参数会被压缩到精确的零值。
解析:保留概率$p$直接表示期望保留的比例,因此$p=0.7$表示70%的神经元被保留。
解析:L2正则化在统计学中称为Ridge回归,L1正则化称为Lasso回归。
解析:增加网络层数会增加模型复杂度,不属于正则化或数据增强方法。其他选项都是图像数据增强技术。
解析:标签平滑将硬标签替换为软标签,防止模型对预测过于自信,从而提高泛化能力。
二、填空题答案:
解析:L2正则化使用参数的平方和作为惩罚项。
解析:Dropout在训练时需要缩放以保持一致期望值,测试时使用完整网络。
解析:早停法通过监控验证集性能来防止过拟合。
解析:弹性网络同时包含L1和L2惩罚项。
解析:批归一化的核心步骤包括:计算统计量、标准化、学习缩放和平移。
三、计算题答案:
$$\tilde{J} = \frac{1}{2}\sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda(w_1^2 + w_2^2)$$
对$w_1$求偏导:
$$\frac{\partial \tilde{J}}{\partial w_1} = -\sum_{i=1}^n (y_i - \hat{y}_i)x_{i1} + 2\lambda w_1$$
梯度下降更新:
$$w_1^{new} = w_1^{old} - \eta\left[-\sum_{i=1}^n (y_i - \hat{y}_i)x_{i1} + 2\lambda w_1^{old}\right]$$
$$= w_1^{old}(1 - 2\eta\lambda) + \eta\sum_{i=1}^n (y_i - \hat{y}_i)x_{i1}$$
其中$(1 - 2\eta\lambda)$体现了“权重衰减”的效果。