第三章 反向传播算法
3.1 梯度下降基础
3.1.1 优化问题概述
神经网络的训练本质上是一个优化问题:寻找一组最优参数$\theta$,使得损失函数$\mathcal{L}(\theta)$最小化。
$$\theta^* = \arg\min_{\theta} \mathcal{L}(\theta)$$
其中,$\theta$包含网络中的所有权重和偏置,$\mathcal{L}$是衡量模型预测与真实值差异的损失函数。
这个优化问题具有以下特点:
- 高维:现代神经网络可能有数百万甚至数十亿个参数
- 非凸:损失函数通常是非凸的,存在多个局部最优
- 大规模数据:需要在海量数据集上进行优化
- 计算昂贵:每次评估损失函数都需要前向传播整个网络
3.1.2 梯度下降算法
梯度下降是最基本的优化算法,其核心思想是沿损失函数梯度的反方向更新参数:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\theta_t)$$
其中$\eta$是学习率,控制每次更新的步长。
梯度下降有三种主要变体:
批量梯度下降(Batch Gradient Descent)
使用整个训练集计算梯度:
$$\nabla_{\theta} \mathcal{L} = \frac{1}{N} \sum_{i=1}^{N} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:梯度估计准确,更新稳定
缺点:计算开销大,内存需求高
随机梯度下降(Stochastic Gradient Descent, SGD)
每次迭代使用一个样本:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:计算快速,可逃离局部最优
缺点:梯度估计噪声大,收敛不稳定
小批量梯度下降(Mini-batch Gradient Descent)
每次迭代使用一个小批量样本(通常32-512个):
$$\nabla_{\theta} \mathcal{L} = \frac{1}{m} \sum_{i=1}^{m} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:平衡了计算效率和梯度准确性,是现代深度学习的主流选择
3.1.3 学习率调度
学习率是最重要的超参数之一,需要精心选择和调整。
学习率衰减策略
- 步进衰减(Step Decay):每隔固定epoch将学习率乘以衰减因子
$$\eta_t = \eta_0 \cdot \gamma^{\lfloor t / s \rfloor}$$
- 指数衰减(Exponential Decay):
$$\eta_t = \eta_0 \cdot e^{-kt}$$
- 余弦退火(Cosine Annealing):
$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{t}{T}\pi))$$
- 预热(Warmup):
初始阶段从小学习率逐渐增大,避免早期训练不稳定
3.2 反向传播算法
3.2.1 链式法则
反向传播(Backpropagation)是高效计算神经网络梯度的算法,其核心是微积分中的链式法则。
对于复合函数$f(g(x))$,链式法则给出: $$\frac{\partial f}{\partial x} = \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial x}$$
对于多变量函数,链式法则推广为: $$\frac{\partial z}{\partial x} = \sum_i \frac{\partial z}{\partial y_i} \cdot \frac{\partial y_i}{\partial x}$$
3.2.2 反向传播原理
考虑一个$L$层神经网络,第$l$层的计算为: $$\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$$ $$\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$$
反向传播计算损失函数对各层参数的梯度,分为两个阶段:
前向传播:计算并保存各层的中间结果
反向传播:从输出层向输入层逐层计算梯度
误差反向传播
定义第$l$层的误差项$\boldsymbol{\delta}^{(l)}$为损失函数对$\mathbf{z}^{(l)}$的梯度: $$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}$$
对于输出层(第$L$层): $$\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$$
其中$\odot$表示逐元素乘法。
对于隐藏层,误差反向传播: $$\boldsymbol{\delta}^{(l)} = ((\mathbf{W}^{(l+1)})^T \boldsymbol{\delta}^{(l+1)}) \odot f'(\mathbf{z}^{(l)})$$
这表示第$l+1$层的误差通过权重矩阵反向传播到第$l$层。
参数梯度计算
获得误差项后,可以计算参数的梯度: $$\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T$$ $$\frac{\partial \mathcal{L}}{\partial \mathbf{b}^{(l)}} = \boldsymbol{\delta}^{(l)}$$
3.2.3 反向传播算法流程
完整的反向传播算法步骤如下:
输入:训练样本$(\mathbf{x}, \mathbf{y})$,当前网络参数
输出:各参数的梯度
- 前向传播 - 设置$\mathbf{a}^{(0)} = \mathbf{x}$ - 对于$l = 1$到$L$: - $\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$ - $\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$
- 计算输出层误差 - $\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$
- 反向传播误差 - 对于$l = L-1$到$1$: - $\boldsymbol{\delta}^{(l)} = 1)
- 计算梯度 - 对于$l = 1$到$L$: - $\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T$ - $\frac{\partial \mathcal{L}}{\partial \mathbf{b}^{(l)}} = \boldsymbol{\delta}^{(l)}$
- 加速收敛,特别是在一致梯度方向
- 减少震荡
- 有助于逃离局部最优和鞍点
- 自适应学习率
- 动量加速
- 偏差校正帮助早期训练
- 对超参数选择相对鲁棒
- SGD + Momentum:收敛后泛化性能可能更好,适合需要最优泛化性能的场景
- Adam:训练速度快,适合大多数情况,特别是稀疏梯度或噪声大的场景
- AdamW:Adam的改进版本,解耦权重衰减,泛化性能更好
- LARS/LAMB:用于大批量训练
- 使用ReLU激活函数:正区间梯度恒为1
- 残差连接(Residual Connections):引入跳跃连接
- 批归一化(Batch Normalization):稳定每层的分布
- 更好的初始化:如He初始化
- 门控架构:如LSTM中的门控机制
- 梯度裁剪(Gradient Clipping): - 按值裁剪:$gi = \max(\min(gi, c), -c)$ - 按范数裁剪:如果$||\mathbf{g}|| > c$,则$\mathbf{g} = c \cdot \frac{\mathbf{g}}{||\mathbf{g}||}$
- 权重正则化:限制权重大小
- 更小的学习率:减缓参数更新速度
- 输入:$x = 2$
- 权重:$w_1 = 0.5$,$w_2 = 0.3$
- 计算:$z_1 = w_1 \cdot x$,$a_1 = \text{ReLU}(z_1)$,$\hat{y} = w_2 \cdot a_1$
- 真实值:$y = 1$
- 损失函数:$\mathcal{L} = \frac{1}{2}(y - \hat{y})^2$
- $\sigma(2) = \frac{1}{1+e^{-2}} \approx 0.881$
- $\sigma(-2) = \frac{1}{1+e^{2}} \approx 0.119$
- $\sigma'(2) = 0.881 \times (1-0.881) \approx 0.105$
- $\sigma'(-2) = 0.119 \times (1-0.119) \approx 0.105$
- $\tanh(2) \approx 0.964$
- $\tanh(-2) \approx -0.964$
- $\tanh'(2) = 1 - 0.964^2 \approx 0.071$
- $\tanh'(-2) = 1 - (-0.964)^2 \approx 0.071$
- $\text{ReLU}'(2) = 1$
- $\text{ReLU}'(-2) = 0$
- Sigmoid:在$|x|$较大时,梯度约为0.1,深层网络中多次相乘会迅速衰减
- Tanh:梯度更小(约0.07),梯度消失问题更严重
- ReLU:正区间梯度恒为1,有效缓解梯度消失;负区间梯度为0,可能导致神经元死亡
- 反向传播算法的核心是: A. 前向传播 B. 链式法则 C. 梯度上升 D. 损失函数
- 关于梯度消失问题,以下说法错误的是: A. 主要发生在深层网络中 B. Sigmoid激活函数容易导致梯度消失 C. ReLU可以完全避免梯度消失 D. 残差连接可以缓解梯度消失
- Adam优化器中,$\mathbf{m}t$和$\mathbf{v}t$分别表示: A. 一阶矩估计和二阶矩估计 B. 权重和偏置 C. 梯度和学习率 D. 动量和正则化项
- 以下哪种方法不能解决梯度爆炸问题? A. 梯度裁剪 B. 权重正则化 C. 使用ReLU激活 D. 减小学习率
- 小批量梯度下降中,批量大小通常选择: A. 1 B. 32-512 C. 整个训练集 D. 10000以上
- 梯度下降中,参数更新公式为$\theta{t+1} = \thetat - \eta$$__$。
- 在反向传播中,$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}$被称为$__$项。
- Sigmoid函数的导数可以表示为$\sigma'(x) =$$__$。
- Momentum优化中,动量系数$\gamma$通常设为$__$。
- 梯度裁剪的两种主要方式是$__$裁剪和$__$裁剪。
- 给定网络结构: - $z = w1 x1 + w2 x2$,其中$x1=1, x2=2, w1=0.5, w2=-0.3$ - $\hat{y} = \sigma(z)$ - 损失$\mathcal{L} = -y\log(\hat{y}) - (1-y)\log(1-\hat{y})$,$y=1$
请计算$\frac{\partial \mathcal{L}}{\partial w1}$和$\frac{\partial \mathcal{L}}{\partial w2}$。 - 使用Adam优化器,给定: - 当前梯度$\mathbf{g}t = [0.2, -0.3]$ - 上一时刻一阶矩$\mathbf{m}{t-1} = [0.1, 0.1]$ - 上一时刻二阶矩$\mathbf{v}{t-1} = [0.01, 0.01]$ - $\beta1 = 0.9$,$\beta2 = 0.999$,$t = 10$
请计算偏差校正后的$\hat{\mathbf{m}}t$和$\hat{\mathbf{v}}_t$。
- 答案:B
- 答案:C
- 答案:A
- 答案:C
- 答案:B
- 答案:$\nabla{\theta} \mathcal{L}(\thetat)$(或梯度)
- 答案:误差
- 答案:$\sigma(x)(1-\sigma(x))$
- 答案:0.9
- 答案:按值;按范数
- 解答:
前向传播:
- 解答:
计算一阶矩: