**这是本文档旧的修订版!**
第三章 反向传播算法
3.1 梯度下降基础
3.1.1 优化问题概述
神经网络的训练本质上是一个优化问题:寻找一组最优参数$\theta$,使得损失函数$\mathcal{L}(\theta)$最小化。
$$\theta^* = \arg\min_{\theta} \mathcal{L}(\theta)$$
其中,$\theta$包含网络中的所有权重和偏置,$\mathcal{L}$是衡量模型预测与真实值差异的损失函数。
这个优化问题具有以下特点:
- 高维:现代神经网络可能有数百万甚至数十亿个参数
- 非凸:损失函数通常是非凸的,存在多个局部最优
- 大规模数据:需要在海量数据集上进行优化
- 计算昂贵:每次评估损失函数都需要前向传播整个网络
3.1.2 梯度下降算法
梯度下降是最基本的优化算法,其核心思想是沿损失函数梯度的反方向更新参数:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\theta_t)$$
其中$\eta$是学习率,控制每次更新的步长。
梯度下降有三种主要变体:
批量梯度下降(Batch Gradient Descent)
使用整个训练集计算梯度:
$$\nabla_{\theta} \mathcal{L} = \frac{1}{N} \sum_{i=1}^{N} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:梯度估计准确,更新稳定
缺点:计算开销大,内存需求高
随机梯度下降(Stochastic Gradient Descent, SGD)
每次迭代使用一个样本:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:计算快速,可逃离局部最优
缺点:梯度估计噪声大,收敛不稳定
小批量梯度下降(Mini-batch Gradient Descent)
每次迭代使用一个小批量样本(通常32-512个):
$$\nabla_{\theta} \mathcal{L} = \frac{1}{m} \sum_{i=1}^{m} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:平衡了计算效率和梯度准确性,是现代深度学习的主流选择
3.1.3 学习率调度
学习率是最重要的超参数之一,需要精心选择和调整。
学习率衰减策略
- 步进衰减(Step Decay):每隔固定epoch将学习率乘以衰减因子
$$\eta_t = \eta_0 \cdot \gamma^{\lfloor t / s \rfloor}$$
- 指数衰减(Exponential Decay):
$$\eta_t = \eta_0 \cdot e^{-kt}$$
- 余弦退火(Cosine Annealing):
$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{t}{T}\pi))$$
- 预热(Warmup):初始阶段从小学习率逐渐增大,避免早期训练不稳定
3.2 反向传播算法
3.2.1 链式法则
反向传播(Backpropagation)是高效计算神经网络梯度的算法,其核心是微积分中的链式法则。
对于复合函数$f(g(x))$,链式法则给出: $$\frac{\partial f}{\partial x} = \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial x}$$
对于多变量函数,链式法则推广为: $$\frac{\partial z}{\partial x} = \sum_i \frac{\partial z}{\partial y_i} \cdot \frac{\partial y_i}{\partial x}$$
3.2.2 反向传播原理
考虑一个$L$层神经网络,第$l$层的计算为: $$\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$$ $$\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$$
反向传播计算损失函数对各层参数的梯度,分为两个阶段:
前向传播:计算并保存各层的中间结果
反向传播:从输出层向输入层逐层计算梯度
误差反向传播
定义第$l$层的误差项$\boldsymbol{\delta}^{(l)}$为损失函数对$\mathbf{z}^{(l)}$的梯度: $$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}$$
对于输出层(第$L$层): $$\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$$
其中$\odot$表示逐元素乘法。
对于隐藏层,误差反向传播: $$\boldsymbol{\delta}^{(l)} = ((\mathbf{W}^{(l+1)})^T \boldsymbol{\delta}^{(l+1)}) \odot f'(\mathbf{z}^{(l)})$$
这表示第$l+1$层的误差通过权重矩阵反向传播到第$l$层。
参数梯度计算
获得误差项后,可以计算参数的梯度: $$\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T$$ $$\frac{\partial \mathcal{L}}{\partial \mathbf{b}^{(l)}} = \boldsymbol{\delta}^{(l)}$$
3.2.3 反向传播算法流程
完整的反向传播算法步骤如下:
输入:训练样本$(\mathbf{x}, \mathbf{y})$,当前网络参数 输出:各参数的梯度
- 前向传播 - 设置$\mathbf{a}^{(0)} = \mathbf{x}$ - 对于$l = 1$到$L$: - $\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$ - $\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$
- 计算输出层误差 - $\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$
- 反向传播误差 - 对于$l = L-1$到$1$: - $\boldsymbol{\delta}^{(l)} = 1)
- 计算梯度 - 对于$l = 1$到$L$: - $\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T$ - $\frac{\partial \mathcal{L}}{\partial \mathbf{b}^{(l)}} = \boldsymbol{\delta}^{(l)}$
- SGD + Momentum:收敛后泛化性能可能更好,适合需要最优泛化性能的场景
- Adam:训练速度快,适合大多数情况,特别是稀疏梯度或噪声大的场景
- AdamW:Adam的改进版本,解耦权重衰减,泛化性能更好
- LARS/LAMB:用于大批量训练
- 使用ReLU激活函数:正区间梯度恒为1
- 残差连接(Residual Connections):引入跳跃连接
- 批归一化(Batch Normalization):稳定每层的分布
- 更好的初始化:如He初始化
- 门控架构:如LSTM中的门控机制
- 梯度裁剪(Gradient Clipping): - 按值裁剪:$gi = \max(\min(gi, c), -c)$ - 按范数裁剪:如果$||\mathbf{g}|| > c$,则$\mathbf{g} = c \cdot \frac{\mathbf{g}}{||\mathbf{g}||}$
- 权重正则化:限制权重大小
- 更小的学习率:减缓参数更新速度
- Sigmoid:在$|x|$较大时,梯度约为0.1,深层网络中多次相乘会迅速衰减
- Tanh:梯度更小(约0.07),梯度消失问题更严重
- ReLU:正区间梯度恒为1,有效缓解梯度消失;负区间梯度为0,可能导致神经元死亡
- 反向传播算法的核心是: A. 前向传播 B. 链式法则 C. 梯度上升 D. 损失函数
- 关于梯度消失问题,以下说法错误的是: A. 主要发生在深层网络中 B. Sigmoid激活函数容易导致梯度消失 C. ReLU可以完全避免梯度消失 D. 残差连接可以缓解梯度消失
- Adam优化器中,$\mathbf{m}t$和$\mathbf{v}t$分别表示: A. 一阶矩估计和二阶矩估计 B. 权重和偏置 C. 梯度和学习率 D. 动量和正则化项
- 以下哪种方法不能解决梯度爆炸问题? A. 梯度裁剪 B. 权重正则化 C. 使用ReLU激活 D. 减小学习率
- 小批量梯度下降中,批量大小通常选择: A. 1 B. 32-512 C. 整个训练集 D. 10000以上
- 梯度下降中,参数更新公式为$\theta{t+1} = \thetat - \eta$。 7. 在反向传播中,$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}$被称为项。
- Sigmoid函数的导数可以表示为$\sigma'(x) =$。 9. Momentum优化中,动量系数$\gamma$通常设为。
- 梯度裁剪的两种主要方式是裁剪和裁剪。
- 给定网络结构: - $z = w1 x1 + w2 x2$,其中$x1=1, x2=2, w1=0.5, w2=-0.3$ - $\hat{y} = \sigma(z)$ - 损失$\mathcal{L} = -y\log(\hat{y}) - (1-y)\log(1-\hat{y})$,$y=1$
请计算$\frac{\partial \mathcal{L}}{\partial w1}$和$\frac{\partial \mathcal{L}}{\partial w2}$。 - 使用Adam优化器,给定: - 当前梯度$\mathbf{g}t = [0.2, -0.3]$ - 上一时刻一阶矩$\mathbf{m}{t-1} = [0.1, 0.1]$ - 上一时刻二阶矩$\mathbf{v}{t-1} = [0.01, 0.01]$ - $\beta1 = 0.9$,$\beta2 = 0.999$,$t = 10$
请计算偏差校正后的$\hat{\mathbf{m}}t$和$\hat{\mathbf{v}}_t$。
- 答案:B 解析:反向传播基于链式法则高效计算梯度。
- 答案:C 解析:ReLU在负区间梯度为0,仍可能出现“神经元死亡”的类似问题。
- 答案:A 解析:$\mathbf{m}t$是一阶矩(梯度均值),$\mathbf{v}t$是二阶矩(梯度方差)。
- 答案:C 解析:ReLU主要解决梯度消失问题,对梯度爆炸影响不大。
- 答案:B 解析:小批量通常为32-512,平衡计算效率和梯度准确性。
- 答案:$\nabla{\theta} \mathcal{L}(\thetat)$(或梯度)
- 答案:误差
- 答案:$\sigma(x)(1-\sigma(x))$
- 答案:0.9
- 答案:按值;按范数
- 解答:
前向传播: $$z = 0.5 \times 1 + (-0.3) \times 2 = 0.5 - 0.6 = -0.1$$ $$\hat{y} = \sigma(-0.1) = \frac{1}{1 + e^{0.1}} \approx \frac{1}{1.105} \approx 0.475$$
反向传播: $$\frac{\partial \mathcal{L}}{\partial \hat{y}} = -\frac{y}{\hat{y}} + \frac{1-y}{1-\hat{y}} = -\frac{1}{0.475} \approx -2.105$$
$$\frac{\partial \hat{y}}{\partial z} = \sigma(-0.1)(1-\sigma(-0.1)) = 0.475 \times 0.525 \approx 0.249$$
$$\frac{\partial z}{\partial w1} = x1 = 1, \quad \frac{\partial z}{\partial w2} = x2 = 2$$
$$\frac{\partial \mathcal{L}}{\partial w1} = -2.105 \times 0.249 \times 1 \approx -0.524$$ $$\frac{\partial \mathcal{L}}{\partial w2} = -2.105 \times 0.249 \times 2 \approx -1.048$$ - 解答:
计算一阶矩: $$\mathbf{m}t = 0.9 \times [0.1, 0.1] + 0.1 \times [0.2, -0.3]$$ $$= [0.09, 0.09] + [0.02, -0.03] = [0.11, 0.06]$$
计算二阶矩: $$\mathbf{v}t = 0.999 \times [0.01, 0.01] + 0.001 \times [0.04, 0.09]$$ $$= [0.00999, 0.00999] + [0.00004, 0.00009] = [0.01003, 0.01008]$$
偏差校正: $$1 - \beta1^t = 1 - 0.9^{10} = 1 - 0.349 = 0.651$$ $$1 - \beta2^t = 1 - 0.999^{10} = 1 - 0.990 = 0.010$$
$$\hat{\mathbf{m}}t = \frac{[0.11, 0.06]}{0.651} \approx [0.169, 0.092]$$ $$\hat{\mathbf{v}}t = \frac{[0.01003, 0.01008]}{0.010} \approx [1.003, 1.008]$$
本章完