第三章 反向传播算法
3.1 梯度下降基础
3.1.1 优化问题概述
神经网络的训练本质上是一个优化问题:寻找一组最优参数$\theta$,使得损失函数$\mathcal{L}(\theta)$最小化。
$$\theta^* = \arg\min_{\theta} \mathcal{L}(\theta)$$
其中,$\theta$包含网络中的所有权重和偏置,$\mathcal{L}$是衡量模型预测与真实值差异的损失函数。
这个优化问题具有以下特点:
高维:现代神经网络可能有数百万甚至数十亿个参数
非凸:损失函数通常是非凸的,存在多个局部最优
大规模数据:需要在海量数据集上进行优化
计算昂贵:每次评估损失函数都需要前向传播整个网络
3.1.2 梯度下降算法
梯度下降是最基本的优化算法,其核心思想是沿损失函数梯度的反方向更新参数:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\theta_t)$$
其中$\eta$是学习率,控制每次更新的步长。
梯度下降有三种主要变体:
批量梯度下降(Batch Gradient Descent)
使用整个训练集计算梯度:
$$\nabla_{\theta} \mathcal{L} = \frac{1}{N} \sum_{i=1}^{N} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:梯度估计准确,更新稳定
缺点:计算开销大,内存需求高
随机梯度下降(Stochastic Gradient Descent, SGD)
每次迭代使用一个样本:
$$\theta_{t+1} = \theta_t - \eta \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:计算快速,可逃离局部最优
缺点:梯度估计噪声大,收敛不稳定
小批量梯度下降(Mini-batch Gradient Descent)
每次迭代使用一个小批量样本(通常32-512个):
$$\nabla_{\theta} \mathcal{L} = \frac{1}{m} \sum_{i=1}^{m} \nabla_{\theta} \mathcal{L}(\mathbf{x}_i, y_i)$$
优点:平衡了计算效率和梯度准确性,是现代深度学习的主流选择
3.1.3 学习率调度
学习率是最重要的超参数之一,需要精心选择和调整。
学习率衰减策略
步进衰减(Step Decay):每隔固定epoch将学习率乘以衰减因子
$$\eta_t = \eta_0 \cdot \gamma^{\lfloor t / s \rfloor}$$
指数衰减(Exponential Decay):
$$\eta_t = \eta_0 \cdot e^{-kt}$$
余弦退火(Cosine Annealing):
$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{t}{T}\pi))$$
预热(Warmup):
初始阶段从小学习率逐渐增大,避免早期训练不稳定
3.2 反向传播算法
3.2.1 链式法则
反向传播(Backpropagation)是高效计算神经网络梯度的算法,其核心是微积分中的链式法则。
对于复合函数$f(g(x))$,链式法则给出:
$$\frac{\partial f}{\partial x} = \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial x}$$
对于多变量函数,链式法则推广为:
$$\frac{\partial z}{\partial x} = \sum_i \frac{\partial z}{\partial y_i} \cdot \frac{\partial y_i}{\partial x}$$
3.2.2 反向传播原理
考虑一个$L$层神经网络,第$l$层的计算为:
$$\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$$
$$\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$$
反向传播计算损失函数对各层参数的梯度,分为两个阶段:
前向传播:计算并保存各层的中间结果
反向传播:从输出层向输入层逐层计算梯度
误差反向传播
定义第$l$层的误差项$\boldsymbol{\delta}^{(l)}$为损失函数对$\mathbf{z}^{(l)}$的梯度:
$$\boldsymbol{\delta}^{(l)} = \frac{\partial \mathcal{L}}{\partial \mathbf{z}^{(l)}}$$
对于输出层(第$L$层):
$$\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$$
其中$\odot$表示逐元素乘法。
对于隐藏层,误差反向传播:
$$\boldsymbol{\delta}^{(l)} = ((\mathbf{W}^{(l+1)})^T \boldsymbol{\delta}^{(l+1)}) \odot f'(\mathbf{z}^{(l)})$$
这表示第$l+1$层的误差通过权重矩阵反向传播到第$l$层。
参数梯度计算
获得误差项后,可以计算参数的梯度:
$$\frac{\partial \mathcal{L}}{\partial \mathbf{W}^{(l)}} = \boldsymbol{\delta}^{(l)} (\mathbf{a}^{(l-1)})^T$$
$$\frac{\partial \mathcal{L}}{\partial \mathbf{b}^{(l)}} = \boldsymbol{\delta}^{(l)}$$
3.2.3 反向传播算法流程
完整的反向传播算法步骤如下:
输入:训练样本$(\mathbf{x}, \mathbf{y})$,当前网络参数
输出:各参数的梯度
前向传播
- 设置$\mathbf{a}^{(0)} = \mathbf{x}$
- 对于$l = 1$到$L$:
- $\mathbf{z}^{(l)} = \mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)}$
- $\mathbf{a}^{(l)} = f(\mathbf{z}^{(l)})$
计算输出层误差
- $\boldsymbol{\delta}^{(L)} = \frac{\partial \mathcal{L}}{\partial \mathbf{a}^{(L)}} \odot f'(\mathbf{z}^{(L)})$
反向传播误差
- 对于$l = L-1$到$1$:
- $\boldsymbol{\delta}^{(l)} =
1)