凸集与凸函数
集合$C$是凸集,如果对于任意$\mathbf{x}, \mathbf{y} \in C$和$\theta \in [0, 1]$,有:
$$\theta \mathbf{x} + (1-\theta) \mathbf{y} \in C$$
函数$f$是凸函数,如果对于任意$\mathbf{x}, \mathbf{y}$和$\theta \in [0, 1]$,有:
$$f(\theta \mathbf{x} + (1-\theta) \mathbf{y}) \leq \theta f(\mathbf{x}) + (1-\theta) f(\mathbf{y})$$
凸优化问题具有良好的性质:
神经网络的非凸性
深度神经网络的损失函数通常是高度非凸的,原因包括:
非凸优化的挑战:
收敛速率
优化算法的收敛速率描述接近最优解的速度:
停止准则
实际训练中常用的停止条件:
动量方法通过累积历史梯度信息来加速收敛:
$$\mathbf{v}_t = \gamma \mathbf{v}_{t-1} + \eta \nabla_{\theta} \mathcal{L}(\theta_t)$$ $$\theta_{t+1} = \theta_t - \mathbf{v}_t$$
Nesterov加速梯度(NAG)是动量的改进版本:
$$\mathbf{v}_t = \gamma \mathbf{v}_{t-1} + \eta \nabla_{\theta} \mathcal{L}(\theta_t - \gamma \mathbf{v}_{t-1})$$ $$\theta_{t+1} = \theta_t - \mathbf{v}_t$$
NAG先在动量方向上“预判”一步,然后计算梯度,有助于更稳定地收敛。
AdaGrad为每个参数维护独立的学习率:
$$\mathbf{g}_t = \nabla_{\theta} \mathcal{L}(\theta_t)$$ $$\mathbf{G}_t = \mathbf{G}_{t-1} + \mathbf{g}_t \odot \mathbf{g}_t$$ $$\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\mathbf{G}_t + \epsilon}} \odot \mathbf{g}_t$$
AdaGrad的优势:
AdaGrad的局限:
RMSProp
RMSProp使用指数移动平均代替累积:
$$\mathbf{E}[\mathbf{g}^2]_t = \beta \mathbf{E}[\mathbf{g}^2]_{t-1} + (1-\beta) \mathbf{g}_t^2$$ $$\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\mathbf{E}[\mathbf{g}^2]_t + \epsilon}} \odot \mathbf{g}_t$$
Adadelta
Adadelta是AdaGrad的扩展,消除了对学习率的全局设置:
$$\mathbf{E}[\mathbf{g}^2]_t = \rho \mathbf{E}[\mathbf{g}^2]_{t-1} + (1-\rho) \mathbf{g}_t^2$$ $$\text{RMS}[\mathbf{g}]_t = \sqrt{\mathbf{E}[\mathbf{g}^2]_t + \epsilon}$$ $$\Delta \theta_t = -\frac{\text{RMS}[\Delta \theta]_{t-1}}{\text{RMS}[\mathbf{g}]_t} \mathbf{g}_t$$
Adadelta使用更新量的指数移动平均作为学习率的单位。
Adam
Adam结合了动量和自适应学习率:
$$\mathbf{m}_t = \beta_1 \mathbf{m}_{t-1} + (1-\beta_1) \mathbf{g}_t$$ $$\mathbf{v}_t = \beta_2 \mathbf{v}_{t-1} + (1-\beta_2) \mathbf{g}_t^2$$ $$\hat{\mathbf{m}}_t = \frac{\mathbf{m}_t}{1-\beta_1^t}, \quad \hat{\mathbf{v}}_t = \frac{\mathbf{v}_t}{1-\beta_2^t}$$ $$\theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{\mathbf{v}}_t} + \epsilon} \hat{\mathbf{m}}_t$$
Adamax
Adamax使用无穷范数代替L2范数:
$$\mathbf{u}_t = \max(\beta_2 \cdot \mathbf{u}_{t-1}, |\mathbf{g}_t|)$$ $$\theta_{t+1} = \theta_t - \frac{\eta}{\mathbf{u}_t} \hat{\mathbf{m}}_t$$
Nadam
Nadam结合Nesterov动量和Adam:
$$\hat{\mathbf{m}}_t = \frac{\beta_1 \mathbf{m}_t}{1-\beta_1^{t+1}} + \frac{(1-\beta_1)\mathbf{g}_t}{1-\beta_1^t}$$
每隔一定epoch将学习率乘以衰减因子:
$$\eta_t = \eta_0 \cdot \gamma^{\lfloor t / s \rfloor}$$
其中$s$是衰减周期,$\gamma$是衰减因子(如0.1)。
指数衰减: $$\eta_t = \eta_0 \cdot e^{-kt}$$
多步衰减: 在特定epoch进行衰减:
余弦退火模拟余弦函数的形状调整学习率:
$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{t}{T}\pi))$$
带重启的余弦退火(SGDR):
周期性重启学习率,帮助跳出局部最优:
$$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})(1 + \cos(\frac{t \mod T_i}{T_i}\pi))$$
线性预热:
前几个epoch线性增加学习率: $$\eta_t = \eta_{target} \cdot \frac{t}{T_{warmup}}, \quad t \leq T_{warmup}$$
预热的作用:
增大批量大小可以提高计算效率(利用硬件并行性),但会带来挑战:
大批量训练的经验法则:当批量大小乘以$k$时,学习率也乘以$k$:
$$\eta_{new} = \eta_{base} \cdot \frac{\text{batch\_size}_{new}}{\text{batch\_size}_{base}}$$
LARS(Layer-wise Adaptive Rate Scaling)
为每层设置独立的学习率:
$$\eta_l = \eta \cdot \frac{||\mathbf{w}_l||}{||\nabla_{\mathbf{w}_l} \mathcal{L}||}$$
LAMB是LARS的Adam版本,结合了分层自适应和Adam的优点。
牛顿法利用二阶信息进行优化:
$$\theta_{t+1} = \theta_t - \mathbf{H}^{-1} \nabla_{\theta} \mathcal{L}$$
其中$\mathbf{H}$是Hessian矩阵。
优点: - 二次收敛速率 - 收敛速度快
缺点: - 计算Hessian和求逆开销巨大($O(n^3)$) - 存储Hessian需要$O(n^2)$空间
拟牛顿法用近似矩阵代替Hessian:
BFGS算法: 通过低秩更新维护Hessian逆的近似: $$\mathbf{H}_{k+1}^{-1} = (\mathbf{I} - \frac{\mathbf{s}_k \mathbf{y}_k^T}{\mathbf{y}_k^T \mathbf{s}_k}) \mathbf{H}_k^{-1} (\mathbf{I} - \frac{\mathbf{y}_k \mathbf{s}_k^T}{\mathbf{y}_k^T \mathbf{s}_k}) + \frac{\mathbf{s}_k \mathbf{s}_k^T}{\mathbf{y}_k^T \mathbf{s}_k}$$
L-BFGS: 有限内存BFGS,只保存最近的$m$个向量对,大幅降低存储需求。
自然梯度考虑参数空间的黎曼几何结构:
$$\theta_{t+1} = \theta_t - \eta \mathbf{F}^{-1} \nabla_{\theta} \mathcal{L}$$
其中$\mathbf{F}$是Fisher信息矩阵。
自然梯度在参数空间中进行最速下降,但计算Fisher矩阵的逆仍然昂贵。
题目:比较SGD with Momentum、RMSProp和Adam三种优化器的特点和适用场景。
解答:
SGD with Momentum:
RMSProp:
Adam:
题目:初始学习率$\eta_0 = 0.1$,使用余弦退火,$\eta_{min} = 0.001$,$T = 100$ epoch。计算第25、50、75 epoch的学习率。
解答:
$$\eta_t = 0.001 + \frac{1}{2}(0.1 - 0.001)(1 + \cos(\frac{t}{100}\pi))$$ $$= 0.001 + 0.0495(1 + \cos(0.01t\pi))$$
t=25: $$\eta_{25} = 0.001 + 0.0495(1 + \cos(0.25\pi))$$ $$= 0.001 + 0.0495(1 + 0.707) = 0.001 + 0.0845 = 0.0855$$
t=50: $$\eta_{50} = 0.001 + 0.0495(1 + \cos(0.5\pi))$$ $$= 0.001 + 0.0495(1 + 0) = 0.0505$$
t=75: $$\eta_{75} = 0.001 + 0.0495(1 + \cos(0.75\pi))$$ $$= 0.001 + 0.0495(1 - 0.707) = 0.001 + 0.0145 = 0.0155$$
题目:基准设置:批量大小时32,学习率0.01。现在要使用批量大小256,如何调整学习率?使用线性缩放原则。
解答:
线性缩放原则: $$\eta_{new} = \eta_{base} \cdot \frac{\text{batch\_size}_{new}}{\text{batch\_size}_{base}}$$
$$\eta_{new} = 0.01 \cdot \frac{256}{32} = 0.01 \cdot 8 = 0.08$$
因此,学习率应调整为0.08。
| t | $g_t$ | $m_t$ | $v_t$ |
| 1 | 0.5 | 0.05 | 0.0005 |
| 2 | -0.3 | 0.015 | 0.00035 |
| 3 | 0.2 | 0.0335 | 0.00028 |
| 4 | 0.1 | 0.0402 | 0.00022 |
| 5 | -0.4 | -0.0038 | 0.00018 |
$$\hat{m}_5 = \frac{-0.0038}{1-0.9^5} = \frac{-0.0038}{0.4095} \approx -0.0093$$
$$\hat{v}_5 = \frac{0.00018}{1-0.999^5} = \frac{0.00018}{0.005} \approx 0.036$$
参数更新量:
$$\Delta\theta = -\frac{0.001}{\sqrt{0.036} + 10^{-8}} \times (-0.0093) \approx 0.00049$$
$t=35$:$\lfloor 35/30 \rfloor = 1$,$\eta = 0.1 \times 0.1 = 0.01$
$t=70$:$\lfloor 70/30 \rfloor = 2$,$\eta = 0.1 \times 0.01 = 0.001$