差别

这里会显示出您选择的修订版和当前版本之间的差别。

--- 深度学习:优化算法 [2026/03/02 21:45] – [例题4.1 优化器比较] 张叶安
+++ 深度学习:优化算法 [2026/03/02 21:49] (当前版本) – [4.4.1 大批量训练的挑战] 张叶安
@@ 行 177: / 行 177: @@
 增大批量大小可以提高计算效率（利用硬件并行性），但会带来挑战：
-- **泛化性能下降**：大批量训练的测试误差通常更高
+  - **泛化性能下降**：大批量训练的测试误差通常更高
-- **优化困难**：损失曲面更尖锐，容易陷入尖锐极小值
+  - **优化困难**：损失曲面更尖锐，容易陷入尖锐极小值
-- **需要调整学习率**：大批量需要更大的学习率
+  - **需要调整学习率**：大批量需要更大的学习率
 ==== 4.4.2 线性学习率缩放 ====
@@ 行 329: / 行 329: @@
 ==== 填空题 ====
-. Nesterov加速梯度与普通Momentum的主要区别是______。
+. Nesterov加速梯度与普通Momentum的主要区别是$\_\_\_\_$。
-. AdaGrad的主要局限是______。
+. AdaGrad的主要局限是$\_\_\_\_$。
-. 线性学习率缩放原则指出，批量大小增加k倍，学习率应______。
+. 线性学习率缩放原则指出，批量大小增加k倍，学习率应$\_\_\_\_$。
-. 预热策略的主要作用是______。
+. 预热策略的主要作用是$\_\_\_\_$。
-. L-BFGS相比于标准BFGS的主要改进是______。
+. L-BFGS相比于标准BFGS的主要改进是$\_\_\_\_$。
 ==== 计算题 ====
@@ 行 380: / 行 380: @@
 . **解答**：
-    逐步计算：
+逐步计算：
+| t | $g_t$ | $m_t$ | $v_t$ |
+| 1 | 0.5 | 0.05 | 0.0005 |
+| 2 | -0.3 | 0.015 | 0.00035 |
+| 3 | 0.2 | 0.0335 | 0.00028 |
+| 4 | 0.1 | 0.0402 | 0.00022 |
+| 5 | -0.4 | -0.0038 | 0.00018 |
-    | t | $g_t$ | $m_t$ | $v_t$ |
+偏差校正（$t=5$）：
-    |---|-------|-------|-------|
-    | 1 | 0.5 | 0.05 | 0.0005 |
+$$\hat{m}_5 = \frac{-0.0038}{1-0.9^5} = \frac{-0.0038}{0.4095} \approx -0.0093$$
-    | 2 | -0.3 | 0.015 | 0.00035 |
-    | 3 | 0.2 | 0.0335 | 0.00028 |
+$$\hat{v}_5 = \frac{0.00018}{1-0.999^5} = \frac{0.00018}{0.005} \approx 0.036$$
-    | 4 | 0.1 | 0.0402 | 0.00022 |
-    | 5 | -0.4 | -0.0038 | 0.00018 |
-    偏差校正（$t=5$）：
+参数更新量：
-    $$\hat{m}_5 = \frac{-0.0038}{1-0.9^5} = \frac{-0.0038}{0.4095} \approx -0.0093$$
-    $$\hat{v}_5 = \frac{0.00018}{1-0.999^5} = \frac{0.00018}{0.005} \approx 0.036$$
+$$\Delta\theta = -\frac{0.001}{\sqrt{0.036} + 10^{-8}} \times (-0.0093) \approx 0.00049$$
-    参数更新量：
-    $$\Delta\theta = -\frac{0.001}{\sqrt{0.036} + 10^{-8}} \times (-0.0093) \approx 0.00049$$
 . **解答**：
-    衰减函数：$\eta_t = 0.1 \times 0.1^{\lfloor t/30 \rfloor}$
+衰减函数：$\eta_t = 0.1 \times 0.1^{\lfloor t/30 \rfloor}$
-    - $t=10$：$\lfloor 10/30 \rfloor = 0$，$\eta = 0.1 \times 1 = 0.1$
+$t=10$：$\lfloor 10/30 \rfloor = 0$，$\eta = 0.1 \times 1 = 0.1$
-    - $t=35$：$\lfloor 35/30 \rfloor = 1$，$\eta = 0.1 \times 0.1 = 0.01$
-    - $t=70$：$\lfloor 70/30 \rfloor = 2$，$\eta = 0.1 \times 0.01 = 0.001$
+$t=35$：$\lfloor 35/30 \rfloor = 1$，$\eta = 0.1 \times 0.1 = 0.01$
+$t=70$：$\lfloor 70/30 \rfloor = 2$，$\eta = 0.1 \times 0.01 = 0.001$
----
-**本章完**

Detach Close

您访问的页面并不存在。如果允许，您可以使用创建该页面按钮来创建它。

差别

该主题尚不存在

张叶安的博客