神经网络是由大量相互连接的神经元组成的计算模型。每个神经元接收来自其他神经元或外部输入的信号,进行加权求和并通过激活函数产生输出。大量神经元按照层次结构组织,形成强大的信息处理能力。
神经元的基本组成
一个典型的神经元包含三个核心部分:
$$z = \sum_{i=1}^{n} w_i x_i + b$$
其中$b$是偏置项,用于调整激活阈值。
$$a = f(z)$$
常用的激活函数包括Sigmoid、Tanh、ReLU及其变体。
网络层的类型
神经网络通常由三种类型的层组成:
输入层(Input Layer):接收外部数据输入,神经元数量等于输入特征的维度。输入层通常不进行计算,仅传递数据。
隐藏层(Hidden Layer):位于输入层和输出层之间,进行特征提取和变换。深度学习模型包含多个隐藏层,层数越深,能够学习的特征越抽象。
输出层(Output Layer):产生网络的最终输出。输出层的结构和激活函数取决于任务类型:
前馈神经网络(Feedforward Neural Network)是最基本的神经网络结构,信息单向流动,从输入层经过隐藏层到达输出层,不存在循环连接。
全连接层(Fully Connected Layer)
在全连接层中,每个神经元与前一层的所有神经元相连。对于第$l$层,其输出可以表示为:
$$\mathbf{a}^{(l)} = f(\mathbf{W}^{(l)} \mathbf{a}^{(l-1)} + \mathbf{b}^{(l)})$$
其中:
前向传播算法
前向传播(Forward Propagation)是神经网络计算输出的过程:
网络深度与宽度
网络的深度(层数)和宽度(每层神经元数)是重要的架构超参数:
万能近似定理
万能近似定理(Universal Approximation Theorem)为神经网络的表达能力提供了理论保证。该定理指出:
一个具有至少一个隐藏层的前馈神经网络,只要隐藏层包含足够多的神经元,并使用非线性激活函数,就可以以任意精度近似任何连续函数(在有界定义域上)。
这一定理说明,即使是浅层网络也具有强大的表达能力。然而,实践中深层网络往往比浅层网络更高效,能够以更少的参数达到相同的近似能力。
深度与效率
虽然浅层网络在理论上可以近似任何函数,但深层网络在实际中往往更有效:
激活函数为神经网络引入非线性,使其能够学习复杂的非线性映射。选择合适的激活函数对网络性能至关重要。
Sigmoid函数
Sigmoid函数定义为: $$\sigma(x) = \frac{1}{1 + e^{-x}}$$
特性:
优点:
缺点:
应用场景:
Tanh函数
Tanh(双曲正切)函数定义为:
$$\tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} = 2\sigma(2x) - 1$$
特性:
优点:
缺点:
应用场景:
ReLU(Rectified Linear Unit)
ReLU函数定义为:
$$\text{ReLU}(x) = \max(0, x)$$
特性:
优点:
缺点:
Leaky ReLU
为解决神经元死亡问题,Leaky ReLU在负区间引入小的斜率:
$$\text{LeakyReLU}(x) = \max(\alpha x, x)$$
其中$\alpha$通常取0.01。这样即使输入为负,仍有小的梯度流过。
PReLU(Parametric ReLU)
PReLU将Leaky ReLU中的$\alpha$设为可学习参数:
$$\text{PReLU}(x) = \max(\alpha x, x)$$
网络可以自适应地学习最优的负斜率。
ELU(Exponential Linear Unit)
ELU函数定义为:
$$\text{ELU}(x) = \begin{cases} x & \text{if } x > 0 \\ \alpha(e^x - 1) & \text{if } x \leq 0 \end{cases}$$
优点:
缺点:
GELU(Gaussian Error Linear Unit)
GELU是Transformer架构中常用的激活函数:
$$\text{GELU}(x) = x \cdot P(X \leq x) = x \cdot \Phi(x) \approx 0.5x(1 + \tanh[\sqrt{2/\pi}(x + 0.044715x^3)])$$
其中$\Phi(x)$是标准正态分布的累积分布函数。
Softmax函数常用于多分类问题的输出层,将网络输出转换为概率分布:
$$\text{softmax}(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{K} e^{x_j}}$$
其中$K$是类别数。
特性:
数值稳定性:
Softmax计算中存在数值溢出问题。为解决这个问题,通常使用以下技巧:
$$\text{softmax}(x_i) = \frac{e^{x_i - C}}{\sum_{j=1}^{K} e^{x_j - C}}$$
其中$C = \max(x_1, x_2, ..., x_K)$,这确保了指数的最大值为0,避免了溢出。
损失函数(Loss Function)衡量模型预测与真实值之间的差距,是神经网络优化的目标。
均方误差(Mean Squared Error, MSE)
MSE是最常用的回归损失函数: $$\mathcal{L}_{\text{MSE}} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2$$
特性:
平均绝对误差(Mean Absolute Error, MAE)
MAE使用L1范数:
$$\mathcal{L}_{\text{MAE}} = \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y}_i|$$
特性:
Huber损失
Huber损失结合了MSE和MAE的优点:
$$\mathcal{L}_{\text{Huber}} = \begin{cases} \frac{1}{2}(y - \hat{y})^2 & \text{if } |y - \hat{y}| \leq \delta \\ \delta(|y - \hat{y}| - \frac{1}{2}\delta) & \text{otherwise} \end{cases}$$
在误差较小时使用平方损失,误差较大时使用线性损失,兼顾了平滑性和鲁棒性。
交叉熵损失(Cross-Entropy Loss)
交叉熵损失是分类任务的标准选择。对于二分类: $$\mathcal{L}_{\text{BCE}} = -\frac{1}{N} \sum_{i=1}^{N} [y_i \log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)]$$
对于多分类: $$\mathcal{L}_{\text{CE}} = -\frac{1}{N} \sum_{i=1}^{N} \sum_{c=1}^{C} y_{i,c} \log(\hat{y}_{i,c})$$
其中$y_{i,c}$是one-hot编码的真实标签,$\hat{y}_{i,c}$是预测概率。
交叉熵损失与Softmax输出结合使用,形成Softmax交叉熵损失。
Focal Loss
Focal Loss解决类别不平衡问题: $$\mathcal{L}_{\text{FL}} = -\alpha_t (1 - \hat{y}_t)^\gamma \log(\hat{y}_t)$$
其中$\gamma$是聚焦参数,降低易分类样本的权重,使模型更关注难分类样本。
对比损失(Contrastive Loss)
用于学习嵌入表示,使相似样本距离近,不相似样本距离远: $$\mathcal{L} = y \cdot d^2 + (1-y) \cdot \max(0, m - d)^2$$
其中$d$是样本对的距离,$y$表示是否相似,$m$是边际参数。
Triplet Loss
使用三元组(锚点、正样本、负样本)学习嵌入: $$\mathcal{L} = \max(0, d(a, p) - d(a, n) + m)$$
目标使锚点与正样本距离小于锚点与负样本距离至少$m$。
良好的参数初始化对神经网络训练至关重要。不恰当的初始化可能导致梯度消失、梯度爆炸或收敛缓慢。
将所有权值初始化为零看似合理,但会导致严重问题:
Xavier/Glorot初始化
Xavier初始化根据输入和输出维度调整权重规模: $$W \sim \mathcal{U}(-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}})$$
或正态分布版本: $$W \sim \mathcal{N}(0, \frac{2}{n_{in} + n_{out}})$$
适用于:Sigmoid、Tanh激活函数
原理:保持前向和反向传播时激活值的方差一致。
He初始化
He初始化专为ReLU激活函数设计: $$W \sim \mathcal{N}(0, \frac{2}{n_{in}})$$
由于ReLU将负值置零,需要更大的初始权重来补偿。
正交初始化
使用随机正交矩阵作为初始权重: $$W = QR$$
其中$Q$是正交矩阵,$R$是上三角矩阵。正交初始化有助于保持梯度流。
偏置通常初始化为零或小常数:
题目:考虑一个具有以下结构的神经网络:
权重矩阵:
偏置:$b^{(1)} = \begin{bmatrix} 0.1 \\ 0.2 \end{bmatrix}$,$b^{(2)} = 0.1$
计算网络输出。
解答:
隐藏层计算:
$$\mathbf{z}^{(1)} = W^{(1)} \mathbf{x} + \mathbf{b}^{(1)} = \begin{bmatrix} 0.1 & 0.2 \\ 0.3 & 0.4 \end{bmatrix} \begin{bmatrix} 0.5 \\ 0.3 \end{bmatrix} + \begin{bmatrix} 0.1 \\ 0.2 \end{bmatrix}$$
$$= \begin{bmatrix} 0.1 \times 0.5 + 0.2 \times 0.3 + 0.1 \\ 0.3 \times 0.5 + 0.4 \times 0.3 + 0.2 \end{bmatrix} = \begin{bmatrix} 0.05 + 0.06 + 0.1 \\ 0.15 + 0.12 + 0.2 \end{bmatrix} = \begin{bmatrix} 0.21 \\ 0.47 \end{bmatrix}$$
应用ReLU:
$$\mathbf{a}^{(1)} = \text{ReLU}(\mathbf{z}^{(1)}) = \begin{bmatrix} 0.21 \\ 0.47 \end{bmatrix}$$
输出层计算: $$z^{(2)} = W^{(2)} \mathbf{a}^{(1)} + b^{(2)} = \begin{bmatrix} 0.5 & 0.6 \end{bmatrix} \begin{bmatrix} 0.21 \\ 0.47 \end{bmatrix} + 0.1$$
$$= 0.5 \times 0.21 + 0.6 \times 0.47 + 0.1 = 0.105 + 0.282 + 0.1 = 0.487$$
应用Sigmoid: $$\hat{y} = \sigma(0.487) = \frac{1}{1 + e^{-0.487}} = \frac{1}{1 + 0.615} \approx 0.619$$
题目:在一个三分类问题中,某样本的真实标签为第2类(one-hot编码$\mathbf{y} = [0, 1, 0]$),网络输出(Softmax前)为$\mathbf{z} = [1.0, 2.0, 0.5]$。请计算: (1) Softmax输出概率 (2) 交叉熵损失
解答:
(1) Softmax概率:
首先计算指数(使用数值稳定技巧,减去最大值2.0): $$\mathbf{z}' = [1.0-2.0, 2.0-2.0, 0.5-2.0] = [-1.0, 0, -1.5]$$
$$e^{\mathbf{z}'} = [e^{-1.0}, e^{0}, e^{-1.5}] \approx [0.368, 1.0, 0.223]$$
分母和:$0.368 + 1.0 + 0.223 = 1.591$
$$\hat{\mathbf{y}} = \left[\frac{0.368}{1.591}, \frac{1.0}{1.591}, \frac{0.223}{1.591}\right] \approx [0.231, 0.629, 0.140]$$
(2) 交叉熵损失: $$\mathcal{L} = -\sum_{c=1}^{3} y_c \log(\hat{y}_c) = -[0 \times \log(0.231) + 1 \times \log(0.629) + 0 \times \log(0.140)]$$ $$= -\log(0.629) \approx 0.464$$
题目:分析使用Sigmoid和ReLU作为隐藏层激活函数的优缺点,说明为什么在深层网络中ReLU更常用。
解答:
Sigmoid激活函数:
优点:
缺点:
ReLU激活函数:
优点:
缺点:
深层网络中使用ReLU的原因:
6. 前馈神经网络中,信息从输入层流向输出层,这种计算过程称为______传播。 7. Softmax函数的作用是______,常用于多分类问题的______层。 8. ReLU激活函数的负区间梯度为______,这可能导致______问题。 9. Xavier初始化适用于______和______激活函数。 10. 在多分类问题中,交叉熵损失通常与______激活函数配合使用。
(1) 使用Sigmoid激活的输出
(2) 若真实标签$y=1$,计算二分类交叉熵损失
$$W^{(1)} = \begin{bmatrix} 0.2 & 0.1 & 0.3 \\ -0.1 & 0.2 & 0.1 \end{bmatrix}, \mathbf{b}^{(1)} = \begin{bmatrix} 0.1 \\ 0.2 \end{bmatrix}$$
$$W^{(2)} = \begin{bmatrix} 0.3 & 0.4 \end{bmatrix}, b^{(2)} = 0.1$$
请计算网络输出$\hat{y}$。
$$z = \mathbf{w}^T \mathbf{x} + b = 0.5 \times 2 + 0.3 \times (-1) + (-0.2) \times 3 + 0.1$$
$$= 1.0 - 0.3 - 0.6 + 0.1 = 0.2$$
Sigmoid输出:
$$\hat{y} = \sigma(0.2) = \frac{1}{1 + e^{-0.2}} = \frac{1}{1 + 0.819} \approx 0.550$$
(2) 二分类交叉熵损失:
$$\mathcal{L} = -[y \log(\hat{y}) + (1-y)\log(1-\hat{y})]$$
$$= -[1 \times \log(0.550) + 0 \times \log(0.450)]$$
$$= -\log(0.550) \approx 0.598$$
$$\mathbf{z}^{(1)} = W^{(1)} \mathbf{x} + \mathbf{b}^{(1)}$$
$$= \begin{bmatrix} 0.2 \times 1 + 0.1 \times 0 + 0.3 \times (-1) + 0.1 \\ -0.1 \times 1 + 0.2 \times 0 + 0.1 \times (-1) + 0.2 \end{bmatrix}$$
$$= \begin{bmatrix} 0.2 - 0.3 + 0.1 \\ -0.1 - 0.1 + 0.2 \end{bmatrix} = \begin{bmatrix} 0.0 \\ 0.0 \end{bmatrix}$$
应用ReLU:
$$\mathbf{a}^{(1)} = \text{ReLU}([0.0, 0.0]) = [0.0, 0.0]$$
输出层:
$$z^{(2)} = W^{(2)} \mathbf{a}^{(1)} + b^{(2)} = 0.3 \times 0 + 0.4 \times 0 + 0.1 = 0.1$$
应用Sigmoid:
$$\hat{y} = \sigma(0.1) = \frac{1}{1 + e^{-0.1}} \approx \frac{1}{1 + 0.905} \approx 0.525$$