差别

这里会显示出您选择的修订版和当前版本之间的差别。

--- 概率论:参数估计 [2026/02/19 16:27] – 移除张叶安
+++ 概率论:参数估计 [2026/02/19 16:43] (当前版本) – 创建张叶安
@@ 行 1: / 行 1: @@
+====== 第七章 参数估计 ======
+===== 7.1 点估计 =====
+==== 7.1.1 点估计的概念 ====
+**定义 7.1（点估计）**
+设总体 $X$ 的分布函数为 $F(x; \theta)$，其中 $\theta$ 是未知参数（可以是向量）。从总体中抽取样本 $X_1, X_2, \ldots, X_n$，构造统计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \ldots, X_n)$ 作为 $\theta$ 的估计，称为 **$\theta$ 的点估计**，统计量 $\hat{\theta}$ 称为 **估计量**。
+对应于样本观测值 $x_1, x_2, \ldots, x_n$，估计量的值 $\hat{\theta}(x_1, x_2, \ldots, x_n)$ 称为 **估计值**。
+**点估计的方法：**
+  - 矩估计法
+  - 极大似然估计法
+==== 7.1.2 矩估计法 ====
+**思想：** 用样本矩估计总体矩，用样本矩的函数估计总体矩的函数。
+**基本步骤：**
+. 求总体 $k$ 阶原点矩 $\mu_k = E(X^k)$（含未知参数 $\theta$）
+. 令样本 $k$ 阶原点矩 $A_k = \frac{1}{n}\sum_{i=1}^n X_i^k$ 等于 $\mu_k$
+. 解方程（组）得到估计量
+**例 7.1** 设总体 $X$ 服从泊松分布 $P(\lambda)$，$X_1, \ldots, X_n$ 是样本，求 $\lambda$ 的矩估计。
+**解：** $E(X) = \lambda$，样本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
+令 $\bar{X} = \lambda$，得矩估计：$\hat{\lambda} = \bar{X}$
+**例 7.2** 设总体 $X \sim U[0, \theta]$，$X_1, \ldots, X_n$ 是样本，求 $\theta$ 的矩估计。
+**解：** $E(X) = \frac{\theta}{2}$，令 $\bar{X} = \frac{\theta}{2}$
+得矩估计：$\hat{\theta} = 2\bar{X}$
+**例 7.3** 设总体 $X \sim N(\mu, \sigma^2)$，求 $\mu$ 和 $\sigma^2$ 的矩估计。
+**解：** $E(X) = \mu$，$E(X^2) = \mu^2 + \sigma^2$
+令：$\begin{cases} \bar{X} = \mu \\ \frac{1}{n}\sum_{i=1}^n X_i^2 = \mu^2 + \sigma^2 \end{cases}$
+解得：
+$$\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$$
+==== 7.1.3 极大似然估计法 ====
+**思想：** 寻找使样本观测值出现概率（或概率密度）最大的参数值。
+**定义 7.2（似然函数）**
+设总体 $X$ 的概率密度（或分布律）为 $f(x; \theta)$，样本 $X_1, \ldots, X_n$ 的联合密度（或联合分布律）为
+$$L(\theta) = L(x_1, \ldots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta)$$
+称为**似然函数**。
+**定义 7.3（极大似然估计）**
+若 $\hat{\theta}(x_1, \ldots, x_n)$ 满足
+$$L(\hat{\theta}) = \max_{\theta \in \Theta} L(\theta)$$
+则称 $\hat{\theta}$ 为 $\theta$ 的**极大似然估计值**，对应统计量 $\hat{\theta}(X_1, \ldots, X_n)$ 为**极大似然估计量**（MLE）。
+**求解步骤：**
+. 写出似然函数 $L(\theta)$
+. 取对数得对数似然函数 $\ln L(\theta)$
+. 对 $\theta$ 求导，令 $\frac{d\ln L(\theta)}{d\theta} = 0$（似然方程）
+. 解方程得估计量
+**例 7.4** 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim B(1, p)$ 的样本，求 $p$ 的极大似然估计。
+**解：** 分布律：$P(X = x) = p^x(1-p)^{1-x}$，$x = 0, 1$
+似然函数：$L(p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n-\sum x_i}$
+对数似然：$\ln L(p) = (\sum x_i)\ln p + (n - \sum x_i)\ln(1-p)$
+求导：$\frac{d\ln L}{dp} = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p} = 0$
+解得：$\hat{p} = \frac{1}{n}\sum_{i=1}^n X_i = \bar{X}$
+**例 7.5** 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim N(\mu, \sigma^2)$ 的样本，求 $\mu$ 和 $\sigma^2$ 的极大似然估计。
+**解：** 密度：$f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$
+似然函数：$L(\mu, \sigma^2) = (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right)$
+对数似然：$\ln L = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum(x_i-\mu)^2$
+对 $\mu$ 求偏导并令为 0：
+$$\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum(x_i-\mu) = 0 \Rightarrow \hat{\mu} = \bar{X}$$
+对 $\sigma^2$ 求偏导并令为 0：
+$$\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum(x_i-\mu)^2 = 0$$
+解得：$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$
+**例 7.6** 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim U[0, \theta]$ 的样本，求 $\theta$ 的极大似然估计。
+**解：** 密度：$f(x; \theta) = \begin{cases} \frac{1}{\theta}, & 0 \leq x \leq \theta \\ 0, & \text{其他} \end{cases}$
+似然函数：$L(\theta) = \begin{cases} \frac{1}{\theta^n}, & 0 \leq x_i \leq \theta \text{（所有 } i\text{）} \\ 0, & \text{其他} \end{cases}$
+$L(\theta)$ 关于 $\theta$ 单调递减，要使 $L(\theta)$ 最大，需 $\theta$ 最小。
+约束条件：$\theta \geq \max\{x_1, \ldots, x_n\}$
+故极大似然估计：$\hat{\theta} = X_{(n)} = \max\{X_1, \ldots, X_n\}$
+===== 7.2 估计量的评价标准 =====
+==== 7.2.1 无偏性 ====
+**定义 7.4（无偏估计）**
+设 $\hat{\theta}$ 是参数 $\theta$ 的估计量，若
+$$E(\hat{\theta}) = \theta$$
+则称 $\hat{\theta}$ 是 $\theta$ 的**无偏估计**（量）。
+**例 7.7** 证明样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计。
+**证明：** $E(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n} \cdot n\mu = \mu$ ∎
+**例 7.8** 判断样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 和 $S_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ 是否是总体方差 $\sigma^2$ 的无偏估计。
+**解：** 已知 $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$，故 $E\left(\frac{(n-1)S^2}{\sigma^2}\right) = n-1$
+因此 $E(S^2) = \sigma^2$，$S^2$ 是无偏估计。
+而 $E(S_n^2) = E\left(\frac{n-1}{n}S^2\right) = \frac{n-1}{n}\sigma^2 \neq \sigma^2$
+$S_n^2$ 不是无偏估计（是渐近无偏的）。
+==== 7.2.2 有效性 ====
+**定义 7.5（有效性）**
+设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是 $\theta$ 的无偏估计，若对任意样本容量 $n$，有
+$$D(\hat{\theta}_1) \leq D(\hat{\theta}_2)$$
+且至少对一个 $n$ 严格不等，则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ **有效**。
+**例 7.9** 设总体 $X$ 的均值为 $\mu$，方差为 $\sigma^2$，考虑两个无偏估计：
+$$\hat{\mu}_1 = \bar{X}, \quad \hat{\mu}_2 = \frac{X_1 + X_2}{2}$$
+比较它们的有效性。
+**解：** $D(\hat{\mu}_1) = D(\bar{X}) = \frac{\sigma^2}{n}$
+$D(\hat{\mu}_2) = \frac{1}{4}[D(X_1) + D(X_2)] = \frac{\sigma^2}{2}$
+当 $n > 2$ 时，$\frac{\sigma^2}{n} < \frac{\sigma^2}{2}$，故 $\hat{\mu}_1$ 比 $\hat{\mu}_2$ 有效。
+**定理 7.1（Rao-Cramer 不等式）**
+在正则条件下，设 $\hat{\theta}$ 是 $\theta$ 的无偏估计，则
+$$D(\hat{\theta}) \geq \frac{1}{nI(\theta)}$$
+其中 $I(\theta) = E\left[\left(\frac{\partial \ln f(X;\theta)}{\partial \theta}\right)^2\right]$ 是 **Fisher 信息量**。
+若某无偏估计达到此下界，则称其为**有效估计**。
+==== 7.2.3 一致性 ====
+**定义 7.6（一致性/相合性）**
+设 $\hat{\theta}_n = \hat{\theta}(X_1, \ldots, X_n)$ 是 $\theta$ 的估计量序列，若对任意 $\varepsilon > 0$，有
+$$\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \u003c \varepsilon) = 1$$
+则称 $\hat{\theta}_n$ 是 $\theta$ 的**一致估计**（或**相合估计**）。
+等价地：$\hat{\theta}_n \xrightarrow{P} \theta$（依概率收敛）
+**定理 7.2**
+设 $\hat{\theta}_n$ 是 $\theta$ 的估计量，若 $E(\hat{\theta}_n) \to \theta$ 且 $D(\hat{\theta}_n) \to 0$，则 $\hat{\theta}_n$ 是 $\theta$ 的一致估计。
+**证明：** 由切比雪夫不等式，$P(|\hat{\theta}_n - \theta| \geq \varepsilon) \leq \frac{E[(\hat{\theta}_n - \theta)^2]}{\varepsilon^2} = \frac{D(\hat{\theta}_n) + [E(\hat{\theta}_n) - \theta]^2}{\varepsilon^2} \to 0$ ∎
+**例 7.10** 证明样本均值 $\bar{X}$ 是总体均值 $\mu$ 的一致估计。
+**证明：** $E(\bar{X}) = \mu$，$D(\bar{X}) = \frac{\sigma^2}{n} \to 0$（$n \to \infty$）
+由定理 7.2，$\bar{X}$ 是 $\mu$ 的一致估计。∎
+===== 7.3 区间估计 =====
+==== 7.3.1 区间估计的概念 ====
+**定义 7.7（置信区间）**
+设 $\theta$ 是总体未知参数，$X_1, \ldots, X_n$ 是样本。若统计量 $\underline{\theta}(X_1, \ldots, X_n)$ 和 $\overline{\theta}(X_1, \ldots, X_n)$ 满足
+$$P(\underline{\theta} < \theta < \overline{\theta}) = 1 - \alpha$$
+其中 $0 < \alpha < 1$，则称随机区间 $(\underline{\theta}, \overline{\theta})$ 为 $\theta$ 的**置信度为 $1-\alpha$ 的置信区间**。
+  - $\underline{\theta}$：**置信下限**
+  - $\overline{\theta}$：**置信上限**
+  - $1-\alpha$：**置信度**（或置信水平）
+**含义：** 若重复抽样多次，每个样本确定一个区间 $(\underline{\theta}, \overline{\theta})$，则大约有 $100(1-\alpha)\%$ 的区间包含真值 $\theta$。
+==== 7.3.2 单个正态总体的区间估计 ====
+设 $X_1, \ldots, X_n \sim N(\mu, \sigma^2)$，$\bar{X}$ 和 $S^2$ 分别是样本均值和样本方差。
+**1. $\sigma^2$ 已知，求 $\mu$ 的置信区间**
+枢轴量：$Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$
+$$P\left(-z_{\alpha/2} < \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} < z_{\alpha/2}\right) = 1 - \alpha$$
+解得 $\mu$ 的置信区间：
+$$\left(\bar{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \quad \bar{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right)$$
+**2. $\sigma^2$ 未知，求 $\mu$ 的置信区间**
+枢轴量：$T = \frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$
+$$\left(\bar{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \quad \bar{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right)$$
+**3. $\mu$ 未知，求 $\sigma^2$ 的置信区间**
+枢轴量：$\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
+$$P\left(\chi_{1-\alpha/2}^2(n-1) < \frac{(n-1)S^2}{\sigma^2} < \chi_{\alpha/2}^2(n-1)\right) = 1 - \alpha$$
+解得 $\sigma^2$ 的置信区间：
+$$\left(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)}, \quad \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)}\right)$$
+==== 7.3.3 两个正态总体的区间估计 ====
+设 $X_1, \ldots, X_{n_1} \sim N(\mu_1, \sigma_1^2)$，$Y_1, \ldots, Y_{n_2} \sim N(\mu_2, \sigma_2^2)$，两样本独立。
+**1. $\sigma_1^2 = \sigma_2^2 = \sigma^2$ 未知，求 $\mu_1 - \mu_2$ 的置信区间**
+枢轴量：
+$$T = \frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)$$
+其中 $S_w^2 = \frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2}$
+置信区间：
+$$(\bar{X} - \bar{Y}) \pm t_{\alpha/2}(n_1 + n_2 - 2) \cdot S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}$$
+**2. 求 $\frac{\sigma_1^2}{\sigma_2^2}$ 的置信区间**
+枢轴量：$F = \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1, n_2-1)$
+置信区间：
+$$\left(\frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{\alpha/2}(n_1-1, n_2-1)}, \quad \frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{1-\alpha/2}(n_1-1, n_2-1)}\right)$$
+===== 7.4 典型例题 =====
+**例题 7.1** 设总体 $X$ 的概率密度为 $f(x; \theta) = \begin{cases} \theta x^{\theta-1}, & 0 < x < 1 \\ 0, & \text{其他} \end{cases}$，其中 $\theta > 0$ 未知，$X_1, \ldots, X_n$ 是样本。求 $\theta$ 的矩估计和极大似然估计。
+**解：**
+（1）矩估计：
+$$E(X) = \int_0^1 x \cdot \theta x^{\theta-1} dx = \theta \int_0^1 x^\theta dx = \frac{\theta}{\theta+1}$$
+令 $\bar{X} = \frac{\theta}{\theta+1}$，解得：
+$$\hat{\theta}_{\text{矩}} = \frac{\bar{X}}{1-\bar{X}}$$
+（2）极大似然估计：
+似然函数：$L(\theta) = \prod_{i=1}^n \theta x_i^{\theta-1} = \theta^n \left(\prod_{i=1}^n x_i\right)^{\theta-1}$
+对数似然：$\ln L = n\ln\theta + (\theta-1)\sum_{i=1}^n \ln x_i$
+求导：$\frac{d\ln L}{d\theta} = \frac{n}{\theta} + \sum_{i=1}^n \ln x_i = 0$
+解得：
+$$\hat{\theta}_{\text{MLE}} = -\frac{n}{\sum_{i=1}^n \ln X_i}$$
+**例题 7.2** 设总体 $X \sim N(\mu, \sigma^2)$，$X_1, \ldots, X_n$ 是样本。证明 $\hat{\mu}_1 = \bar{X}$ 比 $\hat{\mu}_2 = \frac{X_1 + X_n}{2}$ 更有效。
+**证明：** 两者都是无偏估计。
+$D(\hat{\mu}_1) = D(\bar{X}) = \frac{\sigma^2}{n}$
+$D(\hat{\mu}_2) = \frac{1}{4}[D(X_1) + D(X_n)] = \frac{\sigma^2}{2}$
+当 $n \geq 3$ 时，$\frac{\sigma^2}{n} \leq \frac{\sigma^2}{2}$，故 $\hat{\mu}_1$ 更有效。∎
+**例题 7.3** 从一批零件中随机抽取 16 件，测得长度（mm）的样本均值 $\bar{x} = 20.01$，样本标准差 $s = 0.02$。假设长度服从正态分布，求总体均值 $\mu$ 的 95% 置信区间。
+**解：** $\sigma^2$ 未知，用 $t$ 分布。
+$n = 16$，$\bar{x} = 20.01$，$s = 0.02$，$1-\alpha = 0.95$
+查表：$t_{0.025}(15) = 2.131$
+置信区间：
+$$\bar{x} \pm t_{0.025}(15) \cdot \frac{s}{\sqrt{n}} = 20.01 \pm 2.131 \cdot \frac{0.02}{4} = 20.01 \pm 0.0107$$
+即 $(19.999, 20.021)$
+===== 7.5 习题 =====
+**基础题**
+. 设总体 $X \sim B(N, p)$，$X_1, \ldots, X_n$ 是样本，求 $p$ 的矩估计和极大似然估计。
+. 设总体 $X$ 的密度为 $f(x; \theta) = \begin{cases} \frac{2x}{\theta^2}, & 0 < x < \theta \\ 0, & \text{其他} \end{cases}$，求 $\theta$ 的矩估计和极大似然估计。
+. 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim E(\lambda)$ 的样本，证明 $\bar{X}$ 是 $\frac{1}{\lambda}$ 的无偏估计，并判断其是否一致。
+. 从正态总体中抽取容量为 25 的样本，测得 $\bar{x} = 10$，$s = 2$。求总体均值 $\mu$ 的 95% 置信区间。
+**提高题**
+. 设总体 $X \sim N(\mu, 1)$，$X_1, X_2$ 是样本，考虑三个估计量：
+$$\hat{\mu}_1 = \frac{2}{3}X_1 + \frac{1}{3}X_2, \quad \hat{\mu}_2 = \frac{1}{4}X_1 + \frac{3}{4}X_2, \quad \hat{\mu}_3 = \frac{1}{2}X_1 + \frac{1}{2}X_2$$
+（1）证明它们都是无偏估计；（2）比较它们的有效性。
+. 设总体 $X$ 的密度为 $f(x; \theta) = \frac{1}{2\theta}e^{-|x|/\theta}$，$-\infty < x < +\infty$，$\theta > 0$。求 $\theta$ 的极大似然估计，并判断其是否无偏。
+. 设两正态总体 $N(\mu_1, \sigma^2)$ 和 $N(\mu_2, \sigma^2)$ 独立，分别抽取 $n_1 = 10$，$n_2 = 15$ 的样本，测得 $\bar{x} = 82$，$s_1^2 = 56.5$，$\bar{y} = 76$，$s_2^2 = 52.4$。求 $\mu_1 - \mu_2$ 的 95% 置信区间。
+**挑战题**
+. 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim U[\theta_1, \theta_2]$ 的样本，求 $\theta_1$ 和 $\theta_2$ 的极大似然估计。
+. 设 $X_1, \ldots, X_n$ 是来自总体 $X$ 的样本，$E(X) = \mu$，$D(X) = \sigma^2$。证明 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ 是渐近无偏的，即 $E(\hat{\sigma}^2) \to \sigma^2$（$n \to \infty$）。
+. 设总体 $X \sim N(\mu, \sigma^2)$，$X_1, \ldots, X_n$ 是样本。求 $k$ 使得 $\hat{\sigma} = kS$ 是 $\sigma$ 的无偏估计，其中 $S$ 是样本标准差。

Detach Close

您访问的页面并不存在。如果允许，您可以使用创建该页面按钮来创建它。

差别

该主题尚不存在

张叶安的博客