定义 7.1（点估计） 设总体 $X$ 的分布函数为 $F(x; \theta)$，其中 $\theta$ 是未知参数（可以是向量）。从总体中抽取样本 $X_1, X_2, \ldots, X_n$，构造统计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \ldots, X_n)$ 作为 $\theta$ 的估计，称为 $\theta$ 的点估计，统计量 $\hat{\theta}$ 称为 估计量。
对应于样本观测值 $x_1, x_2, \ldots, x_n$，估计量的值 $\hat{\theta}(x_1, x_2, \ldots, x_n)$ 称为 估计值。
点估计的方法：
思想： 用样本矩估计总体矩，用样本矩的函数估计总体矩的函数。
基本步骤： 1. 求总体 $k$ 阶原点矩 $\mu_k = E(X^k)$（含未知参数 $\theta$） 2. 令样本 $k$ 阶原点矩 $A_k = \frac{1}{n}\sum_{i=1}^n X_i^k$ 等于 $\mu_k$ 3. 解方程（组）得到估计量
例 7.1 设总体 $X$ 服从泊松分布 $P(\lambda)$，$X_1, \ldots, X_n$ 是样本，求 $\lambda$ 的矩估计。
解： $E(X) = \lambda$，样本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
令 $\bar{X} = \lambda$，得矩估计：$\hat{\lambda} = \bar{X}$
例 7.2 设总体 $X \sim U[0, \theta]$，$X_1, \ldots, X_n$ 是样本，求 $\theta$ 的矩估计。
解： $E(X) = \frac{\theta}{2}$，令 $\bar{X} = \frac{\theta}{2}$
得矩估计：$\hat{\theta} = 2\bar{X}$
例 7.3 设总体 $X \sim N(\mu, \sigma^2)$，求 $\mu$ 和 $\sigma^2$ 的矩估计。
解： $E(X) = \mu$，$E(X^2) = \mu^2 + \sigma^2$
令：$\begin{cases} \bar{X} = \mu \\ \frac{1}{n}\sum_{i=1}^n X_i^2 = \mu^2 + \sigma^2 \end{cases}$
解得： $$\hat{\mu} = \bar{X}, \quad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$$
思想： 寻找使样本观测值出现概率（或概率密度）最大的参数值。
定义 7.2（似然函数） 设总体 $X$ 的概率密度（或分布律）为 $f(x; \theta)$，样本 $X_1, \ldots, X_n$ 的联合密度（或联合分布律）为 $$L(\theta) = L(x_1, \ldots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta)$$ 称为似然函数。
定义 7.3（极大似然估计） 若 $\hat{\theta}(x_1, \ldots, x_n)$ 满足 $$L(\hat{\theta}) = \max_{\theta \in \Theta} L(\theta)$$ 则称 $\hat{\theta}$ 为 $\theta$ 的极大似然估计值，对应统计量 $\hat{\theta}(X_1, \ldots, X_n)$ 为极大似然估计量（MLE）。
求解步骤： 1. 写出似然函数 $L(\theta)$ 2. 取对数得对数似然函数 $\ln L(\theta)$ 3. 对 $\theta$ 求导，令 $\frac{d\ln L(\theta)}{d\theta} = 0$（似然方程） 4. 解方程得估计量
例 7.4 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim B(1, p)$ 的样本，求 $p$ 的极大似然估计。
解： 分布律：$P(X = x) = p^x(1-p)^{1-x}$，$x = 0, 1$
似然函数：$L(p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i}(1-p)^{n-\sum x_i}$
对数似然：$\ln L(p) = (\sum x_i)\ln p + (n - \sum x_i)\ln(1-p)$
求导：$\frac{d\ln L}{dp} = \frac{\sum x_i}{p} - \frac{n - \sum x_i}{1-p} = 0$
解得：$\hat{p} = \frac{1}{n}\sum_{i=1}^n X_i = \bar{X}$
例 7.5 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim N(\mu, \sigma^2)$ 的样本，求 $\mu$ 和 $\sigma^2$ 的极大似然估计。
解： 密度：$f(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$
似然函数：$L(\mu, \sigma^2) = (2\pi\sigma^2)^{-\frac{n}{2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right)$
对数似然：$\ln L = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum(x_i-\mu)^2$
对 $\mu$ 求偏导并令为 0： $$\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum(x_i-\mu) = 0 \Rightarrow \hat{\mu} = \bar{X}$$
对 $\sigma^2$ 求偏导并令为 0： $$\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2}\sum(x_i-\mu)^2 = 0$$
解得：$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$
例 7.6 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim U[0, \theta]$ 的样本，求 $\theta$ 的极大似然估计。
解： 密度：$f(x; \theta) = \begin{cases} \frac{1}{\theta}, & 0 \leq x \leq \theta \\ 0, & \text{其他} \end{cases}$
似然函数：$L(\theta) = \begin{cases} \frac{1}{\theta^n}, & 0 \leq x_i \leq \theta \text{（所有 } i\text{）} \\ 0, & \text{其他} \end{cases}$
$L(\theta)$ 关于 $\theta$ 单调递减，要使 $L(\theta)$ 最大，需 $\theta$ 最小。
约束条件：$\theta \geq \max\{x_1, \ldots, x_n\}$
故极大似然估计：$\hat{\theta} = X_{(n)} = \max\{X_1, \ldots, X_n\}$
定义 7.4（无偏估计） 设 $\hat{\theta}$ 是参数 $\theta$ 的估计量，若 $$E(\hat{\theta}) = \theta$$ 则称 $\hat{\theta}$ 是 $\theta$ 的无偏估计（量）。
例 7.7 证明样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计。
证明： $E(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n} \cdot n\mu = \mu$ ∎
例 7.8 判断样本方差 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$ 和 $S_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ 是否是总体方差 $\sigma^2$ 的无偏估计。
解： 已知 $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$，故 $E\left(\frac{(n-1)S^2}{\sigma^2}\right) = n-1$
因此 $E(S^2) = \sigma^2$，$S^2$ 是无偏估计。
而 $E(S_n^2) = E\left(\frac{n-1}{n}S^2\right) = \frac{n-1}{n}\sigma^2 \neq \sigma^2$
$S_n^2$ 不是无偏估计（是渐近无偏的）。
定义 7.5（有效性） 设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是 $\theta$ 的无偏估计，若对任意样本容量 $n$，有 $$D(\hat{\theta}_1) \leq D(\hat{\theta}_2)$$ 且至少对一个 $n$ 严格不等，则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 有效。
例 7.9 设总体 $X$ 的均值为 $\mu$，方差为 $\sigma^2$，考虑两个无偏估计： $$\hat{\mu}_1 = \bar{X}, \quad \hat{\mu}_2 = \frac{X_1 + X_2}{2}$$ 比较它们的有效性。
解： $D(\hat{\mu}_1) = D(\bar{X}) = \frac{\sigma^2}{n}$
$D(\hat{\mu}_2) = \frac{1}{4}[D(X_1) + D(X_2)] = \frac{\sigma^2}{2}$
当 $n > 2$ 时，$\frac{\sigma^2}{n} < \frac{\sigma^2}{2}$，故 $\hat{\mu}_1$ 比 $\hat{\mu}_2$ 有效。
定理 7.1（Rao-Cramer 不等式） 在正则条件下，设 $\hat{\theta}$ 是 $\theta$ 的无偏估计，则 $$D(\hat{\theta}) \geq \frac{1}{nI(\theta)}$$ 其中 $I(\theta) = E\left[\left(\frac{\partial \ln f(X;\theta)}{\partial \theta}\right)^2\right]$ 是 Fisher 信息量。
若某无偏估计达到此下界，则称其为有效估计。
定义 7.6（一致性/相合性） 设 $\hat{\theta}_n = \hat{\theta}(X_1, \ldots, X_n)$ 是 $\theta$ 的估计量序列，若对任意 $\varepsilon > 0$，有 $$\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \u003c \varepsilon) = 1$$ 则称 $\hat{\theta}_n$ 是 $\theta$ 的一致估计（或相合估计）。
等价地：$\hat{\theta}_n \xrightarrow{P} \theta$（依概率收敛）
定理 7.2 设 $\hat{\theta}_n$ 是 $\theta$ 的估计量，若 $E(\hat{\theta}_n) \to \theta$ 且 $D(\hat{\theta}_n) \to 0$，则 $\hat{\theta}_n$ 是 $\theta$ 的一致估计。
证明： 由切比雪夫不等式，$P(|\hat{\theta}_n - \theta| \geq \varepsilon) \leq \frac{E[(\hat{\theta}_n - \theta)^2]}{\varepsilon^2} = \frac{D(\hat{\theta}_n) + [E(\hat{\theta}_n) - \theta]^2}{\varepsilon^2} \to 0$ ∎
例 7.10 证明样本均值 $\bar{X}$ 是总体均值 $\mu$ 的一致估计。
证明： $E(\bar{X}) = \mu$，$D(\bar{X}) = \frac{\sigma^2}{n} \to 0$（$n \to \infty$）
由定理 7.2，$\bar{X}$ 是 $\mu$ 的一致估计。∎
定义 7.7（置信区间） 设 $\theta$ 是总体未知参数，$X_1, \ldots, X_n$ 是样本。若统计量 $\underline{\theta}(X_1, \ldots, X_n)$ 和 $\overline{\theta}(X_1, \ldots, X_n)$ 满足 $$P(\underline{\theta} < \theta < \overline{\theta}) = 1 - \alpha$$ 其中 $0 < \alpha < 1$，则称随机区间 $(\underline{\theta}, \overline{\theta})$ 为 $\theta$ 的置信度为 $1-\alpha$ 的置信区间。
含义： 若重复抽样多次，每个样本确定一个区间 $(\underline{\theta}, \overline{\theta})$，则大约有 $100(1-\alpha)\%$ 的区间包含真值 $\theta$。
设 $X_1, \ldots, X_n \sim N(\mu, \sigma^2)$，$\bar{X}$ 和 $S^2$ 分别是样本均值和样本方差。
1. $\sigma^2$ 已知，求 $\mu$ 的置信区间
枢轴量：$Z = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} \sim N(0, 1)$
$$P\left(-z_{\alpha/2} < \frac{\bar{X} - \mu}{\sigma/\sqrt{n}} < z_{\alpha/2}\right) = 1 - \alpha$$
解得 $\mu$ 的置信区间： $$\left(\bar{X} - z_{\alpha/2}\frac{\sigma}{\sqrt{n}}, \quad \bar{X} + z_{\alpha/2}\frac{\sigma}{\sqrt{n}}\right)$$
2. $\sigma^2$ 未知，求 $\mu$ 的置信区间
枢轴量：$T = \frac{\bar{X} - \mu}{S/\sqrt{n}} \sim t(n-1)$
$$\left(\bar{X} - t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}, \quad \bar{X} + t_{\alpha/2}(n-1)\frac{S}{\sqrt{n}}\right)$$
3. $\mu$ 未知，求 $\sigma^2$ 的置信区间
枢轴量：$\chi^2 = \frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$
$$P\left(\chi_{1-\alpha/2}^2(n-1) < \frac{(n-1)S^2}{\sigma^2} < \chi_{\alpha/2}^2(n-1)\right) = 1 - \alpha$$
解得 $\sigma^2$ 的置信区间： $$\left(\frac{(n-1)S^2}{\chi_{\alpha/2}^2(n-1)}, \quad \frac{(n-1)S^2}{\chi_{1-\alpha/2}^2(n-1)}\right)$$
设 $X_1, \ldots, X_{n_1} \sim N(\mu_1, \sigma_1^2)$，$Y_1, \ldots, Y_{n_2} \sim N(\mu_2, \sigma_2^2)$，两样本独立。
1. $\sigma_1^2 = \sigma_2^2 = \sigma^2$ 未知，求 $\mu_1 - \mu_2$ 的置信区间
枢轴量： $$T = \frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}} \sim t(n_1 + n_2 - 2)$$
其中 $S_w^2 = \frac{(n_1-1)S_1^2 + (n_2-1)S_2^2}{n_1 + n_2 - 2}$
置信区间： $$(\bar{X} - \bar{Y}) \pm t_{\alpha/2}(n_1 + n_2 - 2) \cdot S_w\sqrt{\frac{1}{n_1} + \frac{1}{n_2}}$$
2. 求 $\frac{\sigma_1^2}{\sigma_2^2}$ 的置信区间
枢轴量：$F = \frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} \sim F(n_1-1, n_2-1)$
置信区间： $$\left(\frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{\alpha/2}(n_1-1, n_2-1)}, \quad \frac{S_1^2}{S_2^2} \cdot \frac{1}{F_{1-\alpha/2}(n_1-1, n_2-1)}\right)$$
例题 7.1 设总体 $X$ 的概率密度为 $f(x; \theta) = \begin{cases} \theta x^{\theta-1}, & 0 < x < 1 \\ 0, & \text{其他} \end{cases}$，其中 $\theta > 0$ 未知，$X_1, \ldots, X_n$ 是样本。求 $\theta$ 的矩估计和极大似然估计。
解：
（1）矩估计： $$E(X) = \int_0^1 x \cdot \theta x^{\theta-1} dx = \theta \int_0^1 x^\theta dx = \frac{\theta}{\theta+1}$$
令 $\bar{X} = \frac{\theta}{\theta+1}$，解得： $$\hat{\theta}_{\text{矩}} = \frac{\bar{X}}{1-\bar{X}}$$
（2）极大似然估计：
似然函数：$L(\theta) = \prod_{i=1}^n \theta x_i^{\theta-1} = \theta^n \left(\prod_{i=1}^n x_i\right)^{\theta-1}$
对数似然：$\ln L = n\ln\theta + (\theta-1)\sum_{i=1}^n \ln x_i$
求导：$\frac{d\ln L}{d\theta} = \frac{n}{\theta} + \sum_{i=1}^n \ln x_i = 0$
解得： $$\hat{\theta}_{\text{MLE}} = -\frac{n}{\sum_{i=1}^n \ln X_i}$$
例题 7.2 设总体 $X \sim N(\mu, \sigma^2)$，$X_1, \ldots, X_n$ 是样本。证明 $\hat{\mu}_1 = \bar{X}$ 比 $\hat{\mu}_2 = \frac{X_1 + X_n}{2}$ 更有效。
证明： 两者都是无偏估计。
$D(\hat{\mu}_1) = D(\bar{X}) = \frac{\sigma^2}{n}$
$D(\hat{\mu}_2) = \frac{1}{4}[D(X_1) + D(X_n)] = \frac{\sigma^2}{2}$
当 $n \geq 3$ 时，$\frac{\sigma^2}{n} \leq \frac{\sigma^2}{2}$，故 $\hat{\mu}_1$ 更有效。∎
例题 7.3 从一批零件中随机抽取 16 件，测得长度（mm）的样本均值 $\bar{x} = 20.01$，样本标准差 $s = 0.02$。假设长度服从正态分布，求总体均值 $\mu$ 的 95% 置信区间。
解： $\sigma^2$ 未知，用 $t$ 分布。
$n = 16$，$\bar{x} = 20.01$，$s = 0.02$，$1-\alpha = 0.95$
查表：$t_{0.025}(15) = 2.131$
置信区间： $$\bar{x} \pm t_{0.025}(15) \cdot \frac{s}{\sqrt{n}} = 20.01 \pm 2.131 \cdot \frac{0.02}{4} = 20.01 \pm 0.0107$$
即 $(19.999, 20.021)$
基础题
1. 设总体 $X \sim B(N, p)$，$X_1, \ldots, X_n$ 是样本，求 $p$ 的矩估计和极大似然估计。
2. 设总体 $X$ 的密度为 $f(x; \theta) = \begin{cases} \frac{2x}{\theta^2}, & 0 < x < \theta \\ 0, & \text{其他} \end{cases}$，求 $\theta$ 的矩估计和极大似然估计。
3. 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim E(\lambda)$ 的样本，证明 $\bar{X}$ 是 $\frac{1}{\lambda}$ 的无偏估计，并判断其是否一致。
4. 从正态总体中抽取容量为 25 的样本，测得 $\bar{x} = 10$，$s = 2$。求总体均值 $\mu$ 的 95% 置信区间。
提高题
5. 设总体 $X \sim N(\mu, 1)$，$X_1, X_2$ 是样本，考虑三个估计量： $$\hat{\mu}_1 = \frac{2}{3}X_1 + \frac{1}{3}X_2, \quad \hat{\mu}_2 = \frac{1}{4}X_1 + \frac{3}{4}X_2, \quad \hat{\mu}_3 = \frac{1}{2}X_1 + \frac{1}{2}X_2$$ （1）证明它们都是无偏估计；（2）比较它们的有效性。
6. 设总体 $X$ 的密度为 $f(x; \theta) = \frac{1}{2\theta}e^{-|x|/\theta}$，$-\infty < x < +\infty$，$\theta > 0$。求 $\theta$ 的极大似然估计，并判断其是否无偏。
7. 设两正态总体 $N(\mu_1, \sigma^2)$ 和 $N(\mu_2, \sigma^2)$ 独立，分别抽取 $n_1 = 10$，$n_2 = 15$ 的样本，测得 $\bar{x} = 82$，$s_1^2 = 56.5$，$\bar{y} = 76$，$s_2^2 = 52.4$。求 $\mu_1 - \mu_2$ 的 95% 置信区间。
挑战题
8. 设 $X_1, \ldots, X_n$ 是来自总体 $X \sim U[\theta_1, \theta_2]$ 的样本，求 $\theta_1$ 和 $\theta_2$ 的极大似然估计。
9. 设 $X_1, \ldots, X_n$ 是来自总体 $X$ 的样本，$E(X) = \mu$，$D(X) = \sigma^2$。证明 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2$ 是渐近无偏的，即 $E(\hat{\sigma}^2) \to \sigma^2$（$n \to \infty$）。
10. 设总体 $X \sim N(\mu, \sigma^2)$，$X_1, \ldots, X_n$ 是样本。求 $k$ 使得 $\hat{\sigma} = kS$ 是 $\sigma$ 的无偏估计，其中 $S$ 是样本标准差。