Chapter 11: WHY MODEL? - Summary and Key Points

《因果推断：What If》第11章“为何建模？”中英文要点总结与技术要点

---

本章主要内容为数据建模方法的必要性、参数估计器与非参数估计器、平滑（smoothing）、以及偏差-方差权衡（bias-variance trade-off）。以下按内容顺序逐条总结，并提供所有重要技术结论、公式和关键信息。

---

11.1 数据不能自言自语

EN: Data cannot speak for themselves

• 核心思想：仅靠数据本身（比如分类下的均值）有时无法获得我们想要的具体估计，特别是当数据分布稀疏或变量为连续型时。
• 估计量定义：
  • 标准的条件均值估计$\hat{E}[Y|A=a]$为$A=a$组的样本均值。
  • 当某一$A=a$完全缺乏观测时，样本均值无法定义。
• 一致性（consistent estimator）：
  • 样本均值是$E[Y|A=a]$的一致估计量（consistent estimator）。
  • 比如条件样本均值，随着样本量增大，估计值趋于真实总体参数。

中文总结：

• 数据本身并不能总是“自说自话”，特别是在连续变量维度上。
• 条件均值的常用估计量是样本均值，但当某些水平下没有数据时，则无法给出估计。

---

11.2 条件均值的参数估计

EN: Parametric estimators of the conditional mean

• 参数模型例子：
  设$E[Y|A] = \theta_0 + \theta_1 A$
  • $\theta_0$: 截距（intercept）
  • $\theta_1$: 斜率（slope）
• 回归意义：用整个数据集来最小化残差平方和（ordinary least squares, OLS）估算参数。
  • 预测值$\hat{E}[Y|A=a] = \hat{\theta}_0 + a\hat{\theta}_1$
• 模型定义：
  • “模型”即对数据联合分布施加先验限制（a priori restriction）。
  • 例如，线性模型强制$E[Y|A]$为一条直线。
• 参数估计：
  • OLS下参数$\hat{\theta}_0$和$\hat{\theta}_1$通过最小化

    $$\sum_{i=1}^n (Y_i - \theta_0 - \theta_1 A_i)^2$$

  • 举例，若$\hat{\theta}_0=24.55$，$\hat{\theta}_1=2.14$，则$\hat{E}[Y|A=90] = 24.55 + 90 \times 2.14$

中文总结

• 参数模型（如线性回归）能“补足”数据稀疏时的空白（如$A=90$下无人观测）。
• 但其正确性依赖于模型假设的正确（模型设置无误：no model misspecification），否则推断有误。

---

11.3 条件均值的非参数估计

EN: Nonparametric estimators of the conditional mean

• 饱和模型（Saturated Model）：
  • 若回归模型参数个数等于条件均值个数，则该模型无任何限制（如二值A下$E[Y|A]=\theta_0+\theta_1A$实际上即分别估计两个均值）。
• 非参数估计量定义：
  • 非参数估计量不对数据分布施加任何（或极弱）先验限制。
  • Fisher一致性（Fine Point 11.1）：若在全集体上，估计量得出参数真实值，则称其为Fisher一致估计量。
• 例子：
  • 对于二分类变量，直接采用分组样本均值。
  • 对于连续型$A$，且某个$A=a$无人观测时，非参数估计不存在。

中文总结

• 非参数估计不借助模型，直接基于数据（如分组均值/饱和模型），但其适用范围受限于数据的实际分布。
• 若无$A=90$观测，则无法估计$E[Y|A=90]$。

---

11.4 平滑 (Smoothing)

EN: Smoothing

• 线性模型的平滑性：
  • 2参数直线$\theta_0+\theta_1A$为最平滑；高阶多项式（如$\theta_0+\theta_1A+\theta_2A^2$）更“弯曲”。
• 示例：
  • fit $E[Y|A] = \theta_0 + \theta_1A + \theta_2A^2$ 时，曲线可更好拟合非线性关系。
    预测：$\hat{E}[Y|A=90] = \hat{\theta}_0 + 90\hat{\theta}_1 + 90^2\hat{\theta}_2$
• 参数与平滑度：
  • 参数愈少，平滑度越高（预测曲面更平滑）。
  • 参数数等于样本数（如$A$有15个水平，用15阶多项式），则曲线完全拟合每个样本点，“最不平滑”。

中文总结

• 模型的作用之一是将含噪声的数据转变成平滑的曲线或面。
• 平滑本质是跨观测值“借信息”，参数控制平滑力度。

---

11.5 偏差-方差权衡

EN: The bias-variance trade-off

• 核心思想：
  • 更复杂/更少平滑的模型可减少模型偏差（bias），但会增加估计方差（variance），信赖区间更宽。
  • 模型参数多，则对偏差更不敏感（misspecification protection），但不确定性更大。
• 权衡策略：
  • 选择模型时须平衡偏差与方差。实际中常根据传统、参数可解释性、软件可得性等决定模型复杂度。
• 可信区间：
  • 低维简单模型下，贝叶斯可信区间与频率学置信区间一致；高维非参数模型下差异可能很大。
  • 模型维数高（参数多），对于先验假设更敏感，推断可能偏离真实值。

中文总结

• 平滑/复杂度低，偏差高方差低；复杂/高维模型，偏差低但方差高。
• 需要通过敏感性分析评估对模型设定的依赖性。

---

技术要点 Technical points

线性和广义线性模型（Technical Point 11.1）

• 一般线性模型

  $$E[Y|X] = \theta_0 + \theta_1 X_1 + \cdots + \theta_p X_p$$

• 广义线性模型
  使用连接函数（link function）$g(\cdot)$

  $$g\{E[Y|X]\} = \theta_0 + \theta_1 X_1 + \cdots + \theta_p X_p$$

  • 对于二值结局：logit 链接

    $$\log\left(\frac{E[Y|X]}{1-E[Y|X]}\right) = \theta_0 + \sum_{i=1}^p \theta_i X_i$$

    $$E[Y|X] = \text{expit}\left(\theta_0 + \sum_{i=1}^p \theta_i X_i\right)$$

  • 对于严格正值结局（如计数）：log链接

    $$\log E[Y|X] = \theta_0 + \sum_{i=1}^p \theta_i X_i$$

    $$E[Y|X] = \exp\left(\theta_0 + \sum_{i=1}^p \theta_i X_i\right)$$

• 半参数模型：仅条件均值参数化，$Y|X$或$X$的边际分布留为无限参数集，故为半参数模型。
• 核回归（Kernel regression）：

  $$\hat{E}[Y|X=x] = \frac{\sum_{i=1}^n w_h(x-X_i)Y_i}{\sum_{i=1}^n w_h(x-X_i)}$$

  • $w_h(\cdot)$为核函数，$h$为带宽控制平滑程度。
• 广义可加模型（GAM）：

  $$E[Y|X_1,\dots,X_p] = f_0 + f_1(X_1) + f_2(X_2) + ... + f_p(X_p)$$

  • $f_i(\cdot)$为自适应拟合的平滑函数（如核回归）。

中文说明

• 线性/对数/对数几率模型广泛用于参数建模。
• 核回归和GAM是常见的“非参数”平滑方法，但与本章定义的非参数估计略有不同——它们借用附近点的信息。

---

重点结论 & 总结性公式

参数和非参数估计关系

• 参数估计可以“借信息”于其他组别，适用性广，但依赖模型准确性。
• 非参数估计不借信息，仅在有足够样本和观测时成立，否则无法估计某些条件均值。

偏差-方差权衡的数学表述

• 通常模型复杂度（参数个数）$ \uparrow $，
  • 偏差Bias $ \downarrow $，
  • 方差Variance $ \uparrow $
• “最平滑”模型（参数最少），偏差最大方差最小，“极不平滑”模型（参数等于观测数），方差最大偏差最小。

Fisher一致

• 在全集体上若$\hat{\theta}(\text{全体})=\theta$，则为Fisher一致估计量（Fine Point 11.1）

---

章节大纲概览（中英文）

1. 为何数据不能自言自语？Why data cannot speak for themselves
   • 靠数据本身常常无法推断关键条件均值/效应，特别是在数据稀疏时。
2. 参数估计器 Parametric estimators
   • 需要模型假设，可用OLS等方法估计。
   • 能“填补”无法观测到的数据区间。
3. 非参数估计器 Nonparametric estimators
   • 直接利用数据，不加模型假设。
   • 注意样本数量限制和无法对于稀有水平参数估值。
4. 平滑 Smoothing
   • 模型越复杂，越不平滑。
   • 平滑通过“借信息”获得，控制预测曲面的光滑或弯曲。
5. 偏差-方差权衡 The bias-variance trade-off
   • 更复杂模型带来低偏差高方差，且可信区间估算受模型维度影响。
   • 实际分析建议多模型敏感性分析。

---

若需具体公式、实现细节或Python/R代码，可查阅技术补充或原书配套代码。

本章为后续因果推断方法模型化基础提供核心定理与思想，将在深入因果推断模型（如回归、倾向分数、结构方程等）时反复用到上述概念。