广义矩估计

你有没有遇过这种情况：模型给出的总体预测几乎贴着真实平均值，但一旦把青年按求职时长、照护负担或岗位推荐经历分开，误差却总朝同一个方向偏？这说明“平均上差不多”还不够。我们真正想知道的是，模型有没有遗漏会持续影响某些人的系统性信息。

广义矩估计（GMM）提供的不是一套神秘的新公式，而是一种把这种怀疑写成可检验条件的办法：先说明哪些误差在什么条件下应当平均抵消，再让数据选择最能同时满足这些条件的参数。本章会用南桥培训案例依次理解矩条件从哪里来、它们怎样识别参数，以及为什么工具再多也不能代替可信的识别故事。

从预测偏差开始

林澈预测南桥市“青年技能跃迁计划”结业半年后的稳定就业。全体平均预测为 0.59，实际比例为 0.62（均为教学模拟）。她原以为差距很小，却发现求职时长较长者的平均残差为 0.10，有照护负担者为 0.09（均为教学模拟）。

她先把这当作预测与条件均值设定的问题：模型可能漏掉了求职资源，也可能把培训、岗位推荐和原有动力混在一起。GMM 的起点是追问哪些偏差应平均抵消；这一步本身不判定资格提醒是否为有效或强的工具。

这里最容易犯的错，是看到总体残差只有 $0.03$ 就宣布模型“已经很好”。总体平均会把方向相反的误差抵消掉；对求职时长较长者持续低估，意味着这部分青年在模型里被系统地看错。林澈先记录偏差出现在哪些预先定义的小组，再决定是补充入组前信息、改变函数形式，还是把问题留给后续的识别设计。

---

矩的语言

林澈把“实际减预测”的残差看成需要解释的平均事实。平均收入、就业比例、残差与学历的平均乘积都是矩。它们不要求每个青年完全一样，只要求模型若正确，某些汇总后的偏差不应持续偏向一边。

例如，若连续结果 $R_i$ 的总体均值和方差是 $\mu$、$\sigma^2$，正确的中心与离散程度应让平均偏差抵消。直觉先于计算，随后才写成：

$$E(R_i-\mu)=0,\qquad E\big[(R_i-\mu)^2-\sigma^2\big]=0。$$

普通矩估计会把样本平均代入并求解。林澈面对的却是更多平均关系：稳定就业是二元结果，收入有极端值，培训完成又不是随机。因此她需要比较多条可信的偏差，而不是只匹配一个总体均值。

你可以把每一条矩看成模型签下的一张“平均账单”。它没有承诺每一位青年都被预测准确，而是承诺在某个清楚界定的人群、变量和时间顺序下，特定偏差不会长期偏向同一侧。矩越多并不天然越好；真正有价值的是每张账单都能追溯到一项研究设计或数据生成过程的理由。

---

条件必须有来处

林澈先写收入方程 $R_i=\alpha+\tau D_i+X_i'\beta+u_i$。这里 是是否完成培训， 是培训前背景。只有研究设计和控制集支持 ，她才能推出 、 与 。

她没有把“通勤便利片区”直接当工具。某片区预测系统偏低时，她先查是否遗漏了本地岗位、通勤成本或求职资源，并修正条件均值设定。即使这些变量改善预测，也不能据此判断它们是否能作为识别培训参数的工具。

在把一条平均关系交给 GMM 前，林澈会先完成一次很短的来源审计：

• 这个变量发生在培训前、培训中还是结果已经出现之后？
• 它是否可能沿着培训以外的路径直接影响就业或收入？
• 这条关系依赖的是制度规则、随机分配、测量设计，还是仅仅来自样本中的相关性？

三问的作用不是淘汰所有不完美变量，而是把“为什么这条矩应当为零”从公式旁的口号，变成能够被质疑和复查的叙事。若答不上来，增加权重或换用更复杂的估计器都不会补上识别缺口。

---

数据能否锁定参数

林澈下一步问：这些平均关系能否把培训参数锁定？在常规可微、局部满秩识别框架下，若未知参数有 $p$ 个、矩有 $q$ 条，$q<p$ 时不可能仅靠这些矩点识别全部参数；$q=p$ 只代表数量恰好；$q>p$ 则多出可比较的条件。数量从来不是唯一解的保证。

她还要检查矩对参数的导数是否满列秩、目标参数是否局部唯一。预测残差提示她回看遗漏变量与条件均值；若改用资格提醒 $Z_i$ 识别 $\tau$，则要另行审查规则是否有直接结果路径，以及第一阶段是否足够强和精确，这两件事不能由残差本身判定。

林澈把二元 $D_i$ 写成 $D_i=\pi_0+\pi_1Z_i+X_i'\pi_2+v_i$，仅作为线性概率或线性投影的教学近似。她关心的不是“第一阶段显著”几个字，而是它是否足够强且估计精确，并已做与研究设计相匹配的弱识别诊断。

下方练习让你区分“条件数量”与“独立信息方向”。它不会替资格规则背书，也不会把弱工具变成有效工具。

因此，识别诊断最好按顺序阅读：先确认参数与矩的数量关系，再检查这些矩是否真的提供不同方向的信息，最后回到制度过程审查每一条外生性承诺。把顺序倒过来、先看显著性再找故事，常会把同一批次的重复变化误认为多份独立证据。

---

矩条件对照

预测偏差指向哪里，林澈就为哪里写一条有来源的平均关系。$E[Z_i u_i]=0$ 只约束残差与 $Z_i$ 的线性平均关系，并不等于 $$。她不会把一个可计算的乘积矩说成已经验证了完整的条件均值。

只有一族足够丰富的 $E[a(Z_i,X_i)u_i]=0$ 都成立，才可作更强的条件均值解释。林澈把岗位推荐次数、面试次数和结业后服务频率留在机制分析中；它们即使改善预测，也不能越过时间顺序自动成为工具。

这一点让 GMM 的使用更克制也更实用：一条矩条件可以帮助检查某一种平均偏差，却不会单独证明所有条件均值都设对了。报告时应把“我们依赖哪条平均关系”与“这条关系不能说明什么”并列写出，读者才能判断结论是由资料推动，还是由未写出的强假设推动。

---

权重不是魔法

林澈发现核心矩与扩展矩给出的预测修正并不完全一致。样本很小时，一条残差均值为 0.04、另一条为 0.12（均为教学模拟），不代表后一条一定更重要；它可能只是更嘈杂，或与第一条重复记录了同一批青年。

GMM 先把每条条件的样本偏差收进 $g_n(\theta)$，再寻找加权后离零最近的参数。权重决定哪些偏差更有分量，而不是决定哪些制度承诺变得可信：

$$g_n(\theta)=(1/n)\sum_i m(W_i,\theta),\qquad \hat\theta=\arg\min_\theta g_n(\theta)'W_n g_n(\theta)。$$

当高收入青年误差更分散，或同班青年共享招聘会冲击，$W_n$ 与标准误要反映异方差和组内相关。理想效率指向 $W_n\to\Omega^(-1)$，但再精致的权重也不能修复无效矩或替弱识别创造外生变化。

实际工作里，权重变化后点估计移动并不自动表示新结果“更正确”。它可能只是让噪声较大的矩少说一点话，也可能暴露原本被等权掩盖的冲突。林澈会同时展示核心矩和扩展矩下的结果，并解释变化来自精度假设、样本依赖，还是某条条件本身难以成立。

---

两步流程

林澈把两步 GMM 当作一次“先看偏差、再给偏差定权”的工作循环。第一步不会替她创造识别，第二步也不会替她选择工具；两步都依赖前面写好的条件来源、样本规则和结果定义。

1. 固定稳定就业、收入、处理和分析样本的定义，并留下缺失与异常值规则。
2. 用单位矩阵或简单正定权重取得初始 $\hat\theta_1$，检查不同初始值是否指向同一处。
3. 用初始残差估计 $\hat\Omega$，按班次或地区的共同冲击处理协方差。
4. 用 $\hat W=\hat\Omega^(-1)$ 重新估计 ，报告稳健标准误、矩集合和敏感性结果。

教学模拟中，林澈得到稳定就业效应 0.07、稳健标准误 0.03。她不会把它说成“每个人提高七个百分点”，而会回到预测偏差：这个修正依赖哪些矩，若删去某一批次或某条规则，方向和不确定性怎样变化？

两步流程的学习价值不在于记住软件命令，而在于避免把“估计完成”误当成“研究完成”。第一步后的残差会告诉她哪些矩互相拉扯；第二步后的权重会告诉她哪些信息更精确。两者都需要回到同一份事先写好的变量定义和制度说明，否则每一步都可能在悄悄回答不同的问题。

---

小样本先求稳

当林澈按城区、求职时长和培训班细分时，她先用残差检查遗漏资源或条件均值是否仍有系统偏差。这个预测诊断不等同于工具诊断；某个小组的平均残差也许只由几位青年决定，新增工具也可能只是重复同一场招聘会的变化。

她因此预先限制工具和分组数量，分别报告核心矩与扩展矩，并检查剔除单个班次后结果是否突然改变。原始样本人数不是有效信息量；若班内共同冲击很强，增加同班记录并不会等比例增强识别。

小样本阶段，林澈把“求稳”落实为三项检查：

• 核心结论是否依赖某一个班次、城区或少数高影响青年？
• 更换合理的聚类层级或删去预先定义的异常批次后，区间是否明显扩张？
• 扩展矩是否真正增加独立信息，还是只重复了同一场招聘会带来的变化？

这些检查不会制造更多证据，却能防止有限的证据被写得过满。若结果对其中一项极敏感，更诚实的结论是缩小外推范围，或把下一轮数据收集重点放在真正缺少的独立变化上。

---

条件会失灵

林澈从制度记录看到一个危险信号：资格提醒提高了完成培训率，却也附带企业优先推荐名单。此时工具通过培训之外的路径影响就业，$E[Z_i u_i]=0$ 不再可信；这是规则机制的问题，不能由预测残差被压低来判定。

她把风险分开查。弱矩是第一阶段对 $D_i$ 的牵引不足，会让 $\hat\tau$ 对样本扰动敏感；无效矩来自规则的直接结果路径；漏记线上结业等问题则破坏条件均值。不同故障需要不同修复，不能都靠换软件选项解决。

这也解释了为什么诊断不能互相代替。第一阶段强并不能证明排除限制，较小的预测残差也不能证明资格提醒没有直接影响就业；反过来，发现一条直接路径时，即使估计很稳定，也应回到规则设计或缩小可解释的参数，而不是继续优化权重。

---

多余条件的边界

多余矩让林澈有机会检查：同一组参数能否让这些额外平均关系大致共存？她把最小化后仍留下的加权偏差汇总为 $J=n\,g_n(\hat\theta)'\hat W_n g_n(\hat\theta)$，再判断它是否大得难以归因于抽样波动，而不是借检验替工具背书。

当 $\hat W_n$ 是矩协方差逆的一致估计时，在零假设和常规正则条件下，$J$ 近似服从自由度为 $q-p$ 的 $\chi^2$ 分布。教学模拟中，核心集合的 、自由度为 ，扩展集合的 、自由度为 ，提醒她回查扩展承诺。

边界提示：未拒绝不证明工具有效，拒绝也不能自动定位哪条条件失效。共同方向的无效工具可能彼此“同意”，遗漏非线性也会制造冲突。过度识别诊断只能提示相容性问题。

林澈接着比较变量审计、制度证据和不同规格，而不去搜索一个“刚好通过”的工具子集。下方练习只把冲突变得可见；它不替她验证排除限制，也不给出唯一的坏条件。

当额外条件发生冲突，合理反应不是删除最不方便的那一条，而是提出可被检查的解释：是否某个提醒附带了服务，是否不同批次面对不同招聘季，是否条件均值遗漏了非线性。这样，$J$ 检验才成为研究审计的起点，而不是为结果盖章的终点。

---

IV 是一类 GMM

林澈用资格提醒解释培训完成时，其实 IV 估计只是 GMM 框架里一类特殊的矩条件。对线性模型 $R_i=\alpha+\tau D_i+X_i'\beta+u_i$，她要求正交条件 ，并另行要求工具与内生变量满足相关性和秩条件。排除直接作用路径也须结合制度设计支持外生性，不能将正交条件等同于相关性与排除限制的简单合写。当工具变量的数量多于内生变量时，GMM 正是用来协调、综合多条工具-条件关系，寻找让所有条件尽可能同时成立的参数估计。

GMM 的表达方式更具普适性，能够将 IV 方法纳入其更广泛的框架。可以用如下列表梳理相关核心信息：

• IV 的核心：要求某些变量与残差“正交”，即特定变量与扰动的乘积期望为零。
• GMM 的推广：将这种“均值为零”的正交条件推广为更一般的矩条件表达，适用于更丰富的模型和假设。
• IV 是 GMM 的分支：在多工具变量场景下，IV 只是 GMM 众多用法的一种。在这一情境中，GMM 可以：
  1. 同时处理多个（甚至多余的）工具变量和条件；
  2. 应用诊断工具（如 J 检验）来识别潜在的矛盾或无效工具。
• 机制与描述：IV 估计的原理和局限，均可用统一的 GMM 语言描述与理解。

通过以上几点，可以更系统地认知 IV 方法与 GMM 框架的关系和互补作用。

值得注意的是，林澈不会轻易把结果叫作 LATE。只有在二元工具—二元处理的经典情形下，独立性、排除限制、相关性和单调性这些假设悉数成立时，IV 的结果才可解释为“会因提醒而改变培训完成情况者”的局部效应。当工具或处理是连续或多值变量时，就需要相应的局部加权解释，这不再能代表全市所有青年，外推界限也必须明确写清。

将 IV 放回 GMM 框架，学习者更易看到两者本质共通：IV 并非一条“自动因果”命令，而是一组残差与工具应当正交的承诺。GMM 最强的地方在于可将多条承诺纳入同一目标函数，系统综合并权衡它们，识别矛盾与一致。局限也同样明确——每一条承诺背后都要有现实制度与数据审计的支持，不能只依赖模型或算法自动完成判断。

模型可以延伸

若林澈发现预测在求职时长较长者身上总是系统偏低，她可以将 $D_i \times L_i$（培训与求职时长的交互项）预先纳入模型作为新的异质性参数，并给出相应的矩条件。这并不是为了让模型更复杂或者公式更多，而是将“培训对谁更有用”的偏差模式，转写成透明且可检验的参数、便于结构解释和政策讨论。

如果研究多期就业，她可以进一步引入滞后结果、时间相关性、个体固定效应等，得到更多有意义的矩条件。但每引入一项新参数或新矩条件，都需要回答清楚：残差的哪些部分是被锁定在参数里的，哪些平均关系真的应当抵消，又有多少源自数据本身的混合与噪音。仅仅增加公式和参数并不能解决混合群体带来的推断风险，反而可能让模型膨胀、诊断变难。

因此，模型的扩展与参数的增加，必须基于实际观察到、可以解释的模式，服务于明确的识别目标。若新异质性参数是事后从结果中“挖掘”出来，那它更适合做探索线索；而如果它是分析前由制度规则、服务流程等提出，那才可作为主结论之一，并与其他识别证据一起严谨报告。这种分界有助于防止模型过拟合和无意义的“规格美化”，保护研究的稳健性和透明度。

---

把结果说完整

林澈向项目组做结果汇报时，首先把“预测偏差”（模型调整后的推断结果）与“描述差异”（原始组间均值差异）清楚区分开来。比如，完成者与未完成者的稳定就业均值差为 0.15（见教学模拟），这只是一个被观测到的描述性结果，并不能直接说明培训本身的因果作用。要将这个均值差真正解释为培训参数，还必须依赖一系列前提：包括资格规则、相关的矩条件、权重安排和对样本依赖结构的充分考虑，这些缺一不可，缺失任何一环都无法支撑有效识别。

其次，她详细报告了主规格估计、扩展规格结果及相关的解释边界。在所有预先设定并记录下的条件成立时，点估计为正，而且区间估计显示还有相当的统计不确定性——按前述0.07与标准误0.03，普通95% Wald区间为约[0.0112,0.1288]，不跨零；这仍不消除识别假设与模型设定的不确定性（教学模拟）。

林澈特别提醒：如果更换工具变量的组合、结果定义口径或分析样本，结果的方向和显著性往往会随之发生波动，这种对规格选择的敏感性远比一个精确的小数结果更需要在结论中被强调和讨论。只有把这种不稳定性和外推局限写明白，项目组才能全面理解发现的针对性与约束，而不会误以为某个数字就是全局的答案。

一份完整结果卡至少要让读者同时看见三件事：

• 这项估计针对哪一批青年、哪个结果定义和哪段观察窗口；
• 哪些矩条件、工具规则与样本依赖处理支撑它；
• 哪些合理变化会让结果不稳定，以及因此不能外推到哪里。

把这三层信息放在一起，项目组才不会把一个正的点估计误读为已经对所有青年、所有年份都作出的承诺。

---

南桥案例任务

请结合南桥案例写一段林澈的研究备忘录，分三部分说明为何总体预测低估了求职时长较长者，以及进一步的分析思路：

1. 均值设定与偏差调查
   首先要排查训练模型时是否遗漏了和求职时长密切相关的求职资源或其他关键条件（如社保经历、家庭支持等变量）。若模型设定中这些影响求职时长的资源被平均化设定，容易导致针对时长较长者的预测系统偏低。需返回数据处理和变量生成过程，系统比对不同组别的实际分布，确认是否有重要特征被遗漏或设定不当。

2. 资格提醒与工具变量检视
   当继续用资格提醒（工具变量）来识别培训参数时，需严查以下两方面：一是资格规则是否在不同求职时长群体间同等有效，二是工具变量与处理变量（培训完成）之间的第一阶段联系是否充足且稳健。不能仅靠选择更大数值的估计器，而应重新审视自变量的编码和生成过程，排除规则失效或第一阶段弱相关的可能。

3. 链条式结论与边界说明
   通过链条梳理：可靠的平均关系（如工具变量与残差正交的矩条件）$\rightarrow$ 可被锁定和合理解释的参数（实际培训效应）$\rightarrow$ 识别这些参数所必需的数据规则与诊断证据（如资格规则的有效性、一致性检验等）$\rightarrow$ 依据上述识别流程明晰出不能逾越的外推或解释边界。例如，在南桥案例中，只有在所有这些环节上的设定与假设都与实际数据和制度流程相符，GMM 才能作为审视预测偏差的工具，并清楚指出分析结论能够代表的对象、场景及其局限。