一个“最接近”问题

设 $f\in L^2([0,1])$，你想用一条直线 $a+bt$ 近似它。直线不一定能完全穿过函数的图像，但可以问一个精确的问题：

$$\min_{a,b\in\mathbb R}\int_0^1\lvert f(t)-(a+bt)\rvert^2\,dt.$$

这个问题看起来像计算题，真正的难点却在于“最小值为什么存在”“最优直线有什么可检查的特征”。在欧氏空间里，答案是把向量垂直落到一个子空间上；在函数空间里，这个几何动作仍然成立，只是“长度”变成了积分定义的长度。

本章把这条线索完整走一遍。你会看到内积怎样产生范数，完备性怎样保证极限留在空间里，正交投影怎样同时给出最短距离和最小二乘解。遇到无限级数时，Bessel 不等式先控制系数，Parseval 恒等式再说明什么时候没有能量被遗漏。

内积把代数对象变成几何对象

令 $\mathbb F$ 表示 $\mathbb R$ 或 $\mathbb C$。向量空间 $H$ 上的内积是一个映射

$$\langle\cdot,\cdot\rangle:H\times H\to\mathbb F$$

满足以下条件。这里采用“第一个变量线性”的约定；在实数空间中，共轭可以全部删去。

1. $\langle x,y\rangle=\overline{\langle y,x\rangle}$；
2. $\langle \alpha x+\beta y,z\rangle=\alpha\langle x,z\rangle+\beta\langle y,z\rangle$；

由内积定义

$$\|x\|=\sqrt{\langle x,x\rangle},\qquad d(x,y)=\|x-y\|.$$

正定性保证 $\|x\|=0$ 只能发生在零向量上。齐次性来自

$$\| \alpha x\|^2=\langle\alpha x,\alpha x\rangle =\alpha\overline\alpha\langle x,x\rangle =\lvert\alpha\rvert^2\|x\|^2.$$

三角不等式要依靠 Cauchy–Schwarz 不等式；所以我们不把“内积给出范数”当作一句自动成立的口号，而要把关键估计写出来。

Cauchy–Schwarz 不等式的推导

对任意 $u,v\in H$，有

$$\lvert\langle u,v\rangle\rvert\le \|u\|\,\|v\|.$$

若 $v=0$，两边都是 0。设 $v\ne0$，取

$$\lambda=-\frac{\langle u,v\rangle}{\|v\|^2}.$$

由正定性，$\|u+\lambda v\|^2\ge0$。展开时要记得第二个变量会共轭：

$$\begin{aligned} 0&\le \langle u+\lambda v,u+\lambda v\rangle\\ &=\|u\|^2+\overline\lambda\langle u,v\rangle +\lambda\langle v,u\rangle+\lvert\lambda\rvert^2\|v\|^2\\ &=\|u\|^2-\frac{\lvert\langle u,v\rangle\rvert^2}{\|v\|^2}. \end{aligned}$$

最后一行使用了 $\langle v,u\rangle=\overline{\langle u,v\rangle}$。移项并乘以 $\|v\|^2$，得到

$$\lvert\langle u,v\rangle\rvert^2\le \|u\|^2\|v\|^2.$$

两边非负，开平方便得到结论。由此还可以证明内积关于范数连续：

$$\begin{aligned} \left\lvert\langle x_n,y_n\rangle-\langle x,y\rangle\right\rvert &\le \left\lvert\langle x_n-x,y_n\rangle\right\rvert +\left\lvert\langle x,y_n-y\rangle\right\rvert\\ &\le \|x_n-x\|\,\|y_n\|+\|x\|\,\|y_n-y\|. \end{aligned}$$

如果 $x_n\to x$、$y_n\to y$，序列 $\|y_n\|$ 有界，因此右边趋于 0。

同一个估计也补上范数的三角不等式：

$$\begin{aligned} \|u+v\|^2 &=\|u\|^2+\|v\|^2+2\operatorname{Re}\langle u,v\rangle\\ &\le \|u\|^2+\|v\|^2+2\lvert\langle u,v\rangle\rvert\\ &\le \|u\|^2+\|v\|^2+2\|u\|\,\|v\| =(\|u\|+\|v\|)^2. \end{aligned}$$

两边开平方，得到 $\|u+v\|\le\|u\|+\|v\|$。因此内积确实诱导出一个范数和相应的度量。

平行四边形恒等式

把两个平方范数展开并相加，交叉项恰好抵消：

$$\begin{aligned} \|x+y\|^2+\|x-y\|^2 &=\langle x+y,x+y\rangle+\langle x-y,x-y\rangle\\ &=2\langle x,x\rangle+2\langle y,y\rangle\\ &=2\|x\|^2+2\|y\|^2. \end{aligned}$$

这条恒等式以后会承担一个很具体的任务：当一列候选解的误差越来越接近最小值时，用中点的误差控制候选解彼此的距离。

从内积空间到 Hilbert 空间

有了内积的向量空间称为内积空间。若它在诱导范数下完备，就称为 Hilbert 空间。完备的意思是：每个 Cauchy 列都在 $H$ 中收敛。

常见例子包括：

• $\mathbb R^n$ 或 $\mathbb C^n$，内积为 $\langle x,y\rangle=\sum_j x_j\overline{y_j}$；

完备性不是装饰。连续函数空间 $C[0,1]$ 若使用 $L^2$ 范数，存在一列连续函数在 $L^2$ 意义下收敛到一个不连续的阶跃函数；极限离开 $C[0,1]$，所以这个范数下的 不是 Hilbert 空间。把空间换成 ，极限才有地方安放。

正交、正交补与距离

若 $\langle x,y\rangle=0$，称 $x$ 与 $y$ 正交，记作 $x\perp y$。当 $x\perp y$ 时，平行四边形恒等式也可以改写成勾股定理：

$$\|x+y\|^2=\|x\|^2+\|y\|^2.$$

对线性子空间 $M\subset H$，定义正交补

$$M^\perp=\{z\in H:\langle z,m\rangle=0\text{ 对所有 }m\in M\}.$$

它总是闭子空间。线性来自内积的线性；闭性则来自内积连续性：若 $z_n\in M^\perp$ 且 $z_n\to z$，对任意 $m$，

$$\langle z,m\rangle=\lim_{n\to\infty}\langle z_n,m\rangle=0,$$

所以 $z\in M^\perp$。注意这里不要求 $M$ 本身闭。

闭子空间上的投影定理

设 $H$ 是 Hilbert 空间，$M$ 是非空闭子空间。对给定 $x\in H$，考虑

$$d=\inf_{m\in M}\|x-m\|.$$

投影定理说：存在唯一的 $p\in M$，使得 $\|x-p\|=d$，并且

$$x-p\in M^\perp.$$

先证明最小值存在。下面每一步都标出所用条件。

投影算子 $P_M$ 还有三个直接性质：$P_M^2=P_M$，，。若 ， 是两次分解，则

$$\|P_Mx-P_My\|=\|p-q\|\le\|x-y\|,$$

因为 $p-q$ 是 $x-y$ 的正交分量。投影不会放大距离。

例题：由约束平面直接找投影

设 $M=\{(x_1,x_2,x_3)\in\mathbb R^3:x_1+x_2+x_3=0\}$，求 到 的最近点及距离。

这里没有先找平面的两个基向量，是因为题目直接给出了法向约束。若题目给的是 $M=\operatorname{span}\{w_1,w_2\}$，再用正交化得到正交基会更顺手。

上面的交互应让你先预测投影点和残差的方向，再拖动 $v$ 观察 $P_Mv$ 如何沿平面移动。真正要检查的不是点“看起来更近”，而是残差是否始终垂直于平面，以及距离平方是否满足勾股分解。

正交系、Bessel 与 Parseval

一组向量 $(e_k)$ 若满足 $\langle e_j,e_k\rangle=0$（），称为正交系；若还满足 ，称为正交归一系。正交归一系的系数特别干净：若 ，则

$$c_j=\langle x,e_j\rangle.$$

因为与 $e_j$ 做内积时，其他项全部消失。

对任意有限正交归一组 $e_1,\ldots,e_N$，定义

$$p_N=\sum_{k=1}^N\langle x,e_k\rangle e_k.$$

逐项计算可得，对 $1\le j\le N$，

$$\langle x-p_N,e_j\rangle =\langle x,e_j\rangle-\sum_{k=1}^N\langle x,e_k\rangle\langle e_k,e_j\rangle=0.$$

因此 $x-p_N$ 与 $\operatorname{span}\{e_1,\ldots,e_N\}$ 正交。用勾股定理：

$$\|x\|^2=\|p_N\|^2+\|x-p_N\|^2 =\sum_{k=1}^N\lvert\langle x,e_k\rangle\rvert^2+\|x-p_N\|^2.$$

于是得到 Bessel 不等式

$$\sum_{k=1}^N\lvert\langle x,e_k\rangle\rvert^2\le\|x\|^2.$$

令 $N\to\infty$，就有

$$\sum_{k=1}^\infty\lvert\langle x,e_k\rangle\rvert^2\le\|x\|^2.$$

这条不等式先告诉我们系数序列属于 $\ell^2$。更具体地，对 $m>n$，

$$\left\|\sum_{k=n+1}^m\langle x,e_k\rangle e_k\right\|^2 =\sum_{k=n+1}^m\lvert\langle x,e_k\rangle\rvert^2\to0.$$

所以部分和是 Cauchy 列。Hilbert 空间的完备性保证级数

$$\sum_{k=1}^\infty\langle x,e_k\rangle e_k$$

在 $H$ 中收敛。

如果这组正交归一系的有限线性组合在 $H$ 中稠密，就称它是一个 Hilbert 正交归一基。设部分和的极限为 $p$，连续性给出 $\langle x-p,e_j\rangle=0$ 对每个 $j$ 成立。由于 又与其生成的稠密子空间正交，它必须与整个 正交，特别是与自己正交，于是 。因此

$$x=\sum_{k=1}^\infty\langle x,e_k\rangle e_k,$$

并且 Bessel 不等式中的剩余项消失，得到 Parseval 恒等式

$$\boxed{\|x\|^2=\sum_{k=1}^\infty\lvert\langle x,e_k\rangle\rvert^2}$$

Bessel 与 Parseval 的区别只在一个条件：前者允许是不完备的正交归一系，后者要求它确实张成整个 Hilbert 空间的闭包。少了一条基向量时，遗漏的正是剩余正交分量的能量。

例题：在 $L^2[-1,1]$ 中做正交投影

在 $L^2[-1,1]$ 中，用 $M=\operatorname{span}\{1,t\}$ 逼近 $f(t)=t^2$，求最佳逼近函数和最小平方误差。

这里直接使用正规方程也可以，但 $1,t$ 已经正交：

$$\langle1,t\rangle=\int_{-1}^1t\,dt=0.$$

所以选择正交基公式比解一个 $2\times2$ 方程更短。

若把区间换成 $[0,1]$，$1$ 与 $t$ 不再正交；这时仍可投影，但应写正规方程，或先把 $t$ 改成 $t-\frac12$ 以获得正交方向。方法取舍取决于子空间的表示方式。

Gram–Schmidt：把任意独立组变成正交归一组

给定线性无关向量 $v_1,\ldots,v_n$，令

$$u_1=\frac{v_1}{\|v_1\|},$$

并递归定义

$$w_k=v_k-\sum_{j=1}^{k-1}\langle v_k,u_j\rangle u_j, \qquad u_k=\frac{w_k}{\|w_k\|}.$$

为什么 $w_k$ 与之前的每个 $u_i$ 正交？对 $i<k$，

$$\begin{aligned} \langle w_k,u_i\rangle &=\langle v_k,u_i\rangle -\sum_{j=1}^{k-1}\langle v_k,u_j\rangle\langle u_j,u_i\rangle\\ &=\langle v_k,u_i\rangle-\langle v_k,u_i\rangle=0. \end{aligned}$$

若 $w_k=0$，则 $v_k$ 是前面向量的线性组合，和线性无关矛盾，所以可以归一化。算法每一步都减去当前向量在已知方向上的投影，留下的新方向再缩放为单位长度。

例题：完整执行一次 Gram–Schmidt

在 $\mathbb R^3$ 中，对

$$v_1=(1,1,0),\quad v_2=(1,0,1),\quad v_3=(0,1,1)$$

进行 Gram–Schmidt 正交化。

最小二乘是投影问题

设 $A:\mathbb F^n\to\mathbb F^m$ 是线性映射，$b\in\mathbb F^m$。最小二乘问题是

$$\min_{x\in\mathbb F^n}\|Ax-b\|^2.$$

令 $M=\operatorname{Ran}A$。有限维子空间一定闭，所以先把 $b$ 投影到 $M$：

$$Ax_* = P_Mb.$$

这说明最小二乘的真正对象是 $Ax$，不是某个坐标向量 $x$ 本身。若 $A$ 有非零核，多个 $x$ 可能给出同一个 $Ax$。

残差 $r=b-Ax_*$ 与 $M$ 正交，而 $A$ 的每一列都在 $M$ 中，所以

$$\langle b-Ax_*,Az\rangle=0\qquad\text{对所有 }z\in\mathbb F^n.$$

用伴随算子 $A^*$ 改写：

$$A^*(b-Ax_*)=0, \qquad\text{即}\qquad A^*Ax_*=A^*b.$$

这就是正规方程。它是残差正交的代数表达，不是凭微积分猜出来的另一条规则。

当 $A$ 满列秩时，$A^*A$ 正定：若 $x\ne0$，

$$\langle A^*Ax,x\rangle=\langle Ax,Ax\rangle=\|Ax\|^2>0.$$

所以正规方程有唯一解。若列向量线性相关，最小二乘解可能不唯一；其中落在 $(\ker A)^\perp$ 中的解具有最小范数，因为任何其他解都可写成 $x_*+k$，其中 $k\in\ker A$，且

$$\|x_*+k\|^2=\|x_*\|^2+\|k\|^2.$$

例题：三点数据的直线拟合

用直线 $a+bt$ 拟合数据

$$(0,1),\quad(1,2),\quad(2,2).$$

令

$$A=\begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix}, \qquad b_0=\begin{bmatrix}1\\2\\2\end{bmatrix}, \qquad x=\begin{bmatrix}a\\b\end{bmatrix}.$$

三行分别对应三个观测点，所以 $Ax$ 是拟合值列向量。

如果数据列很多，数值计算时常先对 $A$ 的列做正交化，写成 $A=QR$，再求 $Rx=Q^*b_0$。理论上两种方法等价；方法选择上，正交基更容易看清残差和误差，正规方程写起来更短，但直接形成 $A^{\ast }A$ 可能放大数值误差。

第二个交互应让你逐步增加正交归一函数的数量，观察部分和 $p_N$、残差 $f-p_N$ 以及能量差 $\|f\|^2-\sum_{k\le N}|\langle f,e_k\rangle|^2$。先预测完备系与不完备系的差异，再用 Parseval 检查“剩余能量”何时趋于 0。

递进练习

概念判断

1

要把内积空间中的最小化结论推广为‘每个点都有唯一投影’，最不可缺少的条件是哪一个？

A.子空间必须有有限个元素B.子空间必须闭，所在内积空间必须完备C.所有向量都必须互相正交D.内积必须等于坐标乘积

2

对任意内积空间中的子空间 M，正交补 M⊥ 一定是闭集。

正确错误

3

关于 Bessel 不等式和 Parseval 恒等式，下列说法正确的是哪些？

A.Bessel 不等式只需要正交归一系B.Parseval 需要正交归一系在空间中完备C.正交归一系不完备时，系数平方和可能小于范数平方D.完备性可以被有限维性替代而不需说明正交归一条件

提交

巩固：把几何条件写出来

题 4（巩固）。 设 $M=\operatorname{span}\{(1,1,0),(1,0,1)\}\subset\mathbb R^3$，求 $v=(2,1,3)$ 在 上的正交投影。请说明你选择“先正交化”或“解正规方程”的理由。

查看解答

取 $u_1=(1,1,0)/\sqrt2$。由 Gram–Schmidt，

$$$$

题 5（巩固）。 设 $(e_1,e_2,e_3)$ 是正交归一系，且 $x$ 满足 $\mathrm{\parallel }x\mathrm{\parallel }=5$、、、。求 到 的距离，并判断这组向量是否可能是 的 Hilbert 正交归一基。

查看解答

投影系数平方和为 $1^2+2^2+(-1)^2=6$，所以由勾股分解，距离平方为 $25-6=19$，距离为 。仅凭题目给出的一个 不能判断这组向量是否完备；若它是 Hilbert 正交归一基，则 Parseval 要求每个向量都满足系数平方和等于范数平方，这里的 说明它至少不是对这个 的完整展开，因此不可能是 的 Hilbert 正交归一基。

应用：函数空间里的最小二乘

题 6（应用）。 在 $L^2[0,1]$ 中，用常数函数逼近 $f(t)=t^2$，求最佳常数 $c$ 和误差平方 $\|f-c\|^2$。再解释它为什么等于区间平均值。

查看解答

常数子空间由 $1$ 张成。投影系数为

$$c=\frac{\langle t^2,1\rangle}{\|1\|^2} =\frac{\int_0^1t^2dt}{\int_0^1 1dt}=\frac13.$$

题 7（应用变式）。 对同一数据 $(0,1),(1,2),(2,2)$，只用常数模型 $\hat y=a$ 拟合。求最小二乘解并与本章直线模型的误差平方比较，说明多加一个方向后误差为何不会变大。

查看解答

常数模型的列空间由 $(1,1,1)$ 张成，投影系数是数据平均值

$$a=\frac{1+2+2}{3}=\frac53.$$

迁移：分块常数逼近

题 8（迁移）。 在 $L^2[0,1]$ 中，令 $M$ 为所有在 $[0,1/2]$ 与 $(1/2,1]$ 上分别为常数的函数组成的子空间。求 $$ 在 上的投影，并计算误差平方。不要把两个区间的常数强行设成相同。

查看解答

两个区间的指示函数互相正交，因此分别投影即可。左区间上的最佳常数是其平均值

$$a=\frac{1}{1/2}\int_0^{1/2}t\,dt=\frac14,$$