一个团队做线性回归,样本五百多行,特征十二个。为了看清系数,作者直接用正规方程写死:w = inv(X.T @ X) @ X.T @ y。运行报 LinAlgError: singular matrix。换成库里的最小二乘接口 lstsq,程序不报错了,但系数大得离谱,正负号还互相抵消。
查相关矩阵才发现,十二个特征里有两个几乎共线:一个记录面积(平方米),一个记录面积(平方英尺),换算比例正好是 10.764。两列只差一个常数因子,XᵀX 的行列式接近零。另一头也出现过类似的事:一个多层网络的某一层输出全是同一个值,打印权重矩阵发现它把输入的好几个方向压成了一个方向,后面的层等于只看到一个数。
这两个现场看起来不相干,问的却是同一组问题:一个矩阵到底保留了多少独立信息?什么时候能从输出反推输入?不能反推时,退一步能求什么?这一篇按这个顺序讲:秩、可逆、方程组的解结构、最小二乘,最后说数值上的可逆为什么不等于能用。
秩:矩阵到底保留了几个独立方向
先把线性无关说清楚。一组向量 v1, v2, …, vk 线性无关,意思是:想让它们的线性组合等于零向量,c1v1 + … + ckvk = 0,唯一的办法是所有系数 ci 都取零。只要存在一组不全为零的系数能凑出零,这组向量就线性相关,说明其中至少有一个向量是别的向量的组合,是多余的。
矩阵的秩(rank)就是:它的列向量里,线性无关的最多有几个。也可以改数行,结论一样,行秩等于列秩。秩还有第三种读法,更贴近工程:把矩阵看成把输入 x 映射成 Ax 的变换,秩等于像空间的维数,也就是输入经过这个矩阵之后,还剩下几个独立方向。
行秩等于列秩不是巧合。高斯消元用的是初等行变换,每一步都可逆,所以不改变方程组的解集,也不改变列之间的线性关系。消元后非零行的个数,既是独立行的数量,也是主元的个数;每一个主元对应一个独立的列方向,剩下的列没有主元,只能由前面的列组合出来。三种数法于是必然相等。
拿一个三阶矩阵做例子。它的第二列是第一列的两倍,第三列等于第一列的三倍再加上 (0, 0, 1),九个数里一个零都没有,但独立方向只有两个。
def show(M):
for row in M:
print(' ' + ' '.join('%5.2f' % x for x in row))
def rref(M, quiet=False):
M = [row[:] for row in M]
r = 0
for c in range(len(M[0])):
p = next((i for i in range(r, len(M)) if abs(M[i][c]) > 1e-9), None)
if p is None:
continue
M[r], M[p] = M[p], M[r]
M[r] = [x / M[r][c] for x in M[r]]
for i in range(len(M)):
if i != r and abs(M[i][c]) > 1e-9:
f = M[i][c]
M[i] = [a - f * b for a, b in zip(M[i], M[r])]
r += 1
if not quiet:
print('after column', c)
show(M)
return M
def rank(M, quiet=False):
return sum(any(abs(x) > 1e-9 for x in row) for row in rref(M, quiet))
A = [[1, 2, 3], [2, 4, 6], [1, 2, 4]]
rref(A)
print('rank =', rank(A, quiet=True))
在本机 Python 3.15 上跑,输出是:
after column 0
1.00 2.00 3.00
0.00 0.00 0.00
0.00 0.00 1.00
after column 2
1.00 2.00 0.00
0.00 0.00 1.00
0.00 0.00 0.00
rank = 2
输出里有两个主元,秩是二。第一步消掉第一列后,第二行整行变成零,说明第二行本来就是第一行的两倍,没有带来新约束。随后在第三列找到第二个主元,把第一行清理干净,最终留下两个非零行。第二列始终没有主元,因为它是第一列的倍数,属于多余方向。
这里要纠正一个常见误解:秩不是非零元素的个数,也不是没消元之前数出来的非零行个数。一个所有元素都非零的矩阵,秩可能只有一,比如每一行都是同一行的倍数;反过来,一个看起来很稀疏的矩阵,秩可能很高。判断秩只能看方向,不能看数值大小。
可逆:能被反解的前提
可逆(invertible)的定义很朴素:对一个方阵 A,如果存在矩阵 B,使得 AB = BA = I,就称 A 可逆,B 叫它的逆,记作 A−1。这里的 I 是单位矩阵,对角线上是 1,其余是 0,作用是什么都不做。
定义里有两个细节。第一,A 必须是方阵。设 A 是 m × n,AB = Im 要求 n ≥ m,BA = In 要求 m ≥ n,两个同时成立只能是 m = n。长方形矩阵最多只有单侧逆,没有这里说的这种逆。第二,逆如果存在就是唯一的:若 AB = BA = I 且 AC = CA = I,那么 B = BI = B(AC) = (BA)C = IC = C,两步结合律就证完了。
判断可逆有几条等价条件,教材上常一次列一长串。它们不是彼此独立的口诀,而是同一件事的几种说法:这个映射没有把任何方向压成零。下面逐条给理由。
行列式那一条值得多讲一句。把矩阵的列看成平行体的棱,行列式的绝对值就是体积。三维里行列式为 2,映射后体积翻倍;行列式为 0,三个棱共面,体积是零,三维体被压成二维甚至一维,多个输入点挤到同一个输出上,自然无法反推是哪一个。二维同理,行列式为零就是两个列向量共线,平面被压成一条线。
但要注意,数学上可逆和数值上能用是两回事。行列式可以是 10−12,严格来说非零,矩阵确实可逆;在双精度浮点里它已经接近零,求逆会把误差放大到没有意义。这一点留到第五节细说。
方程组解的三种结构
把 Ax = b 写成增广矩阵 [A | b],左边是系数,右边补一列常数。对增广矩阵做行变换,解集不变。消元结束后比较两个秩:系数部分的秩 r = rank(A),整体的秩 rank([A | b])。只有三种可能。
唯一解
两个秩相等,且都等于未知数个数 n。每个未知数都对应一个主元,没有被自由变动的量,解唯一。几何上,n 张独立的面交于一点。
无解
整体的秩比系数部分的秩大 1。消元会出现一行左边全零、右边非零,翻译成方程就是 0 = 非零,直接矛盾。
无穷多解
两个秩相等,但小于 n。此时有 n − r 个自由变量,可以任意取值,解构成一条线、一个平面或更高维的集合。
二维的情况最直观:两条直线相交是一个点,平行是零个交点,重合是无穷多个。写成方程,平行对应左边成比例、右边不成比例,重合对应整行都成比例。高维只是把这个画面推广成平面、超平面。
真跑一个无解的例子:x + y = 2 与 2x + 2y = 5。第二行是第一行的两倍,右边却不是两倍,两边不可能同时成立。
M = [[1, 1, 2], [2, 2, 5]]
rref(M)
print('rank([A|b]) =', rank(M, quiet=True))
print('rank(A) =', rank([row[:2] for row in M], quiet=True))
print('last row =', rref(M, quiet=True)[-1])
接着上面那段代码跑,输出是:
after column 0
1.00 1.00 2.00
0.00 0.00 1.00
after column 2
1.00 1.00 0.00
0.00 0.00 1.00
rank([A|b]) = 2
rank(A) = 1
last row = [0.0, 0.0, 1.0]
输出最后一行是 [0.0, 0.0, 1.0],三个数对应 0·x + 0·y = 1,也就是 0 = 1。系数矩阵的秩是一,增广矩阵的秩是二,差一,所以无解。这不是求解器出了 bug,也不是浮点误差,是方程本身互相矛盾。
再看无穷多解。把右边改成 4,得到 x + y = 2 与 2x + 2y = 4,两行完全成比例,第二个方程没有新信息。此时 y 可以任取,x = 2 − y,每个 y 给一个解。系数矩阵秩是一,未知数两个,自由变量一个,解集是一条直线。这类方程个数够但信息不够的情况,就是秩亏。
秩亏在工程里不罕见:特征重复、常量列、两个特征由同一个变量换算而来,都会让列之间产生线性关系。它带来的直接后果就是无解或者解不唯一,而这两种情况都不能靠换一个求解器修好,只能改数据或改模型。
最小二乘:无解时退一步
无解时最合理的退让,是不再要求 Ax = b 严格成立,改为让误差尽可能小。定义残差 r = Ax − b,目标函数是残差平方和 f(x) = ||Ax − b||2。这个量永远非负,最小值即使取不到零,也总存在。
把平方展开:f(x) = (Ax − b)ᵀ(Ax − b) = xᵀAᵀAx − 2bᵀAx + bᵀb。对 x 求梯度,第三项是常数,导数消失;第一项按二次型求导得 2AᵀAx,第二项得 −2Aᵀb。令梯度为零,得到:
AᵀA x = Aᵀb
这组方程叫正规方程(normal equations)。它把无解的 m × n 方程组换成了 n × n 的方程组,未知数个数等于特征数,规模小得多。当 A 列满秩时,AᵀA 一定可逆:若 AᵀAx = 0,两边左乘 xᵀ 得 ||Ax||2 = 0,于是 Ax = 0;列满秩又保证只有 x = 0。所以正规方程有唯一解。
几何上,Aᵀ(Ax − b) = 0 说明残差与 A 的每一列都垂直,也就是残差垂直于整个列空间。Ax 是 b 在列空间上的投影,投影点是列空间里离 b 最近的那个点。最小二乘这个名字里的二乘就是平方,没有别的玄机。
用一条直线拟合四个点:(1, 2), (2, 3), (3, 5), (4, 6),模型是 y = a x + b。未知量是斜率和截距,正规方程写成矩阵是:
[ n Σx ] [ b ] [ Σy ]
[ Σx Σx² ] [ a ] = [ Σxy ]
把四个点代进去,n = 4,Σx = 10,Σy = 16,Σx² = 30,Σxy = 47,得到 [[4, 10], [10, 30]] 乘 [b, a] 等于 [16, 47]。行列式是 20,手解即可。
pts = [(1, 2), (2, 3), (3, 5), (4, 6)]
n = len(pts)
sx = sum(p[0] for p in pts)
sy = sum(p[1] for p in pts)
sxx = sum(p[0] ** 2 for p in pts)
sxy = sum(p[0] * p[1] for p in pts)
det = n * sxx - sx * sx
a = (n * sxy - sx * sy) / det
b = (sxx * sy - sx * sxy) / det
print('slope = %.6f, intercept = %.6f' % (a, b))
print('fitted:', [round(a * x + b, 3) for x, _ in pts])
print('residuals:', [round(y - (a * x + b), 3) for x, y in pts])
slope = 1.400000, intercept = 0.500000
fitted: [1.9, 3.3, 4.7, 6.1]
residuals: [0.1, -0.3, 0.3, -0.1]
结果是斜率 1.4、截距 0.5,拟合值 1.9、3.3、4.7、6.1,残差 0.1、−0.3、0.3、−0.1。四个残差加起来是零,按 x 加权求和也是零,正好对应两条正规方程:残差与常数列正交,与 x 列正交。这不是巧合,是方程本身要求的。四个点不在一条直线上,所以拟合不穿过每个点,但已经是最优的平方误差。
最小二乘也有它管不了的事。平方损失会放大离群点的影响,一个错标的数据点能把直线拉偏很多;模型必须对参数线性,否则正规方程不成立,只能迭代求解。另外,显式写正规方程在数值上并不推荐,原因下一节说。
数值上的可逆:条件数
条件数(condition number)衡量输入的小扰动会被放大多少倍。对方阵,它等于最大奇异值与最小奇异值之比,记作 κ(A) = σmax / σmin。对称正定矩阵的奇异值就是特征值,所以也可以写成最大特征值除以最小特征值。
这个比值的含义很直接:b 有相对误差 ε,解 x 的相对误差最坏可以到 κ(A)·ε。双精度浮点大约有 16 位有效数字,若 κ 是 104,还剩 12 位左右;若 κ 是 1012,只剩 4 位;到了 1016,结果可能一位有效数字都没有。这不是算法写得差,是问题本身把信息磨掉了。
拿一个接近奇异的二阶矩阵试试。它的两列只差万分之一,行列式是 10−8,数学上可逆,数值上已经很危险。
import math
M = [[1.0, 1.0], [1.0, 1.0001]]
G = [[sum(M[k][i] * M[k][j] for k in range(2)) for j in range(2)] for i in range(2)]
p = G[0][0] + G[1][1]
q = G[0][0] * G[1][1] - G[0][1] * G[1][0]
d = math.sqrt(max(p * p - 4 * q, 0.0))
l1, l2 = (p + d) / 2, (p - d) / 2
print('eig(A^T A) = %.10f, %.3e' % (l1, l2))
print('singular values = %.6f, %.3e' % (math.sqrt(l1), math.sqrt(l2)))
print('condition number = %.0f' % math.sqrt(l1 / l2))
eig(A^T A) = 4.0002000075, 2.500e-09
singular values = 2.000050, 5.000e-05
condition number = 40002
条件数约四万。这意味着右边常数只要抖动 10−12,解就可能抖动 4×10−8。单看这个例子还能接受,但同样的结构推广到十列、二十列,条件数会迅速恶化。
更糟的是正规方程。κ(AᵀA) = κ(A)2,条件数被平方。原本四万的问题,写成正规方程就变成十六亿,有效数字直接少一半。这就是为什么统计软件和数值库计算最小二乘时,默认走 QR 分解或 SVD,而不是先算 AᵀA 再求逆:A = QR 之后解 Rx = Qᵀb,条件数不平方,R 是上三角,回代即可。
SVD 给出更通用的答案:A = UΣVᵀ,伪逆 A+ = VΣ+Uᵀ,其中 Σ+ 把每个非零奇异值取倒数,过小的奇异值直接截断成零。这样即使矩阵秩亏或接近秩亏,也能得到一个可用的解。具体分解算法不展开,记住结论:近奇异时不要显式求逆。
一张现象对照表
下面这些现象在真实项目里都出现过,原因各不相同,但都能回到秩、可逆和条件数这几个概念上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 报 singular matrix | 列向量线性相关或近似相关,XᵀX 的行列式为零 | 先算秩和相关矩阵,找重复列、常量列或换算列 |
| 解出来是 NaN | 消元时除以接近零的主元,出现零除零或无穷减无穷 | 打印主元大小与条件数,改用 solve 或 lstsq |
| 残差很大 | 模型形式不对或漏了关键特征,不是求解器的精度问题 | 画残差图,看是否随预测值呈系统性弯曲 |
| 训练 loss 卡住不降 | 学习率、初始化、梯度消失都可能,矩阵秩亏只是其中一种 | 先做小批量过拟合测试,打印梯度范数与激活值分布 |
| 两个特征完全共线 | 一列是另一列的固定倍数,信息完全重复,逆不存在 | 算相关系数矩阵,删掉一列或加正则项 |
| 接近奇异时结果不稳 | 条件数大,输入误差被成倍放大,换个样本顺序结果就变 | 看奇异值谱,做标准化或正则化,必要时降维 |
| 自己求逆和库结果对不上 | 库用了伪逆并截断小奇异值,或用了不同的秩判定阈值 | 对比条件数与奇异值,确认库的截断参数 |
边界与代价
第一,可逆只对满秩方阵成立。长方形矩阵没有双边逆,只有单侧逆或伪逆;秩亏方阵也没有逆,只能谈伪逆。伪逆在所有矩阵上都存在,但它不是逆的替代品,只是最小二乘意义下的一个推广。
第二,求逆的代价是 O(n3),而且数值上不稳。显式算出 A−1 再做矩阵乘法,比直接解方程多做一次乘法,误差也多放大一次;稀疏矩阵求逆后通常变成稠密矩阵,内存直接爆掉。工程里该用分解或迭代,不要写 inv(A) @ b。
第三,最小二乘假设模型对参数线性,残差零均值、方差大致均匀。模型非线性时正规方程不成立;残差有明显结构时,说明模型漏了东西,不是换个求解器能解决的。平方损失对离群点敏感,必要时改用绝对损失或做稳健回归。
第四,无解时伪逆给的是最小范数解,不是唯一解。无穷多组解里,它挑范数最小的那组,这是一个数学约定,不保证符合业务含义。把伪逆的解当成唯一正确答案,是常见的误读。
第五,数值秩没有绝对标准。浮点下判断一个主元是不是零,要靠阈值;同一个矩阵,阈值取 10−9 和 10−12 可能得到不同的秩。库里的秩函数都带容差参数,换库换版本结果可能变,这属于正常现象。
第六,可解不等于可解释。特征共线时,系数可以很大且正负抵消,但预测值仍然稳定;反过来,系数好看也不代表模型抓住了因果。秩和可逆回答的是有没有解,不回答解有没有意义。
当天可以验证的练习
下面五条都能在半小时内做完,做完再往下读特征值会顺很多。
- 用纸笔算
[[1, 2, 3], [2, 4, 6], [1, 2, 4]]的秩,再用文中的rref核对,指出哪一列没有主元,并解释它由哪几列组合而成。 - 构造一个二元无解方程组,例如两条斜率相同、截距不同的直线,写出增广矩阵,消元后确认
rank(A) = 1而rank([A|b]) = 2。 - 用四个点
(0, 1), (1, 2), (2, 4), (3, 5)手算正规方程,求出斜率和截距,再验证残差之和为零。 - 取
A = [[1, 1], [1, 1.001]],用最大与最小奇异值估算条件数;再把b的第二项改动10−6,看解变化了多少倍。 - 对同一个接近奇异的矩阵,分别用
inv(A) @ b、solve(A, b)和lstsq(A, b)求结果,比较差异,并解释哪种写法在处理秩亏时更合适。
下一篇:方向不变的那些向量
这一篇的主线可以压成三句:秩数的是独立方向,可逆要求方阵满秩、没有方向被压成零;增广矩阵的两个秩决定方程组是唯一解、无解还是无穷多解;无解时用正规方程退到最小二乘,但数值上要小心条件数被平方。
可逆矩阵能把任意 b 反解回唯一的 x,但它没有告诉我们哪些方向最特殊。有一类方向,经过矩阵之后方向完全不变,只是被拉长或缩短,这些方向就是特征向量。它们决定了矩阵反复作用时哪一部分会占主导,也决定了 PCA 为什么能挑出方差最大的投影方向,下一篇从这里接着讲。