一位同事用 PCA 把 128 维的图像特征降到 2 维做可视化,发现 explained_variance_ratio_.sum() 只有 0.61。他以为降维实现漏了步骤。检查后并没有漏:前两个主成分确实只解释了 61% 的总方差,剩下的 39% 分散在另外 126 个方向上。
另一件更常见的困惑是自己算的特征向量和库里的对不上:数值算出来是 (0.61, 0.79),库给出 (−0.61, −0.79);或者自己按特征值大小排了序,库给的却是另一个顺序。前者是符号约定,后者是排序规则,都不是算错。
还有一个现场:把数据降到 2 维之后,分类准确率反而下降。原因不一定是降维代码写错了,而是被丢掉的那些方差很小的方向,恰好包含了区分两个类别的信息。PCA 是无监督的,它不知道标签。
这一篇从定义开始:什么是特征值与特征向量,怎么手算,什么时候能对角化,然后完整走一遍 PCA,最后讲工业实现常用的幂迭代。看完至少能回答开头那三个问题:比例为什么不满、符号为什么反、降维为什么会伤到分类。
特征值与特征向量:方向不变的向量
对方阵 A,如果存在非零向量 v 和标量 λ,使得 Av = λv,就称 λ 是 A 的一个特征值(eigenvalue),v 是对应的特征向量(eigenvector)。
这句话的几何含义是:矩阵作用在 v 上,方向没有变,只是长度变成了原来的 λ 倍。λ 为正,方向相同;λ 为负,方向反过来;λ 为零,这个方向被直接压没,v 被送到原点。其他向量经过 A 之后通常会转向,只有这些特殊方向保持不动。
拿 A = [[2, 1], [1, 2]] 验证。取 v = (1, 1),乘出来是 (3, 3),正好是 3 倍的 v;取 v = (1, −1),乘出来是 (1, −1),正好是 1 倍的 v。所以 3 和 1 是特征值,(1, 1) 和 (1, −1) 是对应的特征向量。
A = [[2, 1], [1, 2]]
for v in ([1, 1], [1, -1]):
w = [sum(A[i][j] * v[j] for j in range(2)) for i in range(2)]
print('v =', v, 'A*v =', w)
v = [1, 1] A*v = [3, 3]
v = [1, -1] A*v = [1, -1]
特征向量不唯一。若 v 是特征向量,任何非零倍数 cv 也是,因为 A(cv) = cAv = cλv = λ(cv)。所以 (1, 1) 和 (2, 2) 描述同一个方向。实际计算里通常归一化成单位向量,或者约定某个分量为正,但这是约定,不是数学要求。
也不是每个实矩阵都有实特征向量。旋转九十度的矩阵 [[0, −1], [1, 0]] 把每个向量都转到垂直方向,没有任何非零向量保持方向。算它的特征多项式会得到 λ2 + 1 = 0,在实数里无解,两个特征值是 ±i。复数特征值对应的是旋转加缩放,不是原地伸缩。
特征值真正好用的地方,是让矩阵的反复作用变得简单。A2v = λ2v,Akv = λkv,矩阵的幂在特征方向上退化成一个数的幂。后面讲 PCA 的方差、讲幂迭代的收敛,用的都是这个性质。
怎么求:特征多项式
把定义移项:Av = λv 等价于 (A − λI)v = 0。因为 v 必须非零,这个齐次方程要有非零解,就要求 A − λI 奇异,也就是行列式为零:det(A − λI) = 0。这个方程叫特征方程,左边是关于 λ 的多项式,叫特征多项式。
二阶情形可以完整推一遍。设 A = [[a, b], [c, d]],则
[ a−λ b ]
A − λI = [ ]
[ c d−λ ]
det = (a−λ)(d−λ) − bc
= λ² − (a+d)λ + (ad−bc)
= λ² − tr(A)·λ + det(A)
所以二阶特征方程就是 λ2 − tr·λ + det = 0。求根公式给出 λ = [tr ± √(tr2 − 4det)] / 2。判别式可能为负,这时两个根是共轭复数,对应旋转类的变换。
根与系数有两个固定的关系:λ1 + λ2 = tr(A),λ1λ2 = det(A)。理由很简单:把 (λ − λ1)(λ − λ2) 展开,得到 λ2 − (λ1+λ2)λ + λ1λ2,和上面的多项式逐项对比即可。n 阶也一样:特征多项式首项是 (−1)nλn,常数项是 det(A),λn−1 的系数对应迹,所以迹等于所有特征值之和,行列式等于所有特征值之积,重复的按重数计。
这两个等式是免费的自检工具。算完特征值,先看和是不是等于迹、积是不是等于行列式,对不上就是算错了。对 A = [[2, 1], [1, 2]],方程是 λ2 − 4λ + 3 = 0,根为 3 和 1;迹是 4,行列式是 3,正好对上。
有了 λ 再求向量,就是解齐次方程。λ = 3 时,A − 3I = [[−1, 1], [1, −1]],方程是 −x + y = 0,也就是 y = x,取 (1, 1)。λ = 1 时,A − I = [[1, 1], [1, 1]],方程是 x + y = 0,取 (1, −1)。两个向量点积为零,正好垂直。这不是巧合,对称矩阵的不同特征值对应的特征向量一定正交,下一节给理由。
对角化:换到特征向量基上
如果 n 阶矩阵有 n 个线性无关的特征向量,把它们按列排成矩阵 P,把特征值排成对角矩阵 D,那么 AP = PD,两边右乘 P−1 得 A = PDP−1。这叫对角化。
理由逐列看就清楚。P 的第 i 列是 vi,AP 的第 i 列是 Avi = λivi;PD 的第 i 列是 P 乘上 D 的第 i 列,也就是 λivi。两边每一列都相等,矩阵自然相等。这里的 P−1 能写出来,靠的正是 n 个特征向量线性无关。
不是所有矩阵都能对角化。重根时可能凑不够特征向量。例如 [[1, 1], [0, 1]],特征方程是 (λ−1)2 = 0,λ = 1 是二重根;但 A − I = [[0, 1], [0, 0]],方程只有 y = 0,解空间是一维的,只有 (1, 0) 这一个方向。两个特征值相同、特征向量却只有一个,P 凑不齐两列,无法对角化。这种矩阵叫亏损矩阵,只能退到 Jordan 标准形。
实对称矩阵没有这个麻烦,它一定可以正交对角化:A = QΛQᵀ,Q 的列是两两正交的单位特征向量,QᵀQ = I,所以 Q−1 = Qᵀ。这条性质有两个部分,都能验证。
第一,特征值是实数。若 Av = λv,对两边取共轭转置并用 A 对称,可以得到 λ 等于它自己的共轭,所以 λ 是实数。第二,不同特征值的特征向量正交:设 Av1 = λ1v1,Av2 = λ2v2,计算 λ1⟨v1, v2⟩ = ⟨Av1, v2⟩ = ⟨v1, Av2⟩ = λ2⟨v1, v2⟩。中间那步用了对称性,最后得到 (λ1 − λ2)⟨v1, v2⟩ = 0;λ 不同,内积只能是零。重特征值的情形在同一个特征空间里做正交化即可。
PCA 敢用特征分解,根子就在这条定理。协方差矩阵是对称的,所以特征值一定是实数,特征向量一定可以选成一组正交基。换句话说,PCA 找到的是一组互相垂直的方向,而不是一组歪斜的方向;如果协方差不对称,算出来的方向可能不正交,甚至出现复数,解释起来就没法看了。
PCA 全流程:中心化、协方差、特征分解
PCA(主成分分析)的目标,是找一组新的正交坐标轴,让数据在这些轴上的方差从大到小排列,然后只保留前面几个。整个流程四步。
第一步必须中心化。设数据矩阵 X 是 m 行 n 列,每行一个样本。减去每一列的均值,等价于把坐标原点移到数据重心。不中心化直接算 XᵀX,得到的是二阶矩而不是协方差,第一主成分会指向均值所在的方向,而不是数据展开最厉害的方向。
第二步算协方差矩阵 S = (1/(m−1)) XᵀX(中心化之后),或者用 1/m。两种归一化只差一个常数因子,特征向量完全一样,特征值同比例缩放,所以解释方差率也一样。工程上不必纠结用哪一个,但要和文档对齐。
第三步对 S 做特征分解。S 是对称半正定矩阵,特征值非负,特征向量正交。按特征值从大到小排,第 i 个特征向量就是第 i 个主成分方向。
为什么方差最大的方向就是最大特征值的方向?把中心化后的点投影到单位向量 v 上,得分是 (x − μ)·v,均值为零,方差是 vᵀSv。若 v 是 S 的特征向量,这个二次型等于 λ;对任意单位 v,二次型的最大值就是最大特征值,在对应的特征向量处取到。这是对称矩阵谱定理的直接推论,也是 PCA 的全部理论依据。
拿六个二维点走一遍:(1, 2), (2, 1), (3, 5), (4, 4), (5, 7), (6, 6)。
import math
pts = [(1, 2), (2, 1), (3, 5), (4, 4), (5, 7), (6, 6)]
n = len(pts)
mx = sum(p[0] for p in pts) / n
my = sum(p[1] for p in pts) / n
sxx = sum((p[0] - mx) ** 2 for p in pts) / n
syy = sum((p[1] - my) ** 2 for p in pts) / n
sxy = sum((p[0] - mx) * (p[1] - my) for p in pts) / n
print('mean = (%.4f, %.4f)' % (mx, my))
print('cov = [[%.6f, %.6f], [%.6f, %.6f]]' % (sxx, sxy, sxy, syy))
p = sxx + syy
q = sxx * syy - sxy * sxy
d = math.sqrt(max(p * p - 4 * q, 0.0))
l1, l2 = (p + d) / 2, (p - d) / 2
u1 = [l1 - syy, sxy]
u2 = [l2 - syy, sxy]
n1 = math.sqrt(u1[0] ** 2 + u1[1] ** 2)
n2 = math.sqrt(u2[0] ** 2 + u2[1] ** 2)
print('lambda1 = %.6f, lambda2 = %.6f' % (l1, l2))
print('v1 = (%.6f, %.6f)' % (u1[0] / n1, u1[1] / n1))
print('v2 = (%.6f, %.6f)' % (u2[0] / n2, u2[1] / n2))
mean = (3.5000, 4.1667)
cov = [[2.916667, 3.083333], [3.083333, 4.472222]]
lambda1 = 6.874363, lambda2 = 0.514526
v1 = (0.614577, 0.788857)
v2 = (-0.788857, 0.614577)
协方差矩阵的对角线是两列的方差,非对角线是协方差。3.083 这个协方差不算小,说明两列明显同向变化。最大特征值 6.874,对应的方向横坐标 0.615、纵坐标 0.789,往右上倾斜;第二个方向 (−0.789, 0.615) 与它垂直,往左上倾斜。
可以核对两个恒等式:迹等于特征值之和,2.916667 + 4.472222 = 7.388889,而 6.874363 + 0.514526 = 7.388889;行列式等于特征值之积,2.916667 × 4.472222 − 3.0833332 约等于 3.537,和 6.874363 × 0.514526 一致。两个数对得上,说明特征值没算错。
最后一步是投影。取前 k 个特征向量组成矩阵 P(n × k),降维后的数据就是 X P。如果要还原近似原数据,乘回 Pᵀ 再加均值。还原误差的平方和等于被丢掉的各个特征值之和,这是 PCA 的最优性保证,也叫 Eckart–Young 定理。
解释方差率:降一维丢了多少
解释方差率(explained variance ratio)的定义是 λi / Σλ。因为协方差矩阵的迹等于特征值之和,也等于各列方差之和,所以这个比例就是在总方差里占的份额。取全部主成分时,比例加起来正好是 1。
用上一节的真实结果算:6.874363 / 7.388889 = 93.0365%,0.514526 / 7.388889 = 6.9635%,相加是 100%。如果只保留第一主成分,降到一维,仍然保留约 93% 的总方差,丢掉约 7%。
print('explained = %.4f%%, %.4f%%' % (100 * l1 / (l1 + l2), 100 * l2 / (l1 + l2)))
print('sum = %.4f%%' % (100 * (l1 + l2) / (l1 + l2)))
explained = 93.0365%, 6.9635%
sum = 100.0000%
所以,如果库打印出来的解释方差率加起来不是 100%,第一反应是看它到底输出了几个主成分。只取前 k 个时,和当然小于 1;这不是实现错误。第二反应是看分母:有的实现按样本数归一化,有的按特征数归一化,比例本身一般不受影响,但如果混用了不同中心化方式的数据,数值会对不上。
还要注意,方差占比高不等于信息量大。PCA 是无监督的,它只找方差大的方向,不看标签。两个类别如果恰好沿着方差很小的方向分开,PCA 会把那个方向当成噪声丢掉,降维后分类自然变差。这时候该用 LDA 这类看标签的方法,或者至少把被丢掉的方向单独检查一遍。
另外,解释方差率是相对当前数据集的。换一批样本、换一套单位,比例都会变;它不是一个模型的固有属性,只是这一次数据的描述。
幂迭代:只做矩阵乘,也能找到主方向
真正的大规模实现很少直接做完整的特征分解。特征分解是 O(n3),n 是特征维数,几万维就做不动。更常用的是幂迭代(power iteration),只需要反复做矩阵乘向量。
算法三行:随便取一个非零向量 v,算 w = Av,再归一化 v = w / ||w||,重复。收敛后 v 就是最大特征值对应的特征向量。
为什么收敛,可以展开看。把初始向量写成特征向量的组合 v0 = c1v1 + c2v2 + …,乘 k 次 A 之后是 Akv0 = c1λ1kv1 + c2λ2kv2 + …。提出 λ1k,剩下 c1v1 + c2(λ2/λ1)kv2 + …。只要 |λ1| > |λ2|,后面的项就按 (λ2/λ1)k 衰减,方向逐渐只剩 v1。归一化只是防止数值上溢或下溢。
用上一节的协方差矩阵跑二十次,初始向量取 (1, 0):
S = [[sxx, sxy], [sxy, syy]]
v = [1.0, 0.0]
for k in range(1, 21):
w = [sum(S[i][j] * v[j] for j in range(2)) for i in range(2)]
norm = math.sqrt(w[0] ** 2 + w[1] ** 2)
v = [w[0] / norm, w[1] / norm]
if k in (1, 2, 3, 5, 10, 20):
print('iter %2d: (%.6f, %.6f)' % (k, v[0], v[1]))
iter 1: (0.687200, 0.726468)
iter 2: (0.620233, 0.784417)
iter 3: (0.615001, 0.788526)
iter 5: (0.614579, 0.788855)
iter 10: (0.614577, 0.788857)
iter 20: (0.614577, 0.788857)
第三次迭代后前三位小数已经稳定,第五次基本收敛。收敛这么快,是因为两个特征值相差约 13.4 倍,比值 0.075 的平方、立方迅速趋近于零。如果两个特征值很接近,比值接近 1,收敛会非常慢,这时要换带位移的反迭代或 Lanczos 方法。
工业实现偏爱幂迭代,理由很实际。它每次只做一次矩阵乘向量,稠密矩阵是 O(n2),稀疏矩阵只和非零元个数有关;不需要把矩阵分解,也不需要 O(n3) 的时间和内存。更关键的是,它只要求你能算出 Av,不要求矩阵真的存在。PCA 里协方差矩阵是 n × n,几万维就存不下,但 Sv 可以先算 Xv 再算 Xᵀ(Xv),全程不构造 S,这就是所谓的无协方差 PCA。随机化 SVD 和截断 SVD 都建立在这个套路上。
它也有明显的限制。初始向量如果恰好与主特征向量正交,迭代永远进不到那个方向,所以实践里用随机初始化。符号仍然不唯一,收敛到的是 v 或 −v,这不影响方向。要取第二个主成分,得先把第一个方向从矩阵里减掉,这叫收缩,或者改用块迭代一次求多个。
一张现象对照表
下面这些现象在 PCA 相关的项目里很常见,原因多半不在算法本身,而在数据预处理或对输出的解读上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 解释方差和不为 100% | 只保留了前 k 个主成分,后面的比例没打印出来 | 打印全部特征值与它们的和,确认 k 是多少 |
| 特征向量整体反号 | 特征向量的方向不唯一,v 与 −v 描述同一条轴 | 比较向量时取绝对值或余弦,必要时统一符号约定 |
| 降维后分类变差 | 被丢掉的方向方差小,却含有区分类别的信息 | 检查被丢方向上各类的分布,考虑改用 LDA |
| 主方向明显偏斜 | 协方差没中心化,算成了二阶矩,方向被均值带偏 | 确认减了每一列的均值再做分解 |
| 特征值是负数 | 矩阵不是对称半正定,或数值误差累积,也可能传入了错误的矩阵 | 检查对称性,必要时用 (S + Sᵀ)/2 重建 |
| 算出的顺序和库不同 | 库按特征值降序输出,自己按原列序;或符号不同 | 打印特征值和向量,按特征值降序重排 |
| 降维后维度没变 | 主成分个数设成了原维数,或解释率阈值定得太低 | 检查参数 n_components 与累计解释率阈值 |
边界与代价
第一,PCA 只抓线性结构。它找的是线性子空间,数据如果分布在一个弯曲的流形上,比如瑞士卷,前几个主成分并不能把它展开。这种情况需要核 PCA、自编码器或者 t-SNE 这类方法,PCA 本身无能为力。
第二,必须中心化。不中心化时,第一主成分往往指向均值方向,因为数据的整体偏移被算进了方差。这是最常见的实现错误,而且不会报错,只会让图看起来有点怪。
第三,对尺度敏感。一个特征用米、另一个用毫米,数值差一千倍,方差差一百万倍,PCA 会几乎只按第二个特征的方向投影。正确做法是先标准化,每个特征减均值、除以标准差,再做 PCA;标准化会改变主方向,也会改变解释方差率,这是预期行为。
第四,完整特征分解的代价是 O(n3),n 是特征维数。特征数上万时,显式构造协方差矩阵和分解都不现实,要改用随机化 SVD、截断 SVD 或幂迭代。样本数也要够,否则协方差矩阵估计不准,特征向量会随样本波动。
第五,符号不唯一。特征向量可以任意缩放,包括乘 −1,所以不同库、不同运行顺序给出的符号可能相反。比较两组特征向量时,应该比较方向,比如取绝对内积,而不是逐元素比较符号。
第六,方差大不等于有用。PCA 完全无监督,它不知道下游任务是分类还是回归。丢掉方差小的方向,可能同时丢掉判别信息;反过来,方差最大的方向也可能是噪声或与任务无关的全局亮度。解释方差率只描述数据,不描述任务。
当天可以验证的练习
下面五条都能用纸笔加几行 Python 完成,做完再去看 sklearn 的文档会轻松很多。
- 手算
A = [[2, 1], [1, 2]]的特征方程、两个特征值和对应的特征向量,再用迹与行列式自检。 - 写代码验证
Av = λv,并把特征向量分别换成−v和2v,确认结果仍然是 λ 倍,说明方向不变、长度可变。 - 用文中的六个点算解释方差率,只保留第一主成分,算出丢掉的方差占比;再把数据整体平移,确认中心化后结果不变。
- 手跑幂迭代三步,记下每一步的向量,和最终收敛值比较,说明为什么本例收敛得这么快。
- 构造一组量纲不同的二维数据,例如身高用米、体重用公斤,分别做标准化前和标准化后的 PCA,比较主方向与解释方差率的变化。
下一篇:从方阵到长方阵
这一篇的主线可以压成三句:特征向量是变换后方向不变的向量,特征值是对应的拉伸倍数;对称矩阵一定能正交对角化,所以协方差矩阵的特征分解给出了一组互相垂直的主方向;PCA 保留最大的几个特征值,解释方差率就是它们在总方差里的占比。
但 PCA 里的矩阵始终是方阵,协方差矩阵把 n 维映射到 n 维,特征分解才有定义。一般的多元函数输入 n 维、输出 m 维,导数不再是一个方阵,而是一个 m × n 的矩阵,每一行是一个输出对全部输入的偏导。这个矩阵叫雅可比矩阵,它决定了梯度下降往哪走、反向传播怎么串起来,下一篇从它讲起。