在球面上做优化,很多人第一次会选经纬度当参数:纬度一个数,经度一个数,看起来和平面上的 (x,y) 没什么区别。跑一段之后问题来了:参数点慢慢靠近北极,梯度突然变大,更新一步就飞出去;或者更新方向开始乱跳,目标明明在正前方,参数却绕着极点打转。
更隐蔽的一种出现在降维。高维数据用 UMAP 或自编码器压到二维,画出来邻居挨着邻居,结构看着很漂亮;可一旦拿原始空间的欧氏距离去解释这张图,结论就全错了。局部关系勉强保住,全局距离早就不是一回事。
两个现象的共同点,是「空间本身不是平的」。球面不是平面,高维数据所在的那层结构也不是平面。处理这类对象需要一套承认「局部平、整体弯」的语言,这就是流形(manifold)。这篇讲三件事:流形是什么、怎么用坐标卡描述它、以及坐标卡的选择为什么会直接影响梯度和距离的计算。
流形:每点附近都像 ℝⁿ
流形的最简说法是:一个空间,在每一点的附近看起来都像 ℝⁿ。注意是「附近」,不是「整体」。地球表面整体是个球,但你家附近几条街的范围,用一张平面地图就能画得很准,误差小到可以忽略。这就是局部平。
圆是 1 维流形:站在圆上任意一点,往前后各走一小段,看到的就是一小段直线,用一个实数(弧长或者角度)就能描述位置。球面是 2 维流形:在任意一点附近,需要两个数才能定位,比如沿经线走多远、沿纬线走多远。尽管圆和球面都住在三维空间里,它们的维数只由局部自由度决定。
这是最容易搞混的地方:维数是「局部需要几个参数」,不是「它嵌在几维空间里」。一条空间曲线是 1 维流形,虽然它嵌在 ℝ³;一个环面是 2 维流形,也嵌在 ℝ³。反过来,ℝ³ 里的一个实心球体是 3 维流形,它的边界球面是 2 维。数维数的时候,问的是「站在点上,能往几个独立方向走一小步」。
严格定义还要求这个空间本身满足一些分离性条件,通常写成豪斯多夫(任意两点能被不相交的开集分开)和第二可数(存在一组可数的基)。工程里用到的流形基本都是 ℝN 里的光滑子流形,这些条件自动满足,可以先不管;但写论文或者读定理时,它们决定了哪些结论能用。
还有一条常被忽略的约定:流形通常要求没有边界。带边的对象(比如闭圆盘)叫带边流形,很多定理只能在内部陈述。球面没有边界,闭圆盘有边界,这是两类不同的对象,处理方式也不一样。
坐标卡:给每个点发一个门牌号
坐标卡(chart)是一块开集 U 加上一个映射 φ,它把 U 映到 ℝⁿ,并要求 φ 是同胚:连续、可逆、逆也连续。它的作用是给这块区域里的每个点发一个门牌号,把几何问题翻译成数组问题。有了门牌号,求导、插值、比较距离都能用现成的数值方法。
经纬度就是球面上的一张坐标卡。取 U 为球面去掉南北极和 180 度经线的那一块,φ 把点映成(纬度,经度)。在这块区域里,一对角度唯一确定一个点,反过来也唯一。为什么要把 180 度经线也去掉?因为经度在那一圈从 +180 跳回 −180,读数不连续,转移和插值都会出错。
极坐标也是平面的一张卡:把平面去掉原点,用 (r, θ) 表示。注意「去掉原点」这几个字:原点处角度没有定义,同一个点可以对应任意 θ,所以原点必须排除在定义域之外。这是坐标卡最常见的坑:卡的定义域必须是一块开集,边界和奇点不能塞进去。
import math
def to_xyz(lat, lon):
a = math.radians(lat)
b = math.radians(lon)
return (math.cos(a) * math.cos(b),
math.cos(a) * math.sin(b),
math.sin(a))
lat = [-60, -30, 0, 30, 60]
lon = [-120, -60, 0, 60, 120]
pts = {}
for a in lat:
for b in lon:
key = tuple(round(v, 9) for v in to_xyz(a, b))
pts.setdefault(key, []).append((a, b))
print("输入 %d 对,输出互不相同的点 %d 个" % (len(lat) * len(lon), len(pts)))
输入 25 对,输出互不相同的点 25 个
25 个输入对给出 25 个互不相同的点,说明在这块区域内映射是一一对应的。这个检查很便宜,却很有用:如果你选的参数化在某处把两个不同的点映到同一个坐标,或者把一个点映成两个坐标,那里就不是卡,梯度计算在那一带一定出错。
注意「同胚」比「一一对应」更强。一一对应只保证不重不漏,同胚还要求两个方向的连续性:参数稍微动一点,点也只能稍微动一点;反过来也一样。经纬度在极点附近仍然是一一对应的,但逼近极点时这张卡会退化:图像被压扁,坐标基的长度趋近 0,逆映射的导数在极限处发散,数值上就会出问题。
图册:一张卡盖不住整个球面
一张卡通常盖不住整个空间,所以要把多张卡拼起来,拼成的整体叫图册(atlas)。图册的要求是:这些卡的定义域覆盖整个流形;在两张卡重叠的地方,转移映射 φ₂ ∘ φ₁⁻¹ 必须连续,光滑流形还要求它光滑。转移映射的作用是把一个坐标系的读数翻译成另一个坐标系的读数。
球面至少需要两张卡,经典做法是北极球极投影一张、南极球极投影一张。为什么一张经纬度卡不够?因为它的定义域必须把极点排除掉,而极点属于球面。还有一条更硬的理由:卡的定义域在球面上是开集,如果一张卡覆盖整个球面,定义域就是紧致的球面本身;同胚保持紧致性,而 ℝ² 里的开集(比如开圆盘)不紧致,矛盾。
所以「球面用一个经纬度就能参数化」这句话是错的。准确的表述是:球面去掉两个极点、再切掉一条经线之后,可以用一张经纬度卡参数化;要覆盖整个球面,至少两张。必须切掉一条经线,是因为经度本质上是圆上的量,而圆不能连续地一一摊到一个开区间上。两张卡在赤道附近重叠,重叠区里两套坐标可以互相换算,算法在跨区域移动时要做一次转换。
pole = {tuple(round(v, 9) for v in to_xyz(90, b)) for b in lon}
print("纬度 90 度、%d 个经度,舍入后得到 %d 个点" % (len(lon), len(pole)))
print("(90,0) 与 (90,120) 的距离 = %.9f"
% math.dist(to_xyz(90, 0), to_xyz(90, 120)))
纬度 90 度、5 个经度,舍入后得到 1 个点
(90,0) 与 (90,120) 的距离 = 0.000000000
输出显示纬度 90 度、五个不同经度,舍入之后只剩下一个点。代码里 (90,0) 与 (90,120) 的距离打印为 0.000000000,是因为 cos(90°) 在浮点里是 6.1e-17 而不是精确的 0;理论上它们就是同一个点。这就是「极点处经度失效」的数值证据,也是必须换卡的直接原因。
极点为什么奇异
把经度方向走 1 度对应的实际弧长算出来:弧长 = R·cos(lat)·(π/180)。纬度越高,cos 越小,同样 1 度的经度差对应的实际距离越短。R=1 时,赤道上 1 度是 0.017453,到了 89.99 度只剩 0.000003046,差了三万多倍;而沿纬度方向走 1 度始终是 0.017453。两个方向的尺度严重失衡。
step = math.radians(1.0)
for a in (0, 45, 60, 80, 89, 89.9, 89.99):
print("lat=%6.2f cos=%.9f 经度 1 度弧长=%.9f"
% (a, math.cos(math.radians(a)), math.cos(math.radians(a)) * step))
lat= 0.00 cos=1.000000000 经度 1 度弧长=0.017453293
lat= 45.00 cos=0.707106781 经度 1 度弧长=0.012341341
lat= 60.00 cos=0.500000000 经度 1 度弧长=0.008726646
lat= 80.00 cos=0.173648178 经度 1 度弧长=0.003030732
lat= 89.00 cos=0.017452406 经度 1 度弧长=0.000304602
lat= 89.90 cos=0.001745328 经度 1 度弧长=0.000030462
lat= 89.99 cos=0.000174533 经度 1 度弧长=0.000003046
这张表说明经纬度卡在极点附近被压扁了。用这张卡算梯度,两个坐标方向的尺度差了几个数量级:经度方向的偏导数会变大,因为它的分母对应的实际位移趋近 0,数值上一步就越过极点,方向反转。表现就是梯度爆炸或者来回震荡。
更本质的问题是切向量退化。在极点,沿经度方向走一小步,实际位置几乎不动;两个参数方向给出的切向量不再独立,无法张成二维切空间。参数化在这一点的雅可比矩阵秩下降,所有依赖它的公式都会出问题,包括距离、面积、梯度。
修法有几种。一是换卡:靠近北极时用北极投影那张卡,极点问题被搬到另一张卡的定义域之外。二是干脆不用经纬度,改用四元数或者旋转矩阵表示姿态,让参数空间本身没有奇点,代价是多一个约束、多几维参数。三是在切空间里更新,每步之后把点投影回流形,避免参数直接穿过极点。
切空间:梯度住在哪里
切空间(tangent space)是流形在一点处最好的线性近似:把所有经过该点的曲线的速度向量收集起来,得到的向量空间。它的维数等于流形的维数:球面是 2 维,所以每点的切空间是一个二维平面;曲线是 1 维,切空间是一条直线。切空间和流形只在一点处相切,离开这一点就分开了。
这里有一条对工程很关键的区别:参数空间里的向量和切空间里的向量不是一回事。用经纬度当参数时,∂/∂lat 和 ∂/∂lon 是切空间的一组基,但它们的长度不一样:∂/∂lat 的模长恒为 1,∂/∂lon 的模长是 cos(lat)。所以「参数里加 1」在不同纬度代表的实际移动距离不同。
a = math.radians(45)
b = math.radians(30)
v1 = (-math.sin(a) * math.cos(b), -math.sin(a) * math.sin(b), math.cos(a))
v2 = (-math.cos(a) * math.sin(b), math.cos(a) * math.cos(b), 0.0)
print("∂/∂lat 模长 = %.6f" % math.sqrt(sum(x * x for x in v1)))
print("∂/∂lon 模长 = %.6f" % math.sqrt(sum(x * x for x in v2)))
print("内积 = %.9f" % sum(x * y for x, y in zip(v1, v2)))
∂/∂lat 模长 = 1.000000
∂/∂lon 模长 = 0.707107
内积 = 0.000000000
在 45 度、30 度那一点,两个基向量的模长是 1 和 0.707107,内积是 0,说明它们正交但不等长。这组基带来的是斜交的度量:参数平面上一个单位正方形,映到球面上是一个边长 1 和 0.707 的矩形。在参数空间里做最速下降,走的并不是球面上的最速方向。
梯度是切空间里的对象,参数更新必须在切空间里做。严格说,梯度是余切空间里的余向量,靠度量才能和切向量等同;工程上可以简单记成「梯度住在切平面里」。常见流程是:在当前点算欧氏梯度,减去法向分量做投影,沿切方向走一小步,再归一化拉回球面。少了最后一步,点就会离开球面。
流形假设:降维为什么能 work
流形假设(manifold hypothesis)说的是:真实的高维数据并不均匀填满整个空间,而是集中在一个低维流形附近。手写数字图片是 784 维向量,但所有可能的数字图片只占其中很小的一层;改变笔画粗细、倾斜角度、位置,只有少数几个自由度在动。
这句话解释了降维为什么能 work:如果数据真的落在一个 d 维流形上,那么用 d 个坐标就能近似无损地描述它,不需要 784 个。PCA 找的是线性的那一类:它假设这层结构是一块平面(仿射子空间),所以只能处理全局线性的结构。UMAP、自编码器找的是非线性的卡:它们允许弯曲,因此能压得更扁,也更适合处理卷曲的数据。
什么时候不 work?如果数据其实不在低维流形上,或者噪声把流形糊成一团,强行降维就会制造假结构。另一个常见问题是:降维算法保的是局部邻域,不是全局距离。UMAP 的图里两个簇离得近,不代表原始空间里它们离得近;簇间的空白也不代表真的有空隙。把可视化图当成了真实几何,是所有误读的起点。
判断降维有没有骗你,有几个便宜的办法。看邻居保存率:随机抽若干点,比较它们在原空间和嵌入空间里的 k 个最近邻重叠多少。看重构误差:自编码器能给出解码后的误差,PCA 能给出被丢掉的特征值占比。看稳定性:换随机种子重跑,结构如果大变,说明结论不稳。
还有一条容易忽略:流形假设说的是「数据附近」有低维结构,不是「数据本身」是流形。噪声点、离群点、类别边界上的样本,都可能不在那层结构上。把它们强行投影进去,等于把异常值抹平,异常检测会因此失效。
一张现象对照表
下面这些现象在球面优化、姿态估计和降维项目里都出现过,原因大多能回到坐标卡与切空间上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 优化到极点附近梯度爆炸 | 经纬度卡在极点退化,经度方向的尺度趋近 0 | 检查参数化是否在极点奇异,改用切空间更新或四元数 |
| 经纬度网格两极挤成一团 | 经度弧长按 cos(lat) 收缩,纬度方向不变 | 算 cos(lat) 的比值,确认网格各向异性有多严重 |
| 降维后邻居关系变了 | 算法保局部不保全局,或嵌入维数压得过低 | 算邻居保存率,抽样比较原空间与嵌入空间的 k 近邻 |
| 距离度量在弯曲空间里不适用 | 欧氏弦长穿过了内部,不等于沿表面的测地距离 | 比较弦长与 arccos 得到的弧长,看偏差有多大 |
| 坐标系切换处参数跳变 | 图册重叠区的转移映射不连续,或经度在 180 度回绕 | 检查转移映射与角度归一化,统一到同一个区间 |
| 参数更新后跑出流形 | 沿欧氏梯度走,没有投影回切空间,也没做拉回 | 每步后检查模长,加归一化或投影步骤 |
| 切空间维数选错 | 把所在空间的维数当成了流形维数 | 数局部自由度,而不是数坐标向量的个数 |
边界与代价
第一,结论依赖坐标卡。公式在哪张卡里推,结论就带着那张卡的定义域;换卡要重新推一遍。极点问题不会被消灭,只会被搬到别处。球面上不存在处处非零的连续切向量场,这是毛球定理的结论,所以任何全局参数化都必然在某处退化。
第二,全局性质很难算。洞的数量、是否可定向、是否单连通,这些整体性质不能靠单张卡读出来,需要把图册粘起来看。计算拓扑里的持续同调就是为这类问题设计的,代价是要先构建复形,再算持久性,规模一大就很贵。
第三,流形假设不一定成立。数据可能真在高维,可能由几个不同维数的层叠在一起,也可能被噪声填满。假设破了,降维和切空间方法都会给出看似合理但错误的结果,而且不会报错,只会安静地错。
第四,计算成本高。切空间投影、拉回流形、构建 k 邻域图,都是每步或每样本的开销。流形上的优化通常比平面上的 SGD 慢几倍,超参也更多:步长要在切空间里定义,邻域大小要选,拉回方式也要选。
第五,维数灾难没有消失。d 维流形嵌在 D 维空间里,想采样到足够密的邻域,样本量仍然随 D 增长。低维结构能救命,但不能把 D 完全消掉,尤其是在 D 很大而 d 也不小的时候。
当天可以验证的练习
这几道题用 Python 标准库就能做完,不需要任何几何库。
- 判断圆和球面的维数,说明为什么不是 3;再用「站在点上能往几个独立方向走」解释环面为什么是 2 维。
- 写一个经纬度到三维坐标的映射,用 5 乘 5 的网格验证同一张卡内是一一对应,打印互不相同的点数。
- 找极点奇异:固定纬度 90 度,取五个经度,打印舍入后的不同点个数,再算其中两点的距离。
- 算两个切向量:在 45 度、30 度处算
∂/∂lat与∂/∂lon的模长和内积,解释为什么内积为 0 但模长不等。 - 比较欧氏距离与测地距离:取(45 度,0 度)与(45 度,60 度),算弦长、测地弧长和两者的比值,说明为什么用弦长做损失会让优化偏向某些方向。
小结:下一篇讲这些工具怎么用
这篇的主线可以压成三句。流形是每点附近都像 ℝⁿ 的空间,维数说的是局部自由度,不是它嵌在几维里。坐标卡把一块区域翻译成数组,图册把多张卡拼起来;球面至少两张卡,因为一张卡的定义域必须开,而紧致的球面不可能同胚于 ℝ² 的开集。极点处的奇异来自参数化的尺度退化,梯度要住在切空间里,更新之后还得拉回流形。
下一篇讲拓扑在图形学和数据分析里怎么用。有了流形这套语言,三角网格就不再是「一堆三角形」,而是一个带坐标卡的二维流形;持续同调也不再是抽象的代数,而是在描述数据那层结构上有几个洞、洞有多大。坐标卡、图册、切空间这几个词,会在那边反复出现。