一次一维优化实验里,目标函数是 f(x) = x,搜索区间写成开区间 (0,1),初始点 0.5,步长固定,每步沿负梯度方向走。日志显示 loss 从 0.5 一路降到 1e-9,程序却始终不收敛。原因不复杂:这个函数在这个区间上根本没有最小值,它只是在无限靠近 0。迭代没有失败,是问题本身没有解。
另一个更典型的现场是断言。有人写测试说「连续函数在闭区间上一定能取到最小值」,在 [0,1] 上跑通了,把区间改成 (0,1) 就失败。第一反应是浮点误差或者测试写错,其实断言本身漏掉了一个前提:闭区间和开区间在拓扑上是两类不同的对象,一类叫紧致,一类不叫。
紧致(compactness)和连通(connectedness)是拓扑学里最常用的两个整体性质。它们不关心某个点附近长什么样,只关心一整块空间的形态:会不会漏到无穷远,会不会在边界处缺一块,会不会被切成两半。这篇就讲这两件事,以及它们在优化、数值计算和日常排查里的具体表现。
紧致:任意开覆盖都有有限子覆盖
紧致的标准定义只有一句话:任意开覆盖都有有限子覆盖。先把三个词拆开。开覆盖是一族开集,它们的并包含整个集合;有限子覆盖是从这族开集里只挑有限个,就足以盖住整个集合。定义里的「任意」很关键,必须对这一族之外的任何一族都成立,而不是只对某一族成立。
定义里没有出现「有界」「闭」这样的词,第一次看会觉得它和大小、边界没有关系。其实它排除的正是两种「追不上」的情形:集合跑到无穷远,就需要无限多个越来越大的开集才盖得住;集合在边界处缺了点什么,就需要无限多个越来越小的开集去逼近那个缺口。有限子覆盖这条要求,把这两种情形一次性挡掉。
在 ℝⁿ 里,这条抽象定义有一个极好用的等价版本,叫海涅-博雷尔定理(Heine–Borel theorem):一个子集紧致,当且仅当它有界且闭。有界是说整个集合能装进某个足够大的球;闭是说它包含自己所有的极限点。按这条判据,[0,1]、[0,1]×[0,1]、单位球面、任何有限点集都紧致;(0,1)、整个 ℝ、开球、去掉原点的平面都不紧致。
拿 (0,1) 走一遍定义。考虑这族开集 (1/2,1)、(1/3,1)、(1/4,1),一般写成 (1/n,1),n 取遍正整数。它确实覆盖了 (0,1):任给 x ∈ (0,1),只要 n 足够大,使得 1/n < x,x 就落进 (1/n,1)。但任取有限个,把最大的下标记作 N,它们的并只有 (1/N,1),点 1/(N+1) 落在外面。所以这一族没有有限子覆盖,(0,1) 不紧致。
from fractions import Fraction
for N in (1, 10, 100, 1000):
x = Fraction(1, N + 1)
covered = any(Fraction(1, n) < x for n in range(1, N + 1))
print("N=%4d x=1/%d=%.9f 被前 %d 个开集盖住: %s"
% (N, N + 1, float(x), N, covered))
在本机 Python 3.15 上跑,真实输出是:
N= 1 x=1/2=0.500000000 被前 1 个开集盖住: False
N= 10 x=1/11=0.090909091 被前 10 个开集盖住: False
N= 100 x=1/101=0.009900990 被前 100 个开集盖住: False
N=1000 x=1/1001=0.000999001 被前 1000 个开集盖住: False
这段代码把「有限」两个字变成了可检查的断言:无论 N 取多大,总有一个更靠近 0 的点逃出这 N 个开集。注意 N 是有限的,而 n 要取遍无穷多个,两者不能混。实际算的时候用 Fraction 而不是浮点,是为了避免 1/1001 这类值在比较时被舍入误差放过去。
为什么紧致集上的连续函数一定有最大值
结论是:紧致集上的连续函数一定有最大值和最小值。证明思路比结论更有用,因为它顺带解释了为什么数值优化只能逼近、不能保证取到。
第一步,证有界。假设 f 在紧致集 K 上无界,那么对每个正整数 n 都能找到 xn ∈ K,使 f(xn) > n。这串点全在 K 里,紧致性保证它有子列收敛到 K 内某点 p——极限点留在 K 内,用的正是「闭」这一条。f 在 p 处连续,于是对应的函数值子列应收敛到有限的 f(p),但它又大于不断增大的 n,矛盾。所以 f 有界,上确界 M = sup f 存在。
第二步,取逼近序列。由上确界的定义,对每个 n 都能挑出 xn,使 f(xn) > M − 1/n。这串点仍在 K 里,仍有收敛子列,把极限记作 q ∈ K。
第三步,把极限传过去。f 连续,所以 f(q) = lim f(xn) = M。M 不再只是上确界,它被一个具体的点取到了,这个点就是最大值点。三步里只用两件事:紧致性保证子列有极限且不逃出集合,连续性保证函数值跟着收敛。
两个条件缺一不可。集合不紧致,逼近序列的极限可能跑到集合外面,(0,1) 上的 f(x)=x 就是;函数不连续,即使集合紧致,上确界也可能取不到,比如在 [0,1] 上定义 f(x)=x(当 x<1),f(1)=0,上确界是 1 但没有任何点取到 1。
反例:开区间上取不到的最值
三个例子放在一起,区别很清楚。
f(x)=x 在 (0,1) 上:值域也是 (0,1),上确界 1 不属于值域,没有最大值。同一个函数搬到 [0,1] 上,最大值在 x=1 取到。f(x)=1/x 在 (0,1] 上:x 越靠近 0,函数值越大,没有任何上界,自然没有最大值;把它限制在 [1,2] 上,最大值是 1,在 x=1 取到。
for n in (10, 100, 1000, 10000):
open_max = max(i / (n + 1) for i in range(1, n + 1))
closed_max = max(i / n for i in range(0, n + 1))
print("n=%5d (0,1) 采样最大 %.6f [0,1] 采样最大 %.6f"
% (n, open_max, closed_max))
n= 10 (0,1) 采样最大 0.909091 [0,1] 采样最大 1.000000
n= 100 (0,1) 采样最大 0.990099 [0,1] 采样最大 1.000000
n= 1000 (0,1) 采样最大 0.999001 [0,1] 采样最大 1.000000
n=10000 (0,1) 采样最大 0.999900 [0,1] 采样最大 1.000000
采样结果说明一件事:网格越密,开区间上的最大值越接近 1,但永远差一点;闭区间上第一次采样就拿到了 1。这不是精度问题,是集合本身少了那个点。把 n 从 10 加到 10000,差值从 0.09 缩到 0.0001,趋势很清楚,极限取不到。
for k in (1, 5, 10, 15, 20):
x = 2.0 ** (-k)
print("x=2^-%2d=%.9f f(x)=%.1f" % (k, x, 1.0 / x))
x=2^- 1=0.500000000 f(x)=2.0
x=2^- 5=0.031250000 f(x)=32.0
x=2^-10=0.000976562 f(x)=1024.0
x=2^-15=0.000030518 f(x)=32768.0
x=2^-20=0.000000954 f(x)=1048576.0
1/x 的输出更直接:x 每减半,函数值翻倍,二十次之后已经到 1048576。(0,1] 这个区间不紧致(它不闭),所以连续函数可以在上面无界;[1,2] 既紧致又有界,最值定理生效。注意这里的不紧致不是因为「有端点」,[0,1] 也有端点,但它是闭的。
连通:不能用开集切成两块
连通的定义:一个集合连通,意思是它不能写成两个不相交的非空开集之并——这里的开集是相对于这个集合而言的。换句话说,找不到一刀把它干净地切成两块,切完两边都非空,而且切口不留下任何属于集合的点。
在 ℝ 上,连通集恰好就是区间:开区间、闭区间、半开半闭、单点、射线都算。理由是实数没有「缝隙」:如果一个集合中间缺了一个点,就能在缺口处把它分成左右两段,两段各自与某个开区间相交,于是得到一个合法的分割。这条结论对判断很有用:看到 ℝ 的子集,先问它是不是一个区间。
看 [0,1] ∪ [2,3]。取 U = (−0.5, 1.5),V = (1.5, 3.5),两者不相交,U 与集合的交是 [0,1],V 与集合的交是 [2,3],都非空,合起来正好是整个集合。这就是一个合法的分割,所以它不连通。
U = (-0.5, 1.5)
V = (1.5, 3.5)
S = [0.0, 0.25, 0.5, 0.75, 1.0, 2.0, 2.5, 3.0]
def inside(p, ab):
return ab[0] < p < ab[1]
print("U∩V 为空:", not (max(U[0], V[0]) < min(U[1], V[1])))
print("S 中点全在 U∪V 内:", all(inside(p, U) or inside(p, V) for p in S))
print("在 U 内的点:", [p for p in S if inside(p, U)])
print("在 V 内的点:", [p for p in S if inside(p, V)])
U∩V 为空: True
S 中点全在 U∪V 内: True
在 U 内的点: [0.0, 0.25, 0.5, 0.75, 1.0]
在 V 内的点: [2.0, 2.5, 3.0]
输出里 U 收下了 0 到 1,V 收下了 2 到 3,中间没有点同时属于两边。注意 1.5 这个点在 U 和 V 里都不在(开区间不含端点),它也不属于我们讨论的集合,不影响分割。切分用的两个集合必须相对整个空间是开的,这里 U 和 V 都是 ℝ 上的开区间,所以合法。
连通是整体性质,改一个点就可能翻转。ℝ 连通,挖掉 0 之后变成 (−∞,0) ∪ (0,∞),不连通。圆 S¹ 连通,挖掉一个点之后变成一条开弧,仍然连通;球面挖掉一个点也仍然连通。这些例子说明,连通与否没法靠「看起来有没有断」来判断,得看能不能真的用开集把它切成两块。
连通与路径连通不是一回事
路径连通是更强的要求:集合里任意两点之间,都存在一条连续的曲线,整条曲线都在集合内。写成参数形式是 γ 把 [0,1] 映到 S,γ(0)=a,γ(1)=b,γ 连续。这里「整条曲线都在集合内」是硬条件,允许曲线绕远,但不允许中途离开再回来。
路径连通一定连通。理由是 [0,1] 连通,连续映射把连通集映成连通集,所以这条曲线本身连通;曲线从 a 连到 b,说明 a 和 b 落在同一个连通分支里。任意两点都在同一分支,整个集合只能有一个分支,于是连通。
反过来不成立。标准反例叫拓扑正弦曲线(topologist's sine curve):取 S 为曲线 {(x, sin(1/x)) : 0 < x ≤ 1} 并上竖直线段 {(0,y) : −1 ≤ y ≤ 1}。曲线部分是一段连续区间的像,连通;它的闭包加上那段竖线仍然是连通的,所以 S 连通。但从竖线上的点出发,任何一条连续路径都没法在有限时间内跟上 x 趋近 0 时无限加快的振荡,因此它不路径连通。这里只给构造,不展开证明。
import math
for k in (1, 2, 4, 8, 16):
x = 1.0 / (math.pi / 2 + 2 * math.pi * k)
print("k=%2d x=%.9f sin(1/x)=%.6f" % (k, x, math.sin(1 / x)))
k= 1 x=0.127323954 sin(1/x)=1.000000
k= 2 x=0.070735530 sin(1/x)=1.000000
k= 4 x=0.037448222 sin(1/x)=1.000000
k= 8 x=0.019291508 sin(1/x)=1.000000
k=16 x=0.009794150 sin(1/x)=1.000000
输出显示 sin(1/x) 在 x 趋近 0 的过程中反复取到 1,取值点越来越密。一条连续路径想在有限范围内穿过这些振荡,必须拥有无限大的变化率,这与连续性矛盾。直观上,这段曲线「太长太抖」,接不到竖线上。
这两个概念在工程里经常被混用。说「这块区域是连着的」,通常只保证连通,不保证任意两点之间真有一条走得通的路径。地图导航、机器人路径规划、状态空间搜索,需要的都是路径连通,所以必须额外确认空间是局部路径连通的,也就是每个点附近都存在可以任意连线的小邻域。
这三条性质在工程里怎么用
最值定理是最直接的一条。优化问题的可行域如果是紧致集,目标函数连续,那么全局最优一定存在。这也是为什么很多算法要先加一个投影,或者用正则项把参数关进一个球里:把可行域变成闭且有界,存在性才有保障。至于能不能算出来,是另一回事。
一致连续值得多说一句。它的意思是,不管在集合的哪个位置,只要两点距离小于 δ,函数值就差不到 ε。工程上这意味着可以定一个全局统一的采样步长;反过来,(0,1) 上的 1/x 连续但不一致连续,越靠近 0 越需要更细的步长,固定步长一定会在某处出问题。
介值定理的前提是定义域连通。如果区间被分成两段,端点异号也不保证中间有根:在 [0,1] ∪ [2,3] 上取一个在左段为负、右段为正的函数,中间那段根本没有定义,根自然不存在。二分法写错,十有八九是漏了这个前提。
这三条合起来是一句话:紧致管「存在」,连通管「过渡」。数值计算里绝大多数「明明应该有解却算不出来」的问题,都能归到这两条前提之一被破坏。先检查前提,再怀疑算法,顺序往往是反的。
一张现象对照表
下面这些现象在优化、数值计算和业务代码里都出现过,原因各不相同,但都能回到紧致与连通的定义上。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 迭代一直靠近边界却停不下来 | 可行域是开区间,最优点不在域内,最小值根本没被取到 | 检查约束是否把边界排除在外,尝试闭区间或加投影 |
| 目标函数越来越小但参数爆掉 | 可行域不紧致,函数在上面无界,比如 1/x 型 | 打印靠近边界处的函数值,确认上确界是否有限 |
| 断言「连续函数一定有解」偶发失败 | 集合不紧致,或函数不连续,两个前提缺了一个 | 先看定义域是否闭且有界,再看函数在边界的行为 |
| 二分法不收敛或找不到根 | 端点函数值异号不成立,或定义域不是一个区间 | 验证两端符号,再确认定义域连通 |
| 路径规划算不出可行路线 | 空间连通但不路径连通,或中间有洞 | 检查连通分支与障碍,改用图搜索而不是连续优化 |
| 固定步长在大区间上不够用 | 函数连续但不一致连续,局部变化率没有上界 | 检查导数是否无界,改成自适应步长 |
| 采样点跑到可行域外 | 集合不闭,极限点不属于集合 | 检查闭包,把边界点补进约束 |
边界与代价
第一,紧致不是集合自己的属性,而是集合加上拓扑的属性。同一个底层点集,换一套开集的定义,紧致性可能完全改变。比如在 ℝ 上取有限补拓扑,任何子集都紧致,因为任何开集的补集只有有限个点,用有限个开集就能盖住。所以说「这个集合紧致」时,必须先说清在哪个拓扑下讨论,工程里默认是欧氏拓扑。
第二,海涅-博雷尔定理只在 ℝⁿ 里这么好用。到了无穷维空间,「有界且闭」不再等价于紧致:无穷维希尔伯特空间里的单位闭球有界且闭,但不紧致。这也是核方法、函数空间优化里很多结论要额外加条件的原因。
第三,连通不代表路径连通,路径连通也不代表局部路径连通。前一条已经给了反例,后一条的例子更多:有些空间任意两点都能连,但某点附近的小邻域是碎的,路径规划算法在那种地方会卡住。
第四,数值优化只能逼近,不能保证取到。浮点网格是有限的,采样最大值永远差一点,这不是算法不够好,而是离散化本身丢掉了那个极限点。要真的取到,得靠解析解,或者把最优性条件写成等式约束去解。
第五,判定紧致和连通本身可能很贵。一般拓扑空间里没有现成的判定算法,多数工程问题靠结构来保证:闭区间、紧致流形、有限复形这些自带良好性质的对象,用它们比事后验证便宜得多。
当天可以验证的练习
这几道题都能在本机用 Python 标准库跑出来,不需要装任何东西。
- 判断
(0,1]、[0,∞)、{1/n : n ≥ 1} ∪ {0}这三个集合是否紧致,各给一句理由。提示:半开区间可以用(1/n, 2)这族开集试着盖,第三个集合想想它的极限点 0 在不在里面。 - 换一族开集再验证一次
(0,1)不紧致:取(0, 1−1/n),n 从 2 开始,写出它的并,再说明任意有限个的并漏掉了哪个点。 - 用
n = 10, 100, 1000, 10000采样f(x)=x在(0,1)上的最大值,把结果和 1 的差打印出来,观察差值是否随 n 单调变小。 - 判断
{1/n : n ≥ 1} ∪ {0}是否连通,再判断[0,1] ∪ [2,3],并为后者写出两个不相交的开集。 - 比较连通与路径连通:说明 ℝ 挖掉 0 之后为什么不连通,而圆挖掉一个点之后为什么仍然连通;再解释拓扑正弦曲线卡在路径连通的哪一步。
小结:下一篇讲流形
这篇的主线压成三句。紧致的定义是任意开覆盖有有限子覆盖,在 ℝⁿ 里等价于有界且闭;它保证连续函数取到最值,也保证逼近序列的极限不逃出集合。连通说的是不能被两个不相交的非空开集切开,ℝ 上就是区间,但它比路径连通弱。紧致管边界和无穷远,连通管有没有被切分,这两把尺子合起来才能说清一块空间的整体形态。
下一篇讲流形。流形的定义要求每一点附近都和 ℝⁿ 的某个开集同胚,也就是说局部必须「像」ℝⁿ:开集、极限、连续性这些概念在局部都能照搬。而紧致与连通,正是判断这块空间整体长什么样最常用的两个性质。等你看球面为什么至少要两张坐标卡、为什么极点处经纬度会退化时,会发现用的还是这篇的两把尺子。