有一次排查登录异常,服务端日志里所有请求的来源 IP 都是同一个地址,既不是用户的家庭宽带,也不是手机运营商,而是公司出口的一台设备。安全团队想按 IP 做风控,结果发现所有人看起来都是同一个人。问题不在日志,而在 NAT:出口设备把内网地址统一换成了自己的公网地址,源站只能看到它。
另一类现象相反:同一个接口,在家里的网络上打开只要两百毫秒,在公司却要一秒多。代码没变,服务器没变,变的只是中间经过的那些设备。有人会说“公司网络比较差”,这句话等于没说,因为“差”可能指带宽不够、也可能指链路绕远、还可能指中间设备做了限速或检查。
把包从网卡送到机房,靠的是两类完全不同的设备:交换机在同一个网段里按 MAC 地址转发,路由器在不同网段之间按 IP 选路。它们各看各的地址,各管各的范围。这篇就从你家的出口开始,一段一段往外走,看每一跳到底改了什么。
现象:源站看到的地址,早就不是你的地址
先接受一个事实:你在浏览器里发出去的那个包,到服务器时,源 IP 可能已经被改过很多次。家里是路由器做 NAT,公司是出口防火墙做 NAT,机房入口可能还有一层负载均衡做反向代理。每一层都可能改写地址,也可能在应用层加一个头把原始信息带过去,但后者只对懂这个头的应用有效。
这就是为什么“按 IP 限流”经常误伤:一个办公室几百人共享一个出口地址,一个人刷接口,整栋楼被限。反过来,按 IP 做白名单也可能被绕过,因为攻击者可以从共享出口里发起。真正可靠的身份要靠应用层的凭证,IP 只能作为粗粒度的参考。
“家里快公司慢”也是同一类问题。家里路径短,经过的设备少;公司路径长,可能要先到总部出口,再绕回本地机房。物理距离不是唯一因素,逻辑路径才是。一个包绕地球半圈,可能只因为路由策略把它指向了另一个区域。
交换机与路由器:看的是两种地址
交换机工作在链路层,它关心的是 MAC 地址。交换机内部有一张表,记录“哪个 MAC 在哪个端口后面”。收到一帧,看目的 MAC,查表,从对应端口转发出去。查不到就向所有端口广播,等对方回应后再把结果记进表里。它不拆 IP 头,也不管 IP 地址,所以转发很快,但作用范围只在一个广播域里。
路由器工作在网络层,它关心的是 IP 地址。收到一个包,剥掉链路层头,看目的 IP,查路由表,决定下一跳,再重新封一个链路层头发出去。它每处理一个包都要做一次最长前缀匹配,还要把 IP 头里的生存时间减一。转发比交换机慢,但能把不同的网段连起来。
两者的分界线就是“广播域”。交换机扩大的广播域,路由器隔断广播域。同一个网段里的机器互相通信,走交换机,不经过路由器;跨网段才需要路由器。这也是上一篇讲的“同网段直接 ARP、跨网段找网关”的物理对应。
还有一个常被忽略的设备:家用路由器其实是三合一,里面既有交换机功能,也有路由和 NAT,还带无线接入。说“重启路由器就好了”,有时候只是它的 NAT 会话表满了,或者无线模块卡了,跟路由协议没关系。
顺带说一个容易混的概念:冲突域和广播域不是一回事。交换机每个端口是独立的冲突域,所以同时发帧不会互相碰撞;但所有端口共享一个广播域,广播帧还是会送到每一台设备。路由器两个都隔断。这就是为什么“换成交换机就不会冲突”是对的,但“换成交换机就不会有广播”是错的。
走查:从家里的无线网卡到机房入口
第一跳的细节在上一篇已经说过:本机先算网络号,发现目标在别的网段,于是查 ARP 找网关的 MAC,把帧发给网关。这一跳的目的 MAC 是网关,目的 IP 是最终服务器。家用路由器收到后,剥掉帧头,看到 IP 头里的目的地址不是自己,就按 NAT 规则改写源地址和源端口,再重新封帧发给运营商。
第二跳的关键是那张映射表。路由器记下“内网地址加端口”对应“公网地址加端口”,回程包到了以后,按这张表反向改回去。表项有生存时间,长时间没流量就会被回收。表的大小有限,连接数一多就会建不上新连接,表现就是“网页打不开,但 ping 正常”。
第三第四跳属于运营商内部,用户看不到细节。这一段可能有多个自治域,域间靠边界网关协议交换可达信息。协议选择的是“策略上最优”而不是“物理上最近”,所以路径绕远是常态,不是故障。你看到的 traceroute 只反映了去程,回程可能是另一条完全不同的路。
第五跳的机房边界最常见的是负载均衡。它可能只做四层转发,保留源地址;也可能做七层代理,终结连接后用自己的地址回源,这时候源站看到的又是代理的地址。要不要保留真实客户端地址,取决于配置里有没有启用对应的头,以及后端是否信任它。
实测:本机的路由表、ARP 和前三跳
先看本机的路由表,只摘出几条关键的:
DestinationPrefix NextHop InterfaceAlias
0.0.0.0/0 192.168.1.1 WLAN
127.0.0.0/8 0.0.0.0 Loopback Pseudo-Interface 1
127.0.0.1/32 0.0.0.0 Loopback Pseudo-Interface 1
192.168.1.0/24 0.0.0.0 WLAN
192.168.1.3/32 0.0.0.0 WLAN
224.0.0.0/4 0.0.0.0 多个接口
默认路由 0.0.0.0/0 指向 192.168.1.1,这是出口;192.168.1.0/24 的下一跳写 0.0.0.0,表示直连,不需要转发;192.168.1.3/32 是本机地址,指向自己。同一个目标可能命中多条路由,规则是前缀越长越优先。用代码把这件事跑一遍:
import ipaddress as ip
table = [
("0.0.0.0/0", "192.168.1.1"),
("127.0.0.0/8", "0.0.0.0"),
("127.0.0.1/32", "0.0.0.0"),
("192.168.1.0/24", "0.0.0.0"),
("192.168.1.3/32", "0.0.0.0"),
("224.0.0.0/4", "0.0.0.0"),
("255.255.255.255/32", "0.0.0.0"),
]
def lookup(target):
hits = [(ip.ip_network(c), n) for c, n in table if ip.ip_address(target) in ip.ip_network(c)]
hits.sort(key=lambda x: x[0].prefixlen, reverse=True)
best = hits[0]
return best[0], best[1], len(hits)
for t in ["45.207.210.199", "192.168.1.5", "127.0.0.1", "224.0.0.251", "192.168.1.3"]:
net, nexthop, n = lookup(t)
print("目标 %-15s 命中 %d 条,最长前缀 %-18s 下一跳 %s" % (t, n, net, nexthop))
实际输出:
目标 45.207.210.199 命中 1 条,最长前缀 0.0.0.0/0 下一跳 192.168.1.1
目标 192.168.1.5 命中 2 条,最长前缀 192.168.1.0/24 下一跳 0.0.0.0
目标 127.0.0.1 命中 3 条,最长前缀 127.0.0.1/32 下一跳 0.0.0.0
目标 224.0.0.251 命中 2 条,最长前缀 224.0.0.0/4 下一跳 0.0.0.0
目标 192.168.1.3 命中 3 条,最长前缀 192.168.1.3/32 下一跳 0.0.0.0
第一行最典型:访问公网地址时,只有默认路由能匹配,所以一定交给网关。访问 127.0.0.1 时同时命中了 127.0.0.0/8 和更具体的 /32,最终选了 /32。这就是“最长前缀优先”,它保证了本机回环不会被一条宽泛的路由抢走。
ARP 缓存则能看到二层邻居:
192.168.1.1 c8-0c-53-3b-3a-e1 dynamic
192.168.1.2 d4-53-2a-67-bd-17 dynamic
192.168.1.5 24-82-ca-36-19-77 dynamic
192.168.1.12 64-70-84-62-b2-f9 dynamic
网关 192.168.1.1 就在这个广播域里,MAC 是 c8-0c-53-3b-3a-e1,状态是动态,说明它回应过 ARP。旁边几个地址是同一网段里的其他设备,形态和家庭网络或小型办公网络一致。看到这些条目,至少能确定二层是活的。
最后用三跳的追踪看出口。目标就是本站解析出的地址:
Tracing route to 45.207.210.199 over a maximum of 3 hops
1 2 ms 2 ms 2 ms 192.168.1.1 [192.168.1.1]
2 * * * Request timed out.
3 * * 6 ms 112.17.201.201
Trace complete.
第一跳 2 毫秒,就是家里的路由器,延迟低到几乎可以忽略。第二跳三个星号,是运营商设备不回应探测包,不代表链路断了,很多设备会主动丢弃或限速这类请求。第三跳 6 毫秒出现了一个公网地址,说明已经出了接入网,进入运营商网络。这个结果也说明:traceroute 看到的是“愿意回应探测”的设备,不回应的地方会显示成星号,不能据此断定链路有问题。
NAT:一头改地址,一头记映射
NAT 的核心是一张表和一次改写。出方向,把内网源地址换成公网地址,必要时连源端口一起换,然后把“原来的内网地址端口”和“现在的公网地址端口”记进表里。回方向,收到包后按目的端口查表,把地址改回内网,再转发进去。整个过程对两端透明,应用不需要知道。
为什么要换端口?因为一个公网地址要服务很多内网设备,只靠 IP 无法区分是谁的连接,端口就成了区分标识。这也是端口耗尽问题的来源:一台设备可用的端口数量有限,连接数太多、回收太慢,就会建不上新连接。表现是“能 ping 通、能打开一个网页,但新连接全部失败”。
NAT 破坏了端到端。外面无法主动连进来,除非事先做了端口映射;一些点对点应用需要靠打洞或者中继服务器;协议里如果把自己的地址写在载荷里,穿过 NAT 就会失效。这些都是为了让 IPv4 地址够用而付出的代价,IPv6 的设计初衷之一就是把它们去掉。
家庭网络和运营商级 NAT 还会叠在一起,形成两层甚至多层转换。层数越多,映射表越多,超时和端口耗尽的可能性越大。打游戏时看到的“中等 NAT 类型”,说的就是这种层层转换带来的连通性限制。不同 NAT 实现对超时和端口分配的策略不一样,具体行为未在本机实测。
很多家用路由器还默认开启了自动端口映射,设备上的应用可以请求路由器给自己开一个口子。方便是方便,代价是内网设备对公网暴露,而这个开洞过程通常没有用户确认。企业网络一般禁用这类机制,需要对外提供服务时走明确的映射规则,并配合访问控制。
路径为什么常常不对称
很多人以为“去”和“回”走同一条路,实际上互联网的路由是单向决策的。你去程经过的设备,只能决定“往哪送”;回程由对端的路由策略决定,可能完全不同。所以你在 traceroute 里看到的路径,只是去程,不代表回程的延迟和丢包。
这种不对称在跨运营商访问时最明显。数据从 A 运营商出去,可能要经过第三个运营商才能到达目标,回程又走另一条互联链路。互联带宽、互联策略、甚至商业结算都会影响实际质量。同样的服务,换个运营商就变快或变慢,原因往往在这一层。
还有 Anycast 和 CDN 的影响。同一个域名在不同地区解析到不同的机房,你访问的“服务器”其实是你附近的一台缓存节点。看起来是“同一个地址”,实际路径和延迟完全不同。这也是为什么用单个地点的测速结果去推断全国体验,往往会得出错误结论。
现象对照表
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 服务端日志里所有请求都是同一个 IP | 出口做了 NAT 或反向代理,源地址被改写 | 看代理是否传了真实客户端地址的头,后端是否信任 |
| ping 通,但新连接建不上 | NAT 会话表或端口耗尽,连接被丢弃 | 看出口设备的会话数和端口占用 |
| 同一服务家里快、公司慢 | 路径长度和设备策略不同,可能经过额外检查 | 分别在两处做追踪,比较跳数和耗时 |
| traceroute 中间全是星号 | 设备不回应探测包,链路本身可能是通的 | 看后续跳是否继续,结合端到端延迟判断 |
| 换个运营商就正常 | 跨网互联质量或路由策略差异 | 对比两条路径的运营商和互联点 |
| 内网访问内网却绕到公网 | 缺少内网路由或域名解析到了公网地址 | 查解析结果和本机路由表,确认是否命中直连路由 |
| 大包不通,小包正常 | 路径中某段 MTU 更小,且没有正确回 ICMP | 逐段试探 MTU,或临时调小 MSS |
| 延迟忽高忽低,重传变多 | 链路拥塞或无线质量差,触发排队和丢包 | 看延迟分布和重传统计,而不只看平均值 |
边界与代价
交换机的代价是广播域。同一个网段里的广播会送到所有端口,机器一多,广播流量会挤占带宽,广播风暴甚至能让整段网络瘫痪。所以大型网络要划 VLAN,把广播域切开,再用路由器把它们连起来。VLAN 是逻辑上的隔断,不是物理上的。
二层的另一个代价是环路。交换机之间如果形成环,广播帧会一直循环,几秒钟就能打满。生成树协议的作用就是自动剪掉多余的链路,代价是部分链路平时不承载流量,浪费了带宽;改成更现代的方案可以做到多路径,但配置复杂度上升。
路由器的代价是表的大小和查表速度。公网路由条目数量巨大,每次转发都要做最长前缀匹配,硬件和算法都在为此优化。策略路由又会引入更多规则,规则顺序写错,流量就会走到意料之外的地方。这类问题通常不报错,只是“有点慢”或者“偶尔不通”。
最后是可控性。你只能控制自己这一侧的设备和策略,中间那一段属于运营商,既看不到也管不了。所以优化网络时,先量清楚瓶颈在哪一段:如果是最后一公里,升级带宽有用;如果是跨网互联,换机房或加 CDN 更实际;如果是服务端处理慢,再怎么调网络都没用。
当天能自己验证的练习
- 用
Get-NetRoute或route print打出本机路由表,找出默认路由、直连路由和回环路由,再用上面的脚本对三个目标各算一次最长前缀。 - 用
arp -a记录网关的 MAC,然后用ping网关后再看一次,确认条目是动态还是静态。 - 对本站地址做一次三跳追踪,记录第一跳和第一个公网地址的延迟,隔一小时再做一次,比较路径是否变化。
- 用自己的手机热点替换当前网络,重复第一和第三步,对比默认网关、DNS 和路径的差异。
- 在路由器管理界面查看 NAT 会话数或已连接设备数,对比自己机器上的连接数,理解地址被共享的程度。多层运营商 NAT 的实际行为未在本机实测。
小结与下一篇
交换机按 MAC 在广播域内转发,路由器按 IP 跨网段选路,两者分工明确。一个包出门要经过本机掩码判断、ARP 找下一跳、NAT 改写地址和端口,再经运营商逐跳转发到机房。路由表用最长前缀匹配,traceroute 只能看到愿意回应的设备、且只反映去程。NAT 让地址够用,也让源站看不到真实客户端,还带来了端口耗尽和端到端失效的代价。
下一篇讲抓包看到的东西为什么对不上:一次请求的完整走查。路径讲完了,接下来要面对一个更具体的问题:同样一次请求,抓包工具里看到的包数、字节数、时序,往往和你的直觉对不上。到底哪一层在骗你?