先看半包。TCP 提供的是「按顺序、可靠到达的字节流」,不提供「一条消息一次到达」。发送端调用一次 send(),接收端可能分两次 recv() 才收完;也可能两次发送被合并成一次接收。所谓粘包、半包,都是应用层没有定义消息边界导致的。传输层没错,错在代码假设「一次读等于一条消息」。
再看阻塞。默认创建的 socket 是阻塞的,accept() 没有新连接就停在那里,recv() 没有数据也停在那里。单线程程序里,一个慢客户端就能让所有其他连接排队。要同时服务多个连接,要么给每个连接开线程,要么把 socket 设成非阻塞并用 select/poll/epoll 等待「哪些连接就绪」。
最后看边缘触发。epoll 的水平触发像「只要还有数据就一直提醒你」,边缘触发只在「状态从无到有」时提醒一次。如果收到通知后没有把数据读干净,下一次不会再有通知,连接就卡死了。这个坑在压测时很容易漏,因为本地数据少,一次就读完了。
-lws2_32),输出为实测。POSIX 的 select/epoll 代码在本机不可编译,相关行为按 Linux 文档描述,未在本机实测,会单独标注。Windows 与 Linux 的 socket API 名称不同,语义大体相通。socket 的基本顺序
TCP 服务端要做四件事:创建套接字、绑定地址、开始监听、接受连接。客户端做两件事:创建套接字、连接服务端。连接建立之后,双方都用发送和接收来交换数据,最后关闭。
几个参数需要理解,而不是照抄。AF_INET 是 IPv4,AF_INET6 是 IPv6;SOCK_STREAM 表示 TCP,SOCK_DGRAM 表示 UDP。服务端绑定 INADDR_ANY 表示监听所有网卡,绑定 127.0.0.1 表示只接受本机连接。端口小于 1024 通常需要特权,测试时用高位端口。
SO_REUSEADDR 几乎是服务端必设的。进程重启时,旧连接可能还在 TIME_WAIT 状态,端口暂时不能重新绑定;打开这个选项可以复用地址。它不会让两个进程同时监听同一个端口,别把它当成「多进程共享端口」的开关,那是 SO_REUSEPORT 的事。监听队列大小由 listen() 的 backlog 参数控制,太小会在高并发时丢连接。
地址不要只写死 IPv4 字符串。getaddrinfo() 能把域名解析成一组地址,同时支持 IPv4 和 IPv6,调用方按顺序尝试即可。返回的链表用完要 freeaddrinfo(),别只取第一个就丢了。想把服务端同时跑在 IPv4 和 IPv6 上,通常监听 AF_INET6 并关闭 IPV6_V6ONLY,或者干脆分别监听两个套接字,行为更可控。
端口选择也有边界。客户端一般让系统分配临时端口,服务端监听固定端口。测试时不要占用系统保留端口,也不要写死一个可能被其他程序占用的端口;更好的做法是绑定 0 让系统分配,再通过 getsockname() 查出来,测试代码就不容易互相冲突。
阻塞、非阻塞与返回值
阻塞 socket 上的 recv() 没数据就睡,send() 缓冲区满也睡。非阻塞 socket 上,没数据时 recv() 立刻返回 -1,errno 是 EAGAIN 或 EWOULDBLOCK(在多数系统上两者同值);send() 缓冲区满也返回 -1,同样用这个错误码表示「现在不行,等会儿再试」。把 EAGAIN 当成致命错误,程序就会在正常背压下退出。
返回 0 的含义
对 recv() 来说,返回 0 表示对端有序关闭了连接,不是「暂时没数据」。这时应当结束读循环并清理连接。
返回 -1 的含义
要结合 errno。EAGAIN 是稍后再试,EINTR 是被信号打断可以重试,其他值通常意味着连接已经坏了。
send() 的返回值是「实际写进去的字节数」,可能小于请求长度。发一条 200 字节的消息,只写进去 120 字节是正常的,剩余部分要循环补发。很多示例代码只调用一次 send() 就认为发完了,小数据本地测试看不出来,跨公网或大包时必现。
非阻塞的设置方式:POSIX 用 fcntl(fd, F_SETFL, flags | O_NONBLOCK),Windows 用 ioctlsocket(s, FIONBIO, &mode)。设置之后,所有读写都可能「现在不行」,代码必须能处理这种部分完成的状态。非阻塞不是「更快」,它只是把等待从函数内部挪到你自己控制的地方。
小包延迟还和 Nagle 算法有关。它会把小数据攒起来再发,减少网络上的小包数量,代价是延迟增加。交互式协议通常打开 TCP_NODELAY 关闭 Nagle,批量传输则可以保留默认行为。这个选项和「分包」是两件不同的事:Nagle 影响什么时候发,分包影响接收方怎么理解边界。
并发模型也要选。每连接一个线程写起来最直观,但连接数一多,线程栈和上下文切换就是成本;单线程加非阻塞适合 IO 密集、连接多但每个请求很轻的场景;折中方案是少量 IO 线程加工作线程池,IO 线程只负责收发,耗时处理丢给池。没有一种模型适合所有场景,先看连接数、消息大小和处理耗时,再决定。
半包:用长度前缀定义边界
要让接收方知道一条消息到哪里结束,应用层必须约定边界。前面 PHP 那篇讲过三种方案,这里给出 C++ 的长度前缀实现。发送方先写 4 字节的长度,再写正文;接收方先读满 4 字节,再按长度读满正文。任何一步没读够,就继续等,而不是把半截数据交给解析器。
#include <cstdint>
#include <cstring>
#include <string>
#include <vector>
// 返回 false 表示连接关闭或出错,true 表示读满
bool readExact(int fd, void* buf, std::size_t n) {
char* p = static_cast<char*>(buf);
std::size_t got = 0;
while (got < n) {
int r = recv(fd, p + got, static_cast<int>(n - got), 0);
if (r == 0) return false; // 对端关闭
if (r < 0) return false; // 出错或超时
got += static_cast<std::size_t>(r);
}
return true;
}
bool readMessage(int fd, std::string& out) {
std::uint32_t len = 0;
if (!readExact(fd, &len, sizeof(len))) return false;
len = ntohl(len); // 统一字节序
if (len > 16 * 1024 * 1024) return false; // 防异常长度
std::vector<char> buf(len);
if (!readExact(fd, buf.data(), len)) return false;
out.assign(buf.data(), len);
return true;
}
「跑什么、看到什么算通过」:本机用 Winsock 起一个服务端,收到连接后先发 "hel",隔 100 毫秒再发 "lo",客户端每次 recv() 后把长度和内容打印出来。实测输出是两行:recv #1 n=3 data=hel 和 recv #2 n=2 data=lo,总计 5 字节。即使在 loopback 上,只要发送之间有间隔,接收端也会分成两次。这个实验说明:「一次发送对应一次接收」不成立。
长度字段还要处理字节序。网络传输通常约定大端,发送前用 htonl(),接收后用 ntohl()。长度上限必须校验,否则对方发一个超大值,接收端会尝试分配巨量内存。长度、校验和、消息类型这些头部字段,最好一次设计清楚,协议一旦上线就很难改。
文本协议常用分隔符而不是长度前缀,比如每行一条 JSON、以换行结束。它可读性好,调试方便,但必须处理「分隔符出现在内容里」的情况,通常靠转义或选择内容中不会出现的字节。接收端要按行缓冲,不能假设一次 recv() 正好是一行;缓冲上限也要设,否则对端一直不发换行就能把内存撑爆。
二进制协议还要考虑校验。TCP 自带校验和,但只能发现传输错误,发现不了应用层写错字段。关键消息可以加 CRC 或哈希,代价是计算和带宽;普通内网通信往往省略,跨公网或落盘归档时更值得加。协议里预留一个版本字段,升级时不至于让旧客户端直接解析错位。
等待多个连接:select、poll、epoll
阻塞 socket 一次只能等一个描述符,非阻塞 socket 又要自己轮询。IO 多路复用解决的就是「同时等很多个,谁就绪处理谁」。三种机制能力递增,复杂度也递增。
| 机制 | 能等什么 | 规模与代价 |
|---|---|---|
select | 读、写、异常三类集合 | 描述符数量受 FD_SETSIZE 限制,每次调用都要重置集合并整体扫描 |
poll | 每个描述符一个事件掩码 | 没有固定上限,但仍然是线性扫描 |
epoll | 可注册读、写、边缘或水平触发 | Linux 专有,事件驱动,活跃连接少时效率高 |
select 的经典写法是每轮重新填充 fd_set,因为调用后集合会被改写,只留下就绪的描述符。它还有「描述符编号必须小于 FD_SETSIZE」的限制,Linux 默认 1024,Windows 的 Winsock 默认 64。连接数一多,就必须换 poll 或 epoll。
Windows 上可用的多路复用比 Linux 少。Winsock 的 select 只支持套接字,不支持任意文件描述符,默认 FD_SETSIZE 只有 64,可以在包含头文件前定义更大的值。更高并发通常用 IOCP(完成端口),它是另一套完成通知模型,不是「epoll 的 Windows 版」,学习和迁移成本都不低。跨平台库会在底层分别对接 epoll、kqueue、IOCP,自己写跨平台网络层要有心理准备。
epoll 的流程是:创建 epoll 实例,把关心的描述符注册进去,然后等事件。它有两种触发模式。水平触发(默认)只要缓冲区还有数据就一直通知,写起来简单;边缘触发只在状态变化时通知一次,必须一次读到 EAGAIN 为止,否则剩下的数据不会再触发事件。新手用边缘触发最常见的错误,就是读了一次就回去等。
// Linux/POSIX 片段,本机未编译
int ep = epoll_create1(0);
epoll_event ev{};
ev.events = EPOLLIN; // 水平触发,先别急着加 EPOLLET
ev.data.fd = listen_fd;
epoll_ctl(ep, EPOLL_CTL_ADD, listen_fd, &ev);
epoll_event events[64];
int n = epoll_wait(ep, events, 64, 1000); // 超时 1 秒
for (int i = 0; i < n; ++i) {
if (events[i].data.fd == listen_fd) {
int c = accept(listen_fd, nullptr, nullptr);
// 把 c 注册进 epoll
} else {
// 读事件:水平触发下可以分多次读,边缘触发下要读到 EAGAIN
}
}
「跑什么、看到什么算通过」:这段代码需要在 Linux 上编译。本地验证可以用两个客户端同时连接,观察服务端是否在两个连接之间交替处理;再把某个客户端改成只发一半数据、故意不关连接,水平触发下服务端仍会收到后续数据,边缘触发下如果没有读干净就会卡住。
epoll 还有几个必须处理的细节。EPOLLERR 和 EPOLLHUP 不需要注册也会被报告,连接出错或对端挂断时会收到,代码不能只判断 EPOLLIN。关闭连接前先从 epoll 删除,否则描述符被复用后,旧事件可能落到新连接上。多个线程同时处理同一个描述符容易乱序,用 EPOLLONESHOT 可以让一个事件只被一个线程取走,处理完再重新注册。
accept 也要循环。监听描述符可读,不代表只有一个新连接;高并发下可能有多个连接同时排队,只 accept 一次就回去等事件,会让队列越积越长。循环 accept() 直到返回 EAGAIN,再把新连接设成非阻塞注册进 epoll,这一步和「边沿触发读空」是同一个道理。
超时与重试
阻塞 socket 可以设接收和发送超时。POSIX 用 setsockopt() 加 SO_RCVTIMEO/SO_SNDTIMEO,Windows 上同样是这两个选项,但结构体类型不同。超时后 recv() 返回 -1,错误码在不同平台可能是 EAGAIN、EWOULDBLOCK 或 WSAETIMEDOUT,不能只判断一个值。
连接超时更麻烦。阻塞的 connect() 可能等很久,标准做法是把 socket 设成非阻塞,调用 connect() 得到 EINPROGRESS,然后用 select 等可写,超时后放弃。可写之后还要用 getsockopt(SO_ERROR) 查真正的连接结果,因为「可写」不代表连接成功。
重试只对幂等操作安全。建立连接失败可以重试,发送请求之前失败也可以重试;请求已经发出去、只是响应没回来,就不能盲目重发。和 HTTP 一样,业务层需要幂等键或去重机制,传输层能做的只是把「确定没发出去」的情况识别出来。
空闲连接需要心跳。中间设备会清理长时间没有流量的连接,客户端以为还连着,下一次写入才发现已经断了。SO_KEEPALIVE 是系统级探测,默认间隔通常很长,不能替代应用层心跳;对延迟敏感的服务,自己定时发一个小包并等待回应,超时就重连。心跳包也要走同一套分包协议,别在字节流里插一段没有边界的特殊内容。
关闭连接要分清「半关闭」和「完全关闭」。shutdown(SHUT_WR) 只关闭写方向,对端读到 EOF 后仍可以把剩余数据发回来;直接 close() 则两个方向都结束,未读数据可能被丢弃。请求响应式协议常用半关闭表示「我说完了」,然后继续读响应。还要注意 SO_LINGER,设置不当会让 close() 阻塞或发出 RST,影响对端还没读完的数据。
现象、真实原因、第一步查什么
| 你看到的现象 | 真实原因 | 第一步查什么 |
|---|---|---|
一次 recv() 只收到半条消息 | TCP 是字节流,应用层没有定义消息边界 | 发送端和接收端的协议是否按长度或分隔符分包 |
| 服务端只能处理一个客户端 | 单线程阻塞在 accept() 或 recv() 上 | 是否用了非阻塞加多路复用,或每连接一个线程 |
| 边缘触发模式下连接突然没反应 | 没有一次读到 EAGAIN,剩余数据不再触发事件 | 读循环是否持续到返回 EAGAIN |
send() 返回的字节数小于请求长度 | 发送缓冲区满,发生了部分写 | 是否循环补发剩余字节 |
程序在 EAGAIN 时退出 | 把「暂时不可用」当成致命错误 | 错误码分支是否区分 EAGAIN、EINTR |
| 重启服务时报端口被占用 | 旧连接处于 TIME_WAIT,没有设地址复用 | 是否设置了 SO_REUSEADDR |
| 连接超时时间不受控制 | 用的是阻塞 connect(),没有非阻塞加 select | 连接阶段是否设了超时,超时后是否 close() |
大量连接时 select 报错或变慢 | 描述符超过 FD_SETSIZE,或线性扫描成本过高 | 连接规模;是否该换 poll 或 epoll |
边界与代价
- 非阻塞不是免费的。它把等待变成状态机,代码复杂度上升;每个「现在不行」的分支都要正确处理,漏一个就是偶发 bug。
- epoll 只解决「等」,不解决「处理」。事件回调里做阻塞操作,整个循环还是会被拖住;CPU 密集任务要丢给线程池或别的进程。
- 边缘触发性能好,但要求更严。必须读空、必须处理写就绪、必须考虑事件合并,写错一个细节就表现为「连接假死」。
- 协议设计一旦上线就很难改。长度字段宽度、字节序、心跳频率、错误码,都要在第一个客户端之前定好。
- 跨平台 API 差异明显。Winsock 需要
WSAStartup、用closesocket,POSIX 用close;错误码来源也不同,封装一层是值得的。 - 本地测试容易高估代码。loopback 延迟低、不丢包、不分片,很多边界在本地根本碰不到;至少用延迟注入或跨机器跑一次,才能看到真实的超时与重连行为。
- 连接数不等于并发能力。文件描述符上限、本地端口范围、每连接的内存都要一起算,单机撑几千连接和撑几万连接是两套完全不同的参数。
当天能自己验证的练习
- 写一个服务端,先发 3 字节、隔 100 毫秒再发 2 字节;客户端打印每次
recv()的长度,确认半包真实存在。 - 把客户端改成一次
recv()就解析,再改成readExact(),对比两种写法在延迟发送下的成功率。 - 用
select同时监听两个客户端,观察服务端是否交替处理;再把其中一个改成只发不关,观察阻塞行为。 - 在 Linux 上把 epoll 设为边缘触发,故意只读一次就返回,复现「连接假死」,再改成读到
EAGAIN。 - 用非阻塞
connect()加select实现 2 秒连接超时,连接一个不存在的地址,记录耗时和SO_ERROR。
小结
三句话:TCP 是字节流,消息边界必须由应用层定义,长度前缀是最通用的方案;阻塞和非阻塞的差别在「谁来等」,非阻塞要把 EAGAIN 当成正常状态;多连接用 select/poll/epoll 等待,边缘触发必须读空。
网络让程序能同时等很多事,但代码仍然是顺序执行的。下一篇换一个角度:不靠多路复用,而是用 future、promise 和 C++20 协程把「等待结果」写成看起来顺序的代码,同时讲清它们各自的代价。