一个采集脚本在本地跑得好好的,部署到一台新机器后,每隔几天就卡住不动。日志停在「开始请求」,没有异常,进程还在,CPU 几乎为零。运维看了半天网络,最后发现脚本里根本没写超时。
with urllib.request.urlopen(url) as r:
data = json.loads(r.read())
不传 timeout 时,urlopen 会一直等。对端不响应、链路中间设备悄悄丢包、DNS 卡住,任何一种情况都能让这个调用无限期挂起。更麻烦的是,我在 Windows 上实测连接一个已经关闭的本地端口,返回的不是「连接被拒绝」,而是超时:
URLError <urlopen error timed out>
也就是说,光看报错分不清「服务没开」和「网络不通」。网络编程的第一课不是怎么发请求,而是「任何一次等待都必须有上限」。这篇从 HTTP 请求讲到 socket 收发,把超时、编码、异常和半包这些真实边界讲清楚。
一次 HTTP 请求经过哪些步骤
HTTP 是应用层协议,底层跑在 TCP 上。一次最简单的请求包含四步:解析域名得到 IP、建立 TCP 连接、发送请求行和请求头、读取响应状态行和响应体。每一步都可能失败,失败的表现和原因各不相同。
HTTP 本身是无状态的:每个请求独立,服务器不记得你上一次是谁。所谓「登录状态」是靠 Cookie 或 Token 在每次请求里带上,不是协议自己维护的。理解这一点,后面看接口鉴权、重试、缓存都不会迷糊。
请求头里常打交道的几个:User-Agent 标识客户端,Content-Type 说明请求体格式,Accept 说明希望收到什么,Authorization 放凭证。urllib 默认的 User-Agent 是 Python-urllib/3.15,我实测服务端收到的就是这串。有些站点会直接拒绝默认 UA,这时需要自己设置一个正常的标识,但不要伪装成浏览器做违规采集。
域名解析是第一步,也是经常被忽略的一步。DNS 查询失败会抛 URLError,里面的 reason 可能写 Name or service not known,也可能只是一句超时。解析成功但拿到错误 IP、或者本机 hosts 文件覆盖了解析结果,都会让后面连到意料之外的地址。排查「代码没改但突然连不上」时,先 ping 或 nslookup 确认解析,再怀疑代码。
urllib:标准库里的 HTTP 客户端
urllib.request.urlopen 返回的响应对象可以当上下文管理器用,离开 with 自动关闭连接。它的常用属性有 status、reason、headers、geturl(),读取响应体用 read()。响应体是字节,要按 Content-Type 里的字符集解码,或者直接交给 json.loads。
with urllib.request.urlopen(f"http://127.0.0.1:{port}/hello?a=1") as r:
print(r.status, r.reason)
print(r.headers.get("Content-Type"))
print(json.loads(r.read()))
200 OK
application/json; charset=utf-8
{'path': '/hello?a=1', 'ua': 'Python-urllib/3.15'}
发 POST 要构造 Request 对象,把数据放进 data 参数。数据要先编码:表单用 urllib.parse.urlencode 再 encode(),JSON 用 json.dumps(...).encode("utf-8"),并在头里写对应的 Content-Type。不写头,服务端可能按表单解析,拿到一堆看不懂的字节。
data = urllib.parse.urlencode({"name": "张三", "age": 18}).encode()
req = urllib.request.Request(
url, data=data,
headers={"Content-Type": "application/x-www-form-urlencoded"},
method="POST",
)
with urllib.request.urlopen(req, timeout=3) as r:
print(r.status, json.loads(r.read()))
实测服务端收到的表单原文是 name=%E5%BC%A0%E4%B8%89&age=18,中文被百分号编码了。这是表单格式的规定,不是乱码;服务端按同样规则解码就能还原。JSON 请求体则不需要 URL 编码,但要注意 ensure_ascii 和字符集声明。
URL 参数不要用字符串拼接。url + "?q=" + keyword 在关键词含空格、&、中文时会直接拼坏,甚至改变参数结构。用 urllib.parse.urlencode 或 quote,让库负责转义。这个习惯同时也是安全习惯:拼接用户输入到 URL、SQL、命令里,都是同一类问题的不同变体。
状态码、异常与重试
HTTP 状态码分五类:1xx 信息、2xx 成功、3xx 重定向、4xx 客户端错误、5xx 服务端错误。urllib 对 4xx 和 5xx 会抛 HTTPError,它是 URLError 的子类,同时也是一个响应对象,可以读 code、headers 和响应体。连接失败、DNS 失败、超时则抛 URLError,没有 code。
所以捕获顺序要先具体后宽泛:
try:
with urllib.request.urlopen(req, timeout=5) as r:
body = r.read()
except urllib.error.HTTPError as e:
print("服务端返回错误", e.code, e.reason)
except urllib.error.URLError as e:
print("连接层失败", e.reason)
except TimeoutError as e:
print("超时", e)
注意超时的抛出位置。连接超时和读取超时在底层都可能表现为 TimeoutError 或包在 URLError 里,具体取决于阶段和实现。不要只捕获 URLError 就以为覆盖了所有情况,实际项目里两种都要处理,并且把「哪个 URL、哪一步、等了多久」记进日志。
状态码要按语义用,不要所有成功都返回 200。创建资源用 201,删除成功且无内容用 204,客户端参数错用 400,未认证用 401,无权限用 403,资源不存在用 404,冲突用 409,限流用 429,服务端异常用 500。客户端按状态码决定「重试、提示、跳转」,比解析响应体里的自定义错误码更可靠。响应体里可以再带业务错误码,但不能替代 HTTP 状态码。
重试不是无脑循环。只重试「可能自己恢复」的错误:连接超时、5xx、429;不要重试 400、401、403、404,那些重试一百次结果也一样。重试要有上限、有退避(每次间隔递增)、有总时长限制,还要考虑请求是否幂等。GET 重复执行通常安全,POST 可能重复下单,后者需要业务层提供幂等键。
timeout,包括内网调用。内网也会因为连接池耗尽、GC 停顿、配置错误而长时间不响应,别把「内网很快」当成保证。socket:HTTP 下面的那一层
socket 是操作系统提供的网络接口,TCP 连接在程序里就是一个 socket 对象。服务端 bind 地址、listen 等待、accept 接受连接;客户端 connect 发起连接。连接建立后,双方用 send/sendall 发字节、用 recv 收字节。
srv = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
srv.bind(("127.0.0.1", 0))
srv.listen(1)
port = srv.getsockname()[1]
conn, addr = srv.accept()
data = conn.recv(1024)
conn.sendall(data.upper())
conn.close()
客户端连上去发 "hello",收到的是 b'HELLO'。这里有两个必须理解的细节:第一,recv(1024) 只保证「最多读 1024 字节」,不保证读满;第二,send 也不保证一次发完,数据可能被拆成多个包。sendall 会循环发送直到发完,但接收端仍然要自己处理「读到多少算多少」。
所谓「粘包」不是 TCP 把两条消息粘在一起,而是 TCP 是字节流,没有消息边界。发送方连续写两次,接收方可能一次读到两段,也可能分三次读到一段。解决办法是在应用层定义边界:按固定长度、按分隔符、或者先发长度再发内容。HTTP 用 Content-Length 和分块传输解决这个问题,自定义协议也要自己解决。
超时在 socket 上分两种:连接超时和读写超时。socket.create_connection(addr, timeout=2) 设置的是连接和后续操作的默认超时;conn.settimeout(1) 单独设置这个连接。超时触发时抛 TimeoutError,在旧代码里常写成 socket.timeout,现在两者是同一个异常。捕获之后要关闭连接,不要留在半开状态。
关闭也有讲究。直接 close 可能让对端还没读完的数据丢失;需要「我发完了,但还想读对端剩余数据」时用 shutdown(SHUT_WR) 半关闭。大多数业务代码用 HTTP 库,不需要手写这些;但排查「为什么连接一直不释放」时,知道 close 和 shutdown 的区别很有用。
listen(n) 的参数叫 backlog,表示「已完成握手但还没被 accept 的连接最多排多少个」。排队满了之后,新连接会被拒绝或丢弃,表现就是客户端超时。高并发服务要把 accept 循环和业务处理分开,别在接受连接之后做耗时操作,否则队列很快堆满。这一层的原理在I/O 模型里有更完整的说明。
用 urllib 发 HTTP
协议细节由库处理:请求头、状态码、分块、重定向、连接关闭。适合调接口、抓数据,代码短,错误类型清楚,代价是灵活性有限,长连接和自定义协议要另找方案。
用 socket 直接通信
完全控制字节的收发和连接生命周期,适合自定义协议、内网服务、需要精细超时的场景。代价是所有边界都要自己处理:粘包、半包、超时、重连、编码。
编码、证书与连接复用
HTTP 响应体是字节,文本要按 charset 解码。头里没写字符集时,urllib 不会替你猜,需要按接口约定处理。JSON 按 RFC 规定默认 UTF-8,但现实里仍有服务端返回 GBK 的 JSON,json.loads 收到字节会按 UTF-8 解,解不了就报错。稳妥做法是先看 Content-Type,必要时手动 decode("gbk") 再 json.loads。
HTTPS 的证书校验默认开启,这是好事,不要为了「让请求跑通」去关掉校验。关掉之后,中间人可以伪造任何站点,你拿到的数据和凭证都不再可信。企业内网有自签证书时,正确做法是把 CA 证书加进信任链,而不是全局关闭验证。证书过期、域名不匹配的报错都很明确,按提示处理。
urllib 每次 urlopen 默认新建连接,频繁请求同一域名时,TCP 握手和 TLS 握手会占很大比例。标准库没有内置连接池,高并发场景一般换用第三方 HTTP 客户端,或者自己维护连接。无论用哪种,都要限制并发数和总连接数,否则会把对端或本机的文件句柄耗尽。
响应压缩也值得注意。服务端返回 gzip 或 deflate 时,头里会有 Content-Encoding,客户端要先解压再解码。标准库不会自动解压,直接 read() 拿到的是压缩后的字节,交给 json.loads 会报错。要么显式在请求头里声明 Accept-Encoding: identity,要么用 gzip.decompress 处理。看到响应体「长度不对、内容看不懂」,先检查这个头。
代理是另一个常见需求。urllib 会读环境变量里的代理设置,也可以显式构造 ProxyHandler。排查「本机能通、服务器不通」时,先确认代理环境变量、DNS 配置和防火墙规则,再看代码。网络问题的一半不在代码里。
长连接和空闲超时也常被忽略。HTTP/1.1 默认保持连接,服务端和中间设备通常会在一段时间后主动关闭空闲连接。客户端如果复用了一个已经被对端关掉的连接,第一次请求可能报「连接被重置」,重试一次就好了。这类偶发错误不是代码逻辑问题,是连接生命周期管理问题;稳定的客户端会识别并重建连接,而不是把偶发错误直接抛给用户。
下载大文件时不要一次 read()。响应对象支持按块读取,配合 shutil.copyfileobj 可以边读边写,内存占用稳定。还要注意服务端可能不返回 Content-Length,此时无法预先知道总大小,进度只能按已读字节展示;如果连接中途断开,已写入的部分是不完整的,应该先写临时文件,校验大小或哈希后再改名。
URL 里还有几个容易忽略的部分:片段(# 后面的内容)不会发给服务端,只给浏览器用;查询串里重复的参数名要按服务端的约定处理,不能假设一定是列表;路径里的中文和空格要编码,编码后再拼接。把这些规则交给标准库的解析函数,比手写字符串截取安全,也更容易在日志里还原出可读的地址。
现象对照
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 脚本卡住不动,CPU 接近零 | 请求没有设置超时,一直等对端 | 给 urlopen 和 socket 都加 timeout |
报 URLError: timed out,分不清服务是否存在 | 中间网络丢包或被防火墙静默丢弃 | 先用 telnet 或 socket 连端口,确认连接层是否可达 |
| 4xx/5xx 被当成连接失败 | HTTPError 是 URLError 的子类 | 先捕获 HTTPError,读 e.code 和响应体 |
中文请求参数变成 %E5%BC%A0 | 表单数据做了 URL 编码,属正常行为 | 确认服务端按同样规则解码,不要重复编码 |
| 响应体解码报错 | Content-Type 的字符集与实际不符 | 打印响应头和前几个字节,确认真实编码 |
| 只收到一半数据 | TCP 是字节流,recv 不保证读满 | 按长度或分隔符循环读,直到满足协议边界 |
| 两条消息被合成一条 | 应用层没有定义消息边界 | 加长度字段或分隔符,不要假设一次 recv 对应一条消息 |
| 并发一高就报文件句柄耗尽 | 连接没有关闭或没有复用 | 用 with 关闭响应,限制并发和连接数 |
边界与代价
网络是分布式系统里最不可靠的一段。本机调用函数,成功或失败在微秒级就有结论;跨网络调用,失败可能表现为超时、重置、半开连接、成功但响应丢失。代码必须假设「任何一次调用都可能没有结果」,并据此设计超时、重试、幂等和日志。
标准库的 urllib 够用但不全能。它没有连接池,API 偏底层,异步支持要搭配 asyncio 的其他模块。项目里常见的做法是用更顺手的第三方客户端,但底层概念是一样的:超时、状态码、头、编码、连接生命周期。先把这些弄懂,换库只是换写法。
手写 socket 的代价是边界多。你要自己处理半包、粘包、超时、重连、心跳、背压,任何一项漏掉都可能在高负载下暴露。除非在做协议实现或极简内网服务,否则优先用成熟协议和成熟库。理解底层是为了排查,不是为了重复造轮子。
安全边界也不能忽略。HTTP 明文传输,内容在链路上可被读取和篡改;HTTPS 解决传输加密和身份校验,但不解决「对方是不是坏人」。凭证不要写进 URL(会进日志和浏览器历史),请求体里的敏感字段要脱敏后再记录,重定向要确认目标可信。
Cookie 和重定向是两个容易出意外的点。urllib 默认不保存 Cookie,需要构造 HTTPCookieProcessor 加 build_opener;默认会自动跟随 301/302,跟随之后的最终地址用 geturl() 查看。跨域重定向时,Authorization 头可能被带到新域名,这是真实的安全风险。涉及凭证的请求,要么关闭自动重定向,要么在每一跳确认目标域名。
最后是资源边界。每个连接都占文件句柄和内存,DNS 查询也有缓存和超时。并发数不是越大越好,超过对端承受能力只会让超时和重试互相放大。给系统一个明确的上限,比事后调参有效。
小结
HTTP 请求是「解析、连接、发送、读取」四步,每一步都可能失败;urllib 用 urlopen 发请求,HTTPError 表示服务端返回了错误状态,URLError 表示连接层失败;超时必须显式设置;socket 是字节流,recv 不保证读满,消息边界要自己定义;响应体是字节,编码按头或约定处理;HTTPS 证书校验不要关闭。
写网络代码时,先问三个问题:等多久算失败?失败后要不要重试?重复执行会不会造成副作用?把这三个答案写进代码,比记住 API 更重要。
当天可以自己验证的练习:
- 用
http.server在本机起一个服务,用urllib发 GET 和 POST,打印状态码、响应头和响应体。 - 给
urlopen加timeout=1,连接一个不响应的地址,记录抛出的异常类型和耗时。 - 用 socket 写一个 echo 服务,客户端发 10KB 数据,故意只
recv(1024)一次,观察收到多少。 - 把同一段中文分别用表单编码和 JSON 发送,对比服务端收到的原始字节。
- 写一个带三次重试和退避的请求函数,用本地服务模拟前两次返回 500,确认第三次成功。
下一篇讲多进程:multiprocessing、进程池与 fork 的坑。网络请求等的是「别的机器」,多进程等的是「自己的 CPU」。当单个进程算不过来时,怎么把任务分出去、进程之间怎么传数据、为什么 Windows 上的行为跟 Linux 不一样,下一篇展开。