一个商品系统把 Elasticsearch 当成「主库」用:商品写入直接进 ES,列表页和详情页都从 ES 读。上线第一周就遇到三个问题。运营在后台把商品下架,前台还能搜到,过了几秒才消失;商品刚上架时,列表页搜不到,刷新几次才出现;有用户翻到很后面的页码,整个搜索接口的超时率飙升。开发一开始怀疑是集群太小,加了三个节点,问题只是变轻了一点,没有消失。
根因不是容量,是定位。Elasticsearch 是为「按条件快速找」设计的搜索引擎,不是为「可靠地存每一行、保证事务和即时可见」设计的主库。它能存数据,也能读数据,但它的存储模型、写入模型、查询模型都带着搜索场景的假设。把这些假设当成数据库语义来用,就会出现上面这些现象。
这篇先讲 ES 能做什么、不能做什么,再把三个最常被误解的点用可复现的数字拆开:写入多久可见、双写会漏多少、深分页为什么越翻越慢。ES 8.15.5 已在本机 9210 端口跑起来,索引、分词、refresh 和 _search 是实跑;可见性概率、双写缺口、排序耗时来自本机模型。
先认出现象:不是慢,是语义不对
ES 用错地方,表现出来往往像「性能问题」,实际是语义问题。下面这些现象在「拿 ES 当主库」的系统里几乎都会出现。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 写完立刻查,查不到 | ES 是近实时,写入先进缓冲,刷新后才可搜 | 看索引的 refresh_interval 与最近一次刷新时间 |
| 下架后还能搜到一段时间 | 删除也是近实时,旧文档在刷新前仍然可见 | 确认删除请求是否成功、刷新间隔多长 |
| 数据库有、ES 没有 | 双写失败没有补偿,或消息丢失 | 抽样对账,比较两端总数与关键字段 |
| 翻到深页后接口超时 | 深分页要在每个分片上排序大量文档再合并 | 看请求的 from 值与分片数,确认是否超过默认上限 |
| 改了字段类型后写入报错 | 映射不可随意变更,旧数据与新类型冲突 | 看索引 mapping 与写入报错的具体字段 |
| 聚合查询把内存打满 | 桶数量爆炸,字段数据加载过多 | 看聚合的基数与节点堆内存使用 |
| 主分片不均,个别节点过热 | 分片数设置不当,或路由键倾斜 | 看每个分片的文档数与磁盘占用 |
| 更新一条记录却重建整篇文档 | ES 的更新本质是标记旧文档删除再写新文档 | 看段合并频率与磁盘增长 |
它擅长什么,不擅长什么
ES 的核心是倒排索引:把文档里出现过的词记下来,并记录每个词出现在哪些文档里。查询时按词直接定位文档,不用逐行扫描。这让它很适合全文检索、多条件过滤、相关性排序、聚合统计。
适合 ES 的事
按关键词搜商品、日志检索、多条件筛选加排序、按标签聚合计数、模糊匹配与同义词、按相关性打分。数据可以从主库同步过来,允许秒级延迟。
不适合 ES 的事
唯一约束、跨表事务、精确的余额扣减、强一致的库存判断、需要立即读到刚写入的数据、复杂关联查询。这些是关系数据库的职责,ES 没有对应保证。
一句话:ES 是「索引」,不是「账本」。索引可以重建,账本不能丢。把 ES 当索引用,它很好用;把 ES 当账本用,它会在最需要正确的时候给你一个「大概对」的答案。
这个区别在故障时最明显。主库坏了,可以从备份和日志恢复到某个时间点;ES 坏了,最坏的情况是重建索引,从主库重新灌一遍。前者是「恢复真相」,后者是「重新做索引」。如果 ES 里存着主库没有的数据,那它就不是索引,而是一份没有备份的账本。
近实时:写入到可见有一段窗口
ES 写入文档时,先写进内存缓冲和事务日志,达到一定条件才生成一个新的段,段刷新后才能被搜索到。这个间隔由 refresh_interval 控制,默认一秒。也就是说,写完立刻查,大概率查不到。
本机模型按刷新窗口估算「写后一百毫秒来查」的可见概率:刷新间隔一秒时,约百分之十的请求能撞上刚刷新的段,百分之九十查不到;间隔二百毫秒时,约一半能查到;间隔五十毫秒时,基本都能查到。
写后 100ms 搜索的可见概率:
refresh=1s 约 10% 可见,90% 查不到
refresh=0.2s 约 50% 可见,50% 查不到
refresh=0.05s 约 100% 可见
把刷新间隔调小能提高可见性,但代价是段更多、合并更频繁、写入吞吐下降。调到五十毫秒,写入能力可能只剩原来的几分之一。所以「写完立刻能搜到」这件事,在 ES 里是用写入性能换来的,不是免费的。本机把这个窗口直接看到了:索引设成关闭刷新,批量写入四条后查不到,手动刷新一次才查到三条。
# 本机实测(ES 8.15.5,索引 products,refresh_interval=-1)
GET /products/_search {"query":{"match_all":{}}}
-> hits.total.value: 0 took: 37ms
POST /products/_refresh
GET /products/_search {"query":{"match_all":{}}}
-> hits.total.value: 3
正确做法是接受这段窗口,并在产品上处理:写入成功后给用户一个「正在同步」的提示,或者详情页从主库读、列表页从 ES 读。需要「读到自己刚写的数据」的场景,不要让 ES 承担。
还要分清刷新和持久化。刷新让数据可搜,不等于数据已经安全落盘;真正保证不丢的是事务日志和定期刷盘。调小刷新间隔只影响可见性,不改变持久化保证。反过来,刷新间隔再大,只要事务日志在,进程重启后数据仍能恢复。这两个概念混在一起,就会得出「调小刷新就能不丢数据」的错误结论。
双写:看起来同步,实际会漏
很多系统采用「写数据库的同时写 ES」。这个做法有两个问题:一是两次写入不在一个事务里,第二次失败时第一次已经提交;二是网络抖动、ES 限流、字段映射冲突都会让写入失败,而业务代码往往只记录日志,不重试。
按每秒五百次写入估算,失败率百分之零点二意味着每小时缺三千六百条;失败率降到百分之零点零五,每小时仍缺九百条。一天下来就是两万多条。这些缺口不会平均分布,往往是某个字段或某类文档集中失败。
写 500/s,ES 双写失败率 0.20%:每小时缺口 3600 条
写 500/s,ES 双写失败率 0.05%:每小时缺口 900 条
更可靠的做法是「异步同步」:业务只写主库,同时把变更事件发到队列,由消费者写 ES。这样主库写入不受 ES 影响,失败可以重试,积压可以监控。代价是延迟更长,且要维护一条同步链路。
无论哪种方式,都要有对账。按时间窗口抽样比较主库与 ES 的文档数和关键字段,发现差异后能定位到具体 ID 并补写。没有对账的双写,等于假设「永远不失败」,这个假设在分布式系统里不成立。
同步链路还要有延迟预算。用户下单后多久能在搜索结果里看到,是产品要回答的问题。如果链路里经过队列、转换、批量写入,端到端可能是几秒到几十秒。这个数字要写进需求,而不是等运营来问「为什么刚上的商品搜不到」。
重建索引的能力也要提前准备。映射改错、分析器换掉、数据被污染时,最稳的办法是新建一个索引、全量导入、切别名。如果平时没练过,真出事时不敢切,只能带着错误数据继续跑。
深分页:越翻越慢是结构性的
ES 的查询会发到每个分片,每个分片都要取出「从开头到 from 加 size」的候选文档,排序后再由协调节点合并。翻到第五十页时,每个分片都要排序五万条,分片越多,合并越贵。
本机模型只用来展示量级,不是 ES 的真实延迟:from 为 0 时排序二十条,耗时零点一毫秒;from 一千时排序一千零二十条,一点一毫秒;from 一万时八点三毫秒;from 五万时五十九毫秒。真实 ES 还要加上网络、磁盘和合并开销,差距只会更大。
from=0 每分片排序 20 条 本机 0.1ms
from=1000 每分片排序 1020 条 本机 1.1ms
from=10000 每分片排序 10020 条 本机 8.3ms
from=50000 每分片排序 40000 条 本机 59.0ms
(仅说明量级,非 ES 真实延迟)
解法不是调大超时,而是换翻页方式。第一种是限制可翻页深度,比如只允许前一百页,后面用筛选条件缩小范围。第二种是用 search_after,用上一页最后一条的排序值作为游标,每次只取下一页,不需要跳过前面的文档。第二种适合「无限滚动」,不适合「跳到指定页」。
产品上还要问:用户真的需要翻到第五十页吗?大多数搜索场景里,后面的结果质量很低,翻页不如改关键词或加筛选。把翻页深度当成产品问题解决,比在集群上加节点便宜。
聚合也有类似的坑。按一个高基数字段做聚合,比如按用户 ID 分组,桶的数量可能上百万,每个桶都要占内存。查询看起来只是一行语句,实际会把节点堆内存吃光。对高基数聚合,要么先缩小范围,要么在写入时预聚合,不要指望查询时现算。
什么时候不该上 ES
数据量小、查询简单、用数据库的索引就能在几十毫秒内返回时,ES 是多余的一层。它带来的同步链路、集群运维、映射管理,成本远高于收益。
需要强一致、事务、唯一约束、频繁更新的业务数据,不要放 ES。它的更新是「删旧写新」,频繁更新会产生大量段和磁盘垃圾,性能会持续下降。
团队没有能力做索引设计、容量规划和查询调优时,不要上。ES 的默认配置能跑,但不能撑;分片数、副本数、堆内存、刷新间隔,每个都需要按数据量和查询模式算。
只想「加个搜索框」时,先看看数据库的模糊查询能不能满足。数据量在百万级以内、查询条件固定,数据库往往够用。等数据量和查询复杂度真的上来了,再引入 ES。
ES 和主库的分工要写清楚:主库负责「是什么」,ES 负责「怎么找」。主库是写入的唯一入口,ES 的所有数据都来自主库的变更。只要这条规则不被打破,ES 就算坏了也能重建;一旦有人绕过主库直接写 ES,数据就出现了两个源头,后面所有对账都会变成扯皮。
关键配置样例
下面配置在本机按单节点改写后实跑过:分片数用 1、副本数 0,其余字段与示例一致。重点在分片数、副本数、刷新间隔三个参数,它们直接决定容量与可见性。
# 创建索引:分片数按数据量定,副本数按可用性定(本机实测,单节点用 1 分片 0 副本)
curl -X PUT 'http://es:9200/products' -H 'Content-Type: application/json' -d '
{
"settings": {
"number_of_shards": 6,
"number_of_replicas": 1,
"refresh_interval": "1s"
},
"mappings": {
"properties": {
"title": { "type": "text", "analyzer": "standard" },
"brand": { "type": "keyword" },
"price": { "type": "scaled_float", "scaling_factor": 100 },
"updated": { "type": "date" }
}
}
}'
分片数不是越多越好。每个分片都有固定开销,分片太多会让集群管理变重、查询合并变慢。经验上,单分片数据量控制在几十 GB 以内,按这个反推分片数;副本至少一个,否则节点故障会丢分片。
需要精确金额时不要用浮点类型,用缩放整数或关键字,避免累计误差。需要排序和聚合的字段用 keyword,不要用 text,否则会按分词后的词项聚合,结果不是你要的。
批量导入时把 refresh_interval 设为负一(关闭刷新),导入完成再改回来,能显著提高写入速度。这个操作要在低峰期做,因为关闭刷新期间新数据搜不到。
怎么验证:命令与成功判据
下面命令在本机 9210 端口实跑,输出照录。
# 1. 看集群健康与分片状态
curl -s 'http://es:9200/_cluster/health?pretty'
# 2. 看索引的文档数、磁盘、分片分布
curl -s 'http://es:9200/_cat/indices?v'
curl -s 'http://es:9200/_cat/shards?v' | sort -k8 -r | head
# 3. 看写入是否成功、版本是否冲突
curl -s 'http://es:9200/products/_doc/1001'
# 4. 用游标翻页,避免深分页
curl -s 'http://es:9200/products/_search?pretty' -H 'Content-Type: application/json' -d '
{ "size": 20, "sort": [ { "updated": "desc" }, { "_id": "asc" } ],
"search_after": ["2026-11-01T00:00:00Z", "1000"] }'
# 5. 看慢查询与拒绝次数
curl -s 'http://es:9200/_nodes/stats/indices/search?pretty'
# 本机实际输出(ES 8.15.5,单节点,端口 9210)
GET /
name: docs-node-1 cluster_name: docs-es
version: 8.15.5 lucene_version: 9.11.1
GET /_cluster/health
status: green number_of_nodes: 1
POST /products/_analyze {"analyzer":"standard","text":"红米手机 8GB 256GB"}
红 米 手 机 8gb 256gb
# 中文被逐字切成单字,数字和字母保持整体
GET /products/_search {"query":{"match":{"title":"手机"}}}
hits.total.value: 3 took: 36ms
# 命中的第三条是「机械键盘 87 键」——standard 切出「机」字,默认 OR 召回
GET /products/_search {"query":{"term":{"brand":"Xiaomi"}}}
hits.total.value: 2
GET /products/_search {"query":{"range":{"price":{"gte":500}},"sort":{"price":"desc"}}}
小米手机 13 (3999)、红米手机 Note 12 (1199)
GET /_cat/indices?v
green products docs.count 4 store.size 5.7kb
GET /products/_doc/3
found: true _source.title: 机械键盘 87 键
分词是最容易翻车的一环:standard 把「红米手机」逐字切开,match「手机」默认按 OR 合并,于是只含一个「机」字的机械键盘也被召回。中文搜索通常要换 IK 或至少配同义词,不能直接拿默认分析器上线。
成功判据:集群状态为绿色,或黄色但副本能自动恢复;分片的文档数和磁盘占用没有明显倾斜;写入返回成功且版本号递增;search_after 翻页耗时不随页数增长;拒绝次数与慢查询在流量平稳时不持续上升。
对账要单独做:按月抽样比对主库与 ES 的文档数、关键字段,差异超过阈值就告警。这个任务不依赖 ES 的健康检查,因为集群健康不代表数据完整。
边界与代价
ES 的运维成本不低:要规划分片、管理映射、监控堆内存与段合并、处理分片重平衡、升级版本。集群越大,这些事越需要专人。小团队用它做核心搜索,要先把这些流程写下来。
它占资源。倒排索引本身比原始数据大,加上副本,磁盘需求通常是原始数据的两到三倍;堆内存要给段和聚合留余量,不能和文件缓存抢。容量规划要按「数据增长加副本加合并峰值」算,不是按当前数据量算。
查询能力也有边界。跨索引的复杂关联、深度聚合、脚本排序都很贵。遇到这些需求,先想能不能在写入时预计算,而不是在查询时硬算。
最后,ES 不是「装上就准」。分析器、同义词、权重、排序规则都会影响结果。搜索质量是产品问题,需要持续调,不是一次性配置。
版本升级也要算成本。大版本之间的映射、查询语法、客户端兼容都可能有变化,升级前要在影子索引上验证。没有重建索引和切换别名的经验,升级会变成一次高风险操作。平时就该把「全量重建」练熟,而不是等出事时现学。
当天能自验的五个练习
一,用本机脚本模拟不同刷新间隔下的可见概率:写入后固定延迟查询,统计命中比例。成功判据:结果与本文的百分之十、五十、一百同一量级,并能解释为什么刷新越快写入越慢。
二,算一次双写缺口:给定写入速率和失败率,算出每天、每月缺多少条。成功判据:能说出「缺口集中在哪些字段」以及「对账窗口设多长才抓得到」。
三,用本机排序模型复现深分页的耗时增长:分别对两万、五万条候选排序,记录耗时。成功判据:能画出随 from 增长的曲线,并说明为什么分片数会放大这个开销。
四,给一个本地索引设计 mapping:哪些字段用 text、哪些用 keyword、金额用什么类型。成功判据:能解释每个选择的原因,而不是全部用默认。
五,写一份「ES 与主库对账」的伪代码:抽样、比较、定位差异、补写、告警。成功判据:流程能覆盖「漏写」「多写」「字段不一致」三种情况。
和下一篇的关系
搜索解决「按条件找」,网关解决「请求进门时先做什么」。下一篇讲网关:鉴权、限流、路由、灰度都堆上去会发生什么,为什么网关每多一个串联依赖,全站可用性就往下掉,以及哪些职责该留在网关、哪些该退回应用。
记住一句话:ES 可以是很好的索引,但不能是唯一的真相。真相要在能保证事务的地方。