一个商品系统把 Elasticsearch 当成「主库」用:商品写入直接进 ES,列表页和详情页都从 ES 读。上线第一周就遇到三个问题。运营在后台把商品下架,前台还能搜到,过了几秒才消失;商品刚上架时,列表页搜不到,刷新几次才出现;有用户翻到很后面的页码,整个搜索接口的超时率飙升。开发一开始怀疑是集群太小,加了三个节点,问题只是变轻了一点,没有消失。

根因不是容量,是定位。Elasticsearch 是为「按条件快速找」设计的搜索引擎,不是为「可靠地存每一行、保证事务和即时可见」设计的主库。它能存数据,也能读数据,但它的存储模型、写入模型、查询模型都带着搜索场景的假设。把这些假设当成数据库语义来用,就会出现上面这些现象。

这篇先讲 ES 能做什么、不能做什么,再把三个最常被误解的点用可复现的数字拆开:写入多久可见、双写会漏多少、深分页为什么越翻越慢。ES 8.15.5 已在本机 9210 端口跑起来,索引、分词、refresh 和 _search 是实跑;可见性概率、双写缺口、排序耗时来自本机模型。

先认出现象:不是慢,是语义不对

ES 用错地方,表现出来往往像「性能问题」,实际是语义问题。下面这些现象在「拿 ES 当主库」的系统里几乎都会出现。

现象真实原因第一步查什么
写完立刻查,查不到ES 是近实时,写入先进缓冲,刷新后才可搜看索引的 refresh_interval 与最近一次刷新时间
下架后还能搜到一段时间删除也是近实时,旧文档在刷新前仍然可见确认删除请求是否成功、刷新间隔多长
数据库有、ES 没有双写失败没有补偿,或消息丢失抽样对账,比较两端总数与关键字段
翻到深页后接口超时深分页要在每个分片上排序大量文档再合并看请求的 from 值与分片数,确认是否超过默认上限
改了字段类型后写入报错映射不可随意变更,旧数据与新类型冲突看索引 mapping 与写入报错的具体字段
聚合查询把内存打满桶数量爆炸,字段数据加载过多看聚合的基数与节点堆内存使用
主分片不均,个别节点过热分片数设置不当,或路由键倾斜看每个分片的文档数与磁盘占用
更新一条记录却重建整篇文档ES 的更新本质是标记旧文档删除再写新文档看段合并频率与磁盘增长

它擅长什么,不擅长什么

ES 的核心是倒排索引:把文档里出现过的词记下来,并记录每个词出现在哪些文档里。查询时按词直接定位文档,不用逐行扫描。这让它很适合全文检索、多条件过滤、相关性排序、聚合统计。

适合 ES 的事

按关键词搜商品、日志检索、多条件筛选加排序、按标签聚合计数、模糊匹配与同义词、按相关性打分。数据可以从主库同步过来,允许秒级延迟。

不适合 ES 的事

唯一约束、跨表事务、精确的余额扣减、强一致的库存判断、需要立即读到刚写入的数据、复杂关联查询。这些是关系数据库的职责,ES 没有对应保证。

一句话:ES 是「索引」,不是「账本」。索引可以重建,账本不能丢。把 ES 当索引用,它很好用;把 ES 当账本用,它会在最需要正确的时候给你一个「大概对」的答案。

这个区别在故障时最明显。主库坏了,可以从备份和日志恢复到某个时间点;ES 坏了,最坏的情况是重建索引,从主库重新灌一遍。前者是「恢复真相」,后者是「重新做索引」。如果 ES 里存着主库没有的数据,那它就不是索引,而是一份没有备份的账本。

近实时:写入到可见有一段窗口

ES 写入文档时,先写进内存缓冲和事务日志,达到一定条件才生成一个新的段,段刷新后才能被搜索到。这个间隔由 refresh_interval 控制,默认一秒。也就是说,写完立刻查,大概率查不到。

本机模型按刷新窗口估算「写后一百毫秒来查」的可见概率:刷新间隔一秒时,约百分之十的请求能撞上刚刷新的段,百分之九十查不到;间隔二百毫秒时,约一半能查到;间隔五十毫秒时,基本都能查到。

写后 100ms 搜索的可见概率:
refresh=1s     约 10% 可见,90% 查不到
refresh=0.2s   约 50% 可见,50% 查不到
refresh=0.05s  约 100% 可见

把刷新间隔调小能提高可见性,但代价是段更多、合并更频繁、写入吞吐下降。调到五十毫秒,写入能力可能只剩原来的几分之一。所以「写完立刻能搜到」这件事,在 ES 里是用写入性能换来的,不是免费的。本机把这个窗口直接看到了:索引设成关闭刷新,批量写入四条后查不到,手动刷新一次才查到三条。

# 本机实测(ES 8.15.5,索引 products,refresh_interval=-1)
GET /products/_search {"query":{"match_all":{}}}
  -> hits.total.value: 0     took: 37ms
POST /products/_refresh
GET /products/_search {"query":{"match_all":{}}}
  -> hits.total.value: 3

正确做法是接受这段窗口,并在产品上处理:写入成功后给用户一个「正在同步」的提示,或者详情页从主库读、列表页从 ES 读。需要「读到自己刚写的数据」的场景,不要让 ES 承担。

还要分清刷新和持久化。刷新让数据可搜,不等于数据已经安全落盘;真正保证不丢的是事务日志和定期刷盘。调小刷新间隔只影响可见性,不改变持久化保证。反过来,刷新间隔再大,只要事务日志在,进程重启后数据仍能恢复。这两个概念混在一起,就会得出「调小刷新就能不丢数据」的错误结论。

双写:看起来同步,实际会漏

很多系统采用「写数据库的同时写 ES」。这个做法有两个问题:一是两次写入不在一个事务里,第二次失败时第一次已经提交;二是网络抖动、ES 限流、字段映射冲突都会让写入失败,而业务代码往往只记录日志,不重试。

按每秒五百次写入估算,失败率百分之零点二意味着每小时缺三千六百条;失败率降到百分之零点零五,每小时仍缺九百条。一天下来就是两万多条。这些缺口不会平均分布,往往是某个字段或某类文档集中失败。

写 500/s,ES 双写失败率 0.20%:每小时缺口 3600 条
写 500/s,ES 双写失败率 0.05%:每小时缺口 900 条

更可靠的做法是「异步同步」:业务只写主库,同时把变更事件发到队列,由消费者写 ES。这样主库写入不受 ES 影响,失败可以重试,积压可以监控。代价是延迟更长,且要维护一条同步链路。

无论哪种方式,都要有对账。按时间窗口抽样比较主库与 ES 的文档数和关键字段,发现差异后能定位到具体 ID 并补写。没有对账的双写,等于假设「永远不失败」,这个假设在分布式系统里不成立。

同步链路还要有延迟预算。用户下单后多久能在搜索结果里看到,是产品要回答的问题。如果链路里经过队列、转换、批量写入,端到端可能是几秒到几十秒。这个数字要写进需求,而不是等运营来问「为什么刚上的商品搜不到」。

重建索引的能力也要提前准备。映射改错、分析器换掉、数据被污染时,最稳的办法是新建一个索引、全量导入、切别名。如果平时没练过,真出事时不敢切,只能带着错误数据继续跑。

深分页:越翻越慢是结构性的

ES 的查询会发到每个分片,每个分片都要取出「从开头到 from 加 size」的候选文档,排序后再由协调节点合并。翻到第五十页时,每个分片都要排序五万条,分片越多,合并越贵。

本机模型只用来展示量级,不是 ES 的真实延迟:from 为 0 时排序二十条,耗时零点一毫秒;from 一千时排序一千零二十条,一点一毫秒;from 一万时八点三毫秒;from 五万时五十九毫秒。真实 ES 还要加上网络、磁盘和合并开销,差距只会更大。

from=0      每分片排序 20 条      本机 0.1ms
from=1000   每分片排序 1020 条    本机 1.1ms
from=10000  每分片排序 10020 条   本机 8.3ms
from=50000  每分片排序 40000 条   本机 59.0ms
(仅说明量级,非 ES 真实延迟)

解法不是调大超时,而是换翻页方式。第一种是限制可翻页深度,比如只允许前一百页,后面用筛选条件缩小范围。第二种是用 search_after,用上一页最后一条的排序值作为游标,每次只取下一页,不需要跳过前面的文档。第二种适合「无限滚动」,不适合「跳到指定页」。

产品上还要问:用户真的需要翻到第五十页吗?大多数搜索场景里,后面的结果质量很低,翻页不如改关键词或加筛选。把翻页深度当成产品问题解决,比在集群上加节点便宜。

聚合也有类似的坑。按一个高基数字段做聚合,比如按用户 ID 分组,桶的数量可能上百万,每个桶都要占内存。查询看起来只是一行语句,实际会把节点堆内存吃光。对高基数聚合,要么先缩小范围,要么在写入时预聚合,不要指望查询时现算。

什么时候不该上 ES

数据量小、查询简单、用数据库的索引就能在几十毫秒内返回时,ES 是多余的一层。它带来的同步链路、集群运维、映射管理,成本远高于收益。

需要强一致、事务、唯一约束、频繁更新的业务数据,不要放 ES。它的更新是「删旧写新」,频繁更新会产生大量段和磁盘垃圾,性能会持续下降。

团队没有能力做索引设计、容量规划和查询调优时,不要上。ES 的默认配置能跑,但不能撑;分片数、副本数、堆内存、刷新间隔,每个都需要按数据量和查询模式算。

只想「加个搜索框」时,先看看数据库的模糊查询能不能满足。数据量在百万级以内、查询条件固定,数据库往往够用。等数据量和查询复杂度真的上来了,再引入 ES。

ES 和主库的分工要写清楚:主库负责「是什么」,ES 负责「怎么找」。主库是写入的唯一入口,ES 的所有数据都来自主库的变更。只要这条规则不被打破,ES 就算坏了也能重建;一旦有人绕过主库直接写 ES,数据就出现了两个源头,后面所有对账都会变成扯皮。

不要把 ES 当成「另一个数据库」来做双活或主备。它的副本是分片级复制,不是事务级同步;它的写入不保证跨分片原子。拿它存订单、余额、库存判断依据,迟早会出对不上账的事故。

关键配置样例

下面配置在本机按单节点改写后实跑过:分片数用 1、副本数 0,其余字段与示例一致。重点在分片数、副本数、刷新间隔三个参数,它们直接决定容量与可见性。

# 创建索引:分片数按数据量定,副本数按可用性定(本机实测,单节点用 1 分片 0 副本)
curl -X PUT 'http://es:9200/products' -H 'Content-Type: application/json' -d '
{
  "settings": {
    "number_of_shards": 6,
    "number_of_replicas": 1,
    "refresh_interval": "1s"
  },
  "mappings": {
    "properties": {
      "title":   { "type": "text", "analyzer": "standard" },
      "brand":   { "type": "keyword" },
      "price":   { "type": "scaled_float", "scaling_factor": 100 },
      "updated": { "type": "date" }
    }
  }
}'

分片数不是越多越好。每个分片都有固定开销,分片太多会让集群管理变重、查询合并变慢。经验上,单分片数据量控制在几十 GB 以内,按这个反推分片数;副本至少一个,否则节点故障会丢分片。

需要精确金额时不要用浮点类型,用缩放整数或关键字,避免累计误差。需要排序和聚合的字段用 keyword,不要用 text,否则会按分词后的词项聚合,结果不是你要的。

批量导入时把 refresh_interval 设为负一(关闭刷新),导入完成再改回来,能显著提高写入速度。这个操作要在低峰期做,因为关闭刷新期间新数据搜不到。

怎么验证:命令与成功判据

下面命令在本机 9210 端口实跑,输出照录。

# 1. 看集群健康与分片状态
curl -s 'http://es:9200/_cluster/health?pretty'

# 2. 看索引的文档数、磁盘、分片分布
curl -s 'http://es:9200/_cat/indices?v'
curl -s 'http://es:9200/_cat/shards?v' | sort -k8 -r | head

# 3. 看写入是否成功、版本是否冲突
curl -s 'http://es:9200/products/_doc/1001'

# 4. 用游标翻页,避免深分页
curl -s 'http://es:9200/products/_search?pretty' -H 'Content-Type: application/json' -d '
{ "size": 20, "sort": [ { "updated": "desc" }, { "_id": "asc" } ],
  "search_after": ["2026-11-01T00:00:00Z", "1000"] }'

# 5. 看慢查询与拒绝次数
curl -s 'http://es:9200/_nodes/stats/indices/search?pretty'
# 本机实际输出(ES 8.15.5,单节点,端口 9210)
GET /
  name: docs-node-1   cluster_name: docs-es
  version: 8.15.5     lucene_version: 9.11.1

GET /_cluster/health
  status: green   number_of_nodes: 1

POST /products/_analyze  {"analyzer":"standard","text":"红米手机 8GB 256GB"}
  红 米 手 机    8gb    256gb
# 中文被逐字切成单字,数字和字母保持整体

GET /products/_search  {"query":{"match":{"title":"手机"}}}
  hits.total.value: 3    took: 36ms
# 命中的第三条是「机械键盘 87 键」——standard 切出「机」字,默认 OR 召回

GET /products/_search  {"query":{"term":{"brand":"Xiaomi"}}}
  hits.total.value: 2
GET /products/_search  {"query":{"range":{"price":{"gte":500}},"sort":{"price":"desc"}}}
  小米手机 13 (3999)、红米手机 Note 12 (1199)

GET /_cat/indices?v
  green products  docs.count 4  store.size 5.7kb
GET /products/_doc/3
  found: true   _source.title: 机械键盘 87 键

分词是最容易翻车的一环:standard 把「红米手机」逐字切开,match「手机」默认按 OR 合并,于是只含一个「机」字的机械键盘也被召回。中文搜索通常要换 IK 或至少配同义词,不能直接拿默认分析器上线。

成功判据:集群状态为绿色,或黄色但副本能自动恢复;分片的文档数和磁盘占用没有明显倾斜;写入返回成功且版本号递增;search_after 翻页耗时不随页数增长;拒绝次数与慢查询在流量平稳时不持续上升。

对账要单独做:按月抽样比对主库与 ES 的文档数、关键字段,差异超过阈值就告警。这个任务不依赖 ES 的健康检查,因为集群健康不代表数据完整。

边界与代价

ES 的运维成本不低:要规划分片、管理映射、监控堆内存与段合并、处理分片重平衡、升级版本。集群越大,这些事越需要专人。小团队用它做核心搜索,要先把这些流程写下来。

它占资源。倒排索引本身比原始数据大,加上副本,磁盘需求通常是原始数据的两到三倍;堆内存要给段和聚合留余量,不能和文件缓存抢。容量规划要按「数据增长加副本加合并峰值」算,不是按当前数据量算。

查询能力也有边界。跨索引的复杂关联、深度聚合、脚本排序都很贵。遇到这些需求,先想能不能在写入时预计算,而不是在查询时硬算。

最后,ES 不是「装上就准」。分析器、同义词、权重、排序规则都会影响结果。搜索质量是产品问题,需要持续调,不是一次性配置。

版本升级也要算成本。大版本之间的映射、查询语法、客户端兼容都可能有变化,升级前要在影子索引上验证。没有重建索引和切换别名的经验,升级会变成一次高风险操作。平时就该把「全量重建」练熟,而不是等出事时现学。

当天能自验的五个练习

一,用本机脚本模拟不同刷新间隔下的可见概率:写入后固定延迟查询,统计命中比例。成功判据:结果与本文的百分之十、五十、一百同一量级,并能解释为什么刷新越快写入越慢。

二,算一次双写缺口:给定写入速率和失败率,算出每天、每月缺多少条。成功判据:能说出「缺口集中在哪些字段」以及「对账窗口设多长才抓得到」。

三,用本机排序模型复现深分页的耗时增长:分别对两万、五万条候选排序,记录耗时。成功判据:能画出随 from 增长的曲线,并说明为什么分片数会放大这个开销。

四,给一个本地索引设计 mapping:哪些字段用 text、哪些用 keyword、金额用什么类型。成功判据:能解释每个选择的原因,而不是全部用默认。

五,写一份「ES 与主库对账」的伪代码:抽样、比较、定位差异、补写、告警。成功判据:流程能覆盖「漏写」「多写」「字段不一致」三种情况。

和下一篇的关系

搜索解决「按条件找」,网关解决「请求进门时先做什么」。下一篇讲网关:鉴权、限流、路由、灰度都堆上去会发生什么,为什么网关每多一个串联依赖,全站可用性就往下掉,以及哪些职责该留在网关、哪些该退回应用。

记住一句话:ES 可以是很好的索引,但不能是唯一的真相。真相要在能保证事务的地方。