一个电商后台的搜索框,最初是这么实现的:

SELECT id, title, price FROM products
WHERE title LIKE '%手机%' OR brand LIKE '%手机%'
ORDER BY sales DESC LIMIT 20;

商品两千万行的时候,这条 SQL 要跑 8 秒。加索引没用,因为 LIKE '%手机%' 前面带通配符,B+ 树只能从头到尾扫一遍,扫完还要对两千万行做排序。DBA 建议改成全文索引,团队里有人反对:「MySQL 不是有 FULLTEXT 吗,够用了吧。」

更要命的是搜索结果本身。搜「手机」,标题是「手机壳」的商品全出来了,第一页二十条里十二条是壳和膜;搜「苹果」,标题写「iPhone 15」的商品一条都不返回;搜「无线 耳机」两个词,返回的是所有含「无线」或者含「耳机」的商品。运营每周提一次「搜索不准」,研发每次都在改 SQL。

这不是 SQL 写法的问题,是索引结构的问题。B+ 树能回答「这个值在哪一行」,回答不了「哪些行的文本里出现过这个词」。要回答后者,得把索引的方向反过来——以词为键,以文档为值。这就是倒排索引。这篇讲它怎么工作、相关性怎么算、中文为什么难、以及把它接进一个真实系统要付多少代价。

声明:本机没有安装 Elasticsearch,也没有可用的 mongosh,文中的索引定义、查询 DSL 和返回结果都是按 Elasticsearch 8.x 的行为写的预期结果,未在本机实测。配置项名称可以直接抄,具体数值会随版本和机器变化。

正排索引回答「这条记录有什么」,倒排索引回答「谁含有这个词」

先把两个方向说清楚。数据库里的常规索引是正排的:给定主键或者某个字段值,找到整行。倒排索引把关系翻了过来:给定一个词(term),拿到一串文档编号。

正排:文档到词

一行记录存着标题、品牌、描述。要判断它有没有包含「手机」,必须把这段文本读出来,逐字符找。两千万行乘上平均 40 个字符,就是八亿次字符比较,再加上排序和回表。这就是 LIKE '%词%' 的真实成本,和索引建得多好无关。

倒排:词到文档

建立索引时,先把所有文档的文本切成词,再为每个词记录「哪些文档包含它、出现几次、出现在哪个位置」。查询「手机」时,直接取出「手机」这个词对应的文档列表,求交集、算分数、取前二十条。不需要读任何一条原文。

这不是常数级的优化,是量级的:正排的开销随「总文档数 × 文本长度」增长,倒排只随「命中的文档数」增长。前者两千万,后者可能只有三百,搜索能在几十毫秒返回全靠这个方向。

代价也是对称的:倒排索引比正排大得多。一份文本存一遍,索引里还要按词再存一遍文档编号、词频、位置。索引体积往往接近甚至超过原文本,加上副本,磁盘开销通常是原数据的 1.5 到 3 倍,选型时就得算进去。

一条倒排索引是怎么建出来的

过程分四步,每一步都有坑,后面几节的故障基本都能对应到某一步。

从文本到可查询的索引
切词并归一化
写入词典与倒排表
合并段并压缩
查询时求交并打分
第一步:分词与归一化把「iPhone 15 Pro 手机」切成 iphone、15、pro、手机,同时做小写化、去停用词、词干还原。中文没有空格,切词规则直接决定搜索质量,这一节后面单独讲。
第二步:建词典和倒排表每个词对应一条 posting list:文档 id 升序排列,附带词频;要支持短语查询时还要存每个词在文档中的位置。文档 id 用差值编码(存相邻 id 的差而不是 id 本身),几十亿文档也能压到很小。
第三步:压缩词典与合并段词典用 FST(有限状态转换器)存成前缀共享的有向图,phone、iphone 共享后半段,几百万词条的词典可以压到几十 MB。新写入先落成小段(segment),后台定期合并成大段,合并时顺便删掉标记为删除的文档。
第四步:查询时求交多个词取交集时,posting list 按文档 id 有序,用跳表(skip list)可以跳过整段不可能命中的 id;数据量小的场景也可能用位图做与运算。求完交集再按相关性打分排序,最后按字段取原文。

「文档 id 升序」很关键:求交集就是一次归并,两个有序列表走一遍,相同 id 留下。两个词各命中一万条,复杂度是两万次比较而不是一亿次,这才撑得住「多个词都要包含」的查询。

第三步的段合并(merge)是运维上最容易出事的地方。每次 refresh 生成一个新段,后台 merge 把多个小段合成大段,期间要读写大量磁盘。索引写入量大的时候,merge 跟不上,段数会持续增长,查询要遍历的段越来越多,延迟慢慢抬上去。监控上表现为「查询没变、数据没涨,但越来越慢」。

相关性不是一个技术细节,它就是搜索体验

倒排索引只解决「哪些文档包含这个词」,没解决「先给用户看哪几条」。两千万商品里含「手机」的有四十万个,第一页只有二十个位置,排错了,用户就觉得「搜不到」。排序靠的是打分模型,主流是 BM25,它的前身是 TF-IDF。

TF-IDF 的直觉很朴素,三个因子:词频(TF),一个词在这篇文档里出现得越多,这篇文档越可能和它相关;逆文档频率(IDF),一个词在整个库里越罕见,它越有区分度——「手机」到处都是,权重低,「潜望式长焦」很少见,权重高;长度归一化,长文档天然更容易命中词,要按长度打折,否则一篇八千字的详情页会永远赢过一行标题。

BM25 在这三件事上各做了一点修正,效果是让打分更稳:

因子TF-IDF 的做法BM25 的修正结果
词频线性增长,出现十次就是十次的分饱和曲线,参数 k1 控制饱和速度标题里塞十遍关键词不再直接翻十倍,抑制堆词
文档频率取对数,罕见词权重高改为带平滑的对数式,避免极罕见词分值爆炸新词、错别字不会因为「只出现一次」就排到第一
长度除以文档长度参数 b 控制归一化强度,可调 0 到 1短标题和长详情页可以按业务偏好调节

默认 k1 是 1.2、b 是 0.75,大多数场景不用动。真正影响排序的是另外两件事,而且它们比调参有效得多。

字段权重(boost)。标题命中「手机」和详情页第 60 行命中,价值不一样,所以给标题、品牌、类目加 boost 是最直接的排序手段。但权重不是越高越好:标题调到 10,长尾词就再也搜不到了。

短语与位置。用 match 查「手机 壳」,两个词可以出现在文档的任何位置,甚至分开很远;用 match_phrase 要求它们相邻且顺序一致,能过滤掉大量噪声,代价是召回变少。还有个中间选项 slop,允许两个词之间隔几个字。运营说「搜手机壳别把手机支架带出来」的时候,改的就是这个。

过滤条件不要放进打分。价格区间、是否上架、类目这些结构化条件,用 filter 上下文,既不参与打分,还能被缓存。把 price > 100 写成 must 里的 range,会让每次查询都重算分数,缓存也用不上。

中文分词:为什么「手机」会被拆成两个字

英文靠空格切词,中文没有空格。这个问题看起来只是「切得准不准」,实际上它决定了倒排索引里到底存了什么 term,也就决定了搜索结果长什么样。

Elasticsearch 默认的 standard 分词器按 Unicode 规则切分,对中文的处理是逐字切开。「手机壳」进去,出来的是「手」「机」「壳」三个 term。这时候用户搜「手机」,查询串同样被切成「手」「机」,默认的 match 是 OR 语义,于是所有含「手」或者含「机」的文档都被召回——「手机壳」当然在里面,「手工皂」「机票」也在。这就是开头那个现象的第一个原因。

换成中文分词器,常见的是 IK。它有两套模式,区别在于切多细:

ik_smart:粗粒度「无线降噪蓝牙耳机」切成「无线」「降噪」「蓝牙」「耳机」。term 少,索引小,召回相对精确,但对「蓝牙耳机」这种组合词,用户搜完整短语时可能匹配不上。
ik_max_word:细粒度同一个串会切出「无线」「降噪」「蓝牙」「蓝牙耳机」「耳机」等所有可能的组合。召回高,索引也更大。常见做法是索引时用 ik_max_word,查询时用 ik_smart,让写入覆盖更多切法,查询只取最合理的一种。

「索引细、查询粗」不是玄学:索引 term 越多越容易命中,查询切得越粗越不容易拆散意图。反过来配(索引粗、查询细),「蓝牙耳机」会切出索引里不存在的 term,直接零结果。

不想上 Elasticsearch 也有选择:MySQL 5.7 起支持 ngram 解析器,按固定长度切片,默认 ngram_token_size = 2,「手机壳」会切出「手机」「机壳」。它能解决 LIKE 全表扫,但排序粗糙,没有 boost、短语位置、同义词,做站内搜索很快碰到天花板,适合「给已有的表加一个能用的搜索框」。

无论用哪个分词器,都会遇到词典里没有的新词:新品牌、型号、网络流行语。「华为 Mate 60 Pro」里的型号,IK 可能切成「华为」「Mate」「60」「Pro」,这还算好;「问界 M9」可能把「问界」切成「问」「界」,搜索质量直接崩掉。解决办法是把这些词加进自定义词典:

# IK 扩展词典(每行一个词,可带词频和词性)
# 放进 IK 的配置目录,并在 IKAnalyzer.cfg.xml 的 ext_dict 里引用
问界 1000 n
Mate 60 Pro 800 n
潜望式长焦 500 n

# 本地词典改完要重启节点;远程词典由插件按配置间隔自动拉取
# 用 _analyze 验证新词是否已经生效
POST /_analyze
{ "analyzer": "ik_smart", "text": "问界 M9" }
# 预期输出(未在本机实测,token 依词典内容而定):
# { "tokens": [ { "token": "问界", "position": 0 },
#               { "token": "m9", "position": 3 } ] }

词典维护是长期的事,不是配一次就完。运营每周都会造新词,质量要靠「搜不到的词」驱动:把零结果查询按次数排序,每周看前五十个,该加词典加词典,该做同义词做同义词。这条流程没自动化之前,效果不会自己变好。

场景走查:把 LIKE 换成一个搜索集群

把开头那个后台走一遍。起点是确定的:商品两千万,日增 3 万,日更 12 万,搜索 QPS 峰值 1500,P99 要压到 80ms 以内,并要求「搜手机不返回手机壳」在标题层面成立,窗口只有一个月。

第一步,定 mapping。同一个标题要同时支持「按词搜」和「按完整值筛选、排序」,所以用 text 加 keyword 的双字段结构。text 走分词器,keyword 保留原值:

PUT /products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1,
    "refresh_interval": "5s"
  },
  "mappings": {
    "properties": {
      "product_id": { "type": "long" },
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
        "search_analyzer": "ik_smart",
        "fields": { "raw": { "type": "keyword" } }
      },
      "brand":    { "type": "keyword" },
      "category": { "type": "keyword" },
      "price":    { "type": "scaled_float", "scaling_factor": 100 },
      "on_sale":  { "type": "boolean" },
      "sales":    { "type": "long" },
      "updated_at": { "type": "date" }
    }
  }
}

# 预期输出(未在本机实测):
# { "acknowledged": true, "shards_acknowledged": true,
#   "index": "products" }

几个决定值得解释。refresh_interval 从默认的 1s 改成 5s,因为商品更新频繁但不需要一秒内可见,换来的是每秒生成的新段更少、merge 压力更小。price 用 scaled_float 而不是 float,避免 129.99 这种价格在浮点里舍入之后排序出错。brand 和 category 用 keyword,因为它们只做精确筛选和聚合,分词反而会让聚合结果碎成一堆无用桶。

第二步,全量重建。写迁移程序从 MySQL 按主键分页读,每批 500 条,用 _bulk 写入,中间不查库只走主键范围。两千万条数据,按每批 500 条的写入节奏估算,吞吐约 2600 条每秒(推演值,不是本机实测),纯写入 2 小时 08 分;算上 merge 追平和监控观察,整个窗口 4 小时 20 分。这期间不能停业务,所以先写到一个新索引,写完再切别名。

# 全量写入完成、校验文档数与抽样比对之后,原子切换
POST /_aliases
{
  "actions": [
    { "remove": { "index": "products_v1", "alias": "products" } },
    { "add":    { "index": "products_v2", "alias": "products" } }
  ]
}
# 预期输出(未在本机实测):
# { "acknowledged": true }

用别名切流量的好处是回滚只要再切回去,不用改应用配置。这一步很多人省掉,直接写死索引名,结果重建当天只能停机。

第三步,增量同步。两条路:应用双写(写完 MySQL 顺手写 ES)和 CDC(订阅 binlog,由同步组件投递)。团队选了 CDC,理由是双写放在业务代码里,任何一个分支漏写就是永久不一致,而 binlog 是数据库层面的事实,不会漏。代价是多了一个要运维的组件,端到端延迟从 200ms 到 2s 不等,大促期间 binlog 积压时会更久。

第四步,查询。搜索接口拼的 DSL 大致是这样:

GET /products/_search
{
  "query": {
    "bool": {
      "must": [
        { "multi_match": {
            "query": "手机",
            "fields": ["title^3", "brand^2"],
            "type": "best_fields"
        } }
      ],
      "filter": [
        { "term":  { "on_sale": true } },
        { "term":  { "category": "digital" } },
        { "range": { "price": { "gte": 100, "lte": 5000 } } }
      ]
    }
  },
  "sort": [ { "sales": "desc" }, { "_score": "desc" } ],
  "size": 20
}

# 预期返回结构(未在本机实测):
# { "hits": { "total": { "value": 328 }, "max_score": null,
#   "hits": [ { "_id": "...", "_source": { "title": "..." },
#               "sort": [ 12043, 8.7 ] } ] } }

注意 sort 把 sales 放在 _score 前面:业务上「销量优先」比「相关性优先」更符合用户预期。这会让 _score 退化成同销量的次序依据,但仍然有用。filter 里的三个条件不参与打分,能被 ES 自动缓存,翻页时省掉重复计算。

上线结果与代价。搜索 P99 从 8 秒(其实是超时后降级)降到 62ms,零结果率从 14% 降到 3.1%,「搜手机出手机壳」的问题靠 match_phrase 加标题 boost 压到第一页只剩两条。代价是:三节点集群(3 数据节点加 3 协调节点),索引加副本占 210GB,是原表 1.6 倍;每天约 0.02% 的文档同步延迟超过 10 秒,靠夜间对账补;降级回 MySQL 的路径 P99 仍是 3 秒,还得单独演练。

还要说清楚一点:搜索引擎上线不等于旧路径可以删。ES 挂掉时,要么返回空结果伤转化,要么降级查库伤数据库,必须提前选一个并压测过。

搜索出问题时,先看哪一层

搜索故障的共同点是「不报错,只是结果不对」。下面按用户能感知的现象倒推,第三列是当天就能动手查的第一步。

现象真实原因第一步查什么
某个词完全搜不到,明明有商品分词把词切碎了,或大小写、全半角没归一化;也可能是这个字段根本没进索引(index: false 或漏了 mapping)用 _analyze 看查询串被切成什么,再用 _mapping 确认字段类型
搜「苹果」搜不到标题写「iPhone」的商品没有同义词或别名配置,倒排表里 苹果 和 iphone 是两个毫不相干的 term查同义词词典是否加载、synonyms 过滤器是否挂在对应的 analyzer 上
结果太宽,搜「手机」出来一堆壳和膜match 默认 OR 语义,且没加短语约束;标题 boost 也没配把查询改成 match_phrase 或加 operator: "and",对比命中数与首屏质量
结果都在,但排序明显不合理BM25 只管文本相关性,不管销量、上架时间、库存;也可能是 boost 调得过高,压死了其他因子看返回里的 _score 与 sort 值,确认业务权重字段有没有参与排序
刚上架的商品搜不到,过几分钟又出现了写入只进了 translog,段还没 refresh;refresh_interval 被调大之后这个窗口更明显看索引的 refresh_interval 设置,必要时对单条写入后手动 _refresh
磁盘和内存持续上涨,查询越来越慢段太多没合并、副本数配多了、位置信息(positions)和 doc_values 占用大;删除的文档要等 merge 才真正释放_cat/indices?v 看段数与存储,_nodes/stats 看段合并队列和堆内存
数据库改了,搜索结果还是旧的双写漏写、CDC 延迟、或者删除事件丢了(ES 里只 update 不 delete,文档永远在)拿商品 id 直接查 ES 的 _source,与库里的 updated_at 比对,再看同步组件的积压指标

最贵的是最后一条。前六条一小时内能定位,双写不一致往往拖几周才发现,因为用户不会报告「搜出来的价格是上个月的」。同步链路上必须有一个对账 job 和一个延迟监控,缺一个,问题就会以客服投诉的形式出现。

边界与代价:它不是数据库

没有事务,也不该存唯一真相。ES 的写入是近实时的,一次 _bulk 里部分成功部分失败很常见,返回的 errors 要自己解析。它不适合做库存扣减、订单状态机这类需要原子性和约束的场景。正确的定位是「一份为查询优化的副本」,真相留在 MySQL 或文档库里。

近实时不是实时。从写入到可搜,中间隔着 refresh,默认 1 秒,调大之后更久。搜索能接受,但「下单后立刻能搜到」这种需求,要么单独走数据库,要么写入后主动 refresh 那个分片,后者会拖慢写入。

运维成本是真实存在的。集群要选主、要防脑裂(网络分区时可能出现两个 master)、要规划堆内存(不超过物理内存一半且不超过 32GB,以保留指针压缩)、要盯段合并和 GC。这些在 MySQL 上属于 DBA 的日常,在 ES 上属于另一个工种。

重建索引要双倍空间。改 mapping、换分词器、升级大版本,都可能需要重建。做法是写到新索引再切别名,这意味着同一份数据在窗口内存在两遍,加上副本就是四倍。前面算的 210GB,重建时要预留 420GB 以上,磁盘规划必须提前做。

主分片数定错了很难改。一个索引的主分片数在创建时确定,之后只能 reindex 或 split。分片太少,单分片过大,恢复慢、无法水平扩展;分片太多,每个分片都是独立的 Lucene 实例,堆内存和文件句柄被切碎,集群元数据压力也大。经验值是单分片控制在 10GB 到 50GB,按这个倒推分片数,不是拍一个「三」。

不要用 ES 做「全量数据的主存储 + 唯一查询入口」。一旦它挂了,业务就没有任何可读路径。至少要保证核心数据在数据库里有一份,并且降级查询被真正压测过——没压测过的降级路径,等于没有。

小结

这篇的主线是「换个方向建索引」:正排按文档找词,倒排按词找文档,所以 LIKE '%词%' 必须逐行扫,而倒排一次就能拿到候选集。在此基础上,BM25 决定先给用户看哪二十条,分词决定「手机」到底被切成了什么,这三件事共同决定搜索体验。

如果只记一个判断:当需求是「按关键词找、按相关性排」,就该上倒排索引;当需求是「按 id 取、按范围筛、要事务」,就留在数据库。两者的边界不是数据量,是查询的形状。把搜索当成数据库的替代品,最后一定会为一致性买单。

当天可以自己验证的练习:

  1. 用 Docker 起一个单节点 ES 8.x,调 _analyze 分别用 standard 和 ik_max_word 分析「无线降噪蓝牙耳机」,把两串 token 抄下来对比。
  2. 造十条文档,其中三条标题含「手机」、三条含「手机壳」,分别用 match 和 match_phrase 查「手机」,记录命中数的差异。
  3. 给标题加 title^3 的 boost,再看同一条查询的 _score 排序,确认权重真的改变了顺序。
  4. 把 refresh_interval 设为 30s,写入一条文档后立刻查询,再等 30 秒查询,记录两次结果,理解「近实时」的边界。
  5. 用 _cat/indices?v 和 _cat/segments 观察一次批量写入前后的段数变化,判断 merge 是否跟得上。

下一篇讲宽列存储:Cassandra 与 HBase 的思路。倒排索引解决了「按词找文档」,但它撑不住另一种量级:每天几十亿条日志、监控点、行为事件,写入远多于读取,查询永远按「分区键 + 时间范围」。那种场景要的不是更聪明的索引,而是一个从存储结构上就为顺序写设计的模型——这正是宽列存储的出发点。