一个团队把统计任务写成 cron 表达式,部署在三台应用服务器上。上线第一天,运营发现日报表生成了三份,内容一样,只是生成时间差了几秒。开发把其中两台机器的 cron 注释掉,问题解决。半年后应用扩到六台,运维忘了同步改 cron,报表又变成六份。再后来他们引入分布式调度组件,以为问题彻底解决,结果又遇到新问题:任务执行时间超过租约,被另一个实例抢走重跑,数据被算了两遍。
这条路径很典型:单机 cron 简单,但一遇到多实例就重复;分布式调度解决了重复,却引入了租约、续租、漏跑补偿这些新概念。每一步都在解决上一个问题,也都带来新的失败模式。
这篇先讲单机 cron 在多实例下为什么必然重复,再讲分布式调度的三个核心机制,最后用本机模型算清「重复次数」和「漏跑次数」。分布式调度组件需要独立的调度中心与执行器,本机没有安装,相关配置与命令保留「未实测」并写明原因;租约机制用 Redis 的 SETNX 加过期做了等价验证;次数数字来自本机仿真。
先认出现象:重复、漏跑、卡死
定时任务的问题有三个典型方向:跑多了、跑少了、跑不完。先把现象对上号,能省很多排查时间。
| 现象 | 真实原因 | 第一步查什么 |
|---|---|---|
| 同一任务在多个实例同时执行 | 每台机器各自跑 cron,没有统一的调度者 | 看任务实例数、部署方式和 cron 配置分布 |
| 任务执行到一半被另一个实例接手 | 租约到期未续租,调度器认为执行者已失联 | 看租约时长、续租间隔与任务实际耗时 |
| 调度器重启后漏跑一轮 | 停机期间到点的任务没有被记录和补偿 | 看调度器是否有持久化的触发记录与补偿机制 |
| 任务堆积,后面的窗口被挤掉 | 单次执行时间超过触发间隔,串行队列越积越长 | 看单次耗时分布与触发频率 |
| 任务重复执行但数据没重 | 任务本身做了幂等,重复被业务挡住 | 看任务是否有唯一键或状态判断 |
| 任务显示成功但结果不对 | 执行器只捕获了异常,业务失败被当成成功 | 看任务返回值与失败判定逻辑 |
| 分片任务有的分片一直空跑 | 分片数与执行器数不匹配,或分片键倾斜 | 看分片分配表与每个分片的处理量 |
| 时钟漂移导致任务提前或延后 | 各机器时间不同步,或时区配置不一致 | 看机器时间同步状态与时区设置 |
单机 cron 的假设
cron 的模型很简单:在某个时间点,执行一条命令。它假设「这台机器是唯一的执行者」,也假设「这次没跑成,下次还会跑」。单机单实例时,这两个假设成立,所以它很好用。
一旦部署多实例,第一个假设就破了:每台机器都有一份 crontab,到点都执行。按每五分钟一次算,一天是二百八十八次;三台实例就是八百六十四次,其中五百七十六次是重复的。这个数字不需要等线上出问题才算得出来。
3 个实例同时跑 cron,每 5 分钟一次:
每实例每天 288 次,三实例 864 次
重复执行 576 次/天
第二个假设也不稳:cron 不记录「这次有没有跑成功」,机器宕机、进程被杀、命令失败,都只是「下一次再说」。对账、结算这类任务,漏一次可能就是账对不上。
所以单机 cron 适合:只在一台机器上跑、失败可以容忍、不需要精确到秒、任务之间没有依赖。它不适合:多实例部署、需要 exactly-once 效果、需要补跑、需要可视化查看执行记录。
cron 之外还有 systemd timer、应用内的定时线程等做法。它们的形式不同,假设是一样的:执行者唯一、时间由本机决定。换成 systemd timer 不会自动解决多实例重复,只是把配置从 crontab 挪到了 unit 文件。判断标准仍然是「谁在触发、触发了几份」。
分布式调度要解决的三件事
分布式调度不是「把 cron 搬到中心」,它要解决三个新问题:谁来触发、谁来执行、执行到一半怎么办。
这三件事对应三种失败:重复触发、执行中被抢、漏跑。任何一个没做好,都会出现「跑多了」或「跑少了」。它们不是配置项,是调度模型的一部分,选组件时要看它是否支持,而不是只看界面好不好看。
有些轻量方案用数据库行锁来选主:谁能抢到某一行,谁就负责这一轮。这个做法简单,但要注意锁的超时和释放,否则持锁进程挂了,锁会一直挂着。还有些方案用协调服务做临时节点,节点消失即视为执行者失联。两种思路都能用,关键是要有明确的失联判定和接管流程。
还要把「调度」和「执行」分开看。调度器只负责「什么时候该跑」,执行器负责「真正跑」。两者可以部署在不同机器上,调度器宕机不影响正在执行的任务,执行器扩容也不影响触发节奏。很多组件把两者混在一起,规模一大就会出现「调度很闲、执行很挤」的错配。
租约:执行时间超过时限就会被抢
租约是「我还在执行,别抢」的声明,但它有时限。执行时间超过租约且没有续租,调度器会认为执行者失联,把任务交给别人。于是同一个任务被执行两次。
本机模型:五百个任务,执行时长中位数四十秒,租约三十秒。中位数都超过租约,意味着超过一半的任务在跑完前就失去了租约。模型算出三百二十五个任务超租约;如果不续租,这三百二十五个都会被重复执行一次。
500 个任务,时长中位数 40s,租约 30s:
超租约 325 个;不续租时重复执行 325 次
解法是续租:执行器在租约到期前定期延长,比如每十秒续一次。模型里租约三十秒、每十秒续租,重复执行降到零。前提是续租本身可靠,且调度器能正确处理「续租请求晚到」的情况。
同一批任务,租约 30s,每 10s 续租:
重复执行 0 次
租约时长要按任务的执行时长分布来定,不是拍脑袋。取中位数会漏掉长尾;取最大值会让失联判定太慢。合理做法是按接近峰值的分位数,比如九十五分位,再加一点余量,同时开启续租。
续租也不能掩盖「任务真的卡死」。如果任务卡在某个不返回的调用上,续租线程可能还在跑,租约一直不释放,任务永远占着。要有执行超时和强制终止机制,不能只靠租约。
漏跑:调度器自己也会宕机
调度器不是永动机。它重启、升级、网络分区时,到点的触发可能没有被记录。恢复后要不要补,取决于任务语义。
本机模型:每五分钟一次的任务,调度器宕机十分钟,漏跑两次;宕机两分钟且任务一分钟内跑完,漏跑零次。差别在于「停机窗口是否跨过触发点」。
每 5 分钟一次的任务:
调度器宕机 10 分钟:漏跑 2 次
宕机 2 分钟且任务 1 分钟内跑完:漏跑 0 次
补跑策略有三种。第一种是不补,只保证未来按时跑,适合「只要最新结果」的任务,比如缓存刷新。第二种是补一次,把漏掉的窗口合并成一次,适合对账这类「按周期汇总」的任务。第三种是逐窗补,适合必须每个窗口都有记录的任务,比如按小时计费。选哪种要在需求里写清楚,不能到出事时争论。
补跑还要防止「补过头」。调度器恢复后,如果把过去几天的窗口全部补一遍,可能把下游打挂。要有补跑上限和人工确认,尤其是跨天、跨月的任务。
触发记录必须持久化。只存在内存里的「上次触发时间」,进程一重启就丢了,补跑无从谈起。记录里至少要有任务名、窗口时间、触发状态、执行实例,才能判断是漏了还是跑了两次。
任务本身必须能承受重复
再好的调度器也只能保证「尽量不重复」,不能保证「绝对只执行一次」。网络分区、租约判定、人工重跑,都可能让同一个任务执行两次。所以任务本身要幂等:执行一次和执行两次,结果一样。
常见做法是给每次执行一个业务键,比如「任务名加时间窗口」,写入时用唯一约束;或者让任务先检查状态,已经是「已完成」就跳过。注意检查和写入之间要原子,不能先查后写,否则并发下两个执行者都会通过检查。
任务还要区分「可重入」和「不可重入」。发通知、写流水这类操作,重复执行会打扰用户或产生重复记录,必须做去重;重新生成报表、重建索引这类操作,重复执行只是多花时间,风险低一些。分类清楚,才能决定哪些任务可以自动重跑,哪些必须人工确认。
失败判定也要明确。任务返回「成功」但业务数据不对,比直接报错更危险。执行器要能把业务失败识别出来,记录到执行历史里,而不是只要进程退出码为零就算成功。
什么时候不该上分布式调度
只有一台应用服务器、任务量很小、失败可以人工补时,单机 cron 加一个日志文件就够了。引入分布式调度要多部署一套组件、多一套告警、多一份学习成本。
任务之间没有依赖、执行时间短、对错过一次不敏感时,也不一定需要。比如每天清理临时文件,漏一次下次再清就行。
团队没有能力处理「租约、补偿、分片」这些概念时,先不要上。配置错了比不用更糟:重复执行、漏跑、任务被抢,这些问题在业务上往往表现为「数据偶尔对不上」,很难查。
容器平台的定时任务(比如 CronJob)也不是万能解。它解决了「在哪跑」,但同样有并发策略、失败重试、历史保留的问题。配置成「允许多个实例并行」,照样会重复;配置成「禁止并行」,长任务会阻塞下一轮。用之前要读清楚它的并发语义。
关键配置样例
下面是一份调度任务的配置思路,字段按常见调度组件的语义书写。调度组件未安装,这份配置未实测;租约语义用 Redis 的 SETNX 加 EXPIRE 验证。
# 任务定义(调度组件未安装,未实测)
job:
name: daily-report
cron: "0 2 * * *"
timezone: Asia/Shanghai
timeout: 30m
lease:
duration: 60s
renew_every: 20s
retry:
max_attempts: 2
backoff: 60s
misfire:
policy: fire_once # 漏跑时合并补一次
sharding:
total: 8
key: merchant_id
时区要显式设置。服务器默认时区、数据库时区、调度器时区不一致时,任务会在错误的时间跑。跨境业务尤其要注意,别用「服务器本地时间」这种模糊说法。
超时要小于租约的若干倍,并且能被真正强制执行。只配置超时但执行器不响应,等于没有超时。重试次数要少,重试间隔要大于下游恢复时间,否则只是连续打三次。
分片任务的「分片总数」要大于执行器数量,留出调整空间;分片键要分布均匀,别让某个分片处理大部分数据。分片数变更时,要确认历史数据不会重复处理。
怎么验证:命令与成功判据
下面命令用于确认「任务有没有重复、租约有没有续、漏跑有没有补」。调度组件未安装,日志类命令未实测;租约的加锁与过期用 Redis 实跑对照。
# 1. 看同一任务在多个实例上的执行记录
# 按任务名加时间窗口分组,统计执行次数,正常应为 1
grep 'daily-report' /var/log/scheduler/*.log | \
awk '{print $1, $2}' | sort | uniq -c
# 2. 看租约续租日志与超时
grep -E 'lease|renew|timeout' /var/log/scheduler/app.log | tail -50
# 3. 看调度器自己的触发记录是否连续
# 每个五分钟窗口应有一条触发记录,缺哪个窗口一眼能看出
ls /var/lib/scheduler/triggers/ | tail -20
# 4. 手动触发一次,确认幂等
curl -X POST http://scheduler:8080/jobs/daily-report/run
# 5. 停掉调度器两分钟再启动,观察是否补跑
systemctl stop scheduler && sleep 120 && systemctl start scheduler
# 本机替代验证:用 Redis 模拟租约(Redis 5.0.14.1,端口 6381)
SETNX lock:daily-report:20261107 owner-a
(integer) 1 # 实例 A 拿到租约
EXPIRE lock:daily-report:20261107 10
(integer) 1
TTL lock:daily-report:20261107
(integer) 10 # 租约剩 10 秒
SETNX lock:daily-report:20261107 owner-b
(integer) 0 # 实例 B 拿不到,不会重复执行
这组输出就是租约的最小骨架:拿到锁才执行,锁带过期时间避免持有者崩溃后永久占用。真实的调度器还要做续租、超时强制终止和补偿,但判断「会不会重复」时,先看这把锁有没有、过期时间对不对。
成功判据:同一时间窗口只有一条成功执行记录;租约续租日志连续,没有「到期未续」;触发记录按周期连续,没有空洞;手动重复触发不会产生重复业务数据;停机后按配置的补跑策略执行,而不是静默跳过。
还要验证「长任务」。挑一个接近超时上限的任务,观察它是否能正常续租、正常结束,而不是被另一个实例抢走。这个测试能暴露租约与超时配置不匹配的问题。
边界与代价
分布式调度多了一套要部署、要监控、要升级的组件。它自己也会故障,也需要主备或集群。不要因为「任务重要」就上,要先确认「任务真的需要」。
调度器的时钟和业务时钟可能不一致。任务按调度器时间触发,业务按数据库时间判断,跨天边界时容易出错。涉及日期切换的任务,要统一时间源。
补跑会带来额外负载。恢复后集中补多个窗口,可能正好撞上业务高峰。补跑要能限速、能暂停,不能一恢复就全量冲。
执行历史要保留,但别无限保留。每次执行的日志、参数、结果都存,表会很快变大。按保留天数清理,重要的执行记录单独归档。
当天能自验的五个练习
一,用本机脚本模拟三实例同时跑每五分钟一次的任务,统计一天的总执行次数和重复次数。成功判据:能复现 864 次总数、576 次重复。
二,给模型加租约:任务时长按分布生成,租约固定,统计超租约比例;再开启续租,统计重复次数。成功判据:结果与 325 次、0 次同一量级。
三,模拟调度器停机不同时长,统计漏跑的窗口数。成功判据:能解释「停机是否跨过触发点」对漏跑次数的影响。
四,写一个幂等任务:同一窗口执行两次,第二次直接跳过。成功判据:数据库里只有一条记录,且第二次执行有明确日志。
五,给一个本地定时任务加执行超时和强制终止,故意让它卡住,观察是否能被终止并释放租约。成功判据:卡住的任务不会永远占着执行位。
和下一篇的关系
到这里,单个中间件的选型和用法讲完了。但每个中间件都要吃资源:连接、内存、文件句柄、线程。下一篇算总账:二万 QPS 需要多少并发、连接池该设多大、Redis 一千万个键要多少内存、文件句柄为什么会不够用。
调度这件事的核心不是「按时触发」,而是「在多实例和故障下仍然只做一次、漏了能补」。把租约和幂等这两件事记住,比记住某个组件的界面有用。