koyomi315的头像
koyomi315
北京邮电大学硕士,关注后端开发、AI Agent 与 Agent Evaluation。
1001 字
5 分钟

Kafka 可靠性:分区、消费进度与重复消息

Kafka 把吞吐、顺序和扩展能力建立在分区之上。理解可靠性时,不能只问“消息会不会丢”,还要分别看生产、存储和消费三个阶段。

分区决定顺序边界#

一个 Topic 可以拆成多个 Partition。单个分区内部的记录具有明确顺序,但不同分区之间不存在全局顺序。

如果同一业务实体的事件必须按顺序处理,可以使用稳定业务键进行分区,例如订单 ID。这样同一订单的事件通常落到同一分区,而不同订单仍可以并行处理。

扩容分区后,键到分区的映射可能变化,因此不能把分区编号当成永久业务属性。

消费者组如何并行#

在同一个消费者组内,一个分区在同一时刻只会分配给一个消费者。于是:

  • 消费者数量不超过分区数时,可以提高并行度;
  • 消费者多于分区数时,会有实例处于空闲;
  • 实例加入、退出或订阅变化时,可能触发重新分配。

不同消费者组拥有各自的消费进度,适合让搜索、计费、通知等下游独立订阅同一事件流。

位移代表“下一条要读的位置”#

消费位移不是业务处理结果,而是消费者读取进度。提交过早和提交过晚分别对应两类风险:

  • 先提交位移、后处理业务:进程崩溃时可能跳过未完成消息;
  • 先处理业务、后提交位移:提交失败时可能再次收到已处理消息。

多数业务宁可接受重复,也不接受静默丢失,因此消费者必须默认消息可能重复。

幂等要落在业务存储上#

常见幂等手段包括:

  • 业务唯一键与数据库唯一约束;
  • 事件 ID 去重表;
  • 带版本号的条件更新;
  • 状态机只允许合法迁移。

“先查询是否处理过,再执行写入”仍可能遇到并发窗口。最终防线通常应由原子写入或唯一约束提供。

生产端的确认边界#

生产者调用发送方法并不等于消息已安全保存。可靠性配置需要结合:

  • Broker 确认级别;
  • 可重试错误和退避策略;
  • 幂等生产能力;
  • 请求超时和交付超时;
  • 副本数量与最小同步副本。

提高确认强度会增加延迟,但能减少主节点故障时的数据风险。参数必须与 Topic 的副本策略一起看。

失败消息不能无限重试#

对网络波动等瞬时错误,可以有限重试;对数据格式错误或永久业务冲突,重复执行没有意义。

比较稳妥的处理链路是:

消费 → 业务处理 → 有限重试 → 失败收敛 → 告警与人工处置

失败记录至少保留事件 ID、业务键、原始时间、重试次数和错误摘要,但不要把密钥或完整个人信息写入日志。

观察“积压”而不只看吞吐#

需要联合观察:

  • 生产和消费速率;
  • 消费延迟与积压量;
  • 分区分配是否均衡;
  • 重平衡次数和耗时;
  • 重试、失败和重复处理数量;
  • 端到端业务完成时间。

单纯看到每秒消费量很高,并不能证明系统健康;如果生产速度更高,积压仍会持续增长。

总结#

Kafka 提供的是可组合的可靠性机制,而不是自动的“绝不丢、绝不重”。分区键定义顺序,消费者组定义并行,位移定义读取进度,业务幂等负责承受重复。把这些边界设计清楚,消息链路才真正可恢复。

参考:Apache Kafka 官方文档

Kafka 可靠性:分区、消费进度与重复消息
https://example.com/posts/kafka-reliability/
作者
koyomi315
发布于
2026-05-17
许可协议
CC BY-NC-SA 4.0

一只小鲸鱼正在游过来…

ⓘ
DeepSeek 同人鲸鱼娘

角色原作:上善无形
二次设计:ZipZipPipe
Live2D:氵六青

素材未修改 · CC BY-NC-SA 4.0

模型来源 ↗