Kafka 可靠性:分区、消费进度与重复消息
Kafka 把吞吐、顺序和扩展能力建立在分区之上。理解可靠性时,不能只问“消息会不会丢”,还要分别看生产、存储和消费三个阶段。
分区决定顺序边界
一个 Topic 可以拆成多个 Partition。单个分区内部的记录具有明确顺序,但不同分区之间不存在全局顺序。
如果同一业务实体的事件必须按顺序处理,可以使用稳定业务键进行分区,例如订单 ID。这样同一订单的事件通常落到同一分区,而不同订单仍可以并行处理。
扩容分区后,键到分区的映射可能变化,因此不能把分区编号当成永久业务属性。
消费者组如何并行
在同一个消费者组内,一个分区在同一时刻只会分配给一个消费者。于是:
- 消费者数量不超过分区数时,可以提高并行度;
- 消费者多于分区数时,会有实例处于空闲;
- 实例加入、退出或订阅变化时,可能触发重新分配。
不同消费者组拥有各自的消费进度,适合让搜索、计费、通知等下游独立订阅同一事件流。
位移代表“下一条要读的位置”
消费位移不是业务处理结果,而是消费者读取进度。提交过早和提交过晚分别对应两类风险:
- 先提交位移、后处理业务:进程崩溃时可能跳过未完成消息;
- 先处理业务、后提交位移:提交失败时可能再次收到已处理消息。
多数业务宁可接受重复,也不接受静默丢失,因此消费者必须默认消息可能重复。
幂等要落在业务存储上
常见幂等手段包括:
- 业务唯一键与数据库唯一约束;
- 事件 ID 去重表;
- 带版本号的条件更新;
- 状态机只允许合法迁移。
“先查询是否处理过,再执行写入”仍可能遇到并发窗口。最终防线通常应由原子写入或唯一约束提供。
生产端的确认边界
生产者调用发送方法并不等于消息已安全保存。可靠性配置需要结合:
- Broker 确认级别;
- 可重试错误和退避策略;
- 幂等生产能力;
- 请求超时和交付超时;
- 副本数量与最小同步副本。
提高确认强度会增加延迟,但能减少主节点故障时的数据风险。参数必须与 Topic 的副本策略一起看。
失败消息不能无限重试
对网络波动等瞬时错误,可以有限重试;对数据格式错误或永久业务冲突,重复执行没有意义。
比较稳妥的处理链路是:
消费 → 业务处理 → 有限重试 → 失败收敛 → 告警与人工处置失败记录至少保留事件 ID、业务键、原始时间、重试次数和错误摘要,但不要把密钥或完整个人信息写入日志。
观察“积压”而不只看吞吐
需要联合观察:
- 生产和消费速率;
- 消费延迟与积压量;
- 分区分配是否均衡;
- 重平衡次数和耗时;
- 重试、失败和重复处理数量;
- 端到端业务完成时间。
单纯看到每秒消费量很高,并不能证明系统健康;如果生产速度更高,积压仍会持续增长。
总结
Kafka 提供的是可组合的可靠性机制,而不是自动的“绝不丢、绝不重”。分区键定义顺序,消费者组定义并行,位移定义读取进度,业务幂等负责承受重复。把这些边界设计清楚,消息链路才真正可恢复。