Kafka 核心

分布式消息队列的日志内核——不可变追加日志、分区、消费者组偏移管理、ISR 复制。

概念

Kafka 是一个分布式流处理平台，核心是一个”不可变、顺序追加的分布式日志”。它的设计哲学极为精简：所有数据按顺序追加到分区日志文件中，每个消息由 (offset) 唯一索引。消费者通过记录已消费的偏移量 (offset) 实现消费进度管理。Kafka 用 Java 编写，部分组件 (如存储层) 用 C++ 重写 (Tiered Storage)。

核心组件

组件	职责	关键机制
Topic	消息的逻辑分类	可分多个分区
Partition	水平扩展的基本单位	顺序追加日志, 不可变
Segment	分区文件的物理分段	每个 segment 是一个文件
Offset	消息在分区内的唯一 ID	单调递增 (per partition)
Consumer Group	分布式消费组	自动负载均衡
ISR	In-Sync Replicas	消息不丢失的复制保证
Leader / Follower	每个分区的 leader 处理读写	Controller 管理 leader 选举

分区日志模型

Topic "user-events" (3 partitions):

Partition 0:  [msg0:offset=0] [msg1:offset=1] [msg2:offset=2] [msg3:offset=3] [msg4:offset=4] ...
Partition 1:  [msg0:offset=0] [msg1:offset=1] [msg2:offset=2] ...
Partition 2:  [msg0:offset=0] [msg1:offset=1] [msg2:offset=2] [msg3:offset=3] ...

每个 Partition 是物理上一个目录:
    /data/user-events-0/
        00000000000000000000.log    (segment: offset 0 → 1000)
        00000000000000000000.index  (稀疏索引)
        00000000000000001000.log    (segment: offset 1000 → 2000)
        00000000000000001000.index

消费者组消费:
    Group "analytics":
        Consumer A → Partition 0  (offset=2, 消费中)
        Consumer B → Partition 1  (offset=5, 消费中)
        Consumer C → Partition 2  (offset=0, 消费中)

    偏移量存储在 __consumer_offsets topic 中 (Kafka 内部主题)

Consumer Group 偏移管理

消费者组协调:
    消费者组通过 __consumer_offsets topic 持久化每个分区的消费偏移量

    消息投递语义:
        At-most-once:
            fetch 消息 → commit offset → 处理消息
            (处理失败则丢消息)

        At-least-once:
            fetch 消息 → 处理消息 → commit offset
            (处理失败不 commit, 下次重收; 可能重复处理)

        Exactly-once:
            Kafka 0.11+ 支持事务:
                beginTransaction()
                producer.send("A"), producer.send("B")
                consumer.commit()  // 原子提交: 生产和消费的位移一起提交
                commitTransaction()

    消费者 Rebalance:
        新消费者加入或退出 → 分区重新分配
        Rebalance 期间消费暂停
        常见策略: Range, RoundRobin, Sticky

ISR 复制机制

假设 Partition 0 有 3 个副本:

    Leader (Broker 1):     [0][1][2][3][4][5][6][7][8][9]  (LEO=10, HW=8)
    Follower A (Broker 2): [0][1][2][3][4][5][6][7][8]      (LEO=9)
    Follower B (Broker 3): [0][1][2][3][4][5][6][7][8]      (LEO=9)

    LEO (Log End Offset): 该副本最后一条消息的 offset + 1
    HW  (High Watermark): 所有 ISR 副本中最小的 LEO

    消费者只能读到 HW 之前的数据 (offset < HW)
    // 保证消费者不会读到可能未确认的数据

    ISR (In-Sync Replicas):
        与 Leader 保持同步 (滞后不超过 replica.lag.time.max.ms) 的副本集合
        ISR = [Broker1, Broker2, Broker3]   (所有副本都同步)

        如果 Follower B 滞后:
            ISR = [Broker1, Broker2]
            HW 变为 9  (Broker2 的 LEO)
            acks=all 时 producer 只等 ISR 中的 follower 确认

---