一、Kafka架構概述與Controller選舉機制
Apache Kafka是一個分布式流處理平臺，其核心設計遵循高吞吐、可擴展和持久化的原則。Kafka集群由多個Broker組成，每個Broker可以處理數據的讀寫請求。其中，Controller是Kafka集群的“大腦”，負責管理分區和副本的狀態。
Controller選舉機制：
1. Kafka集群啟動時，所有Broker都會嘗試在ZooKeeper的/controller節點創建臨時節點。
2. 第一個成功創建該節點的Broker成為Controller，其他Broker在該節點上注冊Watcher監聽。
3. 若Controller宕機，臨時節點消失，其他Broker通過Watcher感知并重新觸發選舉。
4. 新Controller負責分區狀態機管理、副本狀態機管理及元數據同步。
二、Partition副本與Leader選舉
Kafka通過副本機制保證數據可靠性。每個分區（Partition）有多個副本，分為Leader和Follower：
- Leader副本：處理所有讀寫請求。
- Follower副本：從Leader異步拉取數據，保持與Leader同步。
Leader選舉觸發條件：
1. 分區創建時。
2. Leader副本所在Broker宕機。
3. 分區進行重分配（如Rebalance）。
選舉過程：
1. Controller監控分區狀態，發現Leader失效后，從ISR（In-Sync Replicas，同步副本列表）中選擇新Leader。
2. 選舉原則：優先選擇ISR中的第一個副本（可通過配置調整）。
3. 若ISR為空，根據unclean.leader.election.enable配置決定是否從非同步副本選舉（可能丟失數據）。
三、消費者Rebalance與分區分配策略
消費者組（Consumer Group）通過Rebalance實現負載均衡和容錯。觸發條件包括：消費者加入/離開、訂閱主題分區數變化。
分區分配策略：
1. Range策略：按分區號順序分配，可能導致分配不均。
2. RoundRobin策略：輪詢分配，要求所有消費者訂閱相同主題。
3. Sticky策略：盡量保留原有分配，減少分區遷移開銷。
4. Cooperative Sticky策略：支持增量Rebalance，避免全局暫停。
Rebalance流程：
1. 消費者向Coordinator（一個Broker）發送JoinGroup請求。
2. Coordinator選舉Group Leader（第一個加入的消費者）。
3. Group Leader執行分配算法，將結果同步給Coordinator。
4. Coordinator下發分配方案，消費者開始消費。
四、日志存儲：HW、LEO與日志分段
Kafka的日志存儲是高性能設計的核心：
HW與LEO：
- LEO（Log End Offset）：分區副本最新消息的下一個位置。
- HW（High Watermark）：ISR中所有副本均已同步的消息位置，消費者只能讀到HW之前的數據。
- 更新機制：Follower從Leader拉取數據后更新LEO，Leader根據ISR副本同步情況更新HW。
日志分段存儲（Log Segment）：
1. 每個分區日志被切分為多個Segment文件，便于管理和清理。
2. 文件包括：.log（數據）、.index（偏移量索引）、.timeindex（時間戳索引）。
3. 滾動策略：基于時間（log.roll.hours）或大小（log.segment.bytes）。
4. 清理策略：基于時間（retention.ms）或大小（retention.bytes），支持刪除和壓縮。
五、ZooKeeper節點數據管理
Kafka依賴ZooKeeper存儲元數據（新版本正逐步移除）：
- Broker注冊：
/brokers/ids/[brokerId]存儲Broker地址、版本等信息。 - Topic配置：
/brokers/topics/[topic]存儲分區副本分配方案。 - Controller選舉：
/controller存儲當前Controller信息。 - 消費者組：
/consumers/[groupId]記錄消費者偏移量（舊版本）。 - 集群配置：
/config存儲動態配置參數。
六、數據處理與存儲服務
數據寫入流程：
1. Producer發送消息到指定分區Leader副本。
2. Leader將消息追加到日志文件，更新LEO。
3. Follower拉取消息后，Leader更新HW并響應Producer。
數據讀取流程：
1. Consumer從Leader副本拉取數據（只能消費HW之前的消息）。
2. 通過零拷貝（Zero-Copy）技術直接從頁緩存傳輸數據，減少CPU開銷。
3. 支持批量拉取和壓縮傳輸。
存儲優化特性：
1. 頁緩存（Page Cache）：利用操作系統緩存，避免直接磁盤讀寫。
2. 順序寫入：日志文件僅追加寫入，大幅提升磁盤IO效率。
3. 索引機制：通過.index文件快速定位消息位置。
4. 壓縮機制：支持GZIP、Snappy、LZ4等壓縮算法，減少網絡和存儲開銷。
##
Kafka的設計融合了分布式系統的經典思想：通過Controller集中管理元數據、副本機制保障可用性、消費者組實現負載均衡、日志分段和索引優化存儲效率。理解這些原理有助于在實際應用中合理配置集群、優化性能并快速排查問題。隨著Kafka演進，其架構正逐步減少對ZooKeeper的依賴（如KIP-500），向更自洽的方向發展。
