駕馭千級節點——揭秘PUMA大規模集群能力（三） ---- 彈性伸縮

1.1保證負載均衡的擴容

當前原生Kafka已經支持簡單的擴容節點能力，但是有一個很嚴重問題，就是如果有新擴容節點加入集群，新創建的topic不會自動分配到新加入的空閑節點上，它還是以輪訓的方式分配topic對應的partition到所有的節點上，這樣會導致新加入的節點上的topic和partition數都偏少，導致負載失衡，進而影響集群穩定性。所以這里我們需要做的就是是：新創建的topic分區優先分配在新擴容節點上。

具體的技術細節這里就不贅述了，主要就是在創建topic時，改變其分區尤其是leader分區的創建和分配策略，然后提供新的創建topic接口和腳本命令，實現topic和partition優先分配到新加入的空閑節點上，最終實現partition和leader在所有集群節點上的均衡，有效防止集群因資源使用不均勻而出現異常。

1.2基于分區的細粒度縮容

業界目前沒有縮容分區的能力，PUMA通過新增后臺處理線程、添加分區數據老化及遷移流程來實現業務無感知的分區縮容能力，實現細節這里不多說，給一個整體的流程圖吧

上圖，在Controller內部的PartitionStateMachine狀態機中增加對刪除分區事件的監控，具體在zk上新增刪除分區的的目錄，然后對每個Topic創建刪除分區事件的Listener(DelPartitionListener)。增加一個刪除分區命令用于生成具體的刪除分區目錄，當進行刪除分區時，DelPartitionListener可以在這個目錄上感知有哪些分區要刪除，更新controller的元數據，后臺的PartitionDeleteThread就會定時檢查并刪除這些分區。

1.3彈性伸縮價值點

PUMA提供動態對節點、分區、集群等擴容/縮容能力，主要的價值在于：

1. 應對業務負載峰值, 因為每個節點提供的能力一定峰值限制（磁盤、網卡、Topic總數等），通過增加節點提升整體集群的能力。例如云消息服務，擴展節點才能提升增加更多的租戶，滿足業務需求。

2. 增加特定業務負載能力,? 因為只增加節點并不會有分區分配到上面，通過增加分區或者遷移分區到新節點可以提升特定業務的負載能力。例如云消息服務，某個租戶需要提升處理能力(從5千提升到10w)以應對業務峰值(例如vmall搶購)

3. 增加云容量，接納更多用戶。例如云消息服務，一個集群所能承受的租戶和Topic數是有限制的，當租戶超過一定值時，單一集群性能會下降。通過擴展集群，可以接納更多租戶。

4. 減少資源的浪費，提升資源利用率。例如縮容在峰值搶購結束后，可以盡快減少資源提高資源利用率。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。