【大數據上云】如何遷移MRS Kafka集群的master節點ZK實例到core節點

如何遷移MRS Kafka集群的master節點ZK實例到core節點

1.1? ? ? ?背景

1.???? MRS的kafka集群部署依賴zk，zk集群默認是部署3個節點，其中兩個節點在master上，1個節點會隨機選擇一個core節點，部署方式如下：

說明：master節點的zk，數據存儲在了數據盤，core節點的zk數據存儲在了系統盤

2.???在默認情況下，如果客戶選擇了BMS規格資源，core節點是裸金屬服務器，master節點選擇了c6的虛機規格，那么會存在兩個zk節點的數據存儲在EVS的高I/O盤上。

3.? 這樣的部署會導致兩個zk使用的是虛機EVS，走了虛擬共享存儲網絡，但是由于虛擬存儲網絡存在IOPS的沖高和帶寬爭搶等問題，相對物理網絡，穩定性相對較低，會影響zk服務的長期穩定性。

1.2?????? 優化措施

針對現有的kafka集群，將master節點的zk實例遷移到core節點，所有zk節點均部署在物理機上，保證zk數據的訪問和操作都走物理網絡，增強集群穩定性。

如下：

1.3?????? 操作指導

1.3.1?????? 先放開實例添加能力

1)??? 登錄到主master節點，在manager頁面的主機列表顯示實心星星的節點：

2)??? 登錄到主master節點后臺執行如下命令：

vi /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/classes/config/web_security.properties

su omm

sh /opt/Bigdata/om-0.0.1/sbin/restart-oms.sh

1.3.2?????? 重啟恢復后，登錄MRS manager界面，在core節點添加zk實例

注意：添加實例后，會出現原有的實例配置過期，先不重啟

1.3.3?????? 刪除原有master實例

1.3.4?????? 需要重啟所有ZooKeeper，刷新配置

1.3.5?????? 滾動重啟broker實例，刷新配置：

1.3.6?????? 集群最后狀態，服務全部正常，無告警：

1.4?????? 測試驗證

根據指導操作后，測試驗證新部署的節點上zk的數據可以正常寫入，且所有上層業務均正常。

1.5?????? 約束說明

1） 操作過程會重啟zookeeper和broker服務，可能會導致存在短時間的服務中斷，業務影響，需要與業務方一起評估。

2） 如果業務方有直接訪問zk，需要更新客戶端的zk的ip地址信息，影響需要與業務方一起評估。

mrs 大數據 EI企業智能

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。