kafka減容磁盤raid組

一.問(wèn)題描述

Kafka減容磁盤raid組,比如從3組raid減容到1組。

二.思路分析

1.減容 broker？ 否? 兼容磁盤，不是減容broker

2.實(shí)例 退服？ 否

3.單磁盤partition得考慮下

四.解決方法

理論上要把減容磁盤的數(shù)據(jù)遷移到其他節(jié)點(diǎn)或減容節(jié)點(diǎn)的非減容磁盤上，去掉磁盤raid組后改manager數(shù)據(jù)存放目錄。

五.問(wèn)題總結(jié)

操作風(fēng)險(xiǎn)：

①在重建過(guò)程中，硬盤驅(qū)動(dòng)器的壓力會(huì)更大（頻繁使用）

②對(duì)于較大的陣列，雙驅(qū)動(dòng)器故障將成為一個(gè)嚴(yán)重的風(fēng)險(xiǎn)。

③如果計(jì)算機(jī)突然斷電，對(duì)RAID陣列的寫操作可能會(huì)中斷（raid5 寫漏洞）。

這可能會(huì)導(dǎo)致對(duì)RAID陣列的部分寫入，使其處于不一致的狀態(tài)。

六.博文參考:

①https://www.orchome.com/2004 （文章 討論了 kafka集群 raid5的必要性）

個(gè)人觀點(diǎn)：非常 有必要 。原因如下：

（1）單盤數(shù)據(jù)熱點(diǎn)問(wèn)題（n塊磁盤 n-1塊壞盤） 不能不重視

（2）raid5(硬件備份) 副本冗余機(jī)制（軟件備份） 兩種備份不沖突

（3）RAID5壞一塊盤業(yè)務(wù)不感知（3副本 必然 跨機(jī)架，raid5 可能 不跨機(jī)架）

②https://www.cnblogs.com/sddai/p/8647795.html （文章 討論了 磁盤 IOPS 和 吞吐量 相關(guān)指標(biāo)）

個(gè)人觀點(diǎn)：raid5 可以實(shí)現(xiàn) 高IOPS, 這也是 kafka 集群 最需要 的。

③https://blog.csdn.net/louisjh/article/details/87708844 （文章 討論了 多副本機(jī)制，糾刪碼 和 raid5）

個(gè)人觀點(diǎn)：傳統(tǒng)的 用raid5? 大數(shù)據(jù)用多副本? hadoop3.0引入糾刪碼

一般采用專門硬件的存儲(chǔ)廠商，還是喜歡采用傳統(tǒng)的RAID或者改進(jìn)后的RAID方式。如果是SDS的軟件廠商，不需要采用專門的硬件，而是采用普通存儲(chǔ)服務(wù)器，一般就采用塊級(jí)多副本技術(shù)，如VMWARE的VSAN、華為的Fusionstorage、IBM的XIV，信核的容錯(cuò)池和華云網(wǎng)際的FusionStor都是這個(gè)例子。

Kafka

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。