《從零開始學Hadoop大數據分析（視頻教學版）》 —3.2.8 Block的副本放置策略

3.2.8? Block的副本放置策略

HDFS中的文件作為獨立的存儲單元，被劃分為塊（block）大小的多個分塊（chunk），在Hadoop 2.x中默認值為128MB。當HDFS中存儲小于一個塊大小的文件時不會占據整個塊的空間，也就是說，1MB的文件存儲時只占用1MB的空間而不是128MB。HDFS的容錯性也要求數據自動保存多個副本，副本的放置策略如圖3.7所示。

圖3.7? 副本的放置策略圖示

* 第1個副本：放置在上傳文件的DN；如果是集群外提交，則隨機挑選一臺磁盤不太滿、CPU不太忙的節點。

* 第2個副本：放置在與第1個副本不同機架的節點上。

* 第3個副本：放置在與第2個副本相同機架的節點上。

* 更多副本：隨機節點。

大數據分析 大數據 Hadoop 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。