MapReduce學習（2）

Apache Hadoop YARN (Yet Another Resource Negotiator)，中文名為“另一種資源協調者”。它是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。

在Hadoop1.0版本中，資源調度是通過MRv1來進行，此版本存在著很多缺陷：（1）master是單點，故障恢復依賴于周期性的checkpoint，不保證可靠性，發生故障的時候會通知用戶，由用戶自行決定是否重新計算。（2）沒有區分作業調度與資源調度。 MR在運行時，環境會有大量的Job并發，因此多樣且高效的調度策略是非常重要的。（3）沒有提到資源隔離與安全性，大量Job并發的時候，如何保證單個Job不占用過多的資源，如何保證用戶的程序對系統而言是安全的，在Hadoop 1.0中是個大問題。

隨著YARN在Hadoop2.0的引入，這些問題都得到了解決。YARN作為輕量級彈性計算平臺，除了支持MapReduce框架，還可以支持其他框架，比如Spark、Storm等。

MapReduce

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。