Hadoop YARN 教程 - 學習 YARN 架構的基礎知識

Hadoop YARN 將 Hadoop 的存儲單元，即 HDFS（Hadoop 分布式文件系統）與各種處理工具結合在一起。對于那些你們誰是全新的這個話題，紗代表“??等一諾特爾[R?esource???egotiator”。我還建議您在繼續學習 Apache Hadoop YARN 之前先閱讀我們的Hadoop 教程和MapReduce 教程。我將在這里解釋以下主題，以確保在本博客的末尾您對 Hadoop YARN 的理解是清晰的。

為什么是紗線？

Hadoop YARN 簡介

YARN的組成部分

在 YARN 中提交申請

Hadoop YARN 中的應用程序工作流

為什么是紗線？

在 Hadoop 1.0 版（也稱為 MRV1（MapReduce 版本 1））中，MapReduce 執行處理和資源管理功能。它由一個 Job Tracker 組成，它是一個單一的 master。作業-分配資源、執行調度并監控處理作業。它在稱為任務-的許多從屬進程上分配映射和化簡任務。任務-定期向作業-報告他們的進度。

由于單個作業-，此設計導致可擴展性瓶頸。?IBM 在其文章中提到，根據 Yahoo! 的說法，這種設計的實際限制達到了 5000 個節點和 40,000 個并發運行任務的集群。?除了這個限制之外，MRV1 中計算資源的利用效率很低。此外，Hadoop 框架僅限于 MapReduce 處理范式。

為了克服所有這些問題，雅虎和 Hortonworks 于 2012 年在 Hadoop 2.0 版中引入了 YARN。YARN 背后的基本思想是通過接管資源管理和作業調度的責任來減輕 MapReduce。YARN 開始賦予 Hadoop 在 Hadoop 框架內運行非 MapReduce 作業的能力。

隨著 YARN 的引入，Hadoop 生態系統?發生了徹底的變革。它變得更加靈活、高效和可擴展。當雅虎在 2013 年第一季度啟用 YARN 時，它幫助該公司將其 Hadoop 集群的規模從 40,000 個節點縮小到 32,000 個節點。但工作崗位數量翻了一番，達到每月 2600 萬個。

Hadoop YARN 簡介

現在我已經啟發了您對 YARN 的需求，讓我向您介紹 Hadoop v2.0 的核心組件YARN。YARN 允許使用不同的數據處理方法，如圖形處理、交互處理、流處理以及批處理來運行和處理存儲在 HDFS 中的數據。因此，YARN 向 MapReduce 之外的其他類型的分布式應用程序開放了 Hadoop。

YARN 使用戶能夠通過使用各種工具（例如用于實時處理的Spark、用于 SQL 的Hive、用于 NoSQL 的HBase 等）來根據需要執行操作。

除了資源管理，YARN 還執行作業調度。YARN 通過分配資源和調度任務來執行您的所有處理活動。Apache Hadoop YARN 架構由以下主要組件組成：

資源管理器：?在主守護進程上運行并管理集群中的資源分配。

節點管理器：它們在從屬守護進程上運行，負責在每個數據節點上執行任務。

Application Master：?管理用戶作業生命周期和單個應用程序的資源需求。它與節點管理器一起工作并監視任務的執行。

容器：?單個節點上的資源包，包括 RAM、CPU、網絡、HDD 等。

YARN的組成部分

您可以將 YARN 視為 Hadoop 生態系統的大腦。下圖表示 YARN 架構。

YARN 架構的第一個組件是，

資源管理器

它是資源分配的最終權威。

在接收到處理請求時，它相應地將部分請求傳遞給相應的節點管理器，在那里進行實際的處理。

它是集群資源的仲裁者，決定為競爭應用程序分配可用資源。

優化集群利用率，例如根據容量保證、公平性和 SLA 等各種限制，始終保持所有資源處于使用狀態。

它有兩個主要組件：?a) 調度器? ??b?)?應用程序管理器

a) 調度器

調度器負責將資源分配給受容量、隊列等約束的各種正在運行的應用程序。

它在 ResourceManager 中被稱為純調度程序，這意味著它不會對應用程序執行任何狀態監控或跟蹤。

如果出現應用程序故障或硬件故障，調度程序不保證重新啟動失敗的任務。

根據應用程序的資源需求執行調度。

它有一個可插拔的策略插件，負責在各種應用之間劃分集群資源。有兩個這樣的插件：??Capacity Scheduler?和?Fair Scheduler，目前在ResourceManager中作為Scheduler使用。

b) 應用程序管理器

它負責接受工作提交。

協商來自資源管理器的第一個容器，用于執行特定于應用程序的 Application Master。

管理在集群中運行的 Application Master，并提供在故障時重新啟動 Application Master 容器的服務。

來到第二個組件，即：

它負責處理 Hadoop 集群中的各個節點，并?管理給定節點上的用戶作業和工作流。

它向資源管理器注冊并發送帶有節點健康狀態的心跳。

它的主要目標是管理資源管理器分配給它的應用程序容器。

它與資源管理器保持同步。

應用程序主機通過向節點管理器發送容器啟動上下文 (CLC) 來從節點管理器請求分配的容器，其中包含應用程序運行所需的一切。節點管理器創建請求的容器進程并啟動它。

監控單個容器的資源使用情況（內存、CPU）。

執行日志管理。

它還按照資源管理器的指示殺死容器。

Apache Hadoop YARN的第三個組件是，

應用程序是提交給框架的單個作業。每個這樣的應用程序都有一個與之關聯的唯一應用程序主機，它是一個特定于框架的實體。

它是協調應用程序在集群中執行并管理故障的過程。

它的任務是從資源管理器協商資源，并與節點管理器一起執行和監控組件任務。

它負責從 ResourceManager 協商適當的資源容器，跟蹤它們的狀態并監控進度。

一旦啟動，它會定期向資源管理器發送心跳以確認其健康狀況并更新其資源需求記錄。

該第四成分是：

它是單個節點上的物理資源的集合，例如 RAM、CPU 內核和磁盤。

YARN 容器由容器生命周期 (CLC) 的容器啟動上下文管理。該記錄包含環境變量映射、存儲在遠程訪問存儲中的依賴項、安全令牌、節點管理器服務的有效負載以及創建進程所需的命令。

它授予應用程序使用特定主機上特定數量資源（內存、CPU 等）的權利。

在 YARN 中提交申請

請參閱圖像并查看提交 Hadoop YARN 應用程序所涉及的步驟：

1）提交作業

2)?獲取應用程序 ID

3) 申請提交上下文

4 a) 啟動容器?啟動

b) 啟動 Application Master

5) 分配資源

6 a) 容器

b) 啟動

7) 執行

Hadoop YARN 中的應用程序工作流

參考給定的圖像并查看 Apache Hadoop YARN 的應用程序工作流中涉及的以下步驟：

客戶提交申請

Resource Manager 分配一個容器來啟動Application Manager

應用程序管理器向資源管理器注冊

應用程序管理器向資源管理器詢問容器

應用程序管理器通知節點管理器啟動容器

應用程序代碼在容器中執行

客戶端聯系資源管理器/應用程序管理器以監控應用程序的狀態

應用程序管理器向資源管理器取消注冊

Hadoop Yarn

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。