《Spark Streaming實時流式大數據處理實戰》 ——2.2.4 Spark On Yarn模式

2.2.4? Spark On Yarn模式

Spark在0.6.0版本之后，添加了對Yarn模式的支持。通常，當我們已經部署了Hadoop集群時，可以將Spark統一在Yarn模式下進行資源分配管理，有利于資源上的整合與共享。

Spark在Yarn模式上分為Yarn client模式和Yarn cluster模式，兩者的主要區別是，在Yarn cluster模式中，應用程序都作為Yarn框架所需要的主應用程序（Application Master），并通過Yarn資源管理器（Yarn ResourceManager）為其分配的一個隨機節點上運行。而當我們需要本地交互時，可以利用Yarn client模式，該模型下Spark上下文（Spark-Context）會運行在本地，如Spark Shell和Shark等。因為公司內部大多數都會部署Hadoop集群，利用HDFS和Hive等進行存儲管理，所以公司內部部署的公共Spark集群大多會依托于該模式。

Spark spark 大數據 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。