Spark環境搭建——on yarn集群模式

本篇博客，Alice為大家帶來關于如何搭建Spark的on yarn集群模式的教程。

文章目錄

準備工作

cluster模式

client模式[了解]

兩種模式的區別

官方文檔:

http://spark.apache.org/docs/latest/running-on-yarn.html

準備工作

安裝啟動Hadoop(需要使用HDFS和YARN，已經ok)

安裝單機版Spark(已經ok)

注意：不需要集群，因為把Spark程序提交給YARN運行本質上是把字節碼給YARN集群上的JVM運行，但是得有一個東西幫我去把任務提交上個YARN，所以需要一個單機版的Spark，里面的有spark-shell命令，spark-submit命令

修改配置:

在spark-env.sh ，添加HADOOP_CONF_DIR配置，指明了hadoop的配置文件的位置

vim /export/servers/spark/conf/spark-env.sh

加入下面的聲明，把路徑改為自己hadoop對應的路徑

export HADOOP_CONF_DIR=/export/servers/hadoop/etc/hadoop

cluster模式

說明

在企業生產環境中大部分都是cluster部署模式運行Spark應用

Spark On YARN的Cluster模式 指的是Driver程序運行在YARN集群上

補充Driver是什么:

The process running the main() function of the application and creating the SparkContext

運行應用程序的main()函數并創建SparkContext的進程

圖解

注意：

之前我們使用的spark-shell是一個簡單的用來測試的交互式窗口，下面的演示命令使用的是spark-submit用來提交打成jar包的任務

/export/servers/spark/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 2 \ --queue default \ /export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \ 10

1

2

3

4

5

6

7

8

9

10

具體的參數含義，見下圖說明。

查看界面

http://node01:8088/cluster

client模式[了解]

說明

學習測試時使用，開發不用，了解即可

Spark On YARN的Client模式 指的是Driver程序運行在提交任務的客戶端

圖解

運行示例程序

/export/servers/spark/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode client \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 2 \ --queue default \ /export/servers/spark/examples/jars/spark-examples_2.11-2.2.0.jar \ 10

1

2

3

4

5

6

7

8

9

10

具體參數對應的含義請參照cluster模式。

兩種模式的區別

Cluster和Client模式最最本質的區別是：Driver程序運行在哪里！

其中，就直接的區別就是:

運行在YARN集群中就是Cluster模式，

運行在客戶端就是Client模式

當然，還有由本質區別延伸出來的區別:

cluster模式：

生產環境中使用該模式

1.Driver程序在YARN集群中

2.應用的運行結果不能在客戶端顯示

3.該模式下Driver運行ApplicattionMaster這個進程中，

如果出現問題，yarn會重啟ApplicattionMaster(Driver)

client模式：

1.Driver運行在Client上的SparkSubmit進程中

2.應用程序運行結果會在客戶端顯示

本次的分享就到這里，受益的小伙伴或對大數據技術感興趣的朋友記得關注Alice喲(＾Ｕ＾)ノ~ＹＯ

spark Yarn

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。