【軟通鯤鵬云最佳實踐57】spark-2.3.3 鯤鵬云服務器安裝實踐

一、?軟件介紹

Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。它擁有Hadoop MapReduce所具有的優點；但不同于MapReduce的是——Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。

二、?支持的操作系統

經過華為云嚴格實測，以下操作系統在鯤鵬生態中可以完整運行spark的全部功能：

CentOS7.6

建議使用spark-2.3.3

-：

http://mirrors.hust.edu.cn/apache/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgz

四、?編譯與測試環境

本文選用華為鯤鵬云服務器ECS KC1實例做測試，KC1實例的處理器為兼容ARMv8指令集的鯤鵬920。詳細規格如下：

類別

子項

版本

云主機配置

ECS實例類型

kc1.large.4

ECS配置

4U16GB

EVS

高IO(80GB)

云OS

Kernel

4.18.0

五、?編譯安裝與測試

1?依賴安裝

1)?Java版本建議在1.8.0以上版本。

執行如下命令，安裝java-1.8.0：

yum install java-1.8.0-openjdk

2)?設置環境變量。

vim /etc/profile

export JAVA_HOME=/usr/lib/jvm/jre

source /etc/profile

2?編譯安裝

1)?執行下面命令，下載并解壓軟件包。

cd /opt/

tar –zxvf spark-2.3.3-bin-hadoop2.7.tgz

3?驗證測試

1)?執行如下命令，驗證spark安裝結果。

/opt/spark-2.3.3-bin-hadoop2.7/sbin/start-master.sh

/opt/spark-2.3.3-bin-hadoop2.7/start-slave.sh spark://ecs-a6fe-0001:7077

ecs-a6fe-0001為主機名

2)?在瀏覽器里訪問http://IP:8080，出現如下頁面表示安裝成功。

4?問題總結

無

六、?聲明

本文檔中的軟件包均來自軟件官網，安裝文檔部分參考官網的安裝方法，本軟件測試環境為華為鯤鵬云ARM服務器，具體配置信息參照《編譯與測試環境》部分。

本文檔中的軟件安裝測試基于華為鯤鵬云ARM服務器環境測試，如在使用本文檔的安裝方法進行安裝過程中，可能由于系統版本、軟件依賴或其他原因造成軟件安裝不成功，請自行解決或聯系我們，請事先備份相關重要數據、資料。

使用文檔風險由用戶自行承擔，在適用法律允許的最大范圍內，對因使用或不能使用本文檔所產生的損害及風險，包括但不限于直接或間接的個人損害、商業贏利的喪失、貿易中斷、商業信息的丟失或任何其它經濟損失，我司不承擔任何責任。

我司不擔保所提供的軟件功能及服務一定能滿足用戶的要求，也不擔保服務不會中斷，對服務的及時性、安全性、真實性、準確性都不作擔保。

鯤鵬

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。