《Spark數據分析：基于Python語言 》 —2.2　準備安裝Spark

2.2　準備安裝Spark

Spark是跨平臺的應用程序，可以部署在如下操作系統上：

Linux（所有發行版）

Windows

Mac OS X

盡管沒有具體的硬件要求，一般的Spark節點的推薦硬件配置如下所列：

8GB以上的內存（Spark是主要基于內存的處理框架，所以內存越多越好）。

至少是8核CPU。

10GB以上的網絡帶寬。

如果要用到存儲的話，還要有充足的本地磁盤存儲空間（RDD的磁盤存儲最好使用SSD。如果該節點還運行著HDFS這樣的分布式文件系統，最好為多磁盤使用JBOD配置。JBOD代表“Just a bunch of disks”（磁盤簇），表示使用沒有組成RAID陣列（獨立冗余磁盤陣列）的獨立硬盤的配置方式。）

Spark是用Scala編寫的，這是一種編譯后運行在Java虛擬機（JVM）上的語言。Spark提供了Python（PySpark）、Scala和Java的編程接口。安裝和運行Spark的軟件要求如下所列：

Java（最好是JDK）。

Python，如果需要使用PySpark的話。

R，如果想通過R語言接口使用Spark，詳見第8章。

Git、Maven或者SBT，如果想要從源代碼編譯構建Spark，或者編譯Spark程序，會用到這些工具。

Spark python spark Python

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。