Spark編程環境搭建

Spark編程環境搭建

基于Intellij IDEA搭建Spark開發環境搭

基于Intellij IDEA搭建Spark開發環境搭——參考文檔

● 參考文檔http://spark.apache.org/docs/latest/programming-guide.html

● 操作步驟

a)創建maven 項目

b)引入依賴（Spark 依賴、打包插件等等）

基于Intellij IDEA搭建Spark開發環境—maven vs sbt

● 哪個熟悉用哪個

● Maven也可以構建scala項目

基于Intellij IDEA搭建Spark開發環境搭—maven構建scala項目

● 參考文檔http://docs.scala-lang.org/tutorials/scala-with-maven.html

● 操作步驟

a)用maven構建scala項目(基于net.alchim31.maven:scala-archetype-simple)

b)pom.xml引入依賴(spark依賴、打包插件等等)

注意：scala與java版本的兼容性

開發第一個Spark程序

● 第一個Scala版本的spark程序

● 第一個Java版本的spark程序

運行自己開發第一個Spark程序

● Spark maven 項目打包

mvn package

● 提交Spark 集群運行

提交Scala版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result

提交Java版本的Wordcount

bin/spark-submit --class com.dajiangtai.test.MyJavaWordCount ~/testspark/test-spark-1.0.SNAPSHOT.jar ~/testspark/words.txt ~/testspark/result1

Scala spark

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。