《Spark Streaming實時流式大數據處理實戰》 ——2.5 本 章 小 結

2.5? 本 章 小 結

* 在下載安裝Spark時，一定要關注相應的版本，除非特殊需要，建議直接使用官方預編譯好的版本。

* Spark提供了多種運行模式，除了本地測試用的模式外，生產環境中常用的主要是Standalone和基于Yarn的運行模式，本書以Standalone模式為主。

* 注意Spark集群的配置，可以參考官方文檔，本書后續也會進一步介紹。

* 我們可以利用Scala-Eclipse開發Scala程序，利用Maven對依賴包進行管理和編譯，如果Maven下載jar包非常慢，可以嘗試配置Maven鏡像庫。

* 除了Eclipse，當前比較好用的IDE還有Intellij，在附錄中會介紹。

* 將程序提交到Spark集群后，除了查看日志外，還要學會觀察利用Spark自帶的監控網頁，其提供了強大的各種統計信息，對調優查看應用穩定性都有非常重要的作用。

Spark spark 大數據 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。