-
甘特圖怎么制作更方便？甘特圖制作方法" title="甘特圖怎么制作更方便？甘特圖制作方法" width="200" height="150">
-
OKR的實施標準步驟是什么？成功實施落地OKR的要點" title="OKR的實施標準步驟是什么？成功實施落地OKR的要點" width="200" height="150">
-
Spark性能優化 (3) | Shuffle 調優
所有內容 ?2022-05-28大家好，我是不溫卜火，是一名計算機學院大數據專業大二的學生，昵稱來源于成語—不溫不火，本意是希望自己性情溫和。作為一名互聯網行業的小白，博主寫博客一方面是為了記錄自己的學習過程，另一方面是總結自己所犯...
-
Spark shuffle介紹：shuffle data生命周期
所有內容 ?2022-05-28shuffle data持久化在磁盤上，如果一直不清理，磁盤容易被撐爆。那shuffle data什么時候會被清理呢。一般來說可以分成3種場景： 1、spark application主動停止，需要清...
-
-
-
-
《Spark數據分析：基于Python語言 》 —2.2 準備安裝Spark
所有內容 ?2022-05-282.2 準備安裝Spark Spark是跨平臺的應用程序，可以部署在如下操作系統上： Linux（所有發行版） Windows Mac OS X 盡管沒有具體的硬件要求，一般的Spark節點的推薦硬件...
-
Spark_shuffle調優
所有內容 ?2022-05-28大多數Spark作業的性能主要就是消耗在了shuffle環節，因為該環節包含了大量的磁盤IO、序列化、網絡數據傳輸等操作。因此，如果要讓作業的性能更上一層樓，就有必要對shuffle過程進行調優。但是...
