-
甘特圖怎么制作更方便？甘特圖制作方法" title="甘特圖怎么制作更方便？甘特圖制作方法" width="200" height="150">
-
OKR的實施標準步驟是什么？成功實施落地OKR的要點" title="OKR的實施標準步驟是什么？成功實施落地OKR的要點" width="200" height="150">
-
Spark 學習中遇到的一些問題
所有內(nèi)容 ?2022-05-29Spark 學習中遇到的一些問題 SparkSQL 相關(guān) 在執(zhí)行 insert 語句時報錯，堆棧信息為：FileSystem closed。常常出現(xiàn)在 ThriftServer 里面。 原因： 由于...
-
-
-
星火計劃ROS機器人Spark
所有內(nèi)容 ?2022-05-29星火計劃ROS機器人Spark 1?http://wiki.ros.org/Robots/Spark 2?https://github.com/NXROBO/spark ---- Spark Spar...
-
Spark性能優(yōu)化 (1) | 常規(guī)性能調(diào)優(yōu)
所有內(nèi)容 ?2022-05-28大家好，我是不溫卜火，是一名計算機學院大數(shù)據(jù)專業(yè)大二的學生，昵稱來源于成語—不溫不火，本意是希望自己性情溫和。作為一名互聯(lián)網(wǎng)行業(yè)的小白，博主寫博客一方面是為了記錄自己的學習過程，另一方面是總結(jié)自己所犯...
-
-
2021年大數(shù)據(jù)Spark（二十二）：內(nèi)核原理
所有內(nèi)容 ?2022-05-28目錄 Spark內(nèi)核原理 RDD 依賴 窄依賴（Narrow Dependency） Shuffle 依賴（寬依賴 Wide Dependency） 如何區(qū)分寬窄依賴 DAG和Stage 詞匯表 Sp...
-
Spark內(nèi)存管理解析
所有內(nèi)容 ?2022-05-28Spark是一個基于內(nèi)存的分布式計算引擎，為了更為高效地利用內(nèi)存，并減少OOM等內(nèi)存問題，Spark對JVM內(nèi)存模型進行了進一步的管理規(guī)劃，在其之上實現(xiàn)了自己的內(nèi)存管理模型。本文將基于spark.me...
-
Spark shuffle介紹：概述
所有內(nèi)容 ?2022-05-28在基于mapreduce思想的計算模型里，Shuffle是map和reduce的紐帶。計算框架對大數(shù)據(jù)分而治之，對處理數(shù)據(jù)進行分塊并行處理，當需要對分塊數(shù)據(jù)做聚合處理時，多個分塊的數(shù)據(jù)在map階段轉(zhuǎn)為...
-
Spark內(nèi)核詳解 (7) | Spark 內(nèi)存管理
所有內(nèi)容 ?2022-05-28大家好，我是不溫卜火，是一名計算機學院大數(shù)據(jù)專業(yè)大二的學生，昵稱來源于成語—不溫不火，本意是希望自己性情溫和。作為一名互聯(lián)網(wǎng)行業(yè)的小白，博主寫博客一方面是為了記錄自己的學習過程，另一方面是總結(jié)自己所犯...
