2021 年你必須準備的 50 大 Hadoop 面試問題

2021 年 Hadoop 前 50 名面試問題

在這個 Hadoop 面試問題博客中，我們將涵蓋所有常見問題，這些問題將幫助您通過最佳解決方案在面試中勝出。但在此之前，讓我告訴您對大數據和 Hadoop 專家的需求是如何持續增長的。

以下是一些非常準確地反映了對Hadoop 認證需求增長的統計數據：

美國大數據 Hadoop 開發人員的平均工資為 144,000 美元- Indeed.com

印度大數據 Hadoop 開發人員的平均工資為 1600,000 盧比-Indeed.com

英國的平均年薪為 ￡66,250 – ￡66,750- itjobswatch.co.uk

我想提請您注意大數據革命。早些時候，組織只關心運營數據，不到整體數據的 20%。后來，他們意識到分析整個數據會給他們更好的業務洞察力和決策能力。那是雅虎、Facebook、谷歌等巨頭開始采用 Hadoop 和大數據相關技術的時候。事實上，現在五分之一的公司正在轉向大數據分析。因此，對大數據 Hadoop 工作的需求正在上升。因此，如果您想提升自己的職業生涯，Hadoop 和 Spark 正是您需要的技術。無論是新人還是有經驗的人，這總是會給您一個良好的開端。

準備好這些頂級 Hadoop 面試問題，以便在新興的大數據市場中占據優勢，全球和本地企業，無論大小，都在尋找優質的大數據和 Hadoop 專家。這份 Hadoop 頂級面試問題的權威列表將帶您了解有關Hadoop 集群、??HDFS、??MapReduce、Pig、Hive、HBase的問題和答案?。這個博客是通往下一個 Hadoop 工作的門戶。

以下是我們將要討論的問題的大綱：

基本的 Hadoop 面試問題

Hadoop HDFS 面試問題

Hadoop MapReduce 面試題

Apache Pig 面試問題

Apache Hive 面試問題

Apache HBase 面試題

Apache Spark 面試問題

Oozie & Zookeeper 面試問題

如果您在 Hadoop 面試中遇到一些困難的問題，并且仍然對最佳答案感到困惑，請將這些問題放在下面的評論部分。我們很樂意回答他們。

與此同時，您可以通過 Edureka 參加 Hadoop 在線培訓，最大限度地利用大數據分析職業機會，這些機會肯定會為您提供。點擊下方了解更多。

1、關系型數據庫和HDFS的基本區別是什么？

以下是 HDFS 和關系數據庫之間的主要區別：

2. 解釋“大數據”，大數據的五個 V 是什么？

“大數據”是大量復雜數據集的術語，這使得使用關系數據庫管理工具或傳統數據處理應用程序難以處理。捕獲、管理、存儲、搜索、共享、傳輸、分析和可視化大數據很困難。大數據已成為企業的機遇。現在，他們可以成功地從數據中獲取價值，并且憑借增強的業務決策能力，將比競爭對手具有明顯的優勢。

? 提示：在此類問題中談論 5V 將是一個好主意，無論是否專門詢問！

卷：卷表示以指數速率增長的數據量，即以 PB 和 Exabytes 為單位。

速度：速度是指數據增長的速度，非常快。今天，昨天的數據被認為是舊數據。如今，社交媒體是數據增長速度的主要貢獻者。

多樣性：多樣性是指數據類型的異質性。換句話說，收集到的數據有多種格式，如視頻、音頻、csv 等。因此，這些不同的格式代表了數據的多樣性。

真實性：真實性是指由于數據的不一致和不完整而對可用數據存疑或不確定的數據。可用數據有時會變得混亂并且可能難以信任。大數據形式多樣，質量和準確性難以控制。數量往往是數據缺乏質量和準確性的原因。

價值：獲得大數據固然很好，但除非我們能將其轉化為價值，否則它毫無用處。通過將其轉化為價值，我的意思是，它是否增加了組織的利益？致力于大數據的組織是否實現了高 ROI（投資回報率）？除非它通過處理大數據來增加他們的利潤，否則它是沒有用的。

正如我們所知，大數據正在加速增長，因此與之相關的因素也在不斷發展。要詳細了解它們，我建議您閱讀Big Data Tutorial博客。

3.什么是Hadoop及其組件。

當“大數據”成為一個問題時，Apache Hadoop 演變為它的解決方案。Apache Hadoop 是一個框架，它為我們提供各種服務或工具來存儲和處理大數據。它有助于分析大數據并從中做出業務決策，這是使用傳統系統無法高效和有效地完成的。

? 提示：現在，在講解Hadoop的同時，還要講解一下Hadoop的主要組成部分，即：

存儲單元——HDFS（NameNode、DataNode）

處理框架——YARN（ResourceManager、NodeManager）

4. 什么是 HDFS 和 YARN？

HDFS（Hadoop分布式文件系統）是Hadoop的存儲單元。它負責在分布式環境中將不同類型的數據存儲為塊。它遵循主從拓撲。

? 提示：建議對HDFS組件也進行說明即

NameNode：?NameNode 是分布式環境中的主節點，它維護存儲在 HDFS 中的數據塊的元數據信息，如塊位置、復制因子等。

DataNode：?DataNode 是從節點，負責在 HDFS 中存儲數據。NameNode 管理所有的 DataNode。

YARN（Yet Another Resource Negotiator）是 Hadoop 中的處理框架，它管理資源并為進程提供執行環境。

? 提示：同理，就像我們在 HDFS 中所做的那樣，我們也應該解釋一下 YARN 的兩個組件：

ResourceManager：它接收處理請求，然后相應地將請求的部分傳遞給相應的 NodeManager，在那里進行實際處理。它根據需要為應用程序分配資源。

NodeManager：?NodeManager 安裝在每個DataNode 上，負責在每個DataNode 上執行任務。

5. 告訴我各種 Hadoop 守護進程及其在 Hadoop 集群中的作用。

通常通過首先解釋 HDFS 守護程序，即 NameNode、DataNode 和輔助 NameNode，然后轉到 YARN 守護程序，即 ResorceManager 和 NodeManager，最后解釋 JobHistoryServer 來解決這個問題。

NameNode：它是主節點，負責存儲所有文件和目錄的元數據。它有關于塊的信息，它創建一個文件，以及這些塊在集群中的位置。

Datanode：它是包含實際數據的從節點。

輔助 NameNode：它會定期將更改（編輯日志）與 NameNode 中存在的 FsImage（文件系統映像）合并。它將修改后的 FsImage 存儲到持久化存儲中，可以在 NameNode 失敗的情況下使用。

ResourceManager：它是管理資源和調度運行在 YARN 之上的應用程序的中央機構。

NodeManager：它運行在從機上，負責啟動應用程序的容器（應用程序在其中執行它們的部分），監控它們的資源使用情況（CPU、內存、磁盤、網絡）并將這些報告給 ResourceManager。

JobHistoryServer：它在Application Master 終止后維護有關MapReduce 作業的信息。

Hadoop HDFS 面試問題

6. 將 HDFS 與網絡附加存儲 (NAS) 進行比較。

本題先解釋一下NAS和HDFS，然后比較它們的特點如下：

網絡附加存儲 (NAS) 是連接到計算機網絡的文件級計算機數據存儲服務器，提供對異構客戶端組的數據訪問。NAS 可以是提供存儲和訪問文件服務的硬件或軟件。而 Hadoop 分布式文件系統 (HDFS) 是使用商品硬件存儲數據的分布式文件系統。

在 HDFS 中，數據塊分布在集群中的所有機器上。而在 NAS 中，數據存儲在專用硬件上。

HDFS 旨在與 MapReduce 范式一起使用，其中將計算移至數據。NAS 不適合 MapReduce，因為數據與計算分開存儲。

HDFS 使用的是具有成本效益的商品硬件，而 NAS 是包含高成本的高端存儲設備。

7. 列出 Hadoop 1 和 Hadoop 2 的區別。

這是一個重要的問題，在回答這個問題時，我們必須主要關注兩點，即被動 NameNode 和 YARN 架構。

在 Hadoop 1.x 中，“NameNode”是單點故障。在 Hadoop 2.x 中，我們有主動和被動的“NameNodes”。如果主動“NameNode”出現故障，則被動“NameNode”負責。因此，可以在 Hadoop 2.x 中實現高可用性。

此外，在 Hadoop 2.x 中，YARN 提供了一個中央資源管理器。使用 YARN，您現在可以在 Hadoop 中運行多個應用程序，所有應用程序都共享一個公共資源。MRV2 是一種特殊類型的分布式應用程序，它在 YARN 之上運行 MapReduce 框架。其他工具也可以通過 YARN 執行數據處理，這在 Hadoop 1.x 中是一個問題。

8. 什么是主動和被動“NameNodes”？

在 HA（高可用性）架構中，我們有兩個 NameNode——主動“NameNode”和被動“NameNode”。

活動的“NameNode”是在集群中工作和運行的“NameNode”。

被動的“NameNode”是備用的“NameNode”，與主動的“NameNode”具有相似的數據。

當主動“NameNode”出現故障時，被動“NameNode”會替換集群中的主動“NameNode”。因此，集群永遠不會沒有“NameNode”，因此它永遠不會失敗。

9. 為什么在Hadoop集群中頻繁刪除或添加節點？

Hadoop 框架最吸引人的特性之一是它對商品硬件的利用。然而，這會導致 Hadoop 集群中頻繁出現“DataNode”崩潰。Hadoop 框架的另一個顯著特點是隨著數據量的快速增長而易于擴展。由于這兩個原因，Hadoop 管理員最常見的任務之一就是在 Hadoop 集群中啟用（添加）和停用（移除）“數據節點”。

閱讀此博客以詳細了解在Hadoop 集群中調試和停用節點。

10. 當兩個客戶端試圖訪問 HDFS 中的同一個文件時會發生什么？

HDFS 僅支持獨占寫入。

當第一個客戶端聯系“NameNode”打開文件進行寫入時，“NameNode”授予客戶端創建該文件的租約。當第二個客戶端嘗試打開同一個文件進行寫入時，“NameNode”會注意到該文件的租用已經授予另一個客戶端，并拒絕第二個客戶端的打開請求。

11. NameNode 如何處理 DataNode 故障？

NameNode 定期從集群中的每個 DataNode 接收心跳（信號），這意味著 DataNode 運行正常。

塊報告包含 DataNode 上所有塊的列表。如果一個 DataNode 發送心跳消息失敗，則在特定時間段后將其標記為死亡。

NameNode 使用之前創建的副本將死節點的塊復制到另一個 DataNode。

12. NameNode宕機了怎么辦？

NameNode 恢復過程包括以下步驟來啟動和運行 Hadoop 集群：

使用文件系統元數據副本（FsImage）啟動一個新的 NameNode。

然后，配置 DataNode 和客戶端，以便它們可以確認這個新的 NameNode，即啟動。

現在，新的 NameNode 將在完成加載最后一個檢查點 FsImage（用于元數據信息）并從 DataNode 接收到足夠的塊報告后開始為客戶端提供服務。

而在大型 Hadoop 集群上，NameNode 恢復過程可能會消耗大量時間，這在日常維護的情況下成為更大的挑戰。因此，我們在HA 架構博客中介紹了 HDFS 高可用性架構?。

13. 什么是檢查點？

簡而言之，“Checkpointing”是一個獲取 FsImage 的過程，編輯日志并將它們壓縮到一個新的 FsImage 中。因此，NameNode 可以直接從 FsImage 加載最終的內存狀態，而不是重放編輯日志。這是一種更有效的操作，并減少了 NameNode 的啟動時間。檢查點由輔助 NameNode 執行。

14、HDFS如何容錯？

當數據存儲在 HDFS 上時，NameNode 將數據復制到多個 DataNode。默認復制因子為 3。您可以根據需要更改配置因子。如果 DataNode 出現故障，NameNode 會自動將數據從副本復制到另一個節點并使數據可用。這在 HDFS 中提供了容錯能力。

15. NameNode 和 DataNode 可以是商品硬件嗎？

這個問題的明智答案是，DataNodes 是像個人計算機和筆記本電腦一樣的商品硬件，因為它存儲數據并且需要大量使用。但是根據您的經驗，您可以看出，NameNode 是主節點，它存儲有關存儲在 HDFS 中的所有塊的元數據。它需要高內存（RAM）空間，因此NameNode需要是具有良好內存空間的高端機器。

16. 為什么我們在有大量數據集的應用程序中使用 HDFS 而不是在有很多小文件時？

與分布在多個文件中的少量數據相比，HDFS 更適合單個文件中的大量數據集。如您所知，NameNode 將有關文件系統的元數據信息存儲在 RAM 中。因此，內存量會限制我的 HDFS 文件系統中的文件數量。換句話說，過多的文件會導致生成過多的元數據。而且，將這些元數據存儲在 RAM 中將成為一項挑戰。根據經驗，文件、塊或目錄的元數據需要 150 個字節。

17.在HDFS中如何定義“塊”？Hadoop 1 和 Hadoop 2 中的默認塊大小是多少？可以改變嗎？

塊只是硬盤驅動器上存儲數據的最小連續位置。HDFS 將每個存儲為塊，并將其分布在整個 Hadoop 集群中。HDFS 中的文件被分解為塊大小的塊，這些塊作為獨立的單元存儲。

Hadoop 1 默認塊大小：64 MB

Hadoop 2 默認塊大小：128 MB

是的，可以配置塊。可以在 hdfs-site.xml 文件中使用 dfs.block.size 參數來設置 Hadoop 環境中塊的大小。

18. 'jps' 命令有什么作用？

'jps' 命令幫助我們檢查 Hadoop 守護進程是否正在運行。它顯示了機器上運行的所有 Hadoop 守護進程，即 namenode、datanode、resourcemanager、nodemanager 等。

19. 你如何定義 Hadoop 中的“機架感知”？

機架感知是“NameNode”根據機架定義決定如何放置塊及其副本的算法，以最大限度地減少同一機架內“DataNode”之間的網絡流量。假設我們考慮復制因子 3（默認），策略是“對于每個數據塊，一個機架中將存在兩個副本，另一個機架中將存在第三個副本”。此規則稱為“副本放置策略”。

要更詳細地了解機架感知，請參閱HDFS 架構博客。

20. Hadoop 中的“推測執行”是什么？

如果某個節點似乎執行任務的速度較慢，則主節點可以在另一個節點上冗余地執行同一任務的另一個實例。然后，首先完成的任務將被接受，另一個被殺死。這個過程稱為“推測執行”。

21. 如何重啟“NameNode”或Hadoop中的所有守護進程？

這個問題可以有兩個答案，我們將討論這兩個答案。我們可以通過以下方法重啟NameNode：

您可以使用 單獨停止 NameNode?。?/sbin /hadoop-daemon.sh 停止 namenode命令，然后使用.??/sbin/hadoop-daemon.sh 啟動 namenode?命令。

要停止和啟動所有守護進程，請使用.??/sbin/全部停止。sh?然后使用 .?/sbin/start-all.sh?命令將首先停止所有守護進程，然后啟動所有守護進程。

這些腳本文件位于 Hadoop 目錄內的 sbin 目錄中。

22. “HDFS Block”和“Input Split”有什么區別？

“HDFS Block”是數據的物理劃分，而“Input Split”是數據的邏輯劃分。HDFS 將數據劃分為塊以將塊存儲在一起，而對于處理，MapReduce 將數據劃分為輸入拆分并將其分配給映射器函數。

23. 說出 Hadoop 可以運行的三種模式。

Hadoop可以運行的三種模式如下：

獨立（本地）模式：如果我們不配置任何東西，這是默認模式。在這種模式下，Hadoop 的所有組件，如 NameNode、DataNode、ResourceManager 和 NodeManager，都作為一個 Java 進程運行。這使用本地文件系統。

偽分布式模式：單節點 Hadoop 部署被視為以偽分布式模式運行 Hadoop 系統。在這種模式下，所有 Hadoop 服務，包括主服務和從服務，都在單個計算節點上執行。

完全分布式模式：Hadoop 主從服務運行在不同節點上的 Hadoop 部署被稱為完全分布式模式。

Hadoop MapReduce 面試題

24.什么是“MapReduce”？運行“MapReduce”程序的語法是什么？

它是一種框架/編程模型，用于使用并行編程在計算機集群上處理大型數據集。運行 MapReduce 程序的語法是hadoop_jar_file.jar /input_path /output_path。

如果你對 MapReduce 有任何疑問或想修改你的概念，你可以參考這個MapReduce 教程。

25. “MapReduce”程序的主要配置參數是什么？

“MapReduce”框架中用戶需要指定的主要配置參數有：

分布式文件系統中作業的輸入位置

作業在分布式文件系統中的輸出位置

數據輸入格式

數據輸出格式

包含地圖功能的類

包含 reduce 函數的類

包含映射器、減速器和驅動程序類的 JAR 文件

26. 說明我們不能在mapper中進行“聚合”（加法）的原因？為什么我們需要“減速器”呢？

這個-括很多點，所以我們將依次進行。

我們不能在 mapper 中執行“聚合”（加法），因為在“mapper”函數中不會發生排序。排序只發生在reducer 端，沒有排序聚合是無法完成的。

在“聚合”期間，我們需要所有映射器函數的輸出，這些輸出在映射階段可能無法收集，因為映射器可能運行在存儲數據塊的不同機器上。

最后，如果我們嘗試在 mapper 上聚合數據，它需要在可能運行在不同機器上的所有 mapper 函數之間進行通信。因此，它會消耗高網絡帶寬并可能導致網絡瓶頸。

27、Hadoop中“RecordReader”的作用是什么？

“InputSplit”定義了一個工作片段，但沒有描述如何訪問它。“RecordReader”類從其源加載數據并將其轉換為適合“Mapper”任務讀取的（鍵、值）對。“RecordReader”實例由“輸入格式”定義。

28. 解釋“MapReduce 框架”中的“分布式緩存”。

分布式緩存可以解釋為，MapReduce 框架提供的一種工具，用于緩存應用程序所需的文件。一旦你為你的工作緩存了一個文件，Hadoop 框架就會讓它在你運行 map/reduce 任務的每個數據節點上可用。然后，您可以在 Mapper 或 Reducer 作業中將緩存文件作為本地文件訪問。

29、“reducers”之間是如何通信的？

這是一個棘手的問題。“MapReduce”編程模型不允許“reducer”相互通信。“減速器”是孤立運行的。

30. “MapReduce Partitioner”有什么作用？

“MapReduce Partitioner”確保單個鍵的所有值都進入同一個“reducer”，從而允許在“reducer”上均勻分布地圖輸出。它通過確定哪個“reducer”負責特定鍵，將“mapper”輸出重定向到“reducer”。

31. 你將如何編寫自定義分區器？

可以按照以下步驟輕松編寫 Hadoop 作業的自定義分區器：

創建一個擴展 Partitioner 類的新類

覆蓋方法 – getPartition，在 MapReduce 中運行的包裝器中。

使用 set Partitioner 方法將自定義分區程序添加到作業，或將自定義分區程序作為配置文件添加到作業。

32、什么是“合路器”？

“Combiner”是一個執行本地“reduce”任務的迷你“reducer”。它從特定“節點”上的“映射器”接收輸入，并將輸出發送到“減速器”。“組合器”通過減少需要發送到“減速器”的數據量來幫助提高“MapReduce”的效率。

33. 你對“SequenceFileInputFormat”了解多少？

“SequenceFileInputFormat”是用于在序列文件中讀取的輸入格式。它是一種特定的壓縮二進制文件格式，經過優化，可將一個“MapReduce”作業的輸出之間的數據傳遞到其他“MapReduce”作業的輸入。

序列文件可以作為其他 MapReduce 任務的輸出生成，并且是從一個 MapReduce 作業傳遞到另一個 MapReduce 作業的數據的有效中間表示。

Apache Pig 面試問題

34. Apache Pig 相對于 MapReduce 有哪些優勢？

Apache Pig 是一個平臺，用于分析將它們表示為雅虎開發的數據流的大型數據集。它旨在提供對 MapReduce 的抽象，降低編寫 MapReduce 程序的復雜性。

Pig Latin 是一種高級數據流語言，而 MapReduce 是一種低級數據處理范式。

無需在 MapReduce 中編寫復雜的 Java 實現，程序員可以使用 Pig Latin 非常輕松地實現相同的實現。

Apache Pig 將代碼長度減少了大約 20 倍（根據 Yahoo）。因此，這將開發周期縮短了近 16 倍。

Pig 提供了許多內置操作符來支持數據操作，如連接、過濾、排序、排序等。而在 MapReduce 中執行相同的功能是一項艱巨的任務。

在 Apache Pig 中執行 Join 操作很簡單。而在 MapReduce 中很難在數據集之間執行 Join 操作，因為它需要依次執行多個 MapReduce 任務才能完成作業。

此外，pig 還提供了 MapReduce 中缺少的嵌套數據類型，例如元組、包和映射。

35. Pig Latin 中有哪些不同的數據類型？

Pig Latin 可以處理原子數據類型（如 int、float、long、double 等）和復雜數據類型（如 tuple、bag 和 map）。

原子數據類型：原子或標量數據類型是所有語言中使用的基本數據類型，如字符串、整數、浮點、長、雙、char[]、byte[]。

復雜數據類型：復雜數據類型有元組、映射和包。

要了解有關這些數據類型的更多信息，您可以瀏覽我們的?Pig 教程博客。

36. 你合作過的“Pig Latin”中有哪些不同的關系運算？

不同的關系運算符是：

for each

order by

filters

group

distinct

join

limit

37.什么是UDF？

如果某些函數在內置運算符中不可用，我們可以通過編程方式創建用戶定義函數 (UDF)，以使用其他語言（如 Java、Python、Ruby 等）引入這些功能，并將其嵌入到 Script 文件中。

Apache Hive 面試問題

38.“蜂巢”中的“SerDe”是什么？

Apache Hive 是一個建立在 Hadoop 之上的數據倉庫系統，用于分析 Facebook 開發的結構化和半結構化數據。Hive 抽象了 Hadoop MapReduce 的復雜性。

“SerDe”接口允許您指示“Hive”如何處理記錄。“SerDe”是“Serializer”和“Deserializer”的組合。“Hive”使用“SerDe”（和“FileFormat”）來讀取和寫入表的行。

要了解有關 Apache Hive 的更多信息，您可以閱讀此Hive 教程博客。

39、默認的“Hive Metastore”可以被多個用戶（進程）同時使用嗎？

“Derby 數據庫”是默認的“Hive Metastore”。多個用戶（進程）不能同時訪問它。它主要用于執行單元測試。

40. “Hive”存儲表數據的默認位置是什么？

Hive 存儲表數據的默認位置在 /user/hive/warehouse 中的 HDFS 內。

Apache HBase 面試題

41.什么是Apache HBase？

HBase 是一個開源、多維、分布式、可擴展和用 Java 編寫的 NoSQL 數據庫。HBase 運行在 HDFS（Hadoop 分布式文件系統）之上，并為 Hadoop 提供類似 BigTable (Google) 的功能。它旨在提供一種容錯方式來存儲大量稀疏數據集。HBase 通過在龐大的數據集上提供更快的讀/寫訪問來實現高吞吐量和低延遲。

要了解有關 HBase 的更多信息，您可以瀏覽我們的?HBase 教程博客。

42. Apache HBase 有哪些組件？

HBase 包含三個主要組件，即 HMaster Server、HBase RegionServer 和 Zookeeper。

Region Server：一個表可以分成幾個區域。區域服務器為客戶端提供一組區域。

HMaster：它協調和管理Region Server（類似于NameNode 管理HDFS 中的DataNode）。

ZooKeeper：Zookeeper 就像 HBase 分布式環境中的協調器。它有助于通過會話進行通信來維護集群內的服務器狀態。

要了解更多信息，您可以瀏覽此HBase 架構博客。

43、Region Server有哪些組成部分？

區域服務器的組件是：

WAL?: Write Ahead Log (WAL) 是附加到分布式環境中每個 Region Server 的文件。WAL 存儲尚未持久化或提交到永久存儲的新數據。

塊緩存：塊緩存駐留在區域服務器的頂部。它將經常讀取的數據存儲在內存中。

MemStore：它是寫緩存。在將所有傳入數據提交到磁盤或永久內存之前，它會存儲所有傳入數據。一個區域中的每個列族都有一個 MemStore。

HFile：HFile 存儲在 HDFS 中。它將實際單元存儲在磁盤上。

44.解釋HBase中的“WAL”？

Write Ahead Log (WAL) 是附加到分布式環境中每個 Region Server 的文件。WAL 存儲尚未持久化或提交到永久存儲的新數據。它用于恢復數據集失敗的情況。

45. 提到“HBase”和“關系數據庫”之間的區別？

HBase 是一個開源、多維、分布式、可擴展和用 Java 編寫的?NoSQL 數據庫。HBase 運行在 HDFS 之上，并為 Hadoop 提供類似 BigTable 的功能。讓我們看看 HBase 和關系數據庫之間的區別。

Apache Spark 面試問題

46.什么是Apache Spark？

這個問題的答案是，Apache Spark 是一個在分布式計算環境中進行實時數據分析的框架。它執行內存計算以提高數據處理速度。

通過利用內存計算和其他優化進行大規模數據處理，它比 MapReduce 快 100 倍。

47. 你能用任何特定的 Hadoop 版本構建“Spark”嗎？

是的，可以為特定的 Hadoop 版本構建“Spark”。查看此博客以了解有關在 Spark 上構建 YARN 和 HIVE 的更多信息。

48. 定義 RDD。

RDD 是彈性分布數據集的首字母縮寫詞 - 并行運行的操作元素的容錯集合。RDD 中的分區數據是不可變的和分布式的，這是 Apache Spark 的一個關鍵組件。

Oozie 和 ZooKeeper 面試問題

49. Apache ZooKeeper 和 Apache Oozie 是什么？

Apache ZooKeeper 協調分布式環境中的各種服務。它通過執行同步、配置維護、分組和命名節省了大量時間。

Apache Oozie 是一個調度程序，它調度 Hadoop 作業并將它們作為一個邏輯工作綁定在一起。有兩種 Oozie 作業：

Oozie 工作流：這些是要執行的順序操作集。您可以將其視為接力賽。每個運動員都在等待最后一名運動員完成他的部分。

Oozie Coordinator：這些是在數據可用時觸發的 Oozie 作業。將此視為我們體內的反應刺激系統。以同樣的方式，當我們對外部刺激做出反應時，Oozie 協調器會對數據的可用性做出反應，否則就會休息。

50. 如何在 Hadoop 中配置“Oozie”作業？

“Oozie”與 Hadoop 堆棧的其余部分集成，支持多種類型的 Hadoop 作業，例如“Java MapReduce”、“Streaming MapReduce”、“Pig”、“Hive”和“Sqoop”。

Hadoop Python

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。