FusionInsight測試系列之：NameNode隨機寫性能測試

1. 支持版本

FusionInsight HD 6.5.1

2. 工具獲取

工具名稱：?NNBench

該工具基于開源社區獲取，為兩個jar包文件：hadoop-common-3.1.1-tests.jar?與?hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

-：

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 測試步驟

3.1 前置條件

FI集群安裝為安全模式，且運行正常

HDFS、MapReduce、Yarn服務正常

已于linux環境安裝集群客戶端

已配置具有HDFS\Yarn訪問權限的用戶，例如用戶名poc，并對poc用戶有對應的Yarn資源分配

3.2 測試過程

【可選】參考產品文檔中”規劃HDFS容量“部分，修改GC_OPTS的參數；

修改HDFS如下配置項，重啟服務

dfs.namenode.handler.count : 512

dfs.datanode.handler.count : 128

ipc.server.handler.queue.size : 200

dfs.namenode.fs-limits.max-directory-items : 6400000

修改Yarn配置項，重啟服務

yarn.nodemanager.resource.cpu-vcores? 根據實際節點的CPU核數修改

yarn.nodemanager.resource.memory-mb? ?根據實際節點的內存修改

修改租戶資源池中配置的 Maximum AM Resource Percent 為 0.9

將測試工具解壓縮后上傳到客戶端，如果客戶端安裝在/opt/client目錄下，那么工具上傳的路徑為/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

執行安全認證

啟動測試

yarn?jar?/opt/client/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.1-tests.jar?nnbench??\ -operation?create_write?\? -maps?10?\? -reduces?2?\ -bytesToWrite?1?\ -numberOfFiles?100?\ -blockSize?1048576?\ -replicationFactorPerFile?3?\ -readFileAfterOpen?true?\ -baseDir?/benchmarks1/NNBench

參數說明：

-maps?指定MR任務的map數，必須保證map數都在同一輪并發中，否則結果計算有誤 -reduces指定MR任務的reduce數，結果匯總，可寫一個比較小的數字，不影響結果 -bytesToWrite創建文件的實際大小 -numberOfFiles每個map任務創建的文件數 -blockSize文件塊的大小，默認是128MB，這里取1048576字節為1MB -replicationFactorPerFile文件副本數 -readFileAfterOpen是否讀取文件 -baseDir創建的HDFS上的路徑

3.3 查看測試結果

測試完畢，參考當前目錄下的 NNBench_results.log?文件內容獲取Namenode處理性能數據

EI企業智能 FusionInsight

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。