FusionInsight測試系列之：HDFS吞吐量性能測試

TestDFSIO工具測試指導

1. 支持版本

FusionInsight HD 6.5.1

2. 工具獲取

工具名稱： TestDFSIO

該工具基于開源社區獲取，為兩個jar包文件：hadoop-common-3.1.1-tests.jar?與?hadoop-mapreduce-client-jobclient-3.1.1-tests.jar

-：

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-common/3.1.1/

https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-client-jobclient/3.1.1/

3. 工具介紹

用于測試Hadoop文件系統通過MapReduce方式處理作業的?IO?屬性。

TestDFSIO調用一個MapReduce作業來并發地執行讀寫操作，每個map任務用于讀或寫每個文件，reduce 用于累積統計信息，并產生統計總結。

工具使用參數：

Usage:?TestDFSIO?[genericOptions]? -read?[-random?|?-backward?|?-skip?[-skipSize?Size]]?|?-write?|?-append?|?-truncate?|?-clean? [-compression?codecClassName]? [-nrFiles?N]? [-size?Size[B|KB|MB|GB|TB]]? [-resFile?resultFileName]? [-bufferSize?Bytes]? [-storagePolicy?storagePolicyName]? [-erasureCodePolicy?erasureCodePolicyName]

測試參數說明：

-clean? 清空包含TestDFSIO的jar包的歷史數據

-read? 讀取HDFS上的文件,可指定讀取的方式：random隨機讀取、backward依次向后讀取、skip

-write?寫入HDFS，因為HDFS主要使用場景是一次寫，多次讀，因此寫測試一般不過多考慮

-compression?文件的壓縮格式,支持的壓縮類有：

org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.DeflateCodec, org.apache.hadoop.io.compress.Lz4Codec, org.apache.hadoop.io.compress.SnappyCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.ZStandardCodec, com.huawei.hadoop.datasight.io.compress.lzc.ZCodec

-nrFiles?文件的個數

-size?單個文件的大小，注意是未壓縮前的大小

-resFile?統計結果的文件，如果不寫，默認是執行命令的路徑下的TestDFSIO_results.log

-bufferSize

-storagePolicy?存儲策略名稱，可選如下?PROVIDED、COLD、WARM、HOT、ONE_SSD、ALL_SSD、LAZY_PERSIST

-erasureCodePolicy?容錯策略，可選RS-10-4-1024k、RS-3-2-1024k、RS-6-3-1024k、RS-LEGACY-6-3-1024k、XOR-2-1-1024k

4. 測試步驟

4.1 前置條件

FI集群安裝為安全模式，且運行正常

HDFS、MapReduce、Yarn服務正常

已于linux環境安裝集群客戶端

已配置具有HDFS\Yarn訪問權限的用戶，例如用戶名poc，并對poc用戶有對應的Yarn資源分配

4.2 測試過程

【可選】參考產品文檔中”規劃HDFS容量“部分，修改GC_OPTS的參數；

修改HDFS如下配置項，重啟服務

dfs.namenode.handler.count : 512

dfs.datanode.handler.count : 128

ipc.server.handler.queue.size : 200

dfs.namenode.fs-limits.max-directory-items : 6400000

修改Yarn配置項，重啟服務

yarn.nodemanager.resource.cpu-vcores? 根據實際節點的CPU核數修改

yarn.nodemanager.resource.memory-mb? ?根據實際節點的內存修改

修改租戶資源池中配置的 Maximum AM Resource Percent 為 0.9

將測試工具解壓縮后上傳到客戶端，如果客戶端安裝在/opt/client目錄下，那么工具上傳的路徑為/opt/client/HDFS/hadoop/share/hadoop/mapreduce/

執行安全認證

清空歷史數據

8.?寫測試

9.?讀測試，注意讀之前必須先執行write寫入要讀取的數據文件，否則MR任務會提示文件不存在錯誤

4.3 查看測試結果

測試完畢，參考當前目錄下的?TestDFSIO_results.log?文件內容獲取吞吐性能數據

EI企業智能 FusionInsight

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。