HDFS Shell 命令簡介及查詢

1. HDFS shell

1.1 HDFS Shell CLI客戶端

1.2 HDFS Shell CLI客戶端–說明

1.3 總結(jié)

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者區(qū)別

1.5 HDFS Shell CLI客戶端–參數(shù)說明

1.6 在Hadoop官網(wǎng)上找到命令

1. HDFS Shell

1.1 HDFS Shell CLI客戶端

1.2 HDFS Shell CLI客戶端–說明

1.3 總結(jié)

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者區(qū)別

1.5 HDFS Shell CLI客戶端–參數(shù)說明

1.6 在Hadoop官網(wǎng)上找到命令

1. HDFS Shell

1.1 HDFS Shell CLI客戶端

命令行界面（英語：command-line interface，縮寫：CLI）是指用戶通過鍵盤輸入指令，計算機接收到指令后，予以執(zhí)行一種人際交互方式。

Hadoop提供了文件系統(tǒng)的shell命令行客戶端，使用方法如下：

跟文件系統(tǒng)讀寫使用相關(guān)的命令是 hdfs dfs [generic options]

1.2 HDFS Shell CLI客戶端–說明

HDFS Shell CLI支持操作多種文件系統(tǒng)，包括本地文件系統(tǒng)（file:///）、分布式文件系統(tǒng)（hdfs://nn:8020）等

操作的是什么文件系統(tǒng)取決于URL中的前綴協(xié)議。

如果沒有指定前綴，則將會讀取環(huán)境變量中的fs.defaultFS屬性，以該屬性值作為默認文件系統(tǒng)

hdfs dfs -ls file:/// #操作本地文件系統(tǒng)

hdfs dfs -ls /

查看文件默認系統(tǒng)

cat /export/servers/hadoop-2.7.4/etc/hadoop/core-site.xml

hdfs dfs -ls hdfs://hadoop01:9000/ #操作HDFS分布式文件系統(tǒng)

所以 hdfs dfs -ls hdfs://hadoop01:9000/ 和 hdfs dfs -ls / 訪問的是同一個文件系統(tǒng)。

1.3 總結(jié)

1.4 hadoop dfs、hdfs dfs、 hadoop fs 三者區(qū)別

hadoop dfs 只能操作HDFS文件系統(tǒng)（包括與Local FS間的操作），不過已經(jīng)Deprecated(已棄用)

hdfs dfs 只能操作HDFS文件系統(tǒng)相關(guān)（包括與Local FS間的操作）,常用

hadoop fs 可操作任意文件系統(tǒng)，不僅僅是hdfs文件系統(tǒng)，使用范圍更廣.

目前版本來看，官方最終推薦使用的是hadoop fs。當(dāng)然hdfs dfs在市面上的使用也比較多。

1.5 HDFS Shell CLI客戶端–參數(shù)說明

HDFS文件系統(tǒng)的操作命令很多和Linux類似，因此學(xué)習(xí)成本相對較低。

可以通過hadoop fs -help命令來查看每個命令的詳細用法。

1.6 在Hadoop官網(wǎng)上找到命令

也可以通過下面的步驟找到官網(wǎng)上的命令。

官網(wǎng)：http://hadoop.apache.org/，選擇對應(yīng)的Hadoop版本即可

找到 Commands Reference

Hadoop 3.2.2 版本命令：https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

Hadoop Shell

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。