HDFS Shell 命令實操

1. 微博案例–HDFS shell實操

1.1 案例：微博用戶數據HDFS操作

1.2 創建目錄

1.3 查看指定目錄下內容

1.4 上傳文件到指定目錄下（1）

1.5 上傳文件到指定目錄下（2）

1.6 查看HDFS文件內容（1）

1.7 查看HDFS文件內容（2）

1.8 查看HDFS文件內容（3）

1.9 下載HDFS文件（1）

1.10 合并下載HDFS文件（2）

1.11 拷貝HDFS文件

1.12 追加數據到HDFS文件中

1.13 查看HDFS磁盤空間

1.14 查看HDFS文件使用的空間量

1.15 HDFS數據移動操作或重命名文件的名稱

1.16 修改HDFS文件副本個數

1.17 刪除HDFS文件

1.18 批量刪除文件

1.19 遞歸刪除文件夾

1. 微博案例–HDFS Shell實操

1.1 案例：微博用戶數據HDFS操作

1.2 創建目錄

1.3 查看指定目錄下內容

1.4 上傳文件到指定目錄下（1）

1.5 上傳文件到指定目錄下（2）

1.6 查看HDFS文件內容（1）

1.7 查看HDFS文件內容（2）

1.8 查看HDFS文件內容（3）

1.9 下載HDFS文件（1）

1.10 合并下載HDFS文件（2）

1.11 拷貝HDFS文件

1.12 追加數據到HDFS文件中

1.13 查看HDFS磁盤空間

1.14 查看HDFS文件使用的空間量

1.15 HDFS數據移動操作或重命名文件的名稱

1.16 修改HDFS文件副本個數

1.17 刪除HDFS文件

1.18 批量刪除文件

1.19 遞歸刪除文件夾

2. HDFS其他Shell命令操作

1. 微博案例–HDFS Shell實操

1.1 案例：微博用戶數據HDFS操作

需求：微博作為社交平臺，擁有大量的用戶評論數據。為了更好的分析微博用戶的行為和習慣，進行精準的營銷和推薦。可以將微博的用戶評論數據上傳到HDFS，供后續其他大規模文本、情感分析程序來處理。因為HDFS作為分布式文件存儲系統，是整個大數據平臺的最底層的核心。

目錄規劃

1.2 創建目錄

命令：hadoop fs -mkdir [-p] ...

path 為待創建的目錄

-p選項的行為與Unix mkdir -p非常相似，它會沿著路徑創建父目錄。

可以選擇一個一個創建，也可以一起創建

hadoop fs -mkdir /common hadoop fs -mkdir /workspace /warehouse /source

1.3 查看指定目錄下內容

命令：hadoop fs -ls [-h] [-R] [ ...]

path 指定目錄路徑

-h 人性化顯示文件size

-R 遞歸查看指定目錄及其子目錄

兩個參數也可以同時使用

hadoop fs -ls -h -R /

使用 -h 參數會人性化一點

1.4 上傳文件到指定目錄下（1）

命令：hadoop fs -put [-f] [-p] ...

-f 覆蓋目標文件（已存在下）

-p 保留訪問和修改時間，所有權和權限。

localsrc 本地文件系統（客戶端所在機器）

dst 目標文件系統（HDFS）

上傳 test1.csv 測試文件到 root 目錄下

創建好 HDFS 下的文件目錄

hadoop fs -mkdir -p /source/weibo/star/comment_log/20210404_hadoop1/

把剛剛root下的 test1.cvs 文件上傳到 HDFS 對應的路徑下，下面兩種方式都是可行的

hadoop fs -put test1.csv /source/weibo/star/comment_log/20210404_hadoop1/

或

hadoop fs -put file:///root/test1.csv

1.5 上傳文件到指定目錄下（2）

命令：hadoop fs -moveFromLocal ...

和-put功能意義，只不過上傳結束，源數據會被刪除

hadoop fs -moveFromLocal test1.csv /tmp/

1.6 查看HDFS文件內容（1）

命令：hadoop fs -cat ...

讀取指定文件全部內容，顯示在標準輸出控制臺。

注意：對于大文件內容讀取，慎重。 適合查看小文件

如：

hadoop fs -cat /source/weibo/star/comment_log/20210404_hadoop1/test1.csv

1.7 查看HDFS文件內容（2）

命令：hadoop fs -head

查看文件前1KB的內容。

如：

hadoop fs -head /source/weibo/star/comment_log/20210404_hadoop1/test1.csv

1.8 查看HDFS文件內容（3）

命令：hadoop fs -tail [-f]

查看文件最后1KB的內容

-f選擇可以動態顯示文件中追加的內容。

1.9 下載HDFS文件（1）

命令：hadoop fs -get [-f] [-p] ...

src 表示的的是 HDFS 路徑

下載文件到本地文件系統指定目錄，localdst必須是目錄，表示當前客戶端的機器路徑

-f 覆蓋目標文件（已存在下）

-p 保留訪問和修改時間，所有權和權限。

如：把 HDFS 下的 /tmp/test1.csv 下載到第三臺 hadoop3的 root 下

hadoop fs -get /tmp/test1.csv /root

或

hadoop fs -get /tmp/test1.csv ./

./ 表示的就是當前路徑

1.10 合并下載HDFS文件（2）

命令：hadoop fs -getmerge [-nl] [-skip-empty-file]

下載多個文件合并到本地文件系統的一個文件中。并且跳過空文件

-nl選項表示在每個文件末尾添加換行符

案例：分別在本地文件路徑下創建 三個txt文件，分別寫入1，2，3數字

創建HDFS下 /tmp/small 文件夾，把三個 txt 文件上傳到此路徑下

把 /tmp/small/下的 三個文件下載到本地合并，重命名為 123.txt 文件

1.11 拷貝HDFS文件

命令：hadoop fs -cp [-f] ...

-f 覆蓋目標文件（已存在下）

案例：把 /tmp/test1.csv 文件拷貝到 /tmp/small 路徑下

hadoop fs -cp /tmp/test1.csv /tmp/small/

1.12 追加數據到HDFS文件中

命令：hadoop fs -appendToFile ...

將所有給定本地文件的內容追加到給定dst文件。

dst如果文件不存在，將創建該文件。

如果為-，則輸入為從標準輸入中讀取。

案例：在本地創建 xdr630.txt 文件，寫入：this is xdr630 file. ，追加到 HDFS 上的 /tmp/small/1.txt 下

hadoop fs -appendToFile xdr630.txt /tmp/small/1.txt

1.13 查看HDFS磁盤空間

命令：hadoop fs -df [-h] [ ...]

顯示文件系統的容量，可用空間和已用空間

hadoop fs -df -h /

1.14 查看HDFS文件使用的空間量

命令：hadoop fs -du [-s] [-h] ...

-s：表示顯示指定路徑文件長度的匯總摘要，而不是單個文件的摘要。

-h：選項將以“人類可讀”的方式格式化文件大小

hadoop fs -du -s -h /source/weibo

1.15 HDFS數據移動操作或重命名文件的名稱

命令：hadoop fs -mv ...

移動文件到指定文件夾下

可以使用該命令移動數據，重命名文件的名稱

案例：把/tmp/small/test1.csv 文件移動到 HDFS 的根目錄下

hadoop fs -mv /tmp/small/test1.csv /

1.16 修改HDFS文件副本個數

命令：hadoop fs -setrep [-R] [-w] ...

修改指定文件的副本個數。

-R表示遞歸 修改文件夾下及其所有

-w 客戶端是否等待副本修改完畢。

1.17 刪除HDFS文件

命令： hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

刪除文件

-R選項以遞歸方式刪除目錄及其下的任何內容。

-r選項等效于-R。

-skipTrash選項將繞過垃圾桶（如果啟用），并立即刪除指定的文件。當需要從超配額目錄中刪除文件時，這很有用。

案例：刪除 HDFS 根目錄下的 test1.csv

hadoop fs -rm /test1.csv

成功返回0，錯誤返回-1。

遞歸刪除：

1.18 批量刪除文件

其實就是一個命令連續刪除多個文件，如：

案例：刪除 HDFS 上的 /tmp/small 下的三個 txt 文件。

hadoop fs -rm /tmp/small/1.txt /tmp/small/2.txt /tmp/small/3.txt

這里要注意的是：多個文件中的間隔一定要寫完整的文件路徑，不然就刪除不了

1.19 遞歸刪除文件夾

命令：hadoop fs -rmr URI [URI …]

或：hadoop fs -rm -r URI [URI …]

遞歸版本的刪除。

官方推薦使用 hadoop fs -rm -r

如：

hadoop fs -rmr /user/hadoop/dir

hadoop fs -rmr hdfs://host:port/user/hadoop/dir

2. HDFS其他Shell命令操作

目前最新版本hadoop 3.2.2 命令官方指導文檔

https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

老版本HDFS中文版命令：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

友情提示

常見的操作自己最好能夠記住，其他操作可以根據需要查詢文檔使用。

命令屬于多用多會，孰能生巧，不用就忘。

Hadoop Shell

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。