Flume 環境安裝部署

Flume NG部署

下面開始安裝部署 Flume NG，這里我將Flume安裝到dwq002節點上，以Spool directory source+File Channel+HDFS Sink為應用場景詳細講解，大家也可以嘗試其它應用場景。

1、下載flume安裝包。

apache-flume-1.6.0-bin.tar.gz安裝包解壓到dwq12節點上的/usr/java/目錄下。

[root@dwq12 java]$ tar -zxvf apache-flume-1.6.0-bin.tar.gz //解壓

[root@dwq12 java]$ rm apache-flume-1.6.0-bin.tar.gz //刪除安裝文件

[root@dwq12 java]$ mv apache-flume-1.6.0-bin flume //修改文件名稱

[root@dwq12 java]$ chown -R hadoop:hadoop flume //將flume授權給hadoop用戶

2、切換到hadoop用戶操作，進入flume/conf目錄。

[root@dwq12 java]$ su hadoop

[hadoop@dwq12 java]$ cd flume/conf

[hadoop@dwq12 conf]$ ls

flume-conf.properties.template? flume-env.ps1.template? flume-env.sh.template? log4j.properties

需要通過flume-conf.properties.template復制一個flume-conf.properties配置文件。

[hadoop@dwq12 conf]$ cp flume-conf.properties.template flume-conf.properties

[hadoop@dwq12 conf]$ ls

flume-conf.properties flume-conf.properties.template? flume-env.ps1.template? flume-env.sh.template? log4j.properties

修改dwq12節點上的flume-conf.properties配置文件。這里將日志采集到hdfs文件系統。配置參數的詳細說明可以參考官方文檔。

如果大家Hadoop已經安裝Snappy壓縮，那么flume采集數據的時候可以啟動壓縮。

agent1.sinks.hdfs-sink1.hdfs.codeC = snappy

如果沒有安裝Snappy，可以把上面的命令注釋掉，后面課程會詳細講解。

3、首先要確保 Hadoop 集群正常運行。

4、在dwq12節點上啟動flume。

[hadoop@dwq12 flume]$bin/flume-ng agent -n agent1? -f conf/flume-conf.properties

需要注意的是：-n 指定agent的名稱;-f 后跟具體的配置文件。

5、隨便在本地找一個文件（比如tv.txt）上傳至監控目錄/home/hadoop/tvdata，此時可以看到控制臺打印有flume采集數據的日志信息。

6、在HDFS web界面查看flume采集過來的數據，如果看到我們采集的數據，說明flume采集數據成功。

http://dwq12:50070/dfshealth.html#tab-overview

至此一個flume的應用場景已經分析完畢，大家可以根據需求完成其他實現方式，詳細配置可以查看flume官方文檔。

Hadoop

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。