大數據基礎平臺Hadoop完全分布式集群
大數據基礎平臺Hadoop完全分布式集群
完全分布式部署介紹
完全分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器集群進行規劃，使得Hadoop各個模塊分別
部署在不同的多臺機器上。
NameNode HA+完全分布式部署
部署規劃
部署6臺主機，注意每臺主機的IP地址，主機名要不同，此處IP地址為192.168.1.10-60，主機為hd1-hd6
使用ntpdate命令同步6臺主機時間：ntpdate time1.aliyun.com
更改hd1 hosts文件，增加域名
192.168.1.10 hd1
192.168.1.20 hd2
......
通過scp命令傳給其他主機：scp /etc/hosts 192.168.1.20:/etc
以此類推
生成密鑰對，使6臺主機可以相互免密訪問
首先在hd1上執行命令，生成密鑰對：ssh-keygen -t rsa -f /root/.ssh/id_rsa -N ""
使用for循環將生成的密鑰對發到各個主機：
for i in hd{2..6}
> do
> scp -r /root/.ssh $i:/root
> done
部署jdk環境，上傳jdk二進制軟件包，然后解包到當前目錄：
tar xf jdk-8u191-linux-x64.tar.gz
移動到local目錄下命名為jdk：
mv jdk1.8.0_191 /usr/local/jdk
使用for循環將解好的包scp到其他主機上：
for i in hd{2..6}
do
scp -r /usr/local/jdk $i:/usr/local
done
配置環境變量：vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=${JAVA_HOME}/bin:$PATH
將配置好的環境變量文件使用for循環，拷貝到其他主機：
for i in hd{2..6}
do
scp -r /etc/profile $i:/etc
done
拷貝成功，全部執行source /etc/profile
Java jdk環境部署成功
根據上面的規劃，我們在編號為hd4-6的主機上部署zookeeper
上傳zookeeper包到hd4主機上，解包：tar xf zookerper
移動到local下：mv zookerper /usr/local/zookerper
復制、修改配置文件：
cp /usr/local/zookerper/conf/zoo_sample.cfg /usr/local/zookerper/conf/zoo.cfg
配置cfg文件，更改dataDir目錄如圖：
在文件末尾增加主機驗證
在opt目錄下創建data目錄：mkdir /opt/data
將1寫入myid：echo “1” > /opt/data/myid
其余hd5、hd6主機也同樣創建data目錄
將2、3寫入hd5、hd6的myid文件
將配置文件cfg拷貝到其余主機zookeeper的conf目錄下
for i in hd{5..6}
> do
> scp -r /usr/local/zookeeper $i:/usr/local/zookeeper
> done
添加環境變量：vim /etc/profile
將環境變量文件復制到其他主機：scp /etc/profile hd5:/etc/profile
scp /etc/profile hd6:/etc/profile
挨個source
三臺主機啟動zookeeper服務：zkServer.sh start
查看zookeeper服務狀態：zkServer.sh status
部署Hadoop
Hd1主機上傳Hadoop軟件包
解壓到opt目錄下：tar xf hadoop2.8.5 -C /opt/hadoop285
更改環境變量vim /etc/profile
鍵入source /etc/profile
把profile文件發給其他主機：scp /etc/profile hd2:/etc/profile
scp /etc/profile hd3:/etc/profile
更改hd4主機profile文件
鍵入source /etc/profile
把profile文件發送給其他主機：scp /etc/profile hd5:/etc/profile
scp /etc/profile hd6:/etc/profile
配置hd1的hadoop
修改hadoop-env.sh 25行；mapred-env.sh 16行；yarn-env.sh 23行（針對hadoop285版本）
改為：export JAVA_HOME=/usr/local/jdk
修改core-site.xml
修改hdfs-site.xml
e> 配置datanode節點記錄文件slaves hd4 hd5 hd6 配置mapred-site.xml 復制mapred-site.xml.template為mapred-site.xml: cp /opt/hadoop285/etc/hadoop/mapred-site.xml.template /opt/hadoop285/etc/hadoop/mapred-site.xml 配置mapred-site.xml文件 配置yarn-site.xml文件 將配置文件傳到所有主機 傳輸時間較長，一般在20分鐘左右 傳輸完畢，所有主機執行source /etc/profile 啟動集群 在datanode節點（hd4-6）啟動zookeeper：zkServer.sh start 啟動journalnode（在namenode上操作，例如hd1）：hadoop-darmons.sh start journalnode 分別到hd4、5、6節點上驗證：jps 格式化hdfs文件系統（在namenode上操作，例如hd1）：hdfs namenode -format 復制到hd2主機：scp -r /opt/data hd2:/opt 格式化zk（namenode上操作，例如hd1）：hdfs zkfc -formatZK 啟動hdfs（在namenode上操作，例如hd1）：start-dfs.sh 啟動yarn（namenode上操作，例如想讓hd2成為resourcemanager，需要在hd2上啟動，此處在hd3啟動）：start-yarn.sh 測試集群 創建文件txt文件 將文件上傳hdfs文件系統：hdfs dfs -mkdir /input hdfs dfs -put test.txt /input yarn jar /opt/hadoop285/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.5.jar wordcount /input /output/00 查看結果hdfs dfs -cat /output/00/part-r-00000 附件： 大數據基礎平臺Hadoop集群之Ambari實踐.docx 1.02MB 下載次數：0次 Hadoop ssh 云計算 任務調度 大數據
版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。
相關文章
