Hadoop原生平臺(tái)安裝HA版本
Hadoop原生平臺(tái)安裝HA版本V3.0
1.?增加了Resourcemanager的HA,并進(jìn)行測(cè)試
2.?增加了Job History Serve的配置
3.?增加HBase的搭建
2018年?3 月27日
目錄
1.
軟件準(zhǔn)備
1
1.1
基礎(chǔ)軟件
1
1.2
其他軟件
1
1.3
Hadoop
平臺(tái)系統(tǒng)規(guī)劃
1
1.4
Hadoop
平臺(tái)目錄及端口規(guī)劃
2
2.
環(huán)境準(zhǔn)備
3
2.1
Vmware workstation
安裝
3
2.2
Redhat 7
安裝
7
2.3
Redhat IP
及主機(jī)名配置
27
2.4
Xshell
工具使用（可選）
30
2.5
Redhat 7
防火墻，
Selinux
配置
31
2.6
Redhat 7
目錄創(chuàng)建
33
2.7
Redhat 7
主機(jī)名和
ip
對(duì)應(yīng)關(guān)系
33
2.8
Redhat 7 SSH
互信
34
2.9
上傳軟件包到
redhat7
35
3.
軟件安裝及配置
37
3.1
環(huán)境檢查
37
3.2
JDK
安裝及配置
40
3.3
Zookeeper
安裝及配置
41
3.4
Hadoop
安裝及配置
42
3.5
HBase
安裝及配置
47
4.
測(cè)試
49
4.1
zookeeper
啟動(dòng)
50
4.2
Hadoop
啟動(dòng)
51
4.3
HBASE
的啟動(dòng)
56
4.4
HDFS HA
測(cè)試
57
4.5
YARN HA
測(cè)試
58
4.6
Hbase HA
測(cè)試
59
4.7
HDFS
測(cè)試
60
4.8
Hbase
測(cè)試
61
4.9
Yarn2.0
測(cè)試（
wordcount
任務(wù)）
63
5.
Hadoop
、
Zookeeper
配置文件
65
1.?軟件準(zhǔn)備
1.1?基礎(chǔ)軟件
軟件
版本
作用
Redhat系統(tǒng)鏡像
7.0
提供Hadoop基礎(chǔ)運(yùn)行的平臺(tái)
JDK
8u161-linux-x64
提供hadoop運(yùn)行環(huán)境
Hadoop
2.8.3
Hadoop軟件包
Zookeeper
3.3.6
提供分布式協(xié)調(diào)服務(wù)
Hbase
1.3.1
分布式數(shù)據(jù)庫(kù)
備注：本實(shí)驗(yàn)手冊(cè)基于以上軟件搭建，使用其他版本可能存在少許差異。
1.2?其他軟件
軟件
版本
作用
Windows
7
提供物理操作系統(tǒng)
Vmware workstation
12.5.6
虛擬化功能實(shí)現(xiàn)，安裝linux虛擬機(jī)
Xshell
5.0
提供windows SSH訪問(wèn)
Xftp
5.0
提供windows 傳輸文件至linux
leomoon CPU V
1.22
檢查CPU及操作系統(tǒng)是否支持虛擬化功能
備注：以上軟件可使用類(lèi)似軟件或其他版本代替，本實(shí)驗(yàn)手冊(cè)僅保證上述軟件上述版本能搭建成功，其他軟件或其他版本可能存在少許差異。
1.3?Hadoop平臺(tái)系統(tǒng)規(guī)劃
系統(tǒng)
主機(jī)名
Ip
部署服務(wù)
運(yùn)行Hadoop用戶
Redhat7.0
Hadoop1
192.168.10.30
Namenode
DFSZKFailoverController
datanode ResourceManager Nodemanager
JournalNode
QuorumPeerMain
JobHistoryServer
HMaster
HRegionServer
root
Redhat7.0
Hadoop2
192.168.10.40
Namenode
ResourceManager
DFSZKFailoverController
Datanode
Nodemanager
JournalNode
QuorumPeerMain
HMaster
HRegionServer
root
Redhat7.0
Hadoop3
192.168.10.50
Datanode Nodemanager?JournalNode
QuorumPeerMain
HRegionServer
root
備注：上述平臺(tái)規(guī)劃請(qǐng)根據(jù)自己需求進(jìn)行規(guī)劃。
QuorumPeerMain為zookeeper的服務(wù)
運(yùn)行Hadoop用戶為任意可登錄用戶都可以，本實(shí)驗(yàn)手冊(cè)所有運(yùn)行都是以root用戶執(zhí)行。
1.4?Hadoop平臺(tái)目錄及端口規(guī)劃
主機(jī)
目錄
權(quán)限
作用
Hadoop1
/hadoop/soft
755
Hadoop軟件安裝目錄
/hadoop/nn
755
namenode文件存放目錄，可單獨(dú)掛盤(pán)
/hadoop/dn
755
Datanode文件存放目錄，可單獨(dú)掛盤(pán)
/hadoop/tmp
755
Hadoop臨時(shí)文件目錄
/hadoop/zookeeper
755
Zookeeper文件存放路徑
/hadoop/JN
755
JournalNode文件存放路徑
Hadoop2
/hadoop/soft
755
Hadoop軟件安裝目錄
/hadoop/nn
755
namenode文件存放目錄，可單獨(dú)掛盤(pán)
/hadoop/dn
755
Datanode文件存放目錄，可單獨(dú)掛盤(pán)
/hadoop/tmp
755
Hadoop臨時(shí)文件目錄
/hadoop/zookeeper
755
Zookeeper文件存放路徑
/hadoop/JN
755
JournalNode文件存放路徑
Hadoop3
/hadoop/soft
755
Hadoop軟件安裝目錄
/hadoop/dn
755
Datanode文件存放目錄，可單獨(dú)掛盤(pán)
/hadoop/tmp
755
Hadoop臨時(shí)文件目錄
/hadoop/zookeeper
755
Zookeeper文件存放路徑
/hadoop/JN
755
JournalNode文件存放路徑
主機(jī)
端口
作用
192.168.10.30
50070
外部訪問(wèn)hdfs的web界面端口
8088
外部訪問(wèn)yarn的web界面端口
16010
外部訪問(wèn)Hbase的web界面端口
192.168.10.40
50070
外部訪問(wèn)hdfs的web界面端口
8088
外部訪問(wèn)yarn的web界面端口
16010
外部訪問(wèn)Hbase的web界面端口
備注：該處列出的為外部訪問(wèn)，服務(wù)與服務(wù)之間還有其他端口未列出。
2.?環(huán)境準(zhǔn)備
2.1?Vmware workstation安裝
請(qǐng)確保使用的物理機(jī)打開(kāi)虛擬化功能(Inter VT或AMD V)，如不確認(rèn)可使用leomoon CPU V檢測(cè)，如檢測(cè)結(jié)果如下圖，則表示CPU及操作都支持虛擬化，如不通過(guò)，則無(wú)法正常安裝和使用Vmware workstation。
備注：leomoon CPU 可在如下網(wǎng)址下載（
https://leomoon.com/static/?file=leomoon-cpu-v_win.zip
），該軟件無(wú)需安裝解壓運(yùn)行即可查看結(jié)果。
下載Vmware workstation，雙擊運(yùn)行如下。（安裝路徑可以默認(rèn)也可以自己設(shè)置，需要設(shè)置的點(diǎn)擊更改即可設(shè)置。）
2.2?Redhat 7 安裝
Redhat 7采用虛擬化環(huán)境安裝，虛擬化平臺(tái)為Vmware Workstation。
虛擬安裝安裝如下圖進(jìn)行。
磁盤(pán)保持默認(rèn)即可
至此一個(gè)虛擬機(jī)創(chuàng)建完成
首先對(duì)Vmware workstation進(jìn)行簡(jiǎn)單設(shè)置，然后編輯虛擬機(jī)。如下圖。
將 0 虛擬機(jī)開(kāi)機(jī)，并選擇安裝 rhel7.0。
安裝過(guò)程語(yǔ)言選擇英語(yǔ)。（推薦使用英語(yǔ)，也可以選擇中文。 如果選擇英語(yǔ)， 安裝完系統(tǒng)后， 默認(rèn)語(yǔ)言也將為英文。）
區(qū)域選擇亞洲，城市選擇上海。
軟件包選擇 server with gui，安裝圖形界面
選擇手動(dòng)進(jìn)行分區(qū)。
網(wǎng)絡(luò)配置
配置完成后，開(kāi)始安裝
設(shè)置root密碼，并創(chuàng)建一個(gè)普通賬戶，并設(shè)置密碼。
完成安裝后，重啟，接受許可證，并關(guān)閉kdump。
選擇我將下次注冊(cè)，并單擊完成。
重啟后，redhat需要?jiǎng)?chuàng)建一個(gè)普通賬戶，如在安裝時(shí)候未創(chuàng)建，則輸入用戶名和密碼登錄 0 系統(tǒng)， 到此， rhel7.0 操作系統(tǒng)安裝完成。
2.3?Redhat IP及主機(jī)名配置
根據(jù)規(guī)劃配置ip及主機(jī)名，打開(kāi)虛擬機(jī)。
使用root登錄主機(jī)，右鍵選擇Open in Terminal
打開(kāi)一個(gè)控制臺(tái)，輸入ifconfig查看現(xiàn)有網(wǎng)卡和ip
使用cd /etc/sysconfig/network-scripts/，進(jìn)入網(wǎng)卡配置目錄，查看當(dāng)先目錄是否存在一個(gè)ifcfg-enoxxxxxxx(不同的虛擬機(jī)該名字可能不一樣，根據(jù)ifconfig顯示的網(wǎng)卡名找到該網(wǎng)卡的配置文件)
Vim ifcfg-eno16777736，編輯網(wǎng)卡配置文件。結(jié)果如下圖：
使用systemctl restart nework.service重啟網(wǎng)卡，使用ifconfig查看配置，正確輸出如下圖
根據(jù)規(guī)劃修改主機(jī)名，如安裝系統(tǒng)時(shí)已設(shè)置可忽略
執(zhí)行hostnamectl set-hostname hdoop1，修改主機(jī)名并寫(xiě)入配置文件，使用hostname查看當(dāng)前生效的主機(jī)名，使用cat /etc/hostname查看下次啟動(dòng)生效的主機(jī)名。
2.4?Xshell工具使用（可選）
使用xshell前提為，在安裝操作系統(tǒng)時(shí)已正確配置ip，并且運(yùn)行xshell的機(jī)器能ping通該ip。
雙機(jī)打開(kāi)xshell軟件，輸入ssh168.10.30 （ip為規(guī)劃的Ip，并已配置在操作系統(tǒng)上），選擇接受并保存，輸入帳號(hào)密碼，即可登錄linux主機(jī)。
2.5?Redhat 7 防火墻，Selinux配置
防火墻及Selinux會(huì)導(dǎo)致后面實(shí)驗(yàn)出現(xiàn)問(wèn)題，在此將其關(guān)閉。具體步驟如下。
默認(rèn)redhat安裝了firewall防火墻，并開(kāi)機(jī)自動(dòng)啟動(dòng)。
使用systemctl status firewalld.service查看防火墻狀態(tài)
使用systemctl stop firewalld.service停止防火墻。
使用systemctl disable firewalld.service關(guān)閉開(kāi)機(jī)自動(dòng)啟動(dòng)防火墻。
使用systemctl status firewalld.service查看防火墻狀態(tài)，下圖表示firewall防火墻停止并開(kāi)機(jī)不啟動(dòng)。
systemctl status iptables.service檢查iptables防火墻是否啟動(dòng)（redhat7默認(rèn)使用firewall防火墻，如出現(xiàn)iptabls防火墻啟動(dòng)也需要關(guān)閉，關(guān)閉步驟同firewall）
關(guān)閉redhat7的selinux，使用getenforce查詢selinux狀態(tài)，使用setenforce 0，臨時(shí)關(guān)閉selinux。
為保證下次selinux的永久關(guān)閉，需要修改配置，使用vim /etc/selinux/config，修改為如下結(jié)果。
備注：enforcing為selinux啟動(dòng)并運(yùn)行
permissive為selinux只打印警告不阻止
disabled為徹底關(guān)閉selinux
2.6?Redhat 7 目錄創(chuàng)建
使用root登錄hadoop1，使用mkdir /hadoop創(chuàng)建目錄，使用ls ?-dl /hadoop，查看目錄結(jié)果如下
如規(guī)劃的運(yùn)行用戶不為root，請(qǐng)使用root創(chuàng)建/hadoop后使用chown 運(yùn)行用戶 /hadoop，修改/hadoop的所有者，并切換到運(yùn)行用戶再在/hadoop下創(chuàng)建目錄（可選）
使用cd /hadoop，在/hadoop下根據(jù)規(guī)劃創(chuàng)建相應(yīng)目錄（如不創(chuàng)建也可以運(yùn)行，在格式化的時(shí)候也會(huì)自動(dòng)創(chuàng)建）
2.7?Redhat 7 主機(jī)名和ip對(duì)應(yīng)關(guān)系
使用vim /etc/hosts編輯主機(jī)名和ip對(duì)應(yīng)關(guān)系
2.8?Redhat 7 SSH互信
ssh免密碼登錄如不配置，在啟動(dòng)集群時(shí)候需要輸入每個(gè)節(jié)點(diǎn)的密碼方可啟動(dòng)，未避免多次輸入密碼，可配置ssh免密碼登錄。
免密碼登錄只需要配置主節(jié)點(diǎn)到其余各節(jié)點(diǎn)即可。
在hadoop1上使用ssh-keygen生成一對(duì)公私密鑰（敲3個(gè)回車(chē)）
使用ssh-copy-id拷貝公鑰到需要被免密碼的主機(jī)上，ssh-copy-id后面接需要免密碼登錄的ip（例如需要免密碼登錄168.10.40，輸入ssh-copy-id 192.168.10.40，根據(jù)提示輸入yes，再輸入192.168.10.40的密碼。使用ssh 192.168.10.40，檢查免密碼登錄是否成功，如圖，登錄192.168.10.40無(wú)需輸入密碼即可登錄）
2.9?上傳軟件包到redhat7
使用xftp上傳軟件包到168.10.30，雙擊打開(kāi)xftp。設(shè)置如下，點(diǎn)擊確認(rèn)，輸入redhat7.0的帳號(hào)密碼（建議使用hadoop的運(yùn)行賬戶）
打開(kāi)本機(jī)需要上傳軟件所在目錄，從左邊拖到右邊即開(kāi)始上傳。上傳完成后可在右邊看到上傳的文件。
3.?軟件安裝及配置
3.1?環(huán)境檢查
本環(huán)境檢查近針對(duì)本實(shí)驗(yàn)手冊(cè)規(guī)劃的主機(jī)名及ip進(jìn)行檢 ??查。
主機(jī)名檢查，使用hostname檢查主機(jī)名，保證和規(guī)劃的一下，hadoop1正確輸出如下圖。（每個(gè)節(jié)點(diǎn)都需要檢查）
IP檢查，使用ifconfig檢查現(xiàn)在ip，保證和規(guī)劃的一下，hadoop1正確輸出如下圖。（每個(gè)節(jié)點(diǎn)都需要檢查）
時(shí)間檢查，使用date檢查現(xiàn)在時(shí)間，保證所有節(jié)點(diǎn)一致，hadoop1輸出如下圖。（可選擇安裝配置NTP服務(wù)，保證集群中所有節(jié)點(diǎn)時(shí)間一致）（每個(gè)節(jié)點(diǎn)都需要檢查）
防火前檢查，使用systemctl status firewalld.service檢查防火墻狀態(tài)及運(yùn)行情況，hadoop1正確輸出如下圖。（每個(gè)節(jié)點(diǎn)都需要檢查）
Selinux檢查，使用getenforce檢查現(xiàn)在selinux狀態(tài)，hadoop1正確輸出如下。（每個(gè)節(jié)點(diǎn)都需要檢查）
節(jié)點(diǎn)網(wǎng)絡(luò)連通性檢查，使用ping命令，ping其他節(jié)點(diǎn)ip及主機(jī)名，保證能正常解析，正確輸出如下圖。（每個(gè)節(jié)點(diǎn)都需要檢查）
本機(jī)主機(jī)名和ip對(duì)應(yīng)關(guān)系，保證能正常解析，正確輸出如下圖。（每個(gè)節(jié)點(diǎn)都需要檢查）
ssh互信檢查，使用ssh命令檢查從168.10.30到所有節(jié)點(diǎn)免密碼登錄是否成功，正確輸出如下。（在hadoop1節(jié)點(diǎn)需要檢查，保證能ssh 到規(guī)劃的所有ip都不需要密碼，包括本節(jié)點(diǎn)）
目錄檢查，使用ls –dl 目錄的路徑，hadoop1輸出如下（每個(gè)節(jié)點(diǎn)都需要檢查）
軟件包檢查，使用tar–tvf 文件名1>/dev/null檢查壓縮包完整性，hadoop1正確輸出如下（hadoop1需要檢查）
3.2?JDK安裝及配置
使用tar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft解壓jdk到指定目錄。
使用chown -R root:root /hadoop/soft/jdk1.8.0_161修改jdk目錄的所有者和所屬組
檢查jdk目錄，正確輸入如下圖
配置root用戶的環(huán)境變量，切換的家目錄，使用vim .bash_profile編輯環(huán)境變量。添加如下內(nèi)容。
(備注$JAVA_HOME/bin必須在$PATH前面，默認(rèn)操作已經(jīng)安裝過(guò)一個(gè)java)
使用source.bash_profile重新加載環(huán)境變量，使用java –version查看現(xiàn)在java的版本，結(jié)果如下
使用scp–pr /hadoop/soft/jdk1.8.0_161 192.168.10.40:/haoop/soft scp?–pr /hadoop/soft/jdk1.8.0_161 192.168.10.50:/haoop/soft，拷貝jdk到其他兩個(gè)節(jié)點(diǎn)，并登錄其他兩個(gè)節(jié)點(diǎn)按照步驟e配置環(huán)境變量并使用java –version查看現(xiàn)在java的版本。
3.3?Zookeeper安裝及配置
使用tar -zxvf zookeeper-3.3.6.tar.gz -C /hadoop/soft解壓jdk到指定目錄。
進(jìn)入zookeeper的配置文件目錄
默認(rèn)情況下zookeeper的conf目錄下只有cfg，無(wú)zookeeper的配置文件，使用cp zoo_sample.cfg zoo.cfg，然后使用vim zoo.cfg編輯該配置文件，配置如下
使用scp -rp zookeeper-3.3.6 192.168.10.40:/hadoop/soft/scp -rp zookeeper-3.3.6 192.168.10.50:/hadoop/soft/?復(fù)制軟件到其他節(jié)點(diǎn)指定目錄下。
配置zookeeper環(huán)境變量，在運(yùn)行用戶家目錄下，使用vim .bash_profile 編輯該文件，內(nèi)容如下。（所有節(jié)點(diǎn)均要添加）
使用root用戶登錄Hadoop1進(jìn)入dataDir指定的目錄，cd /hadoop/zookeeper，執(zhí)行echo 1 > myid
使用root用戶登錄Hadoop2進(jìn)入dataDir指定的目錄，cd /hadoop/zookeeper，執(zhí)行echo 2 > myid
使用root用戶登錄Hadoop3進(jìn)入dataDir指定的目錄，cd /hadoop/zookeeper，執(zhí)行echo 3 > myid
3.4?Hadoop安裝及配置
使用tar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft解壓jdk到指定目錄。
使用chown -R root:root /hadoop/soft/hadoop-2.8.3修改jdk目錄的所有者和所屬組
使用cd /hadoop/soft/hadoop-2.8.3/etc/hadoop/進(jìn)入hadoop配置文件目錄。
需要編輯hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves。
使用vim編輯hadoop-env.sh結(jié)果如下
使用vim編輯core-site.xml結(jié)果如下
使用vim編輯hdfs-site.xml結(jié)果如下圖
由于默認(rèn)沒(méi)有mapred-site.xml文件，只有一個(gè)mapred-site.xml.template，使用cpmapred-site.xml.template ?mapred-site.xml，并使用vim編輯mapred-site.xml結(jié)果如下圖
使用vim編輯yarn-site.xml 結(jié)果如下圖
使用vim編輯slaves結(jié)果如下圖
記得編輯hadoop-env.sh和yarn-env.sh
配置root用戶的環(huán)境變量，切換的家目錄，使用vim .bash_profile編輯環(huán)境變量，添加如下內(nèi)容。使用source .bash_profile加載環(huán)境變量。（所有節(jié)點(diǎn)均要添加）
使用hadoop version查詢hadoop版本，正確輸出如下
使用scp–pr /hadoop/soft/hadoop-2.8.3 192.168.10.40:/haoop/soft ?scp?–pr /hadoop/soft/hadoop-2.8.3 192.168.10.50:/haoop/soft拷貝配置好的hadoop到其他兩個(gè)節(jié)點(diǎn)，并按照步驟I編輯環(huán)境變量，使用hadoop version查看hadoop的版本，結(jié)果如下
3.5?HBase安裝及配置
使用root登錄進(jìn)入軟件包所在目錄使用tar-zxvf hbase-1.3.1-bin.tar.gz -C /Hadoop/soft/ 解壓Hbase安裝目錄。
進(jìn)入Hbase配置文件目錄，Hbase安裝需要修改hbase-env.sh、habse-site.sh、regionservers。
編輯hbase-env.sh，需要修改jdk的位置，由于使用的jdk1.8，需要注釋PerSize，由于Hbase默認(rèn)使用的自帶的zookeeper，在這里我們需要啟用外部zookeeper，需要將HBASE_MANAGES_ZK設(shè)置為false。
編輯hbase-site.sh，最少要配置以下選項(xiàng)。
編輯regionservers，列出了你希望運(yùn)行的全部 HRegionServer，一行寫(xiě)一個(gè)host(就像Hadoop里面的 slaves 一樣). 列在這里的server會(huì)隨著集群的啟動(dòng)而啟動(dòng)，集群的停止而停止。
創(chuàng)建并編輯backup-masters，backup-masters里面指定備份的Hmaster。
由于Hbase依賴于hdfs，為保證hbase的副本數(shù)和hdfs一致，需要集群運(yùn)行hdfs-site.xml復(fù)制到habse的conf目錄下。
為保證在任何位置可以使用hbase的命令，需要配置root的環(huán)境變量，編輯/root/.bash_profile。添加HBASE_HOME及PATH。
使用scp–pr /hadoop/soft/habse-1.3.1?root@hadoop2:/haoop/soft ?scp?–pr /hadoop/soft/ habse-1.3.1?root@hadoop3:/haoop/soft拷貝配置好的Hbase到集群其他兩個(gè)節(jié)點(diǎn)，并按照步驟I編輯root的環(huán)境變量，至此基本的hbase已經(jīng)配置成功。
4.?測(cè)試
4.1?zookeeper啟動(dòng)
由于Hadoop依賴于zookeeper，zookeeper必須先于Hadoop啟動(dòng)否則啟動(dòng)Hadoop會(huì)出現(xiàn)異常
使用sh start啟動(dòng)zookeeper，需要在每個(gè)運(yùn)行zookeeper服務(wù)的節(jié)點(diǎn)上運(yùn)行該命令，正確輸出如下。
使用使用sh status查看zookeeper的狀態(tài)，可在每個(gè)節(jié)點(diǎn)上都運(yùn)行該命令，正確輸出如下，三個(gè)節(jié)點(diǎn)其中一個(gè)leader另外另個(gè)為follower。
4.2?Hadoop啟動(dòng)
使用root登錄hadoop1、hadoop2、hadoop3，使用hadoop-daemon.sh start journalnode啟動(dòng)journalnode，并使用jps成功輸出如下
在hadoop1上使用hdfs namenode –format格式化hdfs文件系統(tǒng)，正確輸出如下。（僅在第一次啟動(dòng)之前需要格式化，后面啟動(dòng)不需要格式化）
在節(jié)點(diǎn)1啟動(dòng)namenode（hadoop-daemon.sh start namenode），然后讓第二個(gè)節(jié)點(diǎn)namenode去同步第一個(gè)節(jié)點(diǎn)的namenode。使用root登錄第二個(gè)namenode即hadoop2，使用hdfs namenode -bootstrapStandby，（這里需要輸入一個(gè)Y）同步第一個(gè)namenode生成元信息，正確輸出如圖。（如果不進(jìn)行這一步備namenode由于缺少元信息無(wú)法啟動(dòng)，在hadoop2的namnode日志中會(huì)出現(xiàn)ERROR namenode.NameNode: Failed to start namenode.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /hadoop/nn is in an inconsistent state: storage directory does not exist or is not accessible.）。昨晚同步之后然后在第二節(jié)點(diǎn)啟動(dòng)namenode。
在hadoop1上，使用hdfs zkfc–formatZK用來(lái)格式化zkfc，無(wú)報(bào)錯(cuò)及為成功（僅在第一次啟動(dòng)之前需要格式化，后面啟動(dòng)不需要格式化）。（如果不進(jìn)行這一步，會(huì)出現(xiàn)namenode無(wú)法向zookeeper注冊(cè)，會(huì)出現(xiàn)兩個(gè)namenode都為備的狀態(tài)。）
使用start-all.sh可同時(shí)啟動(dòng)hdfs及Yarn，啟動(dòng)截圖如下。（如果沒(méi)有配置ssh互信，啟動(dòng)時(shí)候需要輸入每一臺(tái)機(jī)器的密碼），可能節(jié)點(diǎn)二的resourcemanager沒(méi)有啟動(dòng)，必須要手動(dòng)啟動(dòng)
在hadoop1使用mr-jobhistory-daemon.sh start historyserver啟動(dòng)JobHistoryServer，這樣mapreduce運(yùn)行歷史任務(wù)可以查看。(可選)
啟動(dòng)成功可運(yùn)行jps查看每個(gè)節(jié)點(diǎn)上運(yùn)行的進(jìn)程，正常情況如下。
使用hdfs haadmin -getServiceState nn1和hdfs haadmin -getServiceState nn2查看準(zhǔn)備namenode的狀態(tài)，如下圖。
訪問(wèn)hdfs的web界面，使用瀏覽器打開(kāi)
http://192.168.10.30:50070
和
http://192.168.10.40:50070
結(jié)果如下圖能看到datanode的數(shù)據(jù)和啟動(dòng)datanode相同，表示啟動(dòng)成功。
使用yranrmadmin -getServiceState rm1查看準(zhǔn)備resourcemanager的狀態(tài)，如下圖。
在確認(rèn)hadoop1上resourcemanager成功啟動(dòng)且為激活狀態(tài)，登錄hadoop2使用yarn-daemon.sh start resourcemanager啟動(dòng)備用resourcemanager，并在hadoop2上使用yarn rmadmin -getServiceState rm2查看resourcemanager的狀態(tài)如圖。
訪問(wèn)yarn的web界面，使用瀏覽器打開(kāi)http://192.168.10.30:8088，結(jié)果如下圖，表示yarn正常正常啟動(dòng)。（如果resourcemanager是主備部署，登錄備resourcemanager時(shí)候會(huì)自動(dòng)跳轉(zhuǎn)到主。）
4.3?HBASE的啟動(dòng)
hbase依賴于zookeeper以及hdfs，需要保證hdfs及zookeeper已經(jīng)正常運(yùn)行，才可以開(kāi)始啟動(dòng)hbase
使用start-hbase.sh啟動(dòng)habse的HMaster、RegionServer。
使用jps確保每個(gè)節(jié)點(diǎn)上對(duì)應(yīng)的進(jìn)程已成功啟動(dòng)。
使用Web輸入
http
://192.168.10.30:16010
，登錄hbase的web界面。
4.4?HDFS HA測(cè)試
本實(shí)驗(yàn)手冊(cè)為搭建HDFS的HA環(huán)境，現(xiàn)測(cè)試HDFS的HA
查看hadoop1為active，殺掉hadoop1的namenode，hadoop2的namenode自動(dòng)升級(jí)為active，如下圖。
4.5?YARN HA測(cè)試
查看hadoop1的ResourceManager為active，殺掉hadoop1的ResourceManager，hadoop2的ResourceManager自動(dòng)升級(jí)為active，如下圖。
在hadoop1使用yarn-daemon.sh start resourcemanager啟動(dòng)resourcemanager。
4.6?Hbase HA測(cè)試
打開(kāi)hbase的web界面，查看主備的hbase。
登錄hadoop1使用jps查看HMaster的進(jìn)程id，并使用kill殺掉HMaster。
使用web界面查看備用HMaster的狀態(tài)，如下圖，備用Hmaster已經(jīng)成功提升為主Hmaster
4.7?HDFS測(cè)試
在hadoop1上使用hdfs 命令上傳文件到hdfs文件系統(tǒng)，執(zhí)行hdfs dfs -put /etc/passwd?/ 上傳文件到hdfs的跟目錄，使用hdfs dfs –ls / ?查看hdfs跟下面的文件，正確結(jié)果如下圖。
在hadoop2上使用hdfs dfs -get /passwd/root/?下載剛剛上傳的文件到家目錄
4.8?Hbase測(cè)試
使用hbaseshell進(jìn)入hbase的shell命令行。（上述會(huì)有一個(gè)jar沖突的警告，如果需要消除，需要?jiǎng)h除hbase上那個(gè)jar包即可）
查看集群狀態(tài)和節(jié)點(diǎn)數(shù)量，使用status
創(chuàng)建表，create‘test’,‘c1’（?hbase創(chuàng)建表create命令語(yǔ)法為：表名、列名1、列名2、列名3……）
查看表，list
給表寫(xiě)入數(shù)據(jù)，put 'test','rowkey','c1','test'（導(dǎo)入數(shù)據(jù)的命令put的語(yǔ)法為表名、行值、列名（列名可加冒號(hào)，表示這個(gè)列簇下面還有子列）、列數(shù)據(jù)）
全表掃描數(shù)據(jù)（scan 'test'）
查詢表的數(shù)據(jù)（get‘test’,’rowkey’），根據(jù)條件查詢，查詢test表中row為rowkey的值。
刪除表，在刪除表之前需要先讓表失效才能刪除。使用disable‘test’，使表失效。drop?‘test’刪除表。
4.9?Yarn2.0測(cè)試（wordcount任務(wù)）
原文件位于本機(jī)，執(zhí)行hadoop jar /hadoop/soft/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount file:///etc/passwd /wordcount任務(wù)完成如下圖。
使用hdfs dfs -cat hdfs://192.168.10.30:8020/wordcount/part-r-00000，查看輸出結(jié)果，如下圖。
將文件上傳到hdfs，使用hdfsdfs -put /etc/passwd hdfs://192.168.10.30/?執(zhí)行hadoop jar /hadoop/soft/hadoop-2.8.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount passwd ?/wordcountpasswd，運(yùn)行如下
使用hdfs dfs -cat hdfs://192.168.10.30:8020/wordcountpasswd/part-r-00000，查看輸出結(jié)果，如下圖。
5.?Hadoop、Zookeeper配置文件
附件： Hadoop平臺(tái)安裝HA版V3.0.docx 6.89MB 下載次數(shù)：1次
Hadoop 虛擬化
版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。
相關(guān)文章
