在本地利用虛擬機搭建Hadoop大數據平臺
一、?? 虛擬機備份：
注意：VM虛擬機并不是一個非常穩定的系統，在虛擬化情況下，有時候會出現一些非常莫名奇妙的錯誤，這就需要我們有足夠的克隆備份，以用于錯誤出現的恢復和追溯，大家可以參考我的虛擬機建設方式。
在基礎平臺中，一般都有一些搭建好的基礎組件，例如我們在Hadoop基礎平臺搭建時候，需要的JDK 1.8 基礎組件，我們可以先行搭建好，后在使用的時候，直接克隆，省時省力，在搭建好的基礎組件里，我們可以挑選一部分重要的（或者復雜的）進行備份。
我們配置到一半的虛擬機，在休息或者階段性達成時，請在關機時直接進行一次克隆，然后編輯克隆后的虛擬機，按照自己舒服的方式編號即可。
在完成配置后，將完成配置的虛擬機移到已完成的組別，然后在完成備份組進行一個備份。
虛擬機默認安裝系統在C盤，建議有一個大一點的C盤空間，至少100-300G。
一、?? 虛擬機網絡設置：
虛擬機常用有三種連接網絡模式，分別是橋接，NAT，本地，這三種模式都分別代表什么意思？有什么用呢？我用類比法給大家解釋一下這個問題。
1)? 橋接模式：在這種模式下，物理主機好像是一個“交換機”所有的虛擬機都連接這個物理主機的交換機上，所有虛擬機之間的交流不受影響，外界帶有DHCP功能的路由器會直接分配給虛擬機地址，需要注意的是，你虛擬機的網段和物理機應在同一個網段，不然無法訪問。示意圖如下：
2)? NAT模式：NAT(網絡地址轉，用于把內部的私有網絡地址轉換成可以通訊的公網地)NAT模式相當于在橋接的Vmnet0（虛擬交換機）上又加入了NAT設備和DHCP服務器來自行分配地址，也就是說，相當于在橋接模式的“交換機”上又加了個“路由器”，這樣，物理主機和虛擬機的通訊就需要對于這個“路由器”進行配置才能實現和物理主機的通訊。示意圖如下：
3)? 本地模式：本地模式，是NAT模式去掉了NAT設備（只剩DHCP服務器）通過共享網卡可以實現上網。示意圖如下：
我們在配置Hadoop平臺的時候，使用NAT方式。
三、?? JDK環境配置
1)? 環境及需要軟件：
1.? 物理機操作系統：windows 10 1903
2.? VM版本：15.5 pro
3.? 虛擬機操作系統：CentOS 7 x86_64 1804
4.? 軟件需求：Xshell、Xftp、JDK1.8_211
2)? 虛擬機建立：省略
3)? 網絡設置：
1.? 網段：192.168.127.0
2.? 網關：192.168.127.1
3.? V8網卡：192.168.127.88
4.? 主機IP：192.168.127.31
4)? 登錄root用戶：省略
5)? 開始配置：
1.? IP配置
# 修改IP地址
# 這步完成后需重新啟動
$?vim?/etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" BOOTPROTO="static" DEFROUTE="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_FAILURE_FATAL="no" IPV6_ADDR_GEN_MODE="stable-privacy" NAME="ens33" UUID="001ab3ed-d2b2-4697-ba77-a3a235682441" DEVICE="ens33" ONBOOT="yes" IPADDR="192.168.127.31" PREFIX="24" GATEWAY="192.168.127.1"
2.? Xshell到主機
# 在Xshell上創建Shell連接
# 在XFTP中的 /root文件夾下新建一個文件夾為apps，且將JDK1.8傳輸進去
3.? 解壓縮JDK1.8
$?tar?-zxvf?/root/apps/jdk-8u211-linux-x64.tar.gz
# 把解壓后的JDK 1.8.0_211通過XFTP拖回apps文件夾
4.? 設置并且加載JDK1.8
# 在環境變量中加入JDK1.8.0_211
$?vim?/etc/profile#
export?JAVA_HOME=/root/apps/jdk1.8.0_211 export?CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export???PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
重新加載環境變量
$?source?/etc/profile
# 測試
$?echo?$JAVA_HOME $?java?-version
5.? 關閉主機后，克隆到大數據平臺
一、?? Hadoop平臺單節點搭建
1)? 環境及需要軟件：
1.? 物理機操作系統：windows 10 1903
2.? VM版本：15.5 pro
3.? 虛擬機操作系統：CentOS 7 x86_64 1804
4.? 軟件需求：Xshell、Xftp、hadoop 2.7.7
2)? 虛擬機建立：省略
3)? 登錄root用戶：省略
4)? 開始配置
1.? 修改主機名和IP映射
2.? IP地址和域名
vi?/etc/hosts
127.0.0.1???localhost?localhost.localdomain?localhost4?localhost4.localdomain4 ::1?????????localhost?localhost.localdomain?localhost6?localhost6.localdomain6 192.168.127.31?hadoop31
3.???關閉防火墻
$?systemctl?stop?firewalld.service $?systemctl?disable?firewalld.service
關閉防火
4.? 配置SSH免密登錄
cd?~ ssh-keygen?-t?rsa?#敲三次回車 ssh-copy-id?hadoop31?#輸入root密碼 chmod?700?.ssh
5.? 正式安裝Hadoop
# 在文件夾下解壓縮
tar?-zxvf?/root/apps/hadoop-2.7.7.tar.gz
# 將hadoop安裝包移入apps文件夾中：省略，參照JDK
# 配置依賴環境
cd?/root/apps/hadoop-2.7.7/etc/Hadoop vim?hadoop-env.sh
# 配置文件目錄存放位置
vim?/root/apps/hadoop-2.7.7/etc/hadoop/core-site.xml
# 配置HDFS副本
vim?/root/apps/hadoop-2.7.7/etc/hadoop/hdfs-site.xml
# 復制mapred組建使mapreduce可編輯
cd?/root/apps/hadoop-2.7.7/etc/hadoop mv?mapred-site.xml.template?mapred-site.xml
配置Yarn關聯MapReduce運行
vim?/root/apps/hadoop-2.7.7/etc/hadoop/mapred-site.xml
# 格式化NameNode(第一次啟動需要，之后都不需要)
cd?/root/apps/hadoop-2.7.7 ./bin/hdfs?namenode?-format
啟動命令
cd?/root/apps/hadoop-2.7.7 ./sbin/start-dfs.sh ./sbin/start-yarn.sh
測試地址
http://hadoop31:50070
http://hadoop31:8088
虛擬化 Hadoop 大數據
版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。
相關文章
