C80遷移到651使用651集群資源方法

C80遷移到651使用651集群資源方法

場景：c80遷移到651,需要使用651集群資源，c80集群配置了nodelabel

問題:互信配置完成后，C80訪問651正常，651訪問C80異常，報錯如下

問題原因：新舊版本客戶端兼容性有限制，只能保證老版本客戶端訪問新集群，不能保證新版本客戶端訪問老集群，在C80未使用nodelabel特性時，兩集群可以正常訪問，使用nodelabel特性后，會出現上述問題

規避方案：（使用c80客戶端將任務提交到651集群上）

一、?配置651集群

1、啟用651集群的跨集群拷貝功能，（參考產品文檔“啟用集群間拷貝功能”，將C80的主備NN的信息配置上）章節，不用配置C80集群的跨集群拷貝

2、在651集群上添加自定義參數

登錄651manager界面>Yarn>全部配置，左側導航欄選擇“自定義”，在yarn.hdfs-site.customized.configs中添加以下參數

名稱：dfs.client.failover.proxy.provider.hacluster

值：org.apache.hadoop.hdfs.server.namenode.ha.BlackListingFailoverProxyProvider

3、重啟Yarn服務，并重新下載651客戶端

二、配置DistributedCache

1、?將C80客戶端下hadoop目錄壓縮成hadoop-mapreduce-2.7.2.tar.gz

tar -zcvf hadoop-mapreduce-2.7.2.tar.gz hadoop

2、使用651客戶端將hadoop-mapreduce-2.7.2.tar.gz上傳到HDFS的/user/mapred/目錄下

hadoop fs -put hadoop-mapreduce-2.7.2.tar.gz /user/mapred/

3、修改651客戶端Yarn配置，例如：“/opt/client/Yarn/config/mapred-site.xml”）

配置項名稱：mapreduce.application.framework.path

值：hdfs:/user/mapred/hadoop-mapreduce-2.7.2.tar.gz#mrframework

配置項名稱：mapreduce.application.classpath

值：$HADOOP_CONF_DIR,$PWD/mrframework/hadoop/share/hadoop/mapreduce/*,$PWD/mrframework/hadoop/share/hadoop/mapreduce/lib/*,$PWD/mrframework/hadoop/share/hadoop/common/*,$PWD/mrframework/hadoop/share/hadoop/common/lib/*,$PWD/mrframework/hadoop/share/hadoop/yarn/*,$PWD/mrframework/hadoop/share/hadoop/yarn/lib/*,$PWD/mrframework/hadoop/share/hadoop/hdfs/*,$PWD/mrframework/hadoop/share/hadoop/hdfs/lib/*

說明：如果為聯邦集群，參數需要調整，參數可參考“升級指導書>滾動升級配置分布式緩存”章節

三、配置C80客戶端

1、在651節點上安裝C80集群的客戶端，參考產品文檔；

也可以使用c80集群原有的客戶端，但不要和C80業務使用同一客戶端

2、將C80客戶端的Yarn配置文件目錄備份，并將步驟“二”中651客戶端Yarn的配置文件拷貝到C80客戶端下

3、?配置C80客戶端參數（/opt/client/Yarn/config/）

修改hdfs-site.xml

將hdfs-site.xml文件中的所有AdaptiveFailoverProxyProvider替換成BlackListingFailoverProxyProvider（總共6處）

修改yarn-site.xml

刪除yarn.ipc.server.factory.class參數

四、?驗證

source剛才配置的C80的客戶端，并認證用戶

執行distcp命令，做集群遷移

hadoop distcp hdfs://haclusterX/test/hadoop-mapreduce-2.7.2.tar.gz hdfs://hacluster/tmp

EI智能體 FusionInsight Hadoop

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。