FusionInsight對接OBS指導書
1????? 背景介紹
華為FusionInsight HD是一個分布式數據處理系統，對外提供大容量的數據存儲、查詢和分析能力。華為云對象存儲服務OBS可以提供穩定、安全、高效、易用的云存儲服務，并可以與FI對接，提供計算存儲分離的大數據解決方案。
2????? 部署視圖
3????? FI對接OBS操作步驟
3.1????? Hadoop對接
3.1.1??????? 更新OBSFileSystem操作步驟
1、? 上傳obs的jar包
從網址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下載OBSFileSystem后進行解壓縮，其中Package目錄中包含obs所需要的jar包，列表如下：
將obs所需要的jar包放在/opt/FI-obs目錄中
2、? 將obs的jar包放到Hadoop Client端
命令：
cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/common/lib/.
cp /opt/FI-obs/* /opt/client/HDFS/hadoop/share/hadoop/tools/lib/.
3.1.2??????? 更新配置文件操作步驟
1、? 修改hdfs客戶端core-site.xml配置(/opt/client/HDFS/hadoop/etc/hadoop/core-site.xml)
配置文件中增加或修改如下配置項
2、? 配置完成后即可使用hadoop命令
3.2????? HBase對接
3.2.1??????? 更新OBSFileSystem操作步驟
1、? 上傳obs的jar包
從網址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下載OBSFileSystem后進行解壓縮，其中Package目錄中包含obs所需要的jar包，列表如下：
將obs所需要的jar包放在/opt/FI-obs目錄中
2、? 將obs的jar包放到HBase Server端
命令：
cp /opt/FI-obs/* /opt/huawei/Bigdata/FusionInsight_HD_6.5.0/install/FusionInsight-HBase-1.3.1/hbase/lib/.
3、? 將obs的jar包放到HBase Client端
命令：
cp /opt/FI-obs/* /opt/client/HBase/hbase/lib/.
3.2.2??????? 更新配置文件操作步驟
1、? Hbase服務端級別core-site.xml添加如下自定義配置
fs.obs.experimental.input.fadvise: random
fs.obs.access.key: XXXX（AK信息）
fs.obs.secret.key: XXXX（SK信息）
fs.obs.endpoint: XXXX（EndPoint信息）
fs.obs.impl: org.apache.hadoop.fs.obs.OBSFileSystem
hadoop.tmp.dir: /srv/BigData/hadoop/data1/tmp（配置到本地掛載的數據盤上）
fs.obs.buffer.dir：/srv/BigData/hadoop/data1/buf（配置到本地掛載的數據盤上）
2、? Hbase服務端級別hbase-site.xml添加如下自定義配置
hbase.data.rootdir：obs://XXXX/hbase （XXXX為桶名）
hbase.rootdir：obs://XXXX/hbase? （XXXX為桶名）
hbase.wal.provider：multiwal
hbase.wal.dir：hdfs://hacluster/hbasewal
3、? 配置完成后重啟HBase即可使用，使用hbase shell前需要source環境變量
JAR 對象存儲服務 OBS 存儲 HBase
版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。
相關文章
