MRS的HBase集群上安裝Phoenix并對(duì)接superset

一、背景

superset可以用來(lái)數(shù)據(jù)可視化展示，可以對(duì)接Hive和HBase。由于Hive不適用于實(shí)時(shí)展示數(shù)據(jù)，所以嘗試用superset鏈接HBase數(shù)據(jù)庫(kù)，但是superset不能直接訪問(wèn)HBase，需要安裝Phoenix，所以本文介紹Phoenix的安裝，Phoenix對(duì)接HBase以及對(duì)接superset的方法。

二、安裝Phoenix

1. 進(jìn)入phoenix官網(wǎng)下載：https://phoenix.apache.org/。

2.?找到與HBase版本對(duì)應(yīng)的phoenix版本，由于MRS 1.7.2分析集群的HBase版本是1.3.1，所以下載4.14.0版本的phoenix。

3.?遠(yuǎn)程登錄Master節(jié)點(diǎn)，執(zhí)行以下命令下載并解壓Phoenix安裝包：

wget?htttp://apache.website-solution.net/phoenix/apache-phoenix-4.14.0-HBase-1.3/bin/apache-phoenix-4.14.0-HBase-1.3-bin.tar.gz tar?-xvf?apache-phoenix-4.14.0-HBase-1.3-bin.tar.gz

4.?進(jìn)入apache-phoenix-1.14.0-HBase-1.3-bin目錄中，把phoenix-4.14.0-HBase-1.3-server.jar和phoenix-core-4.14.0-HBase-1.3.jar另個(gè)jar包拷貝到集群服務(wù)端的lib下并修改相應(yīng)權(quán)限。（core節(jié)點(diǎn)也要拷貝），如果拷貝了但是沒(méi)有修改權(quán)限，會(huì)報(bào)錯(cuò)如下：

cp?phoenix-4.14.0-HBase-1.3-server.jar?phoenix-core-4.14.0-HBase-1.3.jar?/opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????chmod?700?/opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-4.14.0-HBase-1.3-server.jar chmod?700?/opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-core-4.14.0-HBase-1.3.jar chown?omm:wheel??/opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-4.14.0-HBase-1.3-server.jar chmod?omm:wheel?/opt/Bigdata/MRS/FusionInsight-HBase-1.3.1.0302/hbase/lib/phoenix-core-4.14.0-HBase-1.3.jar

5. 配置完畢，重啟HBase，可以在MRS Manager界面重啟。

6.?用phoenix連接HBase。

cd?apache-phoenix-4.14.0-HBase-1.3-bin/bin ./sqlline.py?HMasterIP:2181 >!table(會(huì)顯示自動(dòng)產(chǎn)生的幾個(gè)系統(tǒng)表） >!exit（退出）

7.?如果要映射HBase已有的表格，在phoenix新建該表格的映射。phoenix的大小寫(xiě)比較特殊，全部都是小寫(xiě)會(huì)轉(zhuǎn)成大寫(xiě)，可以加上雙引號(hào)避免這種情況。而且phoenix4.*以上會(huì)出現(xiàn)在phoenix新建與HBase相同的表格，更夠同步更新，但是查詢不會(huì)顯示，而且phoenix刪除該表格，HBase也會(huì)隨之刪除。所以建議新建視圖，刪除phoenix的表不會(huì)刪除映射的HBase，不過(guò)新建視圖確保HBase已經(jīng)存在該表。

create view "hbase_weather"("ROW" varchar primary key,"info"."id" varchar,"info"."province" varchar,"info"."city" varchar,"info"."zone" varchar,"info"."time" varchar,"info"."maxTemperature" varchar,"info"."minTemperature" varchar,"info"."weather" varchar,"info"."windDirection" varchar,"info"."windPower" varchar) as select * from "hbase_weather";

8.?執(zhí)行以下命令，打開(kāi)8765端口，供superset訪問(wèn)。如果沒(méi)有source環(huán)境變量，會(huì)報(bào)如下錯(cuò)誤：

source?/opt/client/bigdate_env queryserver.py?start

三、superset上用phoenix訪問(wèn)HBase數(shù)據(jù)庫(kù)

1. 安裝superset見(jiàn)參考文檔：https://support.huaweicloud.com/usermanual-mrs/mrs_01_0418.html。可以參照華為云官網(wǎng)MRS服務(wù)的用戶指南，下載安裝superset的腳本，在installPipLib()方法里面加pipInstall pyPhoenix，注意一定要在superset的虛擬環(huán)境里面加，不能直接在linux用戶下安裝，否則superset識(shí)別不了。

2. 通過(guò)phoenix連接HBase數(shù)據(jù)庫(kù)。

hbase Phoenix

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。