MRS二次開發(fā)(14/27): ES的Transport接口樣例

MRS二次開發(fā)(14/27): ES的Transport接口樣例

一、ES簡介

Elasticsearch是一個基于Lucene的搜索服務(wù)器，它提供了一個分布式多用戶能力的全文搜索引擎和分析引擎。設(shè)計用于大數(shù)據(jù)中，能夠穩(wěn)定、可靠、快速地實現(xiàn)實時搜索和分析，并且安裝使用的方法十分簡單方便。

二、樣例背景

假定用戶開發(fā)一個應(yīng)用程序，用于搜索所有圖書信息，并要求提供關(guān)鍵字搜索關(guān)鍵字相關(guān)的圖書，并打分按分排序，其中搜索的功能就可以用Elasticsearch來實現(xiàn)，搜索流程如下：

客戶端連接集群

查詢集群健康狀態(tài)

檢查指定索引是否存在

創(chuàng)建指定分片數(shù)目的索引

寫入索引數(shù)據(jù)

批量寫入數(shù)據(jù)

指定路由批量寫入數(shù)據(jù)

查詢索引信息

刪除索引

刪除索引中的文檔

刷新索引

多線程樣例

三、Windows環(huán)境樣例調(diào)用步驟

環(huán)境準(zhǔn)備，參考第一課

比對時間，與集群時間誤差不能超過5分鐘

檢查 C:\Windows\System32\drivers\etc\hosts文件中是否包含所有集群節(jié)點的域名IP映射信息

在IDEA打開樣例代碼的elasticsearch-transport-client-example目錄，檢查SDK配置

默認(rèn)自動加載依賴，如未加載，則打開后選中pom.xml文件，右鍵點擊“Add As Maven Project”后等待項目自動將依賴下載完畢

從Manager界面下載用戶認(rèn)證憑據(jù)后，解壓縮獲取秘鑰文件user.keytab和krb5.conf，將這兩個文件放到樣例代碼的conf目錄

找到客戶端文件夾例如“/opt/client/Elasticsearch/elasticsearch-example/conf”目錄下的配置文件“es-transport-client-example.properties”，拷貝該文件的相關(guān)參數(shù)值賦值給樣例工程conf目錄下的文件“esParams.properties”

修改樣例工程conf目錄下的文件“esParams.properties”中principal參數(shù)為自己創(chuàng)建的用戶名，krb5Path和keytabPath參數(shù)填寫為樣例工程conf目錄的絕對路徑，以“\\”分割

在src\main\java\com\huawei\fusioninsight\elasticsearch\example\Sample.java中右鍵執(zhí)行Run 啟動樣例代碼

四、Linux環(huán)境調(diào)試步驟

前提：Linux環(huán)境有安裝集群客戶端

完成Windows環(huán)境樣例調(diào)用步驟

在windows環(huán)境中執(zhí)行打包

通過如下maven指令構(gòu)建樣例工程依賴jar包到lib目錄,注意--settings后客戶使用自己的本地目錄

mvn dependency:copy-dependencies -DoutputDirectory=lib --settings D:\tools\apache-maven-3.6.3\conf\settings.xml

檢查linux環(huán)境時間與集群誤差不超過5分鐘

檢查linux環(huán)境的JDK版本為1.8

配置linux環(huán)境的/etc/hosts文件

在Linux環(huán)境新建目錄，例如“/opt/estest”，并創(chuàng)建子目錄“l(fā)ibs”和“conf”

將步驟3打的jar包和步驟4lib目錄的jar包上傳到Linux環(huán)境lib目錄下，例如“/opt/estest/lib”

將IntelliJ IDEA工程“conf”目錄下的所有文件拷貝到與依賴庫文件夾同級的目錄“conf”下，例如“/opt/estest/conf”

修改“/opt/estest/conf”目錄下esParams.properties文件中krb5Path和keytabPath的路徑，例如我們將認(rèn)證文件配置在“/opt/estest/conf”目錄下，即修改為“/opt/estest/conf/”

檢查“/opt/estest/conf”目錄下和“/opt/estest/libs”文件目錄下的所有文件，對當(dāng)前用戶均具有可讀權(quán)限。

切換到“/opt/estest”，執(zhí)行以下命令，運行代碼樣例程序

java -cp /opt/estest/conf/*:/opt/estest/libs/* com.huawei.fusioninsight.elasticsearch.example.Sample

五、問題互動渠道

FusonInsight 論壇入口 https://bbs.huaweicloud.com/forum/forum-1103-1.html

EI企業(yè)智能 FusionInsight

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。