華為云GaussDB(for Influx)揭秘第四期：配合Prometheus讓監(jiān)控數(shù)據(jù)更安全

背景

prometheus作為一個獨立的開源項目，開發(fā)者和用戶社區(qū)非常活躍，目前已經(jīng)有超過650+位貢獻者參與其研發(fā)工作上，并且超過120+項的第三方集成。是目前很受歡迎的系統(tǒng)監(jiān)控和告警工具包。但是prometheus默認使用本地數(shù)據(jù)庫存儲數(shù)據(jù)，作為正式業(yè)務(wù)，面臨無法彈性擴容、沒有副本、沒有備份等問題。

GaussDB(for Influx)是一款分布式架構(gòu)，云原生的時序數(shù)據(jù)庫。可無縫被Prometheus集成，在協(xié)議上原生支持Prometheus遠端存儲對接至GaussDB(for Influx)，解決了Prometheus在使用本地數(shù)據(jù)庫存儲數(shù)據(jù)的痛點問題。

Prometheus的優(yōu)勢和不足

Prometheus 優(yōu)勢

Prometheus是一款開源的數(shù)據(jù)監(jiān)控告警系統(tǒng)，支持數(shù)據(jù)的采集，存儲，可視化以及告警功能。

1、Prometheus部署簡單，依賴少。核心部分只有一個單獨的二進制文件，不存在任何的第三方依賴(數(shù)據(jù)庫，緩存等等) ，只需要下載一個包就可以運行起來。

2、功能完整，包括數(shù)據(jù)采集，存儲，可視化，告警等功能，其基本架構(gòu)如下：

數(shù)據(jù)采集部分，exporter用來采集監(jiān)控數(shù)據(jù)，并向Prometheus server提供標準格式的監(jiān)控數(shù)據(jù)。

數(shù)據(jù)存儲部分，Prometheus Server負責數(shù)據(jù)的抓取和存儲，其定時在目標上抓取metrics（指標）數(shù)據(jù)并保存到本地存儲里面。Prometheus采用了一種Pull（拉）的方式獲取數(shù)據(jù)，不僅降低客戶端的復雜度，客戶端只需要采集數(shù)據(jù)，無需了解服務(wù)端情況，而且服務(wù)端可以更加方便的水平擴展。Prometheus默認存儲是一套TSDB本地部署的時序數(shù)據(jù)庫。通過對接第三方時序數(shù)據(jù)庫擴展歷史數(shù)據(jù)的存儲。

數(shù)據(jù)可視化部分默認提供了自帶的UI界面，同時支持開源的Grafana工具。

Prometheus本地存儲的問題

Prometheus的默認部署的本地時序數(shù)據(jù)庫，可以減少其自身運維和管理的復雜度，能夠滿足大部分用戶監(jiān)控規(guī)模的需求，但是隨著業(yè)務(wù)的增長和數(shù)據(jù)規(guī)模的不斷擴大，本地存儲存在一些無法解決的問題：

1、存儲大小有限，且無法靈活擴容。存儲容量有限，無法存儲時間太長的數(shù)據(jù)，存儲能力的擴展目前依賴磁盤的擴展，本地磁盤的擴展涉及到遷移數(shù)據(jù)等。

2、沒有副本，可靠性不足。本地存儲數(shù)據(jù)只有一份，沒有副本架構(gòu)，一旦磁盤或者數(shù)據(jù)損壞，無法修復。

3、存儲成本高。數(shù)據(jù)庫一般使用性能較高的SSD，數(shù)據(jù)存儲成本高。

4、存儲安全性低。所有人都可以看到本地的數(shù)據(jù)，數(shù)據(jù)安全性不足。

5、數(shù)據(jù)難共享。本地存儲的數(shù)據(jù)庫，不利于其他分析組件的數(shù)據(jù)共享。

6、缺少備份能力。本地數(shù)據(jù)庫沒有備份能力，一旦業(yè)務(wù)數(shù)據(jù)損壞，無法恢復數(shù)據(jù)。

GaussDB(for Influx)如何解決上述問題

GaussDB(for Influx)作為一款采用分布式架構(gòu)，云原生的時序數(shù)據(jù)庫，作為Prometheus的遠程存儲，完美解決了使用本地數(shù)據(jù)庫存儲時遇到的問題，并且可維護性，讀寫性能等方面也做了很多的優(yōu)化。

1、存儲按需擴容。GaussDB(for Influx)依托云原生能力，采用計算存儲分離架構(gòu)，存儲使用分布式共享存儲，實現(xiàn)了秒級擴容，且在擴容過程中不中斷業(yè)務(wù)，可以根據(jù)業(yè)務(wù)需求靈活進行擴展，不擔心隨著業(yè)務(wù)增長，存儲不足的問題。

2、三副本高可用架構(gòu)。GaussDB(for Influx)基于華為分布式共享存儲，將數(shù)據(jù)存為3副本，保證數(shù)據(jù)可靠性。業(yè)務(wù)寫一份數(shù)據(jù)到數(shù)據(jù)庫，系統(tǒng)會根據(jù)一定的策略將數(shù)據(jù)復制成3份，分別存儲。如果其中一份數(shù)據(jù)損壞，系統(tǒng)會根據(jù)其他兩份數(shù)據(jù)，重新恢復出被損壞的數(shù)據(jù)。

3、支持冷熱存儲分離。GaussDB(for Influx)支持數(shù)據(jù)冷熱分離存儲，時序數(shù)據(jù)隨著時間的推移，其被查詢和分析的概率越來越低。用戶可以根據(jù)時序數(shù)據(jù)的特點以及業(yè)務(wù)需求將數(shù)據(jù)劃分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱數(shù)據(jù)保存在分布式共享存儲上保證讀寫的性能。冷數(shù)據(jù)保留在低成本存儲上，降低存儲的成本。GaussDB(for Influx)支持一鍵購買冷存儲，如下圖所示，可以根據(jù)需要購買對應(yīng)的冷存儲空間。

4、數(shù)據(jù)安全性高。GaussDB(for Influx)的存儲文件對業(yè)務(wù)是不可見的，客戶只能通過InfluxQL語句來訪問數(shù)據(jù)，而無法看到真實文件。降低了數(shù)據(jù)被損壞和泄露的風險。

5、數(shù)據(jù)訪問共享分析。數(shù)據(jù)存儲到遠端時，其他組件可以通過數(shù)據(jù)庫訪問地址，直接訪問采集到的數(shù)據(jù)。

6、支持備份功能。GaussDB(for Influx)依托云原生能力，支持全量備份和增量備份，數(shù)據(jù)一旦異常，可以選擇歷史備份迅速恢復。

除了以上優(yōu)勢外，GaussDB(for Influx)還在在計算能力方面，采用集群架構(gòu)，支持靈活擴容。在寫入性能，查詢性能，數(shù)據(jù)壓縮率等方面做了很多優(yōu)化。

Prometheus使用GaussDB(for Influx)

配置

Prometheus使用GaussDB(for Influx)非常方便。在華為云上購買GaussDB(for Influx)實例后，只需要在配置文件prometheus.yml中添加以下配置項，然后重啟Prometheus服務(wù)即可。

remote_write: - url:"http://127.0.0.1:8086/api/v1/prom/write?db=prometheus&u=rwuser&p=****** remote_read: - url: “http://127.0.0.1:8086/api/v1/prom/read?db=prometheus&u=rwuser&p=******

127.0.0.1:8086: 鏈接GaussDB(for Influx)實例的IP和端口，需要保證Prometheus部署機器的網(wǎng)絡(luò)可以連通該IP。

db=prometheus：數(shù)據(jù)寫入指定的數(shù)據(jù)庫名稱。

u=rwuser&p=******：購買GaussDB(for Influx)實例時的賬號密碼。

其余參數(shù)不變。

驗證

重啟后就可以通過Prometheus自帶的界面來查詢數(shù)據(jù)了。在瀏覽器中輸入http://localhost:9090，打開Prometheus界面，輸入一條查詢語句，如下圖：

可以看到已經(jīng)可以查到相關(guān)數(shù)據(jù)。也可以通過登錄GaussDB(for Influx)來查看寫入的數(shù)據(jù)情況。登錄數(shù)據(jù)庫后，執(zhí)行以下語句

use Prometheus show measurements

可以看到Prometheus已經(jīng)成功的寫入數(shù)據(jù)了。如下圖：

結(jié)束

云數(shù)據(jù)庫 GaussDB(for Influx) 數(shù)據(jù)庫

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。