大數(shù)據(jù)“復(fù)活”記
1134
2025-04-01
ROACH備份恢復(fù)介質(zhì)
1????? 綜述
ROACH作為數(shù)據(jù)備份恢復(fù)工具,對于存儲介質(zhì)的支持能力,很大程度地影響了客戶的集群靈活部署能力。當(dāng)前ROACH支持三種存儲介質(zhì)的備份恢復(fù)能力,外部第三方組件NBU,華為云OBS以及本地磁盤。
首先介紹一下,ROACH備份恢復(fù)工具是如何對接各種存儲介質(zhì)的。ROACH工具通過統(tǒng)一備份恢復(fù)存儲介質(zhì)接口,根據(jù)備份恢復(fù)時指定的存儲介質(zhì)參數(shù),自動識別介質(zhì)類型。如下圖所示,
如果存儲介質(zhì)為NBU/OBS等網(wǎng)絡(luò)介質(zhì),備份時讀取數(shù)據(jù)到內(nèi)存后,通過統(tǒng)一介質(zhì)接口直接發(fā)送數(shù)據(jù)文件到存儲介質(zhì);恢復(fù)時,通過統(tǒng)一介質(zhì)接口獲取存儲介質(zhì)上的數(shù)據(jù)文件直接解壓讀取到內(nèi)存中進(jìn)行數(shù)據(jù)恢復(fù)。
如果存儲介質(zhì)為Local Disk,備份時數(shù)據(jù)直接存儲到本地磁盤指定的目錄;恢復(fù)時從本地磁盤讀取后進(jìn)行數(shù)據(jù)恢復(fù);
基于上述的基本認(rèn)識,本文將重點介紹兩種網(wǎng)絡(luò)介質(zhì)的部署使用方式和各自優(yōu)劣勢。
2????? NBU
2.1????? 簡介
VERITAS?NetBackup,是一款支持NBU相關(guān)服務(wù)部署在自家線下服務(wù)器的網(wǎng)絡(luò)存儲管理軟件,存儲服務(wù)器介質(zhì)支持磁盤和磁帶。
2.2????? NBU工作原理
NBU為CS架構(gòu),通過NBU master server管理NBU client和media server并轉(zhuǎn)發(fā)NBU client的連接到NBU media server來存儲或者獲取數(shù)據(jù)文件。
2.3????? MPP集群對接NBU
針對GaussDB MPP集群,有兩種NBU部署方法。一種是NBU原生的侵入式部署,另一種是華為自研的非侵入式部署。
侵入式部署,需要在MPP集群每個節(jié)點單獨安裝nbu client,如下圖所示,
P1.侵入式部署示意圖
非侵入式部署,無需在MPP集群部署任何組件。通過部署在集群外,同一臺機(jī)器上的華為自研組件ROACH client作為跳轉(zhuǎn)和NBU client進(jìn)行通信和數(shù)據(jù)轉(zhuǎn)發(fā),從而達(dá)成NBU部署和集群的解綁。
P2.非侵入式部署示意圖
2.4????? 優(yōu)劣勢分析
優(yōu)勢:
數(shù)據(jù)存儲在用戶本地服務(wù)器;
存儲介質(zhì)支持磁盤和磁帶,有利于成本控制;
非侵入式部署,高度提升部署靈活性,打破機(jī)器和NBU版本的兼容性限制;
非侵入式部署,各組件隔離部署,提升服務(wù)的穩(wěn)定性;
劣勢:
侵入式部署,當(dāng)集群節(jié)點數(shù)較多時,安裝NBU client繁瑣,不利于維護(hù);
侵入式部署,需要安裝機(jī)器對應(yīng)OS和架構(gòu)的NBU client,兼容性差;
NBU數(shù)據(jù)傳輸速率上限通常受限于NBU內(nèi)部事務(wù)處理能力,大數(shù)據(jù)量時,需要增加NBU master server和NBU media server機(jī)器數(shù)量,提升處理能力;
3????? OBS
3.1????? 簡介
對象存儲服務(wù)Object Storage Service,是華為云上一個基于對象的存儲服務(wù),使用與華為云網(wǎng)絡(luò)連通的集群,直接調(diào)用OBS API對OBS進(jìn)行相關(guān)操作,如創(chuàng)建、修改、刪除桶,上傳、下載、刪除對象等。
OBS中數(shù)據(jù)的存儲容器稱為桶(bucket),對象存儲提供了基于桶和對象的扁平化存儲方式,桶中的所有對象都處于同一邏輯層級,去除了文件系統(tǒng)中的多層級樹形目錄結(jié)構(gòu)。每個桶都有自己的存儲類別、訪問權(quán)限、所屬區(qū)域等屬性,用戶可以在不同區(qū)域創(chuàng)建不同存儲類別和訪問權(quán)限的桶,并配置更多高級屬性來滿足不同場景的存儲訴求。
3.2????? OBS工作原理
OBS是基于REST風(fēng)格HTTP和HTTPS協(xié)議的服務(wù),可以通過URL(Uniform Resource Locator)來定位資源。
P3.OBS桶和對象的關(guān)系示意圖
3.3????? MPP集群對接OBS
因為OBS服務(wù)是基于HTTP/HTTPS協(xié)議的服務(wù),使用OBS服務(wù)的MPP集群,無需安裝任何組件,直接調(diào)用接口即可。
3.4????? 優(yōu)劣勢分析
優(yōu)勢:
無需部署任何組件和服務(wù)即可使用,使用成本低;
彈性存儲空間和性能,可自行選擇套餐,使用靈活;
華為自研服務(wù),和MPP集群原生適配,后期運(yùn)維和服務(wù)質(zhì)量有保證;
數(shù)據(jù)全部存儲在華為云上,用戶通過OBS桶自身唯一的AK/SK鑒權(quán)使用數(shù)據(jù),無需額外數(shù)據(jù)安全成本;
劣勢:
OBS服務(wù)器全部在華為云上運(yùn)維管理,對于個性化的運(yùn)維需求無法滿足;
PS.部分OBS介紹,選自或基于華為云官網(wǎng)資料。
EI企業(yè)智能 Gauss AP 數(shù)據(jù)倉庫服務(wù) GaussDB(DWS)
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。