GaussDB(DWS) 容災(zāi)的介紹

數(shù)倉(cāng)系統(tǒng)容災(zāi)及可靠性的必要性

進(jìn)入云時(shí)代數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)已經(jīng)不是之前大家理解的對(duì)于可靠性沒(méi)有特別的要求，當(dāng)前金融，電力等頭部公司的分析業(yè)務(wù)對(duì)于實(shí)時(shí)性，可用性都在不斷的提高。要求在極端情況下能快速恢復(fù)，快速提供服務(wù)。所以做為云時(shí)代的數(shù)倉(cāng)，是否有容災(zāi)能力成為一個(gè)產(chǎn)品成熟度，可用度的一個(gè)重要指標(biāo)。

業(yè)務(wù)常用的容災(zāi)方案

從GaussDB(DWS)的角度去分析業(yè)界目前幾種通用的容災(zāi)方案：

日志同步技術(shù)：

列存數(shù)據(jù)不記日志無(wú)法通過(guò)日志來(lái)同步

支持列存xlog后會(huì)導(dǎo)致導(dǎo)入性能劣化，xlog數(shù)據(jù)量大，同時(shí)會(huì)影響日志同步效率

備份增量同步技術(shù)：

無(wú)法達(dá)到 RPO = 0

備集群只能讀，無(wú)法支持寫(xiě)操作

邏輯數(shù)據(jù)同步技術(shù)：

列存數(shù)據(jù)需要支持邏輯解碼，需要從列存XLog的方向進(jìn)行演進(jìn)

分布式事務(wù)，DDL等處理難度較大

備份/恢復(fù)

不能馬上提供服務(wù)，RTO時(shí)間較長(zhǎng)

需要較大空間保存?zhèn)浞菁?/p>

應(yīng)用層雙寫(xiě)

需要業(yè)務(wù)配合，對(duì)于業(yè)務(wù)侵入較多，不具有通用性，無(wú)法規(guī)模商用。

GaussDB(DWS) 當(dāng)前在備份增量同步和備份/恢復(fù)兩個(gè)方向進(jìn)行演進(jìn)，他們都是基于備份/恢復(fù)工具Roach

GaussDB(DWS) 的容災(zāi)需要解決哪些問(wèn)題

GaussDB(DWS) 需要解決三類(lèi)問(wèn)題：

快速的備份恢復(fù)

高性能備份、恢復(fù)操作保證在較短的時(shí)間內(nèi)將數(shù)據(jù)遷移到另一個(gè)集群，對(duì)于RPO/RTO要求不大的系統(tǒng)來(lái)說(shuō)實(shí)現(xiàn)和使用非常簡(jiǎn)單。

備份恢復(fù)在集群可用的情況下即可進(jìn)行，不受單點(diǎn)故障的影響

備份恢復(fù)在集群可用的情況下就可以進(jìn)行，集群只需要保證有可用副本就可以持續(xù)的進(jìn)行備份，并且可以正常恢復(fù)。

備份集的可靠性

備份集需要存儲(chǔ)在可靠的存儲(chǔ)上，類(lèi)似 OBS/NBU, 由于磁盤(pán)故障率相對(duì)比較高，類(lèi)似備份集保存在磁盤(pán)上也是一種可選的方案。

容災(zāi)支持程度

支持跨AZ級(jí)的容災(zāi)還是跨Region級(jí)的容災(zāi)，是否具有全場(chǎng)景下的容災(zāi)能力。

GaussDB(DWS)的容災(zāi)是如何實(shí)現(xiàn)的

aussDB(DWS) 的容災(zāi)方案是一個(gè)雙集群同步的架構(gòu)，即兩套獨(dú)立集群定期同步數(shù)據(jù)以達(dá)到容災(zāi)的目的。目前數(shù)據(jù)同步的方式是通過(guò)roach(GaussDB(DWS)備份、恢復(fù)工具)定期做增量備份和恢復(fù)同步。雙集群框架是一個(gè)復(fù)雜的分布式系統(tǒng)，在出現(xiàn)問(wèn)題時(shí)，如何快速準(zhǔn)確的定位問(wèn)題及恢復(fù)服務(wù)是一個(gè)非常緊迫的問(wèn)題，這個(gè)問(wèn)題在云上會(huì)更突出。本文通過(guò)介紹雙集群的架構(gòu)、log結(jié)構(gòu)、分析步驟來(lái)介紹雙集群容災(zāi)的問(wèn)題分析方法。

首先介紹一下雙集群的部署方案原理，從部署架構(gòu)和重要參數(shù)兩個(gè)方面先介紹一下背景知識(shí)，便于更好理解問(wèn)題分析的方法。

架構(gòu)簡(jiǎn)介

1. 邏輯架構(gòu)示例

下圖是一個(gè)同構(gòu)的雙集群部署示意圖，主備集群都是3c3d, 主集群的主結(jié)點(diǎn)部署雙集群框架腳本，定期進(jìn)行備份操作，備集群的主結(jié)點(diǎn)定期恢復(fù)備份集。基礎(chǔ)數(shù)據(jù)需要進(jìn)行一全量備份，之后增量備份。

2. 部署架構(gòu)

下圖是接上圖的部署架構(gòu)，涉及雙集群同步腳本(SyncDataToStby.py), 備份程序（GaussRoach.py, gs_roach）三個(gè)二進(jìn)制文件

備份側(cè)調(diào)用關(guān)系：SyncDataToStby.py -> GaussRoach.py -> gs_roach

恢復(fù)側(cè)調(diào)用關(guān)系：SyncDataToStby.py -> GaussRoach.py -> gs_roach

了解調(diào)用關(guān)系和咱們分析問(wèn)題有直接的關(guān)系。

SyncDataToStby.py 是整個(gè)雙集群的調(diào)用起始，控制著雙集群的正常運(yùn)行，正常情況下是長(zhǎng)駐內(nèi)存的進(jìn)程，如果異常退出后，后臺(tái)會(huì)有crontab的來(lái)重新拉起雙集群腳本: crontab -> SyncDataToStby.py -> GaussRoach.py -> gs_roach

主要參數(shù)簡(jiǎn)介

問(wèn)題定位

眾所周知，系統(tǒng)的各種log是我們了解運(yùn)行機(jī)制，了解問(wèn)題現(xiàn)場(chǎng)的有力工具，同樣雙集群的問(wèn)題分析也依賴(lài)于log的分析，首先認(rèn)識(shí)一下雙集群對(duì)應(yīng)的日志：

log 目錄結(jié)構(gòu)

由上節(jié)的邏輯圖及部署圖，每個(gè)二進(jìn)制對(duì)應(yīng)的log文件如下圖所示，對(duì)應(yīng)二進(jìn)制的信息查找對(duì)應(yīng)的log。

如上圖，雙集群的日志也是存放到$GAUSSLOG這個(gè)目錄，并且有自己獨(dú)立的目錄 roach, 由這個(gè)目錄同樣是備份/恢復(fù)的對(duì)應(yīng)的log路徑。我們按調(diào)用關(guān)系從上到下的角度來(lái)介紹

1. frame目錄

存放 SyncDataToStby.py 生成的log，涉及到雙集群調(diào)度，備份集清理，狀態(tài)顯示，配置文件及命令行參數(shù)解析的功能。

2. controller目錄

存放 GaussRoach.py 生成的log，涉及到備份、恢復(fù)準(zhǔn)備工作一些操作，備份、恢復(fù)參數(shù)解析，備份集群的處理，錯(cuò)誤處理等

3. agent目錄

存放 gs_roach工具 生成的log，涉及到gs_roach 連接gaussdb/gtm/cm發(fā)起備份/恢復(fù)，生成備份集/恢復(fù)備份集等操作。

gs_roach工具功能：在備份側(cè)完成將cn/dn/gtm/cm的數(shù)據(jù)文件按順序打包成備份文件的功能，并生成備份集元信息文件; 恢復(fù)側(cè)根據(jù)元信息文件將備份集文件解壓到對(duì)應(yīng)cn/dn/gtm/cm的數(shù)據(jù)目錄中。

定位步驟

1. 確定問(wèn)題在備份側(cè)還是恢復(fù)側(cè)，查找雙集群主結(jié)點(diǎn)上Sync日志，確定出錯(cuò)的模塊

2. 確定出錯(cuò)的層次，由于雙集群執(zhí)行過(guò)程是一個(gè)上下層調(diào)用及時(shí)序關(guān)系的方式，具體順序參考：

crontab -> SyncDataToStby.py -> GaussRoach.py -> gs_roach

3. 在各個(gè)模塊都有較詳細(xì)的日志描述過(guò)程，具體問(wèn)題具體分析，大體有如下幾個(gè)方面

1）配置出錯(cuò)，用戶(hù)、環(huán)境變量文件

2）備份集群路徑權(quán)限問(wèn)題

3）由于集群狀態(tài)非Normal導(dǎo)致備份失敗

4）結(jié)點(diǎn)故障及備份集損壞導(dǎo)致恢復(fù)失敗

4. 后續(xù)文章會(huì)按模塊及錯(cuò)誤類(lèi)型來(lái)詳細(xì)描述問(wèn)題定位步驟

小結(jié)

GaussDB(DWS)的雙集群容災(zāi)功能是一個(gè)獨(dú)立的復(fù)雜的分布式系統(tǒng)，涉及到三層工具的使用，因此在問(wèn)題定位時(shí)會(huì)造成一些困惑。定位的方法需要先去理解架構(gòu)，運(yùn)行機(jī)制，然后根據(jù)時(shí)序關(guān)系去對(duì)應(yīng)結(jié)點(diǎn)分析日志。后續(xù)會(huì)從各個(gè)模塊的角度介紹一些典型的問(wèn)題及修復(fù)方法。

數(shù)據(jù)倉(cāng)庫(kù)服務(wù) GaussDB(DWS)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。