{CHAO聲波}｜GaussDB OLTP數據庫，從“備胎”到尖刀產品

Hello，{CHAO聲波}

一杯咖啡吸收宇宙能量，一篇好文聯接大咖思想。

華為Cloud & AI產品與服務{CHAO聲波}欄目正式營業，這里將集結各路大咖，與您一起碰撞思想、交流經驗，共同進步。

親愛的粉絲朋友們，你關心的，就是熱點。希望看到哪方面的大咖，歡迎在留言區留言。下期見面的，或許就是你心中的TA。

首期{CHAO聲波}，將由華為GaussDB生態與標準CTO王偉民帶來GaussDB數據庫發展歷程、關鍵技術和生態建設的分享。

1

GaussDB發展歷程：

從“備胎”到尖刀產品

GaussDB的初心，是為電信主航道業務服務。其發展經歷過三個階段：

Hello，{CHAO聲波}

一杯咖啡吸收宇宙能量，一篇好文聯接大咖思想。

華為Cloud & AI產品與服務{CHAO聲波}欄目正式營業，這里將集結各路大咖，與您一起碰撞思想、交流經驗，共同進步。

親愛的粉絲朋友們，你關心的，就是熱點。希望看到哪方面的大咖，歡迎在留言區留言。下期見面的，或許就是你心中的TA。

首期{CHAO聲波}，將由華為GaussDB生態與標準CTO王偉民帶來GaussDB數據庫發展歷程、關鍵技術和生態建設的分享。

1

GaussDB發展歷程：

從“備胎”到尖刀產品

GaussDB的初心，是為電信主航道業務服務。其發展經歷過三個階段：

內部自用：從2007起，為解決預付費業務的在線計費對性能的嚴苛要求，開始構筑高并發、低時延的內存數據庫。

聯合創新：2011年起，為保障公司的業務連續性，公司開始研發面向通用場景的企業級數據庫；采用技術創新和市場需求牽引的“雙輪驅動”機制，通過與中國工商銀行的聯合創新，推出了聚焦開放平臺，主打極致彈性的企業級分布式數據倉庫GaussDB OLAP；通過與招商銀行的聯合創新，推出了聚焦高性能和高可用的企業級分布式OLTP。

產業化：2019年5月，華為正式面向全球發布了GaussDB，宣布GaussDB進入產業化階段，開始在產業、技術、人才等方面發力構筑生態。

2

GaussDB OLTP構筑路徑的選擇

在GaussDB OLTP立項之初，團隊就產品的可行構筑路徑進行了深入分析和充分論證。最后聚焦到兩個路徑上：

1. 借力MySQL、PostgreSQL等流行開源產品改造優化？

2. 從零開始研發！

MySQL受益于互聯網、移動互聯網的興起以及LAMP架構的流行，擁有了非?；钴S的社區和眾多擁躉，具有良好生態；此外，由于MySQL的計算和存儲引擎解耦，最先實現了pluggable的引擎，云化改造成本低。但與商用數據庫相比，MySQL在內核能力和企業級特性存在較大差距；MySQL的存儲引擎實現為索引組織表，其性能隨數據量增長下降明顯；MySQL的優化器與企業級數據庫的優化器相比差距較大，如多表關聯等復雜查詢難以生成最優執行計劃；在企業級特性上，如高可用、備份恢復、安全加密、審計等亦存在較大差距。

PostgreSQL是另一款流行的開源數據庫，企業級特性相對完善，業界有很多優秀的分析型數據庫即是基于PostgreSQL構建，如Redshift、Greenplum、GaussDB OLAP；且PostgreSQL的開源協議PostgreSQL License是一種非常開放、商業友好的協議；基于PostgreSQL進行改造，最大的挑戰有兩個。首先PostgreSQL采用append only而非in place update機制，在多用戶高并發的交易場景下極易因Vacuum引發性能抖動；其次，在實現上PostgreSQL的計算與存儲引擎緊耦合，云化改造工作量大。

因此，無論是從當前的特性及能力還是從長期的演進看，MySQL和PostgreSQL都不能滿足我們對企業級分布式OLTP數據庫的需求，團隊最終選擇從零開始構筑GaussDB OLTP。從寫下第一行代碼開始，到今天GaussDB OLTP成功商用，凝聚了數百名開發人員的心血。

3

一個架構、多種部署形態

適配多樣化業務負載

數據庫作為通用的、平臺型基礎軟件，其上層應用天然具備多樣化的負載特征；以銀行業務為例，其業務類、渠道類和管理類應用對數據庫訴求各異；核心業務是“穩態”業務，要求高可靠和高性能；渠道業務和創新業務則為“敏態”業務，優先考慮高并發和高擴展。

通用數據庫在設計上面臨的諸多設計約束，使其無法在每一個場景下都有最佳表現；數據庫領域先驅及圖靈獎獲得者Michael Stonebreaker就提出過“One size does not fit all”的觀點。為匹配主流交易負載場景的訴求，GaussDB OLTP在設計上遵循了“一個架構、一個代碼基線、多種部署形態”原則，當前可提供四種部署形態，以應對上訴困境：

極致高性能：基于企業級內核，面向AZ內極致高性能場景，可進行HA部署。

極致高可用：GaussDB共享集群解決多寫問題，提供極致高可用和高性能。

全分布式高可用：基于Paxos分布式共識協議，跨地域多副本，滿足金融級多地多中心、分布式多活。

極致高擴展：share-nothing架構的分布式數據庫，提供極致的高擴展和大規模并行處理能力。

4

GaussDB OLTP四種部署形態

極致高性能

圍繞高性能設計目標，GaussDB OLTP采用了一套“組合拳”；通過輕量化線程池，保證大并發下的穩定吞吐；通過采用段頁式的空間管理及Undo機制，避免了空間膨脹與回收；多用戶并發采用了基于SCN的可見性判別機制，有別于ReadView機制，顯著提升了并發能力；此外，GaussDB是業界首款支持Kunpeng的數據庫，針對Kunpeng多核的特點，采用了data affinity placement等手段進行NUMA-Aware優化；引入了會話級的私有log buffer pool應對日志寫沖突。針對最讓DBA們頭疼的人為誤操作，GaussDB OLTP提供了基于時間戳及回收站的兩種閃回兩種機制，實現對表、分區的drop、truncate等操作的快速閃回管理。

為了便于業務遷移、重用DBA的技能或降低學習曲線，GaussDB OLTP在主流商用數據庫兼容性方面做了極大投入。兼容性工作主要體現在三個方面：

“表皮”兼容即形似：兼容主流商用數據庫基本語法、存儲過程、分區表；

“骨肉”兼容即神似：物理存儲和邏輯存儲與主流商用數據庫完全兼容，管理方式一致；

“DNA”兼容：基于Undo的MVCC機制、一致的內存架構、網絡架構等，并在語義方面與主流商用數據庫保持一致。

極致高可用

企業關鍵業務希望7*24不間斷服務，實現99.995%或99.999%的SLA，這意味著故障發生后，在保障零數據丟失下的前提下（RPO=0）RTO盡可能小。為追求極致的高可用，GaussDB研發了兩大重量級特性：AZ內的Switch Turbo、基于Share-Everything架構的高可用；故障恢復所需時間取決于選定的恢復點、恢復點至故障發生點期間的日志規模。一般而言，更頻繁的CheckPoint和并行日志應用可縮短恢復時間，但對系統的性能有影響。當前，Checkpoint到SSD盤的速度約為400MB/s，而通過高速網絡寫內存的速度在3~5GB/s，兩者相差約一個量級。

因此，GaussDB設計了Switch Turbo特性，基于全局緩存、高速網絡和網絡協議優化，實現了AZ內的極致故障切換；其核心原理是在同AZ內的獨立服務器或備機上設立全局緩存區，定期將本地緩存區的dirty page同時寫入本地盤和全局緩存區，在故障發生時，對于尚未完成日志應用的頁面，備庫通過訪問GBP而不是磁盤獲取數據頁面，進行roll forward，進而大幅降低RTO。同時，GaussDB還將推出存算分離、基于共享架構的集群，實現應用透明的并發多寫。

分布式高可用

金融系統在監管要求下，采取“同城生產及應急、異地容災”的兩地三中心架構已成為業界最佳實踐；通過引入Paxos分布式共識算法，GaussDB OLTP實現了多副本強一致性保障。在GaussDB的實現中，GS-Paxos作為數據庫進程中的獨立組件，通過回調函數與日志模塊交互，對系統的侵入性小。本地日志落盤與網絡日志傳輸可并行，日志在多數成員達成一致后，本地方確認事務提交成功。GS-Paxos協議在日志復制pipeline化，日志合并與壓縮等方面做了大量優化。GS-Paxos還支持定義Passive角色，Passive節點僅接受日志但不參與一致性選主，支持選主優先級可配置，從而實現日志少的節點也可強制選主。支持通過單節點強起，實現數據庫不完全恢復，即丟失少量數據的前提下實現站點級的容災。

極致高擴展

GaussDB OLTP的極致高擴展部署形態采用了share-nothing架構，整個架構消除了中心節點，可提供Hash、范圍、列表等多種數據分布策略，在極致的橫向擴展下能保持準線性的性能提升。為提升開發與運維、管理效率，GaussDB OLTP提供了多款工具；SDR（Swift Data Replicator）支持多種主流數據庫間的數據遷移、同步，支持靈活的、可配置的同步策略；Data Studio是一款圖形化的集成開發環境，可簡化開發與調測；Data Manager是一款企業級的監控和運維平臺，可大幅提升運維效率。

5

攜手產學研用合作伙伴，

共建開放繁榮的產業生態

生態建設是GaussDB OLTP在業界推廣、規?；逃脧椭瞥晒Φ年P鍵。GaussDB從四個方面、分階段加速推進GaussDB生態建設：

產業生態：攜手金融、政府、大企業等行業的合作伙伴，為客戶提供全棧解決方案，并積極參與數據庫標準的研討和制定。

技術生態：建立GaussDB OpenLab認證體系，面向生態伙伴開放對接流程、認證渠道，打造國產化三方件“全家桶”。

用戶生態：發布完整的、階梯型的GaussDB培訓認證體系，力爭在5年內培養1萬名DBA，吸引5萬名注冊用戶，并在華為云上線GaussDB開發者社區。

高校合作：推出了“GaussDB高校金種子發展計劃”，擬投入1.5億人民幣，建立10所高校聯合創新實驗室，使GaussDB實訓課覆蓋100萬名高校學生。

數據庫 云數據庫 GaussDB(for openGauss) GaussDB

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。