【云駐共創】鵬城論劍，共話數據庫前沿技術和趨勢

數據庫產業發展觀察

演講者：中國信通院——姜春雨

一、數據庫的發展歷程

數據庫是什么？數據庫是應用和硬件之間的中間層，用于數據管理的軟件應用。數據庫發展史大約為50年，前30年多年主要發展方向為集中式數據庫，集中式數據庫方向發展出IBM、Oracle、微軟等巨頭。從閉源產品發展出開源數據庫產品，開源數據庫發展迅速，并且有趕超閉源數據庫的趨勢。業務量的增加導致了數據庫向分布式方向轉型，同時，云計算的快速發展使得數據庫紛紛云化。

應用和硬件的發展推動著數據庫的發展演化，其中應用在線化，面臨海量數據的處理需求，同時，高頻數據的訪問和處理也需要特定功能的數據庫服務做支持。另外，硬件的不斷發展，高性能CPU和大內存的硬件支持，也加速了數據庫的發展演化。

二、國內數據庫的政策導向和發展現狀

2022年，全球數據庫市場大約為400億美元，并且在穩步攀升。中國國內關系型數據庫軟件市場規模在2019年的時候大概是13.4億。由于國內數據庫產品政策的向好，未來中國的數據庫產業發展將會越來越好。數據庫是助推數字化轉型的關鍵基礎設施，國家推出了很多助力數字化轉型的政策。2020年，中共中央國務院發布《關于構建更加完善的要素市場化配置體制機制的意見》，明確數據為生產要素、指出加快培育數據要素市場。2021年，《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》中“數字化”出現了25次。除此之外，很多針對數據庫技術的指引文件密集發布。2019年，中國人民銀行發布《金融發展規劃（2019年-2021年）》重點任務，加強分布式數據庫研發應用。2020年，中國人民銀行發布并實施《分布式數據庫技術金融應用規范》系列標準，共包含《技術架構》、《安全技術要求》、《災難恢復要求》。

國內數據庫企業爆發式增長，目前市場上，從事數據庫產品服務的企業超過了30多家，主要分布于云廠商、傳統數據庫企業、創業企業和傳統信息企業轉型。其中，云數據庫企業有華為，傳統數據庫企業有達夢，創業企業有PingCAP，傳統IT企業有中興。K-V數據庫可以細分為事務數據庫、分析型數據庫、圖數據庫、文檔數據庫、時序數據庫。

分布式事務數據庫基于MySQL改造的最多，基于PG的廠商正在快速興起。內核路線選擇原因主要是生態完整性。基于MySQL路線的廠商已經開始為未來開源協議風險做準備。其他的自研數據庫 產品正在迅速興起。分布式分析型數據庫的話，Greenplum的開源讓更多廠商能使用和研究分布式分析型數據庫，分布式分析型數據庫正在努力突破擴展性的限制，大規模部署能力有了很大的突破。

三、數據庫產業配套體系

1.? 服務體系。《數據庫服務能力成熟度模型》標準設定，云和恩墨、新炬網絡、海量數據等服務廠商為很多企業提供了數據庫服務。

2.? 培訓體系。很多企業，特別是華為已經有自己的培訓認證體系。

3.? 技術社區。ITPUB、墨天輪、DBAplus、PostgreSQL中文社區非常的活躍。

4.? 用戶組。ACDU（中國DBA聯盟）、ACOUG（中國Oracle用戶組）、中國開源軟件推進聯盟PostgreSQL分會、openGauss用戶組。

未來數據庫服務在技術方面，會面向云深度融合、支持自治、多模存儲引擎、HTAP等方向。在產業方面，高端人才，完善的服務體系、開源、專業社區將成為未來的趨勢。

MySQL如何滿足新數字經濟建設場景下大規模數據存儲和處理的需求

演講者：極數云舟——周彥偉

一、MySQL特點與優勢

MySQL有哪些技術特點和優勢呢？

天生分層架構，MySQL Server + InnoDB Engine。

插件式引擎思想，InnoDB、MyISAM、ArkDB。

成熟的日志機制：REDO Log、Binlog。

統一文件存儲接口。

輕量級線程處理模型。

MySQL有哪些應用特點和優勢呢？

介入簡單，編程靈活。

SQL簡單，方便快捷。

普及度高，裝機量大。

社區活躍，開源力量強大。

二、未來發展方向

MySQL的技術發展

優化器的全面優化，實現并行處理。

多引擎共存，改變一個InnoDB支持的局面。

存儲可擴展，真正實現獨立彈性擴展和分布式。

InnoDB層面優化存儲結構和索引組織，支持大規模數據處理。

MySQL的開源方向

修改協議，采用更加寬松的開源協議，免除貢獻者后顧之憂。

成立獨立基金會，實現管理自主。

更大力度支持開源社區和周邊開源軟件。

三、需求痛點

1. 數據孤島，價值低

企業海量的高價值數據分散在各個業務系統中，前期由于沒有數據標準導致數據接口復雜各異，難統一集中和整合。

2. 數據難交互，成本高

傳統信息化孤島林立，數據提供成本高，應用效率低。數據庫與數據系統缺乏統一管理和統一調度。信息系統架構復雜，數據處理軟件林立，技術壁壘制約發展。

3. 數據融合，利舊創新

數據源及訪問模式繁多（JDBC、ODBC、API、直連、文本文件），數據庫類型繁多（Oracle、MS、ArkDB、MySQL、DM、神通、金倉、南大通用、大數據），數據開發不規范。

四、解決方案

1.? 利用現有的先進經驗

TTS模式，是攜程去哪兒網自主研發的數據服務平臺，能夠保障用戶交易資金安全，保證用戶信息和隱私安全，提供豐富多樣的產品，界面簡單易用，操作便捷，并且支持多種支付方式。TTS對于消費者的優勢在于用戶體驗統一和交易安全保障。消費者不用反復輸入信息和學習各個網站的展示規則。

2.? 方案架構調整

統一數據處理API服務層，依托數據API加工數據，再由API管理駕駛艙，完成統一認證、API鑒權、故障隔離、API限流、訪問權限控制、數據編排、數據校驗、服務監控告警，利用服務注冊中心、服務控制中心、服務發布中心、服務配置中心進行統一管理。同時借鑒分布式數據庫，完成計算層、引擎層、存儲層、管理層的功能劃分，保證數據透明復制，分布式存儲、彈性擴容、快照備份、數據冗余、高可用，集群管理、過載保護、安裝部署、日常監控、大屏展示、功能定制等需求。

MySQL厚重的技術與市場歷史奠定了其在開源領域絕對領袖地址，另外，MySQL生態圈證明，開源技術的蓬勃發展，更好的支持更多的商業需求，理解并遵守開源協議，技術面前，開源和商業并無障礙。

NoSQL也能事務化，MongoDB數據庫的事務性技術實踐

演講者：Tapdata——唐建法

一、MongoDB介紹及核心技術架構

MongoDB是成功的開源數據庫典范，全球9000多萬下載量，中國地區排名第一。DB-Engine數據庫排名第五，是唯一的NoSQL類型數據庫，上市后三年半的時間市值一路飆升，大概上漲了二十倍左右。

MongoDB數據庫的技術優勢比較突出的有兩個，一是原生高可用，支持橫向擴展能力。具體表現在需要的時候無縫擴展，應用全透明，多種數據分布策略，輕松支持TB-PB數據量。二是最簡單快速的開發方式，MongoDB利用JSON模型能夠非常快速的完成數據讀寫操作，數據庫引擎只需要在一個存儲區讀寫，反范式、無關聯的組織極大優化查詢速度，程序API自然，開發快速。

二、MongoDB第一個支持事務的分布式NoSQL

OLTP數據庫兩大陣營，關系型數據庫支持ACID事務，非關系型數據庫無事務支持，但是大多數都支持分布式。MongoDB是第一個支持事務的非關系型數據庫，2008年開始起步，2009年支持復制集和分片集，2012年支持更豐富的數據庫功能，2014年收購WiredTiger，開始發力周邊生態環境，直到2018才開始副本集支持事務，2019年分布式支持事務。

三、MongoDB開源商業化路線

2009年，1.0發布，2013年增加企業版付費功能，比如安全、加密、審計、管理 等，2016年實現公有云托管，目前線上線下收入基本持平，2020年基本上有4億美元的收入，達到了200億美元的市值。

openGauss在數據頻繁更新下的性能維穩之道

演講者：華為——田文罡

一、數據庫發展趨勢

開源數據庫流行程度逐漸趕超商業數據庫，2020年2月，DB-Engine開源和商業數據庫管理系統普及歷史趨勢顯示，開源數據庫的流行度為49%，與商業數據庫基本持平，并有超越的趨勢。另外，DB-Engine社區調研對比了350種數據庫，結果顯示開源數據的數據量已經超越了商業數據庫，開源數據庫在業界已經逐漸成為流行趨勢。

全球數據庫產品流行度排名中，關系型開源數據庫MySQL和PostgreSQL分別占開源數據庫排名前兩位。在對開源數據庫流行程度調研中，關系數據庫類型占比超過60%，基于SQL的關系數據庫在主流開源數據庫產品中仍是主流。

二、openGauss介紹

openGauss提供面向多核的高性能、全鏈路的業務和數據安全、基于AI的調優和高效運維的能力，全面友好開放，攜手伙伴共同打造優秀的企業級開源關系型數據庫。

1.? 高性能

兩路鯤鵬性能150萬tpmC，面向多核架構的并發控制技術，NUMA-Aware數據結構，SQL-Bypass智能路由執行技術，面向實時高性能場景的內存引擎。

2.? 高可用和高安全

業務無憂，故障切換時間RTO小于10秒，精細安全管理，細粒度訪問控制，多維度審計，全方位數據保護，存儲傳輸導出加密，動態脫敏、全密態計算。

3. 易運維

基于AI的智能參數調優，提供AI參數自動化推薦，慢SQL診斷，多維性能自監控視圖，實時掌控系統性能表現，提供在線自學習的SQL時間預測，快速定位，極速調優。

4. 全開放

采用木蘭寬松許可協議，允許對代碼自由修改、使用、引用。數據庫內核能力完全開放，開放運維監控、開放和遷移工具，開放伙伴認證，培訓體系及高校課程。

三、openGauss未來技術方向

openGauss的技術方向是更智能、更安全、更高效，AI算法加持，解決傳統數據庫問題，比如索引/視圖推薦，學習型數據庫組件，數據庫自治運維。數據庫系統的軟硬件故障自診斷與自定位技術，以及數據庫內AI技術。

數據安全方面，數據安全傳輸，主要是解決傳輸狀態下的數據保護問題，比如仿冒攻擊、釣魚攻擊、重放等，具體方案選擇可以是HTTPS、SSL、TLS。數據安全運維，主要是解決運維形態下的數據保護，比如權限提升、篡改數據、抵賴等，具體方案是實施防篡改數據管理。數據安全展示，主要解決查詢后的數據保護，比如防止隱私泄露、權限提升等，具體方案可以采取數據動態脫敏、Row Level Security。數據安全計算，主要是實現查詢計算中的數據保護，比如棧溢出信息泄露，具體方案可以實施全密態數據管理。數據安全存儲，主要是解決存儲狀態下的數據保護，比如拖庫、信息提取等，具體方案可以選擇透明加密、數據存儲加密。

四、openGauss未來關鍵技術

2021年，openGauss主要規劃特性是性能提升2P鯤鵬提升20%，4P鯤鵬230W tpmc，可靠性方面，支持Paxos協議，備機能力增強。安全性方面，全密態支持不等于查詢，支持國密加密算法。AI方面，根因分析和AI算子擴展。分析能力方面，支持混合負載，數據交易與報表分析實時處理。支持IoT場景邊緣節點實時分析。

五、openGauss案例

openGauss開源數據庫內核，合作伙伴提供集群管理和解決方案，實現商業模式。客戶需求和場景落入openGauss內核，合作伙伴一起貢獻，促進openGauss成熟發展。比如實現APP按照用戶號碼歸屬分配不同的數據庫進行數據處理和業務響應的場景。

下一代云原生數據庫的技術趨勢

演講者：華為——彭立勛

一、下一代云原生數據庫技術趨勢

云原生時代數據庫的生態一定是開放的，用戶可以自由的在不同的云數據之間遷移，用戶不會再選擇封閉的生態，無論自研生態還是開源生態都要完全開放。

開放生態。云原生數據庫的發展趨勢一定是開放生態。

智能運維，自動調度。AI+DB是云原生數據庫的趨勢，可以利用技術手段實現數據庫的自動化運維。

統一架構，多模兼容。云原生數據庫應該具備兼容多種生態接口的統一架構。

存算分離，極致彈性。存算分離，資源進一步解耦，直至計算、內存、外存可單獨擴展。

多平臺軟硬協同，存儲底座可信。多平臺算力兼容，存儲底座全場景可信。

原生跨AZ/Region部署能力。云原生數據庫應該基于云基礎設施內在的能力原生支持跨AZ/Region級別的高可用部署。

二、GaussDB數據庫演進方向

1.? 極致性價比

利用技術架構優化資源利用率，同時利用自適應冷熱分離降低資源成本場景，小規格實例成本大幅度降低，適合孵化型業務低成本部署。歷史數據自動歸檔到低成本存儲，對應用訪問透明，降低存儲成本。

2. Serverless

自動識別業務負載自動縮擴容，結合TAC技術縮擴容對用戶無感場景，業務存在明顯高低峰時段，自動調度不同的資源量服務，節省使用成本。業務突發流量自動擴容，及時調度更多資源服務，減少人工介入。

3. 全密態數據庫

設備密鑰、用戶密鑰、數據密鑰三層密鑰管理機制，實現設備間加密，數據間加密隔離。創新性突破端側透明解析機制，實現用戶一鍵式遷移和應用無感知。基于高效緩存的加密引擎，大幅優化對元數據、密鑰的數據處理和加密計算路徑，實現等值類查詢性能損失在5%以內。

4. AI自治

數據庫自調優、自診斷、自安全、自運維、自愈等能力，協助DBA降低運維難度，提升運維效率，自動調度平衡資源池。

5. 商業數據庫遷移

在線轉換商業數據庫訪問請求到云數據庫，離線轉換+在線轉換雙保險整體解決方案場景，舊商業數據庫應用無改造遷移上云原生數據庫，重構舊商業數據庫應用改造過程對應用透明兼容。

三、2021華為云數據庫技術預覽

1.? 透明應用連續性解決方案

傳統HA方案無法實現RTO=0，閃斷會導致正在執行的事務中斷需要應用補償；游戲、IoT、視頻等數據庫長連接場景，閃斷更會導致應用可能需要重啟的問題。TAC技術方案，可以支持RTO約等于0，后端倒換可保持數據庫連接，連接在倒換完成后可以繼續工作，應用不感知數據庫倒換，將閃斷優化為暫停時間。

2.? 透明數據庫遷移解決方案

離線轉換數據庫對象的遷移方案無法處理類似老系統或者外購系統的商業數據庫上云需求，此類系統改造成本大或者不具備改造可能性；離線遷移與可能存在部分低頻SQL無法被識別到，導致遷移到云數據庫后執行到未改造SQL而出現故障。TDM技術方案使用華為云數據庫作為后端數據庫，在Proxy端實現商業數據庫協議解析，再進行在線SQL轉換為后端數據庫SQL語義。

四、GaussDB打造傳統商業數據庫一站式上云解決方案

用戶在選擇GaussDB數據庫時，選型安心，全場景業務，全開放生態，安全可信。遷移放心，數據庫結構、應用、數據一站式遷移，管理省心，無縫協同上層應用。GaussDB作為新一代企業級數據庫，面向金融政企客戶，提供全方位的可選數據庫類型，包括關系型數據庫、非關系型數據庫。數據遷移過程中不丟失數據，不中斷不影響業務，遷移成本低，提供仿真感知，透明可視化。

最終，數據庫的發展還是要回歸到應用生態中，期待更多數據庫專家和合作伙伴加入到GaussDB數據庫的共建發展中來。

本文整理自【華為云社區內容共創者火熱招募中】第五彈：拒絕躺平，踮腳夠上生活小美好！

查看活動詳情：https://bbs.huaweicloud.com/blogs/278686

視頻鏈接：https://bbs.huaweicloud.com/live/HDC.cloud2021_live/202104251400.html

MySQL 云備份 云數據庫 GaussDB(for Mongo) 數據庫

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。