華為云GaussDB首席架構(gòu)師馮柯:摘取皇冠上的明珠,國產(chǎn)數(shù)據(jù)庫的突圍之法
在國內(nèi)做數(shù)據(jù)庫,是一件很具挑戰(zhàn)性的事情,因?yàn)檫@是基礎(chǔ)軟件皇冠上的明珠,是卡脖子的關(guān)鍵技術(shù)。
從海外廠商攻城略池的壟斷到國產(chǎn)數(shù)據(jù)庫廠商的艱難成長,從去IOE浪潮下的國產(chǎn)替代再到如今的百花齊放的市場局面,國產(chǎn)數(shù)據(jù)庫產(chǎn)業(yè)一路走來,背后都是一批批企業(yè)和個(gè)人的信念與堅(jiān)守。
馮柯便是其中的一員,在20年的技術(shù)一線工作中,他見證了國產(chǎn)數(shù)據(jù)庫的蹣跚前進(jìn),也親身參與到互聯(lián)網(wǎng)和云時(shí)代,由市場主導(dǎo)的分布式數(shù)據(jù)庫建設(shè)浪潮中。
作為華為數(shù)據(jù)庫領(lǐng)域科學(xué)家、華為云數(shù)據(jù)庫GaussDB首席架構(gòu)師,馮柯正在推動(dòng)著數(shù)字化轉(zhuǎn)型下國產(chǎn)分布式數(shù)據(jù)庫在關(guān)鍵行業(yè)的深入應(yīng)用。本期的《云享人物·大咖面對面》,華為云開發(fā)者社區(qū)將以這位數(shù)據(jù)庫行業(yè)領(lǐng)軍人物的視角,去探索數(shù)據(jù)庫產(chǎn)業(yè)冰山之下的世界。
那些年,與國產(chǎn)數(shù)據(jù)庫共沉浮
上個(gè)世紀(jì)90年代,以O(shè)racle、DB2為代表的國際商業(yè)數(shù)據(jù)庫進(jìn)入國內(nèi)市場,拿下電信、金融、政務(wù)等重要行業(yè)的大單,應(yīng)用于各類核心系統(tǒng)和周邊系統(tǒng)。
彼時(shí)的國內(nèi)數(shù)據(jù)庫產(chǎn)業(yè)剛剛起步,在國家政策主導(dǎo)下,最早一批成立的數(shù)據(jù)庫公司主要由高校和科研院所主導(dǎo),技術(shù)上也以跟隨國際廠商為主。
也正是在這樣的時(shí)代背景下,當(dāng)時(shí)在浙大研究數(shù)據(jù)存儲的馮柯,加入到了學(xué)校和企業(yè)聯(lián)合的數(shù)據(jù)庫產(chǎn)品化項(xiàng)目中,從此踏上了數(shù)據(jù)庫研發(fā)生涯,一直到今天。
“在這個(gè)時(shí)期,國內(nèi)的數(shù)據(jù)庫完成了初始的技術(shù)和產(chǎn)業(yè)積累,更重要的是,它給我們這個(gè)行業(yè)培養(yǎng)了一大批骨干人才。”如果沒有這些人,高技術(shù)壁壘的數(shù)據(jù)庫產(chǎn)業(yè)會(huì)如同無源之水,無本之木。于國內(nèi)數(shù)據(jù)庫產(chǎn)業(yè)來說,地利與人和均已就位,就差天時(shí)了。
進(jìn)入互聯(lián)網(wǎng)時(shí)代,當(dāng)人們的衣食住行都轉(zhuǎn)向在線服務(wù)化,傳統(tǒng)的商業(yè)數(shù)據(jù)庫愈發(fā)顯得力不從心。與此同時(shí),國產(chǎn)數(shù)據(jù)庫的產(chǎn)品在廣度和深度都有了新的變化,關(guān)系型、非關(guān)系型、圖數(shù)據(jù)庫、時(shí)序數(shù)據(jù)庫……百花齊放。
而云計(jì)算的發(fā)展,好似平地一聲雷,將數(shù)據(jù)庫產(chǎn)業(yè)推入了一個(gè)新的浪潮里。
當(dāng)前,千行百業(yè)都在向數(shù)字化轉(zhuǎn)型,應(yīng)用上云已經(jīng)是大勢所趨,而云也成為數(shù)據(jù)庫部署的主要形態(tài)。Gartner的統(tǒng)計(jì)顯示,2022年云數(shù)據(jù)庫在整個(gè)數(shù)據(jù)庫市場中的占比首次達(dá)到50%;在中國,到2025年,81%的數(shù)據(jù)庫將會(huì)跑在云平臺之上。
隨著數(shù)據(jù)庫和云的理念深度結(jié)合,華為也將早年為解決電信領(lǐng)域數(shù)據(jù)問題而研發(fā)的華為數(shù)據(jù)庫進(jìn)行全面戰(zhàn)略升級,打造了涵蓋關(guān)系型與非關(guān)系型數(shù)據(jù)庫在內(nèi)的GaussDB系列全場景云服務(wù)。馮柯和其團(tuán)隊(duì)當(dāng)前的工作重點(diǎn),就是華為云GaussDB數(shù)據(jù)庫的研發(fā)和產(chǎn)業(yè)化應(yīng)用。
馮柯認(rèn)為“云計(jì)算拉低了數(shù)據(jù)庫行業(yè)的應(yīng)用門檻,單點(diǎn)的技術(shù)已經(jīng)不再是市場發(fā)展的絕對性瓶頸,數(shù)據(jù)庫的技術(shù)壁壘開始松動(dòng)。比如對云上數(shù)據(jù)庫的評價(jià)更多的是集中在服務(wù)能力,也就是說如何讓用戶能像使用云資源一樣隨時(shí)隨地可獲得數(shù)據(jù)庫服務(wù)?!?/p>
如今,整個(gè)國產(chǎn)數(shù)據(jù)庫市場正在快速崛起,馮柯感慨道:“我們看到金融行業(yè)的頭部客戶,以及一些互聯(lián)網(wǎng)頭部廠商,在他們的核心業(yè)務(wù)中開始落地使用國產(chǎn)數(shù)據(jù)庫,這是在過去10年無法想象的事情。“
馮柯表示,這些變化也意味著**國產(chǎn)數(shù)據(jù)庫已經(jīng)從政策驅(qū)動(dòng)轉(zhuǎn)向了產(chǎn)品市場主導(dǎo)。**而行業(yè)的嬗變也不斷地重塑著他對技術(shù)的理解,尤其是分布式數(shù)據(jù)庫這個(gè)具有代表性的技術(shù)產(chǎn)業(yè)賽道。
厚積薄發(fā),分布式數(shù)據(jù)庫的春天
互聯(lián)網(wǎng)及云化時(shí)代的到來,導(dǎo)致企業(yè)業(yè)務(wù)架構(gòu)產(chǎn)生巨大變化。過去的集中式數(shù)據(jù)庫已經(jīng)無法滿足越來越多的業(yè)務(wù)場景,市場的需求推動(dòng)了底層數(shù)據(jù)庫的分布式改造。企業(yè)對自身IT架構(gòu)的開放性和自主訴求也越來越高,這進(jìn)一步牽引了分布式數(shù)據(jù)庫的普及應(yīng)用。
雖然去O呼聲高漲,但是打破這種傳統(tǒng)商業(yè)數(shù)據(jù)庫的“壟斷”局面又談何容易。想要沖出傳統(tǒng)數(shù)據(jù)庫的包圍圈,馮柯指出數(shù)據(jù)庫產(chǎn)品要能回答這三個(gè)核心問題:
一是解決高可用問題,如何打消客戶對系統(tǒng)可用性可靠性的疑慮;
二是解決性能問題,如何解決客戶對數(shù)據(jù)庫、以及構(gòu)建其上的應(yīng)用性能的疑慮;
三是業(yè)務(wù)的平滑遷移,如何降低整個(gè)過程的實(shí)施成本和風(fēng)險(xiǎn)。
而以上種種又都可以從技術(shù)層面解決,這也是馮柯帶領(lǐng)的GaussDB在實(shí)際業(yè)務(wù)實(shí)踐中給客戶帶來的價(jià)值所在。
目前,GaussDB立足創(chuàng)新與自研,基于同一架構(gòu),一方面擁抱并兼容主流關(guān)系型數(shù)據(jù)庫生態(tài)如MySQL及非關(guān)系型數(shù)據(jù)庫 MongoDB、Redis等生態(tài),另一方面圍繞自身開源的openGauss生態(tài),打造面向政企客戶,強(qiáng)調(diào)高性能、高可靠、高安全的產(chǎn)品。
馮柯認(rèn)為,由于分布式數(shù)據(jù)庫經(jīng)歷了一個(gè)相對混亂的時(shí)代,導(dǎo)致整個(gè)產(chǎn)品和解決方案的邊界模糊不清。
“有的客戶雖然沒有應(yīng)用分布式數(shù)據(jù)庫,但他們在業(yè)務(wù)架構(gòu)上做過分布式改造和落地。就產(chǎn)生一個(gè)后果:在很多場景下,大家對于分布式數(shù)據(jù)庫應(yīng)該解決什么問題,哪些問題應(yīng)該通過數(shù)據(jù)庫來解決,哪些應(yīng)該通過業(yè)務(wù)或者中間件層來解決,其實(shí)不是非常清楚?!?/p>
所以,分布式數(shù)據(jù)庫行業(yè)標(biāo)準(zhǔn)的落地,打造重點(diǎn)行業(yè)典型應(yīng)用場景的標(biāo)桿案例,幫助市場清晰界定應(yīng)用解決方案與產(chǎn)品的邊界顯得至關(guān)重要。
業(yè)內(nèi)不乏這樣成功的案例,比如剛剛過去的4月,中國郵政儲蓄銀行新一代個(gè)人業(yè)務(wù)分布式核心系統(tǒng)全面投產(chǎn)上線。該系統(tǒng)是大型商業(yè)銀行中首家同時(shí)采用企業(yè)級業(yè)務(wù)建模和分布式微服務(wù)架構(gòu),基于鯤鵬硬件底座、openGauss開源數(shù)據(jù)庫與GaussDB分布式云數(shù)據(jù)庫共同打造。系統(tǒng)上線后可具備為全行6.37億個(gè)人客戶、4萬個(gè)網(wǎng)點(diǎn)提供日均20億筆,峰值6.7萬筆/秒的交易處理能力。
海量交易數(shù)據(jù)的背后,也標(biāo)志著國內(nèi)的分布式數(shù)據(jù)庫產(chǎn)品在性能和產(chǎn)品成熟度上,逐漸能與國際商業(yè)數(shù)據(jù)庫持平甚至超越。
揭秘GaussDB冰山下的能力
GaussDB之所以能夠支撐郵政儲蓄銀行的個(gè)人業(yè)務(wù)分布式核心系統(tǒng)上線,成功實(shí)現(xiàn)對國外商業(yè)數(shù)據(jù)庫的取代,很關(guān)鍵的一點(diǎn)在于它“集成”了華為自身的三大優(yōu)勢:
首先是高研發(fā)投入帶來的高收益和技術(shù)領(lǐng)先,華為布局了全球7大研究所來構(gòu)建數(shù)據(jù)庫研發(fā)能力,匯聚了全球1000+的數(shù)據(jù)庫專家人才。
其次是完整的軟硬技術(shù)棧,涵蓋芯片、服務(wù)器、存儲、網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)庫全棧軟硬件,具備數(shù)據(jù)庫軟硬性能調(diào)優(yōu)的獨(dú)特優(yōu)勢。
最后是獨(dú)具一格的生態(tài)建設(shè),華為把生態(tài)當(dāng)做業(yè)務(wù)來做,會(huì)去平衡生態(tài)中的商業(yè)利益共享,去跟伙伴分享市場機(jī)會(huì)。
在此基礎(chǔ)上結(jié)合對客戶業(yè)務(wù)和需求的理解,GaussDB實(shí)現(xiàn)了國產(chǎn)數(shù)據(jù)庫在性能和產(chǎn)品上的突破。以高可用為例,GaussDB兩地三中心的高可用解決方案已經(jīng)在國有大行,從邊緣到核心系統(tǒng)全類業(yè)務(wù)進(jìn)行了驗(yàn)證,滿足金融監(jiān)管的要求。
在全棧能力方面,GaussDB垂直整合華為軟硬件資源,比如將華為在存儲上的優(yōu)勢,深入融合到數(shù)據(jù)庫的存算分離架構(gòu)上,包括NDP(Near Data Processing)近數(shù)據(jù)處理,讓數(shù)據(jù)庫的計(jì)算邏輯充分利用下面整個(gè)存儲池的能力,并且更進(jìn)一步,將NDP與PQ(Parallel Query)相結(jié)合,提高復(fù)雜查詢處理能力。
同時(shí),通過全密態(tài)加密技術(shù)來保證保護(hù)敏感數(shù)據(jù)的全生命周期安全。并將AI技術(shù)融入到數(shù)據(jù)庫內(nèi)核中,實(shí)現(xiàn)參數(shù)自調(diào)優(yōu)和智能索引推薦,降低運(yùn)維側(cè)的復(fù)雜度和成本。
馮柯總結(jié)了GaussDB的六大競爭點(diǎn):高可用、軟硬深度協(xié)同、企業(yè)級混合負(fù)載、云原生多主、數(shù)據(jù)安全與可信、AI-Native(智能運(yùn)維與調(diào)優(yōu))。 具體可以參考閱讀《華為云數(shù)據(jù)庫戰(zhàn)略啟示錄》。
在馮柯看來,所有的技術(shù)問題來自于你解決什么樣的訴求。 對于一些需要云原生數(shù)據(jù)庫的企業(yè)來說,GaussDB通過軟硬協(xié)同、架構(gòu)的融合、混合負(fù)載和智能化運(yùn)維,讓數(shù)據(jù)庫的使用和水電資源一樣簡單易得。而面向政企,GaussDB在上述基礎(chǔ)之上會(huì)更強(qiáng)調(diào)高可用、安全方面的考量,像使用單機(jī)集中式數(shù)據(jù)庫一樣可靠可用。
比如在工商銀行核心交易系統(tǒng)分布式改造中,他們將貴金屬交易系統(tǒng)、渠道類業(yè)務(wù)、商密公文系統(tǒng)等核心業(yè)務(wù)從傳統(tǒng)封閉的集中式商業(yè)數(shù)據(jù)庫平滑切換到華為云GaussDB 分布式數(shù)據(jù)庫之上,在高可用方面,實(shí)現(xiàn)了同城單Region 多AZ 互聯(lián),支持同城雙活,金融級支持三層組網(wǎng)的管控高可用部署方案,支撐日均業(yè)務(wù)量10萬+。
與此同時(shí),工商銀行還通過華為云數(shù)據(jù)庫和應(yīng)用遷移(UGO)與數(shù)據(jù)復(fù)制服務(wù)(DRS)一站式遷移工具順利遷移了數(shù)千個(gè)實(shí)例,單個(gè)業(yè)務(wù)存儲過程量就接近兩千,節(jié)省了80% 的人工工作量。
五環(huán)理論,生態(tài)勝出才是最后贏家
對于企業(yè)來說,在經(jīng)歷了封閉、集中式數(shù)據(jù)庫的痛苦之后,他們也愈加關(guān)注基礎(chǔ)軟件的開源開放和生態(tài)建設(shè),沒人想從一個(gè)封閉的生態(tài)走向另一個(gè)封閉的生態(tài)。
談及開源數(shù)據(jù)庫和商業(yè)數(shù)據(jù)庫,乃至當(dāng)下的國內(nèi)數(shù)據(jù)庫生態(tài)建設(shè),馮柯提到了 “五環(huán)理論”,這是他對數(shù)據(jù)庫生態(tài)認(rèn)知的自創(chuàng)概念:
最核心的二環(huán)是數(shù)據(jù)庫的技術(shù)內(nèi)核,三環(huán)是數(shù)據(jù)庫的工具,包括遷移、開發(fā)、管理工具等;四環(huán)是服務(wù)能力;最外面的五環(huán)就是生態(tài)。
“產(chǎn)品外延能力越強(qiáng),參與主體的多樣性越豐富,生態(tài)也就越成熟,當(dāng)然投入的成本也會(huì)越高。不過現(xiàn)在大多數(shù)廠商都處在二環(huán)和三環(huán)之間,即還停留在產(chǎn)品技術(shù)的層面?!?/p>
馮柯認(rèn)為只有ORACLE和MySQL這兩款數(shù)據(jù)庫真正走到了五環(huán),所以整個(gè)國內(nèi)數(shù)據(jù)庫產(chǎn)業(yè)的生態(tài)建設(shè)都是道阻且長,需要明確自身在哪些環(huán)節(jié)上是可以去做自我演進(jìn)和發(fā)展。 “走到五環(huán)是需要一個(gè)過程的,而數(shù)據(jù)庫的開源生態(tài)建設(shè)尤為艱難,我們面臨著巨大的挑戰(zhàn)?!?/p>
早在2019年,華為宣布將其在數(shù)據(jù)庫領(lǐng)域的積累——GaussDB單機(jī)主備內(nèi)核能力開源,并命名為openGauss。2020年6月底,openGauss數(shù)據(jù)庫源代碼正式向開發(fā)者開放。
馮柯說,“過去我們可能是為了開源而開源,而且以技術(shù)的使用為主,但現(xiàn)在諸如openGausss這樣的開源,是把我們的產(chǎn)品作為生態(tài)建設(shè)的載體,產(chǎn)品本身就是開源生態(tài)的一部分。 同時(shí)在這生態(tài)中,也在不斷長出更多的數(shù)據(jù)庫產(chǎn)品?!?/p>
目前,除了華為云的分布式數(shù)據(jù)庫GaussDB(for openGauss),已經(jīng)有12家DBV基于openGauss社區(qū)版發(fā)布了自己的品牌數(shù)據(jù)庫,100+頭部企業(yè)參與社區(qū)共建。
同時(shí),華為積極投入人才培養(yǎng),與教育部聯(lián)合建設(shè)“智能基座”基地,GaussDB已與72 所國內(nèi)雙一流高校建立合作關(guān)系,并在教育部“新工科”項(xiàng)目的80多所高校中開設(shè)GaussDB 數(shù)據(jù)庫課程;在高職、專科院校,通過實(shí)踐實(shí)訓(xùn)培養(yǎng)面向社會(huì)的應(yīng)用型人才。開課之外,定期開展師資培訓(xùn),聯(lián)合多所頂尖高校教授出版GaussDB 數(shù)據(jù)庫教材、教輔,持續(xù)完善GaussDB 數(shù)據(jù)庫的人才培養(yǎng)體系,保障數(shù)據(jù)庫產(chǎn)業(yè)未來人才供給。
最后馮柯強(qiáng)調(diào),能否建立一個(gè)實(shí)現(xiàn)共贏的商業(yè)利益分享機(jī)制,是整個(gè)生態(tài)的基礎(chǔ)?!斑@個(gè)賽道上,最終在生態(tài)上能夠勝出的才是真正贏家。”
結(jié)語
無論是從政策層面,還是市場需求,今天對于國內(nèi)數(shù)據(jù)庫廠商來說,可以稱得上是最好的時(shí)代。
作為基礎(chǔ)軟件“皇冠上的明珠”,國產(chǎn)數(shù)據(jù)庫的崛起,像夢想照進(jìn)現(xiàn)實(shí)的一道光,每一個(gè)在這個(gè)產(chǎn)業(yè)沉沉浮浮的技術(shù)人,通過“創(chuàng)造”出類似GaussDB這樣的產(chǎn)品,來承載著他們對基礎(chǔ)軟件的堅(jiān)持和夢想,支撐起這個(gè)由數(shù)據(jù)構(gòu)成的大千世界。
在技術(shù)一線堅(jiān)持20多年后,對于馮柯來說,自己的人生已經(jīng)和數(shù)據(jù)庫“融為一體”了,采訪的尾聲,他也以數(shù)據(jù)庫為例,分享了 “大齡技術(shù)碼農(nóng)”的轉(zhuǎn)型經(jīng)驗(yàn),以及一些通用的工作方法論,與廣大開發(fā)者們共勉:《20年技術(shù)一線工作分享,如何化解35歲危機(jī)》
云數(shù)據(jù)庫 GaussDB(for openGauss) 分布式 數(shù)據(jù)庫
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。