【云駐共創(chuàng)】如何使用openGaussNUMA技術(shù)，實(shí)現(xiàn)金融核心數(shù)據(jù)庫性能提升30%

海量數(shù)據(jù)&openGauss NUMA

關(guān)于我們

關(guān)于海量數(shù)據(jù)

海量數(shù)據(jù)是一家2007年成立的公司，唯一一家主板上市做數(shù)據(jù)庫的公司。主要技術(shù)人員大多來自于oracle、ibm、Teradate等全球性的數(shù)據(jù)庫公司，目前的發(fā)展已經(jīng)和鯤鵬緊緊聯(lián)系在了一起。

關(guān)于海量數(shù)據(jù)庫Vastbase

Vastbase海量數(shù)據(jù)庫是海量數(shù)據(jù)基于openGauss內(nèi)核開發(fā)的企業(yè)級關(guān)系型數(shù)據(jù)庫。融合多年對各行各業(yè)應(yīng)用場景的深入理解，除了具有openGauss極致的性能外，還在原有功能上增加了大量數(shù)據(jù)庫兼容特性，并遵循EAL4+B標(biāo)準(zhǔn)進(jìn)行了大幅度的安全增強(qiáng)，同時(shí)，還精心整合了GIS、流計(jì)算等一系列專業(yè)領(lǐng)域的企業(yè)級功能。

金融業(yè)飛速發(fā)展對數(shù)據(jù)庫帶來的挑戰(zhàn)

金融IT系統(tǒng)特點(diǎn)

其主要的特點(diǎn)表現(xiàn)為業(yè)務(wù)種類日益繁多，業(yè)務(wù)需求變化快，對交易響應(yīng)時(shí)間的要求、數(shù)據(jù)強(qiáng)一致性要求，7*24小時(shí)業(yè)務(wù)服務(wù)，IT架構(gòu)龐大復(fù)雜,關(guān)注TCO等方面。這些來自前端業(yè)務(wù)和用戶的挑戰(zhàn)傳遞到了整個銀行、證券、保險(xiǎn)中，而且要求是逐步提升的。

金融業(yè)高速發(fā)展對數(shù)據(jù)庫帶來的挑戰(zhàn)

目前，高吞吐、低延時(shí)、大數(shù)據(jù)量是數(shù)據(jù)庫面對的最大挑戰(zhàn)。此外還有場景多樣、混合負(fù)載，低總體擁有成本和安全、可信的要求。而openGauss和vastbase做的商業(yè)發(fā)行版，將會滿足金融用戶的需求。

解決之道—高性能數(shù)據(jù)庫設(shè)計(jì)及實(shí)現(xiàn)

NUMA-Aware技術(shù)充分釋放多核時(shí)代性能潛能

在CPU多核時(shí)代，在提升硬件算力的同時(shí)，傳統(tǒng)的數(shù)據(jù)庫的事務(wù)處理機(jī)制無法充分利用多核算力，出現(xiàn)増核不增效的尷尬局面。

而NUMA-Aware技術(shù)，在依據(jù)數(shù)據(jù)與CPU物理最近距離為處理原則下，在線程綁核方面實(shí)現(xiàn)親核調(diào)度，減少了跨核數(shù)據(jù)拷貝和通信，在數(shù)據(jù)化結(jié)構(gòu)處采用了異步并行拷貝，這樣提升了處理能力，有效應(yīng)對多核時(shí)代帶來的挑戰(zhàn)。

進(jìn)程變線程 實(shí)現(xiàn)超大并發(fā)，軟硬結(jié)合提升產(chǎn)品性能

線程化框架是最核心的問題，目前海量數(shù)據(jù)庫正處于從消除全局變量、線程池框架和Session和thread分離后的框架式適配的設(shè)計(jì)要點(diǎn)轉(zhuǎn)向?qū)崿F(xiàn)共享內(nèi)存移除、基于語句級的線程調(diào)查策略等的設(shè)計(jì)。線程是計(jì)算的最終載體，而線程化框架無疑是多核優(yōu)化的根本。

以往在高并發(fā)的請求場景下，傳統(tǒng)技術(shù)在服務(wù)端使用進(jìn)程應(yīng)對每一個請求，因此會消耗大量的系統(tǒng)資源，使得整體并發(fā)性能受限。而在客戶端設(shè)置連接池則避免了頻繁創(chuàng)建和銷毀，服務(wù)端的線程池則線程復(fù)用，控制數(shù)據(jù)庫服務(wù)器活動線程數(shù)目，流控系統(tǒng)業(yè)務(wù)量，防止出現(xiàn)雪崩。連接池與線程池的結(jié)合使用，再配合CAS原子操作，在提升穩(wěn)定性的同時(shí)也具有了更高的性能。

多引擎：同時(shí)支持高性能業(yè)務(wù)處理和高質(zhì)量經(jīng)營決策

OpenGauss的行列混合引擎可以指定行存列存，并根據(jù)不同的場景選擇不同的存儲類型，而MOT內(nèi)存引擎則可以實(shí)現(xiàn)免鎖，高吞吐，低延時(shí)的性能。對混合負(fù)載下的場景會有很大幫助。

兼容98%以上主流商用數(shù)據(jù)庫功能

客戶最大的一部分需求就來自于如何從之前的系統(tǒng)切換到當(dāng)前數(shù)據(jù)庫中來，其中最需要面對和解決的就是兼容性問題。例如保留以前的操作習(xí)慣，使客戶更加容易方便操作。那么如何將客戶原來的系統(tǒng)無縫平滑的遷移到國產(chǎn)的數(shù)據(jù)庫環(huán)境呢。這里海量數(shù)據(jù)設(shè)計(jì)的遷移工具exbase將可以實(shí)現(xiàn)這些要求，因?yàn)樗诟鞣N主流數(shù)據(jù)庫的兼容性，因此才能很快的準(zhǔn)確的進(jìn)行遷移。

例如，在中華聯(lián)合人壽的案例中，對于進(jìn)行遷移的5756個對象中，總計(jì)33個存儲過程、函數(shù)遷移失敗，而其中有23個對象是因?yàn)樵磶鞂ο笫Фw移失敗，它遷移的成功率高達(dá)99.4%。

另外，數(shù)據(jù)校驗(yàn)也是非常重要的一項(xiàng)，ISV總計(jì)改動代碼10處，經(jīng)過2周，累計(jì)35人天即完成應(yīng)用系統(tǒng)主要功能模塊的適配工作，實(shí)現(xiàn)了Vastbase對Oracle的高度兼容，使其能夠快速遷移上線。

海量數(shù)據(jù)庫Vastbase----openGauss商業(yè)發(fā)行版，體系化代替最佳選擇

商業(yè)發(fā)行版的優(yōu)勢在于它的高度兼容性，平滑遷移、安全可控性，高可用性、智能運(yùn)維，以及由進(jìn)程改線程、NUMA-Aware技術(shù)、同時(shí)支持行存、列存和內(nèi)存引擎、增量checkpoint等技術(shù)融合體現(xiàn)出的極致性價(jià)比。此外，由鯤鵬CPU、openeular、openGauss完善、領(lǐng)先的一棧式體系優(yōu)勢也將是促成極致性價(jià)比的選擇。

應(yīng)用實(shí)踐

鯤鵬體系全棧國產(chǎn)化替代

中華聯(lián)合人壽團(tuán)險(xiǎn)的核心系統(tǒng)是第一家實(shí)現(xiàn)全棧替代的。由泰山服務(wù)器、openeuler、vastbase寶蘭德以及中科軟操作系統(tǒng)組成。解決了客戶對于國產(chǎn)平臺與軟件之間的兼容性、數(shù)據(jù)安全性和可靠性，以及在需求流量增大時(shí)，能實(shí)現(xiàn)復(fù)雜保單業(yè)務(wù)大批量數(shù)據(jù)在線驗(yàn)證&導(dǎo)入與查詢性的高要求。這種全棧體系化最終能為客戶帶來高度兼容、更強(qiáng)算力、更高性能、更好性價(jià)比的客戶體驗(yàn)，例如在預(yù)算方面較原體系就能節(jié)省20%IT投入。

應(yīng)用性能測試：普遍提升，部分場景性能提升近3倍

客戶以前用的是Dell服務(wù)器和oracle數(shù)據(jù)庫，采用國產(chǎn)全棧新體系后，我們可以發(fā)現(xiàn)，在批量導(dǎo)入、批量加入、保全更換被保險(xiǎn)人等場景中，新體系的性能平均提升了3倍左右。另外還涉及到了全棧性價(jià)比的問題，這為行業(yè)在體系替代方面樹立了很好的信心。

提問：對于全棧化來說，如果客戶要求設(shè)備利舊的話，該如何操作這種模式才能使性能最大化，以及資源利用最大化

肖答：你可以想象一個四維的四個象限的圖，象限內(nèi)容有新建，有遷移。新建很簡單，可以直接選擇國產(chǎn)的架構(gòu)。對于遷移，利舊環(huán)境下，我們要做的是在換除設(shè)備過程中逐漸替換里面的內(nèi)容。老系統(tǒng)里的數(shù)據(jù)保留，新的平臺下去嘗試，我們能做的就是在你們嘗試過程中，使過程變得盡量容易。當(dāng)然它的優(yōu)勢不單單體現(xiàn)在遷移過程中。鯤鵬體系一定是最好的，可能還有其他的選擇，但需要去進(jìn)行配比，而這個過程中是很難發(fā)揮出最大最強(qiáng)的性能優(yōu)勢。

視頻鏈接：https://live.huawei.com/hdc2021/meeting/cn/8258.html

openEuler 多線程 數(shù)據(jù)庫 核心數(shù)據(jù)庫上云 金融專區(qū)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。