【2018華為云技術私享會成果分享-西安站】云數據庫HWSQL技術內幕

肖永：

華為云RDS從上線到現在可以說是飛速發展，我個人有幸見證了這樣一個進步過程，今天跟大家分享一下階段性的小成果：HWSQL。在介紹HWSQL具體內容之前，我們先看一下云數據庫到底做了些什么？

在幫助客戶搬遷上云的過程，我們經常面臨一些客戶的問題：“為什么我不采用自建呢？”當客戶問這個問題時他看到的RDS是有一些基本的數據庫管理，數據庫的增產查改，備份審計等，這些功能看起來DBA寫一些腳本就行。 實際上我們服務化在實現這些功能背后做了很多內容，主要有兩方面：

一是我們的功能都是基于云架構進行選擇和設計的，凝結著云上全面的能力，比如我們跟OBS自動集成進行備份的管理，比如說出于可靠性和擴展性我們底層選用EVS，不中斷業務的進行磁盤擴展。還有底層的ECS調度，反親和的放置，這是自建數據庫單單靠腳本無法完成的。

二是我們的產品包含了專業的數據庫人員針對云上進行全面調優測試，每一個相應的配置都有相應的專業DBA的優化，你拿到以后就是優化的成果，以及后臺大家看不到運維系統，包括監控、審計等等，在這個運維系統之下，我們DBA會經常進行巡檢，給大家提供非常安全可靠的能力，這些能力也能通過專家服務提供出來，給大家一些解決方案的建議和選擇。

最重要的今天的主題，冰山之下，我們做了很多數據庫內核方面的研究和加固，把數據庫本身的增強的能力提供給大家。HWSQL的定位就是企業級的數據庫服務。什么是企業級的數據庫服務呢？我個人理解當我們購買一個企業級或者企業版的數據庫，我們主要購買了三項東西，第一樣東西是一個企業級內核能力的背書，它體現在企業級的質量保障，這樣大家用起來更加放心，包括我們用Oracle，DB2，MYSQL的企業版都有著超越開源版的質量。二是增值特性，開源是一種商業模式，現在大多數的開源也被大公司所控制，一些核心增值特性在企業版開放，純開源版本是沒有的。三是高性能高可靠，企業版本有著更高的標準。今天通過這三部分跟大家進行交流。

第一部分是HWSQL內核能力的展示。

提到數據庫方面的內核能力，一般情況下大家想到一些互聯網公司，其實華為在本身的基礎的軟件和技術的積累非常深厚，之前因為公司風格的原因沒有對外展示。華為的數據庫內核團隊已經做了很多年，在金融業，政府一些關鍵業務，包括華為內部的關鍵業務，都已經用了華為自己的數據庫，現在通過云服務，我們會把華為之前的積累展示出來。

回到HWSQL這個團隊里面，我們兩個主要的技術負責人，一是Calvin Sun，他是我們現在HWSQL的技術負責人。Calvin曾經是Oracle MySQL innodb團隊的負責人，有十多年的MySQL內核經驗，在來華為之前他是Oracle MySQL上云技術顧問，所以他對MYSQL的技術和上云都是非常有經驗的，由他帶領我們HWSQL的交付。第二位專家是Paul，Paul是ACM院士，微軟研究院20年首席研究員。他主要負責N+1版本， 華為數據庫其實是兩條線路來走，保證我們急速發展，第一條線是HWSQL在研版本，我們是基礎的優化和加固的東西。第二條線，也就是我們N+1的版本是更加前沿的版本，有一些黑科技，軟硬件垂直整合的東西在里面，主要由Paul教授帶領大家來做。圍繞這兩位專家，我們在外研，在加拿大和美國有將近20多位技術專家，分別來源業界知名的數據庫廠商。加上國內一批有多年自研數據庫經驗的內核人員，大家一塊做HWSQL服務，所以我們的內核能力也是非常強的。

內核能力第二個體現點是質量。 質量很多時候大家不是特別的拿出來講，而對于華為來講，最大的品牌是就質量。對于MySQL來講，大部分人都用開源MySQL，開源社區有開源測試套，也有很多人在用，它的質量是不是就很好呢？實際上并不是，一方面我們可以看到MySQL開源的bug提交還是非常多的，包括有各種架構機制的問題，往往還是規避處理，當你碰到坑的時候成本時很高的。對于商業版的MySQL，Oracle內部有強大的QA團隊來做質量加固，有自己的測試套并沒有公布出去，大家可以知道真正商業版和純開源版的質量不是一個檔次。

我們怎么做的呢？主要兩個部分，一是框架部分，我們有四層防護，包括有AT，ST，以及我們有專業的集成測試團隊驗收，華為之前專業測試力量去驗收，最終到線上以后，進行灰度發布，線上驗證，這是我們的質量流程框架。

里面具體的內容，首先是將所有的MySQL生態的側記級都拿進來，包括MYSQL、percona、mariadb的，都會拿過來開看，收入到我們自己的用例級里面。在這之上我們還開發了一些測試套，比如自研一致性測試工具集，以及DFX測試用例集，反復捶打和鍛造式的測試。通過這些投入，我們有一個企業級的質量保障，我們先于開源發現修復XX bug，很多我們也提給了社區進行回饋。而基于現在云的管理，當天如果發現開源bug，當天就可以進行急速修復，可以把大家還沒有遇到的開源問題的風險規避掉。

第二部分是HWSQL增值特性部分，我們會根據云上客戶的訴求不斷快速的補充增值特性，我舉其中的一個例子介紹一下。 舉例：華為消費者云。華為消費者云承接了華為手機業務，現在華為手機比較火，它整體的數據量很大，業務擴展也很快，需要強大的數據庫平臺支撐。其中有十幾個業務共用一個數據庫，這是一個很正常的場景，可能在座各位所在公司也有同樣的場景。第一個從成本考慮，第二在業務上可能有數據的訪問，用同一個數據庫實例方便一些。但是這樣使用會有問題，從MySQL本身來講，或者從數據庫本身來講，session之間是有資源競爭的，當session達到一定數量的時候，資源征用鎖的成本很高，性能會陡降。對于客戶來說怎么辦呢，只能控制每一個應用鏈接數，但是這個很不可靠，因為你控制鏈接的時候，應用并發可能跟不上，應用內部要去排隊，這個對應用有一些要求，另外如果有一個應用它出現的問題，我把連接占多了，其他應用就用不了了，這在可靠性上有問題。開源版本有這樣的問題，但是在Oracle的商用版MySQL上沒有這個問題，這兩張圖是oracle官網發布的，可以看到鏈接數上升時開源版和商用版的差異。

我們在HWSQL上做了商用版類似的內置連接池功能， 開源MYSQL上一個鏈接對應一個內部的session，是一對一的關系，所以一旦鏈接比較多的時候，就有剛才說的資源消耗的問題。HWSQL的內置鏈接池對鏈接進行分組，外部鏈接和內部session是一個一對多的關系，這樣在內部可以讓數據庫運行在一個很健康的狀態下。其中的排序對客戶業務透明，業務不需要關注。從測試結果上，在多達8192鏈接的時候，性能不會基本進行衰減。 會看到在小鏈接情況下HWSQL在云上性能比開源版本在云上性能有將近2—3倍的提升，后面大并發的場景它還不會衰減，對于這種消費者云，HWSQL通過增值的特性解決了他的場景問題能，現在也已經進行使用。

還有其他的增值特性，逐步會在我們社區進行分享，大家可以去了解，下面如果有一些企業很關鍵的問題，在業務端很難解決，希望在數據庫端解決可以和我們聯系，我們在很快把這些需求進行反饋。

最后一個部分介紹高性能高可靠進行的一些優化。

從HWSQL公測以來我們已經經過很多客戶的競標，對于企業級客戶上云，性能比拼和可靠性比拼是基礎選項。首先從華為數據庫架構上我們選擇了云盤，而國內大多數廠商選擇的是本地盤。業界領頭的AWS用的也是云盤，為什么華為選擇云盤？ 因為華為看重可靠性和技術的演進，可靠性上我們的云盤有三副本，提供了非常高的可靠性，和本地盤的raid不是一個水平。二是從技術演進來講，本地盤有諸多限制，比如磁盤大小的限制。比如備份，本地盤備份大小和數據庫量已經成為正比，這必然有限制，當數據量很大，備份就會很慢了，進而影響可用性?；谠票P，我們可以做基于存儲的快照，基于塊級的增量備份處理。云盤有好處也有壞處，壞處在于它的時延，相對于本地盤差一些。在云盤之上我們怎么保證它的性能呢，傳統數據庫還是很依賴時延的，比如MYSQL的binlog，redo log都是同步IO。 基于EVS存儲我們就需要改變這些IO模型，比MySQL為了解決半寫問題引入doublewrite? buffer，它是單線程同步寫的。

我們在第一個版本的做法，是multi-doublewrite buffer，并發來解除對時延的依賴，在后面我們現在做云盤的原子寫，基于原子寫接口，就可以直接解決半寫問題，廢除doublewrite buffer，同樣其他時延的依賴也是這個思路。另外我們還做了很對鎖的優化，大鎖拆小鎖，還有原生的算法的優化等等。 為什么我們選擇云盤的底氣也來源于華為強大的硬件能力，在華為還沒有做云的時候，是很多云廠商基礎設施提供者商了，都在購買華為的服務器，華為的存儲。所以我們能夠全棧的去思考解決問題，后面我們會有100微秒的云盤，有下一代網絡芯片出來，有一些軟件卸載的東西，整體把軟硬件徹底打通。 下面一個競標的數據分享給大家，這時客戶自己進行線上測試的結果。和兩個友商進行對比，一個友商是20U20G，還有一個友商是16U16U，在我們8U16G是友商產品價格一半的情況下，我們的性能基本和它們持平，大并發情況我們可能更好；在同樣一個價格（16U32G），我們基本價格一致（便宜一點）的情況下，我們性能是大大趕超，所以最終這個客戶選用HWSQL，現在催著我們趕緊商用，我們商用前會再更新一版硬件，性能進一步提升。

最后分享HWSQL的未來，剛才講了我們有兩個演進的版本，有三個東西分享，一是基于現在的版本，我們持續做優化，5.7上面我們會做Online DDL、算子下推等等，還有一些運維的特性。第二部分，在Q3的時候我們會推出金融版，3節點高可用強一致性。最后一個是云上進一步軟硬件垂直整合，提供類似Aurora架構，進一步提升性價比?，F集華為全棧能力與一體的一個軟硬件垂直整合的能力，使用底下DFV共享存儲池來完成原有replication功能，這個架構下存儲引擎和事務引擎都會進行適配改造。

基于這種架構可以非常多的只讀副本進行擴展。在MySQL Server層我們會把華為積累多年的global buffer pool技術提供出來，做到0時延讀，以及后續的多寫，未來變成真正云上海量擴展。

這些就是我今天分享的內容，HWSQL正在路上一步一個腳印堅定快速的發展，希望大家可以選擇HWSQL作為各位云上的伙伴。

主持人：

華為在數據庫團隊的產品云化之前，它積累了很多的研發經驗，它自己的內核經驗已經很多。大家現在如果用了華為手機，華為消費者業務，終端類業務，手機上的APP現在都是部署在華為云上，就是剛才介紹的消費者云。我們現在有非常專業的海外專家團隊，世界上最懂MySQL的五個人之一，現在在華為海外的研究所，加研所還有美研所。另外就是HWSQL的未來。從這幾個維度來講，大家提問一下HWSQL的專家，我們會給提問的來賓準備一些禮物。

提問：

現在facebook搞的SQL DD，有MYSQL，如果替換，如果用MySQL有什么優勢和損失嗎？？

肖永：

國內有一個產品在谷歌孵化器里面，是做基于MySQL的優化，這種存儲有優點和缺點，它在數據寫的模型非常好，它的好處是壓縮，你的存儲數據量如果比較大，會帶來非常好的收益，facebook數量很大，這種情況下可以省磁盤的空間，但是它的業務模型比較受限，國內一些不良廠商，像百度，底下原來那個就是那個前身，爬蟲這些業務會放? 在上面，在ORTP領域，我們的一致性，它是通用數據庫，所以這種場景優化我們并沒有放進去，但是阿里也沒有放進去，但是我們做一個事情，如果你有這樣整合的需求，在（忙夠DB）上，會集成這樣的引擎，并且我們后面會做基于（忙夠DB）（Rua克斯DB）的更深度的優化，我們覺得那個場景更適合，雙方有點分裂的感覺，但是我們也得考慮一個方向。

提問：

剛才有一個價格，并發有一個表，包括算這個價格方面，云存儲和這個價格有什么關系？

肖永：

我們企業價格按照節點來算的，你的存儲和你的業務相關，我們在購買一個RDF實力的時候，你主要付這個節點的價格費用，這個費用和ECS差距非常小，二是存儲價格，你用多少，你買多少，它支持包月和包年的消費方式，沒有直接綁定關系，不是提供你的是一個8U32G的500G的磁盤，不是這樣，磁盤按你的區域自己去做，另算錢。

提問：

你們這是數據庫，應用是不是單獨部署到另外一個服務器上？光用你們的數據庫。

肖永：

對，應用是單獨部署的，這是數據庫服務，應用應該有開發的人員給你講解。

提問：

在有些場景下，有些企業手于一定的限制，比如一個企業的云服務的數據庫，放虛擬云虛擬機上，這個系統華為能不能做私有云的業務？

肖永：

我們現在有私有云業務，如果大家關注新聞，華為私有云業務發展的非常好。如果你在云上，如果你本地有自己的管理系統，已經做的非常好的時候，如果要投更大的，對你來說是很大的成本，你如果做私有云的規模一定是有IT能力，你可以進行另外一個選擇，我們先有DRS服務，你可以把你的背景，把載位部署到華為云上，來享受這樣的高可靠，你業務還可以這樣跑，你覺得放到我自己數據中心不放心，這是另外一種場景，可以把我們當成備機跑，我覺得云還是一個方向，最終在那個合適的時候，就可以支持，但是私有云我們也有這樣方便的業務。

提問：

華為云私有云，之前從2012年2013年華為就開始起步做這一塊，對企業來說，這兩天國內生產制造型企業日子不好過，我的一個客戶，現在他們有一個IT中心，機器系統在上面部署類似虛擬云的WAP的方式，這兩年做的超融合云，做（艾斯）那些東西。企業的預算，有核算的情況下，把私有云東西卡進去。

肖永：

這個問題比較大。

提問：

我們下來聊也可以。

肖永：

我補充一個，云現在是一個方向，很多企業有考慮，我不希望一下完全放到公共資源池里面，我是不放心的?，F在在華為公有云的專屬云的特性我們馬上支持，物理上你的那塊資源就是隔離的，對于成本的問題，非標硬件的問題，這是比較細的話題。

數據庫 rds 華為云

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。