【鯤鵬經典直播征文】+【BoostKit分布式存儲】講解業界形勢、開源使能、基礎及關鍵應用加速特性

一 BoostKit分布式存儲簡介

1.1 鯤鵬應用使能套件BoostKit，釋放倍級性能優勢

硬件是我們算力的一個原始供給，基礎軟件才是算力的一個應用，使能則是行業價值的一個實現，充分釋放硬件的算力潛能，實現應用軟件的極致性能，是當前業界面臨的主要挑戰之一。鯤鵬應用使能套件，能夠提供全站優化的應用加速能力，釋放倍級的一個性能優勢幫助。客戶和合作伙伴，行業創新鯤鵬BoostKit是一系列加速軟件加速特性和加速算法的能力集合，包含三個層次的對海和相關的能力。

應用加速：應用性能倍級優勢，提供基礎加速軟件包（機器學習、圖算法，云手機指令流）。

基礎加速：性能超越業界水平（NUMA優化，KAE加速庫、IO智能預取）。

開源使能：開源軟件可用、好用（高性能Hadoop、MySQL、Ceph軟件等）。

1.2 面向八大場景，提供場景化BoostKit

鯤鵬應用BoostKit，為合作伙伴提供豐富的場景化特性，提升核心應用性能。

大數據：數據吞吐量提升20%

分布式存儲：性能IOPS提升20%

數據庫：OLAP性能提升20%，OLTP性能提升15%

虛擬化：虛擬性能提升20%

ARM原生：云手機密度50%

Web/CDN：RSA加解密性能提升35%

NFV：并發回話數提升10%

HPC：支持32萬核調度系統利用率90%。

1.3 存儲市場發展趨勢：分布式存儲份額持續增長

據IDC發布的2020年前三個季度的中國存儲市場統計數據，SDS替代傳統存儲的步伐加快

1.4 存儲技術趨勢：閃存化、云化和數據價值挖掘

a.數據存儲性能要求：

從機械硬盤道閃存盤，

? 性能1000倍提升

? 總體擁有成本極降低

b.存儲資源共享

從集中式架構道分布式云架構

? 從兩節點到數千節點

? 新業務上線由月道天

c.數據價值挖掘需求

從數據孤島道數據湖

? 用用性能倍增

? 數據分析效率提升

1.5 存儲技術架構演進：從集中式到分布式

? 集中式存儲：

? 包含核機頭（控制器）、磁盤陣列（JBOD）核交換機、管理設備

? 數據統一通過存儲系統機頭入口

? 分布式存儲：

? Mon服務維護存儲系統的硬件邏輯關系；OSD服務實現對磁盤管理；

? 通過映射關系計算其要寫入數據的位置，客戶端直接與存儲節點通信，實現無中心節點和避免性能瓶頸。

1.6 鯤鵬Boostkit分布式存儲能同時滿足各種類形業務需求。

a.全閃存存儲場景

適用于頻繁訪問的在線類數據，存儲性能要求高。

b.均衡型存儲場景

適用于介于熱數據和冷數據之間

c.容量型存儲場景

不經常訪問的離線類數據，比如北方和歸檔數據

1.7 鯤鵬BoostKit分布式存儲全景圖：數據訪問更快、存儲更高效

? 極致性能：多源數據協同分析、提升運營效率全閃低時延訪問數據

? 海量存儲：數據整合，跨部門共享、共同需要百PB級存儲池

? 高性價比：企業運營成本高企每TB存儲成本持續優化

? 讀寫時延<150us：全局分布式cache技術，PB級分布式內存池，延遲時延<150uus

? 存儲“容量”提升1倍：高性能EC（4+2）技術，相比三副本方案，存儲有效容量提升1倍

? 壓縮率提升30%：高效壓縮技術，數據壓縮率提升30%，存得更多.

二 BoostKit分布式存儲開源使能

2.1 鯤鵬分布式存儲生態：開源軟件和國產主流商用軟件支持

開源生態：ceph開源社區支持ARM架構并提供相應的二進制軟件包

ceph社區已經接納MD5/Zlib壓縮特性，ceph16.2.x及之后發行版鯤鵬硬件壓縮加速特性。

2.2 某銀行項目：構建金融行業大容量分布式存儲集群

首個國產化金融存儲集群，支撐金融生產數據實時存儲和備份，構建PB級存儲容量，系統功耗降低20%。

2.3 運營商項目：基于鯤鵬構建新一代公有云存儲資源池

x000+臺TaiShan服務器存儲資源池部署，完成xx大云分布式存儲軟件的鯤鵬遷移，塊存儲性能持平，文件存儲性能提升10%。

三 BoostKit分布式存儲基礎加速

3.1 鯤鵬性能優化十板斧，釋放鯤鵬硬件算力

? 優化網卡性能，卸載CPU壓力

? 硬件協同，優化代碼

? 提升CPU利用率，優化內存配置

? IO數據讀寫優化，降低CPU等待時延

3.2 BoostKit基礎加速庫：支撐3種、7類加速庫，KAE和HW265加速性能超越業界

? ARM支撐加速庫：開源社區提供ARM支持的計算庫，在鯤鵬平臺完成驗證

? 基于鯤鵬指令的加速庫：基于鯤鵬指令深度優化的加速庫，并向開源社區開放

? 基于KAE加速庫：基于鯤鵬硬件加速引起加速庫，提供領先業界性能加速能力。

3.3 全閃存塊存儲場景：鯤鵬920 5250比Cascade 6248性能高20%+

全閃存小數塊存儲場景下，IO并發要求高，傳統平臺存在CPU性能瓶頸

4KB數據塊讀寫IO測試，鯤鵬比X86平臺高。

3.4 全閃存塊存儲場景：低時延性能表現鯤鵬具有同等優勢

3.5 均衡型存儲場景：IO直通特性，性能提升15%以上

3.6 均衡/容量型場景：發揮硬件加速引擎優勢，鯤鵬存儲+壓縮性能提高14%+

3.7 均衡型存儲場景：智能存取特性，塊存儲業務吮吸讀512K以下IO性能提升20%+

四 BoostKit分布式存儲應用加速

均衡型存儲場景：KPS Zip特性，壓縮率提升25%，帶寬性能提升10%+

均衡型存儲場景：高性能EC計算，同等磁盤容量，多存一倍數據，性能損耗小于80%

五 總結

鯤鵬Boostkit分布式存儲基于鯤鵬服務器進行了大量的性能及有效容量優化的工作，為存儲行業提供了一種有競爭力的解決方案。

【鯤鵬經典直播，讓技術燃起新火花】活動鏈接：https://bbs.huaweicloud.com/forum/thread-144291-1-1.html

分布式 鯤鵬

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。