【云駐共創】鯤鵬應用使能套件之KAE加速引擎讓數據加密更安全

      網友投稿 2112 2025-03-31

      目錄:


      前言和導讀

      華為鯤鵬 BoostKit虛擬化使能套件介紹

      加速庫介紹

      1.鯤鵬BoostKit加速庫全景

      1.1鯤鵬加速庫最佳解決方案

      1.2鯤鵬 BoostKit是什么?

      1.3鯤鵬 Boostkit 八大應用場景

      2. 鯤鵬BoostKit加速引擎介紹

      2.1鯤鵬 BoostKit KAE加速引擎介紹

      2.2鯤鵬 BoostKit KAE加速引擎使能

      2.3鯤鵬 BoostKit KAE技術規格

      2.4鯤鵬 BoostKit KAEzip 壓縮庫大數據應用場景

      2.5鯤鵬BoostKit KAE加解密Web應用

      3. 鯤鵬BoostKit軟加速庫介紹

      3.1 鯤鵬BoostKit軟加速庫技術規格

      3.2 Hyperscan典型場景性能加速效果

      3.3 鯤鵬加速庫-壓縮庫(Snappy/ZSTD/GZIP)性能加速效果

      3.4 鯤鵬BoostKit數學庫(Kunpeng Math Library)

      3.5 鯤鵬BoostKit HMPPS信號庫

      3.6 鯤鵬BoostKit HW265視頻編碼性能數據

      4.鯤鵬BoostKit IO智能預取介紹

      4.1 BoostKit IO智能預取方案介紹

      4.2 大數據場景I0智能預取部署與典型收益

      4.3 分布式存儲場景IO智能預取部署與典型收益

      5.鯤鵬BoostKit加速庫信息獲取

      5.1 鯤鵬BoostKit加速庫獲取方法

      5.2 開發者貢獻方法

      總結

      前言和導讀:

      華為鯤鵬BoostKit虛擬化使能套件介紹:

      現如今,從使用數字技術的企業轉型為數字企業,是全球各行各業都面臨著的挑戰。應用程序現代化是數字轉型的核心,助力企業吸引客戶,賦能員工,優化運營,改進產品。作為數字化轉型的IT基礎設施,云計算技術近年來發展飛速,尤其是隨著虛擬化、云服務、容器等技術的快速發展,企業數字化轉型的進程也因為云計算技術的發展而大大受益。云計算的不斷革新,很大程度上也是因為開源技術與生態的飛速發展,以QEMU-KVM、OpenStack、Docker、Kubernetes為代表的開源云計算技術,打破了曾經封閉低效的“煙囪”式算力架構,不斷的豐富IT基礎設施,助力用戶應用朝著更敏捷、更高效的方向進化,大步邁向數字化轉型。

      借助華為鯤鵬BoostKit虛擬化使能套件(簡稱鯤鵬BoostKit虛擬化),可加速邁向云計算之旅。本次KAE加速引擎讓數據加密更安全直播將介紹鯤鵬BoostKit加速庫全景,基于BoostKit加速庫在WEB、大數據和分布式存儲等典型應用場景的性能優化實踐。

      加速庫介紹:

      加速庫可以結合計算機體系結構,通過改變軟件代碼的數據結構和算法,提升基礎軟件庫的計算效率;也可以利用計算機芯片多樣性,通過軟件開發,充分發揮專有芯片高性能的特點,提升特定領域基礎功能的計算效率。

      加速庫問題:

      兔子繁殖問題:設有一對新生的兔子,從第三個月開始他們每個月都生一對兔子,新生的兔子從第三個月開始又每個月生一對兔子。按此規律,并假定兔子沒有死亡,1年后共有多少個兔子?10年后,又如何?

      從上述問題可以看出,算法的效率會影響性能,影響性能軟件的因素還有很多。而鯤鵬加速庫去做的事就是找出這些影響軟件性能的因素并進行性能的調優。從這個問題,我們就引出了加速庫的意義。

      為什么要做加速庫(1)

      1.加速庫提升軟件計算效率

      CPU的計算速度快了,是否就不需要加速庫了呢? 當然不是!

      體育運動中,所有運動員的追求是更高,更快,更遠,而IT產業追求更快,更便宜。純粹的提升硬件計算能力并不能達到快速解決問題的目的,必須依靠軟件算法改變執行效率才能真正的提升計算速度。

      因而,體現在用戶界面的更快,更便宜,就必須通過最佳的軟件實現(加速庫)將硬件的最佳性能體現出來,提供最好的服務。

      尤其當前CPU發展遭遇瓶頸的情況下,更是如此。

      為什么要做加速庫(2)

      2.加速庫重構摩爾定律

      摩爾定律的失效,會帶來什么樣的影響呢?

      摩爾定律是隨著技術的發展,逐漸開發機器的算力。使得計算機的算力保持一定速率的快速增加。但是近些年來,在當前的技術背景下,計算機的處理能力遇到了發展瓶頸,計算機的處理能力不可能再一直保持快速增加,而對我們就意味著性價比降低了。

      我們發現,即使是并發的情況下,硬件資源的利用率仍然是提升的,這就需要我們通過軟件的方式,通過軟件來結合硬件的一些特性來重構摩爾定律。讓它仍然以線性的速度快速增長。

      那么,有沒有辦法改進呢?

      ◆硬件多樣性給我們帶來重構摩爾定律的可能;

      ◆硬件多樣性給我們帶來重構摩爾定律的可能;計算能力的充分利用也是重要途徑。

      為什么要做加速庫(3)

      3. 加速庫是系統工程的方法之一

      IT系統中任何組件或模塊都不是獨立存在的,而是相互協同形成一個整體,而軟件則在其中起到了巨大作用。比如:

      ◆單核CPU時代,如果出現阻塞性任務,CPU就會處于等待階段,CPU的算力就會被浪費,多線程技術利用時間片劃分,將CPU的能力充分發揮,這是軟件技術;

      ◆多核CPU時代,多線程如何充分利用多核,也得需要軟件調度,方能有效運轉;

      ◆多路CPU時代,則需要通過軟件考慮CPU與內存的協同,有效利用多個CPU,內存等資源;

      ◆當然多線程也并不能充分發揮CPU的能力,還需要能夠確保軟件實現的代碼,在CPU執行時,流水線真正流動起來。

      一、鯤鵬BoostKit加速庫全景

      1.1 鯤鵬加速庫最佳解決方案

      加速庫實際上更偏向底層,介于硬件資源和解決方案之間。隸屬于基礎軟件這一層,對上應用于各種解決方案,比如大數據、分布式存儲、數據庫等等這些解決方案。從而支撐這些解決方案于政府、運營商、金融等其他領域。對下可以適配主流的操作系統比如openEuler、CentOS等等,通過充分發揮硬件的能力,或者內嵌于操作系統,以及單獨作為一個函數庫去支撐解決方案,提升解決方案的性能,最終提升客戶的性價比。也就是說不需要去一直增加這個硬件的配置,一直加購硬件資源提升計算機的性能。

      1.2 鯤鵬BoostKit是什么?

      鯤鵬應用使能套件BoostKit,釋放倍級性能優勢

      BoostKit是部署在鯤鵬整機(服務器)環境之上,往上搭建的一個全棧優化的使能套件。具體結構如下圖所示:

      硬件是算力供給,軟件的性能是一種算力的釋放。如何充分釋放硬件算力潛能,實現應用軟件的極致性能,是當前業界面臨的主要挑戰之一。

      1.3 鯤鵬Boostkit八大應用場景

      鯤鵬應用使能套件 BoostKit,釋放倍級性能優勢,提供八大場景化應用使能套件:大數據、分布式存儲、數據庫、虛擬化、ARM原生、Web/CDN、NFV和HPC。

      目前鯤鵬BoostKit已應用于重點行業的核心業務場景,幫助客戶應用取得顯著的性能加速效果。例如我們在廣東政務云的應用實踐中,采用的就是鯤鵬BoostKit使能套件在鯤鵬平臺上,通過華為云平臺,國產數據庫的全棧優化,實現應用支持庫查詢性能,提升15%以上;在銀行的核心應用系統實踐中,鯤鵬BoostKit對于鯤鵬服務器+銀河麒麟服務器操作系統V10,國產數據庫全面優化,提升賬單查詢性能30%,已經上線并服務于十萬以上的用戶。

      未來,我們將持續與各行業客戶、伙伴一起基于鯤鵬BoostKit加速各行業的業務軟件,進行持續的業務方案創新。當然,華為鯤鵬BoostKit的創新也不止這八大應用場景,其他的應用場景我們也可以一起共同探討。

      鯤鵬加速庫整體介紹:

      鯤鵬加速庫:對軟件基礎庫做深度性能優化,構建常用軟件庫在鯤鵬平臺上的性能競爭力,硬件加速+軟加速庫,現已完成18個加速庫,是基于鯤鵬平臺指令優化和軟硬件結合的加速技術。

      備注:KAE (Kunpeng AcceleratorEngine)鯤鵬加速引擎;HPRE(High Performance RSA Engine)高性能RSA加速引擎;SEC(Security Engine)硬件安全加速引擎。

      華為鯤鵬計算加速庫是華為公司圍繞鯤鵬處理器進行性能優化后的軟件集合的統稱,鯤鵬BoostKit加速庫提供基于ARM指令深度優化和基于鯤鵬KAE(鯤鵬硬件加速引擎)開發的加速庫,覆蓋系統庫、壓縮、加解密、媒體、數學庫、存儲、網絡等7類加速庫,為大數據加解密、分布式存儲壓縮、視頻轉碼等應用場景提供高性能加速。

      1.壓縮

      使用鯤鵬硬件加速模塊或鯤鵬指令對業界主流的開源壓縮庫進行性能優化。

      2.加解密

      使用鯤鵬硬件加速模塊及鯤鵬指令對OpenSSL庫進行性能優化,支持硬加速與指令加速的自動協同、應用邏輯無需修改即可使用加解密加速庫。

      3.系統庫

      基于鯤鵬微架構特點,使用鯤鵬指令對系統通用的基礎庫進行性能優化,以及x86平臺的指令函數映射到鯤鵬平臺的公共模塊。

      4.媒體

      基于鯤鵬加速指令提供高性能媒體原語庫及視頻編解碼庫。

      5.數學庫

      基于鯤鵬微架構特點以及鯤鵬加速指令,提供常用的高性能基礎數學庫。

      6.存儲

      采用高速緩存盤配合高效的預取算法,提升系統存儲IO性能,進而提升存儲IO密集型場景的整體性能。

      7.網絡

      基于鯤鵬架構特點,提供TCP/IP和OVS網絡加速技術。

      二、鯤鵬BoosKit加速引擎介紹

      2.1 鯤鵬BoostKit KAE加速引擎介紹

      鯤鵬加速引擎是基于鯤鵬920處理器提供的硬件加速解決方案,包含了KAE加解密和KAEzip,分別用于加速SSL/TLS應用和數據壓縮,可以顯著降低處理器消耗,提高處理器效率。此外,加速引擎對應用層屏蔽了其內部實現細節,用戶通過OpenSSL、zlib標準接口即可以實現快速遷移現有業務。

      面向社區開源使能:

      ?兼容OpenSSL和Zlib標準接口, 應用層調用邏輯無需調整,使用簡單

      ?基于華為自研UACCE加速器內核框架, 避免傳統內核調用方式的路徑損耗

      ?驅動在鯤鵬社區開源,用戶下載源碼自行編譯使用

      ?支持SR-IOV直通,支持虛擬化&容器場景下硬件加速

      2.2 鯤鵬BoostKit KAE加速引擎使能

      KAE使能及調用流程:

      1. BMC子系統管理KAE加速系統的License,當系統初始化時,BMC將License傳遞給BIOS系統。

      2. BIOS子 系統解析License信息,并根據解析結果對芯片加速子系統進行使能控制,并上報加速器ACPI表到內核。

      3. 上層應用基 于OpenSSL/zlib加速庫調用鯤鵬加速引擎, 并通過寄存器操作調用芯片加速子系統。

      2.3 鯤鵬BoostKit KAE技術規格

      KAE加解密是鯤鵬加速引擎的加解密模塊,使用鯤鵬硬加速引擎RSA/SM3/SM4/DH/MD5/AES算法,結合無損用戶態驅動框架,提供高性能對稱加解密、非對稱加解密算法能力,兼容OpenSSL 1.1.1a及其之后版本,支持同步&異步機制。

      目前主要支持以下算法:

      ? 摘要算法SM3/MD5,支持異步模型。

      ? 對稱加密算法SM4,支持異步模型,支持CTR/XTS/CBC/ECB/OFB模式。

      ? 對稱加密算法AES,支持異步模型,支持ECB/CTR/XTS/CBC模式。

      ? 非對稱算法RSA,支持異步模型,支持Key Sizes 1024/2048/3072/4096。

      ? 密鑰協商算法DH,支持異步模型,支持Key Sizes768/1024/1536/2048/3072/4096。

      2.4 鯤鵬BoostKit KAEzip壓縮庫大數據應用場景

      ? 某客戶原有大數據平臺架構基于開源HDP

      ? 采用BoostKit KAEzip加速庫實現Gzip壓縮加速:提升HDFS壓縮性能80%+

      ? 基于開源HDP大數據平臺,整體性能提升30%+

      在“新基建”下,大數據等關鍵技術高速發展,對關鍵參數及相關組件的調整,使作業運行效率達到最優。聚焦大數據查詢效率低、性能優化難等挑戰,提供大數據組件的開源使能和調優、IO智能預取等基礎加速軟件包、Spark算法加速庫等應用加速軟件包,開源openLooKeng查詢引擎,提升大數據分析效率。

      了解詳情:https://www.hikunpeng.com/developer/boostkit/big-data

      2.5 鯤鵬BoostKit KAE加解密Web應用場景

      聚焦Web應用HTTPS連接性能和Web開源組件可用性等問題,提供開源Web組件使能調優指南,通過使能鯤鵬RSA加速引擎,幫助客戶提升Web網站的安全性,并實現用戶HTTPS訪問的極致體驗。

      鯤鵬BoostKit Web遵循開放式架構標準,支持所有開源的Web組件,并根據具體Web組件特點,提供了良好的場景適用性。鯤鵬BoostKit Web軟件堆棧如下圖所示:

      鯤鵬BoostKit Web支持所有開源的Web應用,具有安裝部署簡單,系統配置方便的特點,結合華為鯤鵬920處理器提供的多核架構和鯤鵬加速引擎,能夠提供更加卓越的高并發處理能力。主要價值如下:

      1.開放生態

      鯤鵬BoostKit Web對常用的C/C++/C#、Java、Python、Perl、PHP、Go等語言開發的開源Web應用及框架有較好的支持,同時對東方通和金蝶天燕、中創中間件和寶蘭德等商業Web應用也做了適配支持,當前主要完成了如下開源Web應用的移植和調優,已在鯤鵬社區開放。

      2.高性能

      基于華為鯤鵬920處理器提供的鯤鵬加速引擎,可以實現HTTPS協議處理中RSA2048非對稱加解密算法的硬件卸載,大幅降低CPU資源占用,HTTPS處理性能相比軟件計算提升1倍,可以釋放更多CPU用于業務處理。

      基于華為鯤鵬920處理器的多核架構和多核調度優化算法,使得具有高并發、低時延、計算密集特點的Web應用性能提升明顯。

      3.使用簡單:

      安裝部署、性能優化簡單,運維容易:

      【云駐共創】鯤鵬應用使能套件之KAE加速引擎讓數據加密更安全

      簡化安裝:所有Web組件都提供移植安裝指導及一鍵式安裝腳本,安裝方便。

      性能優化簡單:所有Web組件均提供性能調優指導及一鍵式調優腳本,通過調優可以充分發揮鯤鵬處理器的性能。

      4.部署靈活

      鯤鵬BoostKit Web支持業內所有安裝部署方式:物理機、虛擬機和容器部署,在滿足客戶靈活的業務需求的同時,提供卓越的計算能力。

      三、鯤鵬BoostKit軟加速庫介紹

      3.1 鯤鵬BoostKit軟加速庫技術規格

      BoostKit 可分為三種類別:

      ? ARM 支持的加速庫 :開源社區提供 ARM 支持的加速庫,在鯤鵬平臺完成驗證

      ? 硬加速庫 ( 基于 KAE) :提供領先業界的性能加速能力 ,包含 ZIP( 硬加速 - 壓縮 ), HPRE( 硬加速 - 非對稱加解密 ),SEC( 硬加速 - 對稱加解密 )

      ? 軟加速庫 : 基于鯤鵬指令深度優化的加速庫 ,并向開源社區開放

      基礎加速軟件包:

      覆蓋4個子系統的性能優化方法、7類加速庫和3大優化方向的加速算法。

      了解詳情:https://www.hikunpeng.com/zh/developer/boostkit/library

      3.2 Hyperscan典型場景性能加速效果

      這是一款高性能的正則表達式匹配庫,大量高效算法及SIMD指令的使用實現了高性能匹配?;诠倬W5.2.0版本優化,使用ARM Neon指令加速。使用數據預取、分支預測、結構重排及循環展開等多種優化手段實現加速。

      應用場景:

      [場景1:正則表達式編譯預置]

      正則表達式規則由集成使用Hyperscan的應用負責配置導入,考慮到性能問題,采用在初始化階段導入并編譯解析并緩存。

      [場景2:塊模式匹配]

      適用于對一-段現成的完整數據進行匹配,匹配結束即返回結果。

      [場景3:流模式匹配]

      流模式是網絡場景下跨報文匹配設計的特殊匹配模式。

      3.3 鯤鵬加速庫-壓縮庫(Snappy/ZSTD/GZIP)性能加速效果

      Snappy: Google基于LZ77的思路用C+ +語言編寫的快速數據壓縮與解壓程序庫。

      ZSTD: FaceBook開源到壓縮庫,同時兼顧壓縮比、性能的壓縮庫,壓縮比領先傳統的deflate算法。

      gzip:基礎壓縮軟件,用于文件的無損壓縮,基于deflate算法實現。

      使用鯤鵬920的CRC以及預取指令,可實現壓縮和解壓的性能提升。

      保持snappy/ZSTD/gzip已有接口、 功能規格不變的情況,提升壓縮和解壓速度,不會影響各個level的壓縮及解壓結果。

      3.4 鯤鵬BoostKit數學庫(Kunpeng Math Library)

      KML 是基于華為鯤鵬處理器的高性能數學計算加速庫,提供了基于鯤鵬平臺優化的數學函數,由基礎線性代數庫( KML_BLAS )、稀疏線性代數庫( KML_SPBLAS )、向量運算庫( KML_VML )、基礎數學庫( KML_MATH )、快速傅里葉變換庫( KML_FFT )等五個子庫組成,可根據業務需求集成使用。

      在保證數學運算精度的同時,KML_FFT基于鯤鵬架構,通過向量化、算法改進,對快速離散傅里葉變換進行了深度優化,使得快速傅里葉變換接口函數的性能有大幅度提升。KML_FFT與開源FFTW相比,性能提升約有1倍。

      廣義上的數學庫是指提供高性能標量、矢量計算的數學函數接口庫,常見的數學庫有英特爾數學內核庫(Intel Math Kernel Library,以下簡稱Intel MKL)及一些開源數學庫。鯤鵬數學庫(Kunpeng Math Library,以下簡稱KML)提供了基于鯤鵬平臺優化的高性能數學函數。當用戶將使用數學庫函數的應用程序遷移到鯤鵬計算平臺時,由于不同計算平臺或不同數學庫的函數定義差別,需要對程序重新適配開發。針對該問題,我們提供了鯤鵬數學庫遷移指南。

      指南中包含將Intel MKL中的一些數學庫遷移至KML的步驟(參見Intel MKL遷移到KML ),包括MKL的VML至KML_VML,MKL的BLAS至KML_BLAS等,同時也包含一些常用庫遷移至KML的步驟(參見其他常用數學庫遷移到KML )。通過遷移,用戶可以在鯤鵬計算平臺獲得比一般開源數學庫更優的計算性能。

      3.5 鯤鵬BoostKit HMPPS信號庫

      Hyper Media Performance Primitives,華為自研高性能媒體性能原語庫,包括圖像處理HMPPI函數庫以及信號處理HMPPS函數庫兩個子庫,適配多個操作系統,提供函數API,應用于運動跟蹤、雷達信號、圖像分析、視頻增強、AI加速、醫學掃描、通信工程等諸多行業。目前已經完成信號庫HMPPS完成1000+個函數接口開發。

      設計規劃共約有1700個函數,目前完成1000+個函數接口開發包括以下方面:

      1. 實現了 內存操作與數據校準的功能,內存操作包含拷貝、初始化等函數;

      2. 實現了向量的運算操作,包括算術、轉換、統計和窗運算等

      3. 提供向量的中值濾波功能

      4. 實現固定向量精度功能,包括求向量元素幕次方功能

      5. 實現信號的快速傅里葉變換等

      3.6 鯤鵬BoostKit HW265視頻編碼性能數據

      HW265 視頻編碼器是符合 H.265/HEVC 視頻編碼標準、基于鯤鵬處理器 NEON 指令加速的華為自研 H.265 視頻編碼器。它是用于編碼符合高效率視頻編碼(HEVC/H.265) 標準的影片的開源自由軟件及函數庫。

      ? HW265 8bit 標準版實現相比 X86 開源 X265 有 1 ~ 5 倍的性能優勢 。

      ? HW265 8bit 高清低碼版實現平均 50% 的碼率節省 。

      ? 極致壓縮 High Quality

      3fps, 適用于熱門影片 / 短視頻等場景

      ? 通用編碼 Balance

      25fs, 適用于 OTT 點播場景

      ? 快速編碼 Speed

      60fps, 適用于秀場,游戲,在線教育等場景

      ? HW265 提供視頻編碼庫,可集成到 FFmpeg 開源轉碼框架中。

      ? 保持x265_上層接口、功能規格不變的情況,提升視頻編碼速度,不改變原來各個軟件層的框架與邏輯。

      ? 使用arm v8的Neon矢量匯編指令,對x265的底層算子進行優化,提高整體性能。

      優化X265轉碼核心算子,平均性能提升13%+

      ? 代碼開源,已回饋開源社區

      四、鯤鵬BoostKit IO智能預取介紹

      4.1 BoostKit IO智能預取方案介紹

      智能預取技術,是指利用小容量的高速存儲介質作為緩存盤,把預測可能被訪問到的IO數據提前放入緩存盤中,下次直接從高速緩存中獲取數據,可以顯著的改善系統整體的存儲IO性能。 鯤鵬 BoostKit分布式存儲通過IO智能預取技術,創新性的采用高速緩存盤配合高效的預取算法,提升系統存儲IO性能,進而提升存儲IO密集型場景的整體性能,使存儲性能提升20%。

      如智能預取用例視圖所示,華為Bcache作為虛擬塊設備驅動運行在Linux內核態,預取引擎acache_ client作為獨立進程運行在用戶態。

      華為Bcache托管了緩存盤與后端主存盤,并對.上層應用提供了統-虛擬存儲盤作為訪問入口。

      用戶的目標系統安裝了華為Bcache與acache client后,需要配置Bcache (緩存盤與后端盤配對)。然后上層應用直接訪問的磁盤存儲路徑,適配為Bcache設備路徑即可。

      應用本身無需任何代碼修改、編譯,對智能預取無感知。

      方案背景:

      分布式存儲、大數據等解決方案中的大量場景,訪問I0存儲器(硬盤、SSD) 的性能(帶寬延遲、IOPS),對整體性能影響明顯。

      智能預取加速方案,創新性的采用小容量的高速緩存盤配合高效的預取算法,提升系統存儲1O性能,進而提升上述場景的整體性能。

      方案設計:

      本方案采用Linux內核虛擬塊設備驅動華為Bcache加用戶態智能預取引擎的整體架構。驅動層與預取引擎松耦合,應用對智能預取整體框架無感知。

      4.2 大數據場景I0智能預取部署與典型收益

      部署方式:

      大數據場景HDFS訪問的底層磁盤設備適配為Bcache設備,緩存盤可選擇Ramdisk與NVME SSD兩種介質形式。

      硬件配置建議:

      以每節點原生配置12個SATA HDD盤為例,Ramdisk建議配置12GB (每個HDD配置1GB Ramdisk作為緩存盤),SSD容量建議配置1個1.6TB NVME SSD。

      性能收益小結:

      上述性能收益數據采用基本硬件配置為鯤鵬920 48核*2 + 384GB Dram,硬盤采用希捷8T ST8000NM0055-1 RM112-177。

      智能預取存儲庫基于Linux原生Bcache進行了增強,通過智能預取算法引擎對用戶IO請求信息進行分析及預測,根據預測結果進行存儲IO配置的自動優化,并指導Bcache更智能進行數據的預取,從而可以實現:

      ? 大數據平臺各應用場景下存儲IO免配置性能最優。

      ? 上層大數據組件應用無感知。

      ? 提升數據命中率,增強磁盤讀取性能。

      ? Spark、HBase在存儲IO密集型場景的應用性能可提升10%~20%。

      智能預取存儲庫適用于大數據中磁盤IO密集型應用,因使用時需要對數據盤做格式化并綁定緩存盤,因此僅適用于在新建集群時使用。

      具體適用的應用場景如下:

      ? HBase順序讀場景(組網25GE)。

      ? Spark磁盤IO密集型場景(Spark SQL采用Parquet/ORC格式不適用)。

      4.3 分布式存儲場景IO智能預取部署與典型收益

      部署方式與硬件配置建議:

      分布式存儲場景均衡型服務器,原有推薦配置已經使用了NVME SSD作為緩存盤的Bcache方案。智能預取存儲1O加速庫只需部署到目標系統即可,硬件、軟件配置均無需做任何修改。

      平臺典型配置信息:

      服務器:TaiShan vs x86

      CPU: 2*鯤鵬920 3210

      內存: 8 * 16G DDR4

      系統盤: 2 * 480G SATA SSD

      Cache盤:1 * 3.2TB NVMe SSD

      數據盤: 12* 8TB SATA HDD

      網絡: 2* 25GE, 2* GE

      五、鯤鵬BoostKit加速庫信息獲取

      5.1 鯤鵬BoostKit加速庫獲取方法

      1、初識BoostKit

      BoostKit整體介紹:

      https://www.hikunpeng.com/developer/boostkit

      2、了解方案整體能力

      BoostKit大數據整體介紹:

      https://www.hikunpeng.com/developer/boostkit/big-data

      3、進階知識&成長

      BoostKit文檔:

      https://support.huaweicloud.com/wtsnew-kunpengbds/index.html

      BoostKit大數據成長地圖:https://support.huaweicloud.com/kunpengbds/kunpengbds.html

      4、實踐交流平臺:

      https://bbs.huaweicloud.com/forum/thread-143349-1-1.html

      使能開源的同時,鯤鵬BoostKit還持續貢獻開源,將眾多關鍵的性能優化成果回饋至開源社區。目前鯤鵬BoostKit已有190+關鍵Patch包、14項關鍵特性例被開源社區采納。

      鯤鵬BoostKit向C語言庫Glibc 2.31版本提交了重要的優化Patch,使得memcpy, memcmp, memchr, strcpy,strlen等常用函數在鯤鵬和ARM平臺上的性能提升超過20%,并讓眾多以C語言為編程語言的軟件受益。

      鯤鵬BoostKit向MariaDB 10.6版本,提供鎖優化、NUMA Aware、Global Counter等關鍵優化改進,實現MariaDB數據庫在鯤鵬和ARM平臺的性能提高超過40%。

      5.2 開發者貢獻方法

      Github鏈接: https://github.com/kunpengcompute/Kunpeng

      如果您有任何疑問或意見,也請您在Github上創建問題。

      如果您希望直接聯系鯤鵬計算團隊,您也可以發送 電子郵件 給 kunpengcompute@huawei.com 。

      總結

      面向多樣性計算時代,華為全面開放鯤鵬全棧能力,分享多樣性計算工具套件:鯤鵬應用使能套件Kunpeng BoostKit和鯤鵬開發套件Kunpeng DevKit,加速產業創新,使能極簡開發,攜手伙伴一起構建鯤鵬計算產業生態。本系列課程主要針對鯤鵬開發者及ISV合作伙伴,幫助您快速了解BoostKit鯤鵬應用使能套件支持下的8大場景的最佳能力和實踐、鯤鵬全研發作業流程工具套件Kunpeng DevKit和鯤鵬基礎軟件開源等相關內容,與全球開發者一起共同點亮多樣性計算新時代。

      注:本文整理自【內容共創系列】之【鯤鵬應用使能套件】KAE加速引擎讓數據加密更安全

      查看活動詳情:https://bbs.huaweicloud.com/blogs/298594

      數據加密服務 鯤鵬

      版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。

      版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。

      上一篇:比IF好用10倍,Median函數來了!
      下一篇:excel排名函數(Excel排名函數快捷鍵)
      相關文章
      亚洲 欧洲 日韩 综合在线| 亚洲精品你懂的在线观看 | 中文字幕一精品亚洲无线一区| 亚洲综合色一区二区三区| 亚洲精品高清国产一久久| 精品亚洲永久免费精品| 亚洲精品狼友在线播放| 国产亚洲精品AA片在线观看不加载| 亚洲中文字幕伊人久久无码| 日韩精品电影一区亚洲| 国产亚洲精品第一综合| 亚洲精品国产精品乱码不卞 | 亚洲国产超清无码专区| 亚洲大香伊人蕉在人依线| 亚洲精品一区二区三区四区乱码| 亚洲精品高清久久| 亚洲婷婷综合色高清在线| 性xxxx黑人与亚洲| 亚洲狠狠婷婷综合久久蜜芽| 亚洲第一街区偷拍街拍| 色偷偷亚洲男人天堂| 亚洲精品老司机在线观看| 爱情岛论坛网亚洲品质自拍| 亚洲人成色7777在线观看| 亚洲AV区无码字幕中文色| 亚洲视频一区二区三区| 亚洲不卡视频在线观看| 亚洲午夜福利在线视频| 自拍偷自拍亚洲精品偷一| 亚洲精品和日本精品| 精品国产_亚洲人成在线高清| 亚洲视频在线观看一区| 亚洲国产精品综合久久2007| 亚洲成年网站在线观看| 在线观看国产一区亚洲bd| 国产自偷亚洲精品页65页| 亚洲AV无码成人网站久久精品大| 综合自拍亚洲综合图不卡区| 亚洲一区在线视频| 激情小说亚洲图片| 亚洲人成精品久久久久|