華為云OBSA-HDFS組件正式進入Hadoop社區

近日，華為云OBS對象存儲服務OBSA-HDFS組件代碼完成了開源社區同行評審，已經正式合入Apache Hadoop社區，標志華為云存算分離大數據方案正式獲得社區認可，客戶可以通過社區獲取最新的OBSA-HDFS組件版本，快速在華為云完成大數據平臺的部署和使用。

OBSA-HDFS組件全稱為HuaweiCloud OBS Adapter for Hadoop Support，利用OBSA-HDFS，客戶可以在華為云上快速部署存算分離的Hadoop大數據平臺，無需修改代碼即可完成Spark、MapReduce、Hive、HBase等組件與華為云OBS對象存儲服務的對接，并獲得高性能的HDFS存儲。

當然，除了客戶端組件外，華為云OBS在服務端的Data Multi-Protocol功能為達成存算分離提供了技術保證。傳統的對象存儲服務不支持原生的文件協議，導致大數據場景下的rename需要通過拷貝和刪除兩個操作組合來完成，更無法對文件目錄進行修改，而拷貝操作會消耗寶貴的IO資源且時延較高。

華為云OBS的Data Multi-Protocol支持POSIX文件語義，通過對元數據結構和操作的雙重優化，可快速完成文件的rename。經過測試，在大數據場景下，對100MB文件進行rename操作，華為云OBS比傳統對象存儲性能提升10倍以上。

憑借著數量級的性能提升，華為云BigData Pro存算分離大數據解決方案使用OBS替代Hadoop的本地HDFS存儲，讓計算資源和存儲資源完全解耦，獨立擴容，讓大數據分析的性價比平均提升35%以上。更可以構建云上統一數據湖，消除數據孤島、降低數據共享難度、減少數據冗余、提升數據使用效率。

當前，華為云BigData Pro解決方案已經服務于斗魚、美圖、蘑菇街、貨拉拉和長虹等行業知名客戶。

未來，我們也將為Hadoop在公有云場景下的效率提升而持續努力。

Hadoop是Apache基金會的頂級項目，也是業界領先且使用最廣泛的分布式系統框架，用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。

HDFS是Hadoop實現的分布式文件系統（Hadoop Distributed File System），為海量數據提供高吞吐量、高擴展、高可靠和高容錯性的存儲。

從2006年成立以來，Hadoop改變了企業對數據的存儲、處理和分析的過程，形成了一個極其豐富的技術生態圈。

Hadoop 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。