數據虛擬化：從“收集”到“連接”的革命

1.數據虛擬化的誕生

在這個“信息爆炸”的時代，大數據已經成為這個時代的關鍵詞之一！隨著云計算、物聯網、移動計算、智慧城市、人工智能等領域日新月異的發展，人類社會已經步入了“信息高速路”的行駛軌道，數據量增長迅速，各類應用對大數據處理的需求也發生著變化。

與此同時，“久經沙場”的數據倉庫不再一統江湖，而以流、批處理、AI、數據探索、MapReduce等為代表的應用勢頭迅猛。數據已經滲透到每一個行業領域，逐漸成為重要的生產要素，這迫使大數據技術必須面對新的現實：數據規模越來越大，數據復雜度越來越高，數據多樣性越來越豐富，數據安全要求越來越嚴格。

傳統的數據集成技術正面臨著嚴峻的挑戰：應用各自為政，數倉互不相通，數據存放的格式和數據安全的管理都是煙囪式模型，無法跨業務集成和使用。在這種情況下，數據的可獲得性往往通過ETL來實現，這就造成了業務系統集成工作量巨大、安全系數低等多種困境。數據孤島現象突出，資源無法共享，利用率低。對于客戶或者應用而言，亟需數據融合，整合資源，消除數據孤島，從而滿足業務發展需求

數據虛擬化技術應運而生，它可以屏蔽數據的格式、地域、系統等屬性，最終為用戶呈現出統一的視圖。數據虛擬化能夠統一管理全域數據，并通過按需讀取所需數據的方式，實現數據的快速融合分析和可信管理。數據虛擬化不再是僅做數據的收集器，而是會走向數據連接，消滅數據煙囪。

目前從業界來看，數據虛擬化技術在未來將擁有非常好的前景。Gartner認為在2019年數據虛擬化將節省40%的數據集成成本，并預測到2020年將有50%的組織和企業采用數據虛擬化作為他們的數據集成技術，到2022年這個數據將變為60%（Gartner Market Guide for Data Virtualization，16 November 2018）。

Source: Gartner (September 2018)

根據Gartner的預測，在不遠的未來，將會有越來越多的企業通過引入數據虛擬化技術來應對和解決他們的大數據業務需求；與此同時多個研究分析機構或媒體對于數據虛擬化市場也持看好姿態，均預測在未來幾年數據虛擬化的市場將呈現非?？捎^的增長趨勢。

2.數據虛擬化的價值

傳統的大數據分析技術如ETL，更多的是以“數據收集”為法則，來實現對數據的處理并提供給上層應用進行分析。但在當前大數據領域的新局勢之下，客戶或者應用需要耗費大量的ETL開銷后才能使用數據，同時還要面對ETL本身非常復雜的開發過程。

與傳統ETL不同，數據虛擬化旨在實現從“收集”到“連接”的革命，通過連接數據實現數據全域統一管理。數據虛擬化具有為用戶提供實時獲取全面數據信息的能力，包括數據接入、數據治理、數據分析、數據檢索、數據追溯、數據云化等，這些能力使得當下很多行業的復雜數據服務場景都能夠被有效地應對并執行。

人們對于海量數據的運用預示著新一波生產率增長和消費者盈余浪潮的到來，因此在提供諸多數據服務能力的同時，數據虛擬化最終將為用戶帶來一系列的價值：

增加業務用戶的生產能力和效率升2倍以上；

減少開發資源，降低開發成本一半以上；

實時響應，更快的數據訪問過程，相對ETL提升30%以上；

3. HetuEngine——華為數據虛擬化引擎

HetuEngine，是華為打造的數據虛擬化引擎，具備數據虛擬化關鍵技術能力，能夠協助用戶打破數據壁壘，消滅數據煙囪，實現全域統一元數據和安全權限的統一管理，支撐端到端數據管理，快速實現數據價值。

河圖引擎HetuEngine命名源自“大禹得河圖后始見清明”；河圖寓意是華為做好數據湖基礎設施，讓“大禹”（合作伙伴和客戶）拿著開山斧，定海神針易于挖掘，治理數據，快速釋放數據價值。HetuEngine的理念與數據虛擬化技術一脈相承，核心在于連接數據而非僅僅是收集數據，它提供了一個接口、一份數據、一個目錄和統一安全等一系列的數據服務能力，

未來，華為將繼續圍繞“支撐端到端數據管理，快速實現數據價值”的理念，持續構筑數據虛擬化技術生態，不斷為客戶提供優秀的數據虛擬化解決方案。

大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。