大數據“復活”記
1006
2025-03-31
前言
既然是初識GaussDB? DWS,那就要首先介紹一下什么是GaussDB? DWS。 這要先說DWS,全稱為Data Warehouse Service,即數據倉庫服務,這是一種基于公有云基礎架構和平臺的在線數據處理數據庫,提供即開即用、可擴展且完全托管的分析型數據庫服務,依托云服務的興起而逐步發展壯大,廣泛應用于金融、車聯網、政企、電商、能源、電信等多個領域,已連續兩年入選Gartner發布的數據管理解決方案魔力象限,相比傳統數據倉庫,性價比提升數倍,具備大規模擴展能力和企業級可靠性(參考自華為官方數據倉庫服務DWS文檔)。
那什么又是GaussDB? DWS?是華為云國產數據倉庫產品,華為傾力打造的一款尖刀產品,已歷經十年磨煉,是業界領先的企業級云分布式數據倉庫服務,2017~2019連續三年Gartner象限中國廠商No.1(參考華為云官方微博7月1日發布內容),它基于華為自主研發的融合數據倉庫GaussDB產品的云原生服務,兼容標準ANSI SQL 99和SQL 2003,同時兼容PostgreSQL/Oracle數據庫生態,為各行業PB級海量大數據分析提供有競爭力的解決方案。來看看官方文檔中公布的DWS產品發展動態:
可以看到,短短兩年時間,DWS經過了快速迭代發展,發展勢頭強勁。
正文
產品架構
華為云DWS是基于Shared-nothing分布式架構,具備MPP大規模并行處理引擎,由眾多擁有獨立且互不共享系統資源的邏輯節點組成,業務數據被分散存儲在多個節點上,數據分析任務被推送到數據所在位置就近執行,并行地完成大規模的數據處理工作,實現對數據處理的快速響應。大體架構如圖(圖片來自官方文檔),主要面向的是需要處理海量數據分析的場景:
其本身基于云端,擁有云服務的優勢,作為數據倉庫,還有很多其他優勢,對于解決超大規模數據處理和管理很有幫助,具體優勢為(以下參考自官方文檔):
1.?易用性
基于數據庫服務,打造一站式服務,無縫銜接各個過程,對傳統MySQL、Oracle等兼容良好,支持一鍵遷移,十分方便快捷,極大降低了學習成本。相信這是華為結合行業使用中的痛點和難點,基于自身多年積累的經驗量身打造的,而且華為的產品感覺一向封裝良好,提供簡潔的調用接口,很少需要用戶去操作具體細節。
2. 高性能
全并行云化分布式設計,多線程并行運行,支持行列混合存儲,最大程度發揮硬件性能,提高硬件利用率,將效率展現到極致。關于性能這一點,我在華為云的ModelArts中是有體會的,在訓練模型的時候,強大的CPU和GPU加持對訓練加速很有幫助,而且華為云的云硬盤真的是性能不錯,比如NoteBook默認掛載的云硬盤,云硬盤要承受大量持續的讀寫,可能還有刪除操作,應該也是長時間通電使用,這對硬盤損耗還是較大的,但使用中感覺云硬盤速度還是挺不錯的,訓練中沒有拖CPU或GPU的后腿,當然這和整個算法流程設計也有關。
雖然這個ModelArts與這里的DWS關系不大,但是,通過ModelArts不妥協的高性能硬件配置,也能反映華為云的決心,相信DWS的硬件配置和軟件協同也是業界一流的。
3. 易擴展
這一點就是云服務的優勢了,按需拓展,根據實際業務情況,定制化配置資源,這真是人性化設計,相比于傳統的購買硬件建設本地數據庫,DWS可以根據業務要求,快速反應,準確出擊。此外,根據官方文檔介紹,擴容過程中支持數據增、刪、改、查,及DDL操作(Drop/Truncate/Alter table),表級別在線擴容技術,擴容期間業務不中斷、無感知。
這真是太棒了,不知不覺間,在不影響業務的情況下,很方便就能實現資源拓展,這在過去的傳統數據庫中應該是很難的。因為有云,華為云,這一切簡單起來了。
4. 高可靠
穩定壓倒一切,特別是對于企業用戶來說,如果因為系統不穩定,導致云端業務故障,甚至宕機,這不僅給客戶帶來很大影響,更給自身帶來巨大經濟損失和信譽損失。DWS通過分布式事務,主備備份保證,自動數據全量、增量備份,加密,全方位確保數據安全可靠。
5. 低成本
DWS按實際使用量和使用時長計費,以實際消耗資源為準,用多少花多少。同時,這無需在前期投入較多固定成本,完全可以從低規格的數據倉庫實例起步,以后隨時根據業務情況彈性伸縮所需資源,按需開支,減少因業務需要可能帶來的硬件設備采購的成本。
同時,DWS數據倉庫服務提供了專業高效的服務管理控制平臺,讓用戶自助完成數據倉庫的管理與維護,系統可用性高。用戶可以快速創建數據倉庫服務集群并開展業務,與華為云其他產品和服務實現高效聯動,比如可實現從對象存儲服務OBS中導入數據,打造完善生態圈,在文檔中提供了創建集群、連接集群并從OBS導入樣例數據的操作指導,幫助用戶快速上手數據倉庫服務,很貼心。
最后,奉上文檔鏈接,供大家參考:https://support.huaweicloud.com/wtsnew-dws/index.html
GaussDB數據庫 GaussDB
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。