大數據“復活”記
669
2025-03-31
【備注】之前的內容,但仍然值得分享。
近日,在深圳舉辦的ArchSummit全球架構師峰會上,華為GaussDB生態與標準CTO王偉民分享了大數據場景下華為GaussDB的數據處理實踐。
在數據爆炸式增長的時代,企業在進行海量數據分析與處理時面臨四大挑戰:
●極致的彈性擴縮容能力,滿足海量數據處理需求;
●系統具備極高的可用性,滿足7 * 24 * 365不間斷持續運營訴求;
●具備實時性分析能力,對服務體驗、精準的個性化服務要求不斷提高;
●基礎平臺必須對應用開發友好,易管理易運維,滿足業務創新加速,且在運維運營、變更等方面具有可視化、智能化能力。
面對這些挑戰,王偉民重點介紹了GaussDB的架構和關鍵特性,并通過三大案例介紹了GaussDB如何應對海量數據場景下面臨的挑戰、所應用的關鍵技術以及產生的業務價值。
PB級金融數倉遷移
GaussDB支撐某大行利用分布式數倉對傳統架構數倉進行改造,向云化演進。該行的企業數據集成系統、企業數據倉庫系統均采用商業一體機解決方案,另有數十個面向不同主題的數據集市。
由于數據規模及計算能力的要求,本系統當前已達240節點。大集群組網是分布式系統的一大關鍵挑戰,GaussDB通過TCP多流鏈接共享技術,突破了物理端口限制;同時整個集群采用了“Fat-Tree”組網,來消除集群內上行、下行帶寬瓶頸。
針對每日新增TB級數據的需求,GaussDB提供并行數據加載工具(GDS)提高數據加載速度。優化后單DN加載速度可達30MB/s,集群可達到TB/h (視DN數有關)。極致的加載速度是遷移PB級數據的關鍵能力,GDS并行加載性能業界領先,得到客戶高度認可。
面對企業數倉規模不斷擴大的需求,GaussDB能夠實現按需擴展,滿足業務增長對存儲和性能的要求,降低TCO。2018年9月,GaussDB成功實現跨園區數據無損搬遷。2018年12月,原數據倉庫系統100%搬遷。2019年6月30日,原數據倉庫全部下線。
平安城市多源數據、異構融合分析
GaussDB支撐某平安城市場景,該場景存在三大挑戰:多類型數據分析平臺孤立建設,數據分散,無法拉通分析;受限于成本和架構,且隨著數據量增加,擴容成本高;應對突發事件,需要實時對相關數據進行取證,已有系統交互分析響應時間長。因此,亟需具備高性價比、彈性可擴展、支持交互分析的平臺。
在平安城市典型的“套牌車分析”場景中,某市有數千個智能卡口,集中存放約6000萬過車記錄。GaussDB在MPP并行計算框架基礎上,利用列存向量化技術,可以秒級完成套牌車分析。
平安城市中涉及到多源融合分析場景。GaussDB的SQL On Anywhere特性可實現不搬遷Hadoop原有數據即可使用數倉的分析能力。
“以圖搜圖”是平安城市的重要應用場景,GaussDB利用CPU/GPU異構加速分析,實現秒級“以圖搜圖”。
極致高可用在線交易
“分布式在線交易數據庫”在新金融下的應用實踐。某零售銀行的業務模式從“網上銀行”過渡到“App銀行”時代。App銀行的月活躍用戶在8000萬~1億,為保證海量用戶的體驗,零數據丟失及高可用非常關鍵。
首先,業務關鍵型負載通常希望7 * 24不間斷服務,實現99.995%或99.999%的SLA,這意味著系統在零數據丟失前提下RTO盡可能小。GaussDB通過在同AZ(可用區)內的獨立服務器或備機上設立全局緩沖池。在故障切換時,備庫通過訪問全局緩沖池而不是磁盤獲取數據頁面進行前滾,大幅降低RTO。
其次,當前金融系統普遍采用“同城生產及應急、異地容災”的兩地三中心架構,以滿足監管要求。GaussDB引入了Paxos協議,用于分布式多副本的一致性保障,一致性仲裁決策路徑短,效率高。
三個真實業務案例,充分展示了GaussDB在PB級融合數倉、多模異構分析、極致高可用交易數據庫的能力,助力金融、平安城市等各行業客戶實現業務創新。
截至目前,華為GaussDB數據庫已經應用于全球60個國家及地區,服務于1500多個客戶,擁有500多家商業合作伙伴,并廣泛應用于金融、運營商、政府、能源、醫療、制造、交通等多個行業。根據數據中心聯盟新近發布的第八批大數據產品評測結果,華為GaussDB率先通過了512節點分布式分析型數據庫基礎能力評測。
【備注】轉自本人微信公眾號“數據庫那些事兒”,歡迎大家關注。
GaussDB
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。