華為云FusionInsight助力宇宙行打造金融數據湖新標桿

工商銀行作為數字金融的領導者，踐行“科技引領，創新賦能”的發展理念，持續提升工行金融服務實體經濟的能力。工商銀行和華為開展聯創工作，引入了華為云FusionInsight智能數據湖，搭建了自主可靠的大數據平臺，解決了大數據全場景生態化應用的存儲、算力和算法挑戰，支撐了工商銀行企業級數據湖、數據倉庫、集團信息庫的建設，數據智能服務由事后快速演進到事前、事中的階段。

【業務挑戰】

傳統大數據存儲計算耦合，TCO高

工行之前使用傳統大數據的三副本存儲性價比低，往往10PB的存儲空間，有效容量僅3PB；同時存在存儲、計算等資源不均衡，往往存儲利用率超過70%，但CPU利用率不足50%，擴容時需要計算、存儲資源一起擴容，存在資源浪費現象。

湖倉數據割裂，產生數據孤島，協同分析難

工行內部使用SAS等工具通過HiveQL訪問數據湖數據性能差，平均響應時間5分鐘~2小時，并發能力不足（<10并發）。湖倉數據割裂，關聯分析需要通過繁雜的ETL任務，將數據加工后加載到OLAP集市，數據鏈路長，分析效率和開發效率都很低。

平臺升級需中斷，缺少平滑演進能力

工行大數據平臺的Hadoop批量集群已超過1000節點，日均處理作業10萬+，數據存儲數十PB，承載了全行重點批量作業，其中包括反欺詐、精準營銷等多個重要業務場景，服務連續性需求較高。而大數據技術迭代快，傳統升級方式需斷電、重啟等操作，升級操作復雜，影響現網業務運行，且大集群升級耗時長，突發故障易中斷升級動作。

【解決方案】華為云FusionInsight MRS云原生數據湖助力構筑金融大數據平臺

工行采用了華為云FusionInsight MRS大數據存算分離方案，實現了大數據平臺與OBS對象存儲服務的對接，將原有的HDFS數據無縫遷移到OBS上。在保證性能的前提下，實現了計算與存儲獨立按需擴容，輕松應對業務浪涌，提升資源整體利用率。華為獨有的Flex-EC技術將副本率降低至1:1.25，存儲資源優化提升2.4倍。

工行大數據平臺承載了總行和200+分支行的數據，為了解決數據分布散、協同難等問題，降低金融分析師的用數難度，工行采用了華為云FusionInsight MRS 的HetuEngine服務，通過HetuEngine引擎實現跨地市的協同計算，一個SQL連接就可以訪問全部數據源，直接做碰撞分析，實現湖倉互聯互通協同分析，避免不必要的ETL流程，減少數據搬遷

大數據技術快速發展，為滿足業務變化發展需求，工行采用了華為云FusionInsight MRS 滾動升級方案，借助于Hadoop核心組件的高可用機制， MRS按照依賴層次，多層次并行，在不影響集群整體業務的情況下，一次升級/重啟少量節點，依據組件和實例的依賴關系，自動編排升級批次。升級過程中，隔離故障節點，待升級完成后，再進行故障處理。循環滾動，直至集群所有節點升級到新版本。

【客戶價值】

MRS存算分離方案，TCO降低60%

計算/存儲解綁定，精準投資，靈活擴展，計算資源利用率提升30%+，存儲資源利用率提升100%+，TCO降低60%。統一數據存儲底座，多個計算集群共享同一份數據，降低業務規劃、擴容、維護難度，提供百億文件EB級擴展能力。

HetuEngine跨源跨源協同

使用華為云自研框架HetuEngine，大幅度降低計算資源浪費，僅原1/5的硬件資源即可支持45+并發，跨源跨源協同分析性能提升至秒級，兼容99% Hive語法，應用無縫遷移。

MRS滾動升級實現架構平滑演進，業務0中斷

通過華為云FusionInsight滾動升級能力，實現大集群分批次滾動升級，業務0中斷；故障節點隔離功能確保升級動作的穩定運行，實現7*24小時不間斷服務；1000+精細化運維指標及可視化操作簡化運維，實現一個架構持續演進。

未來為滿足工行業務高速發展需求，工行金融數據湖規模將達3000+節點，滿足工商銀行批處理、流處理、交互式分析等大數據應用場景, 進一步提升數據洞察能力和基于場景的數據挖掘能力，充分釋放大數據作為基礎型戰略資源的核心價值。

FusionInsight 金融專區

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。