解密：如何高效簡單，提升數據分析效能與價值?

正值618大促，小張遇到了一個棘手的問題，需要在一周內將公司近1年電商部門的營收和線下門店經營數據進行聯合分析。

這將產生哪些數據難題呢？

數據孤島：電商部門的數據存在數倉A、門店經營收入數據存在數倉B，如何便捷的進行多倉聯合分析？

PB級數據量：多電商平臺+全國線下門店每天將產生TB級數據量，年數據量高達PB級！

他在第一時間聯系了集團CTO，希望將各部門數據在一天內導出給他。

這時候，CTO犯難了：

公司現有的資源池可自如應對TB級數據量，而小張要的數據量粗略估計達到了PB級，大大超出了公司現有資源池承受范圍，只能以時間為代價導出；而為了不常見場景擴大公司資源池，整體的成本太高。

面對小張遇到的棘手問題，云湖湖推薦了一款華為云大數據查詢分析神器——數據湖探索(DLI)服務；一個DLI即可撬動EB級數據量聯合查詢，每CU僅需0.35元/小時（1CU=1Core4G Mem），1CU包月僅需150元。

數據湖探索(DLI)服務 2.0是完全兼容Apache Spark和Apache Flink生態的Serverless大數據計算分析服務，用戶僅需使用標準SQL或程序即可查詢分析各類異構數據源。

DLI是如何解決小張問題的呢？

DLI服務架構——Serverless

DLI是無服務器化的大數據查詢分析服務它的優勢在于:

01. 按量計費：真正的按使用量(掃描量/CU時)計費,不運行作業時0費用。

02. 自動擴縮容：根據業務負載，對計算資源進行預估和自動擴縮容。

DLI Serverless架構就可輕松解決小張成本、資源不足和臨時性業務需求的問題。

1、DLI核心引擎——Spark+Flink

Spark是用于大規模數據處理的統一分析引擎，聚焦于查詢計算分析。DLI在開源Spark基礎上進行了大量的性能優化與服務化改造，不僅兼容Apache Spark生態和接口，性能較開源提升了2.5倍，在小時級即可實現EB級數據查詢分析。 同時，DLI也提供用于實時處理的Flink引擎。

2、DLI王牌功能——跨源分析

DLI支持云上多種云服務、自建數據庫以及線下數據庫，可直接實現多數據源跨庫分析，構建企業的統一視圖。

小張將線下數倉A與數倉B同時接入DLI，就可直接在DLI上進行聯合查詢。避免了兩倉數據遷移再重新建倉進行聯合查詢的過程，輕松搞定跨庫查詢。

數據湖探索(DLI)服務的其他優勢

純SQL操作：提供標準SQL接口，用戶僅需使用SQL便可實現海量數據查詢分析。

存算分離：存儲和計算解耦，分開申請和計費，降低成本的同時，提高了資源利用率。

企業級多租戶：支持計算資源按租戶隔離，數據權限控制到隊列、作業，幫助企業實現部門間數據共享和權限管理

免運維、高可用：用戶無需感知底層運維、升級、跨AZ高可用，跨AZ雙活。

數據湖探索(DLI)服務的應用場景

1. 數據庫分析+DLI 2.0 ：一鍵建倉 保留數據庫的易用體驗

痛點：

01. 數據庫多無法做全量分析

02. 數據庫復雜關系無法查詢

03. 影響在線其他數據業務

解決方案：

僅使用標準SQL即可完成大數據查詢分析

2. 精準營銷+DLI 2.0：電商智能推薦 跨庫跨源海量數據秒級查詢

痛點：

01. 數據源太多怎么聯合分析

02. 智能推薦需要短時間內實現

解決方案：

DLI跨源能力，輕松打破數據孤島?，F已支持10類數據源和線下自建數據。

3. 日志分析+DLI 2.0：公司必備場景 按量計費成本更低

痛點：

01. 日志分析時間跨度大

02. 資源空閑大利用率低

解決方案：

DLI按量計費，單CU每小時僅需0.35元。

4. 實時風控+DLI 2.0：金融、運維等實時場景 減少風險事件發生

痛點：

01. 數據刷新不及時，風險事件頻繁發生

02. 需要深入了解Flink后臺架構進行實時數據分析

解決方案：

風控系統對實時性要求很高，DLI采用高性能計算資源，單CPU每秒吞吐1千~2萬條消息。

Serverless大數據服務是一種面向未來的形態。隨著逐個攻破當前存在的問題，它在大數據分析所占的比重一定會逐年增加。真正把大數據分析變成跟水和電一樣隨取隨用，每個企業都能用得起的工具。華為云數據湖探索(DLI)服務能夠助力企業輕松完成異構數據源的批處理、流處理等，挖掘和探索數據價值。

了解更多內容，可登入華為云數據湖探索(DLI)服務官：https://www.huaweicloud.com/product/dli.html

大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。