華為云大數(shù)據(jù)輕模式體驗：忘掉底層煩惱，專注數(shù)據(jù)開發(fā)（華為云大數(shù)據(jù)解決方案）

現(xiàn)階段我們國家從政府到企業(yè)都在進(jìn)行數(shù)字化轉(zhuǎn)型，數(shù)字化轉(zhuǎn)型的核心是數(shù)據(jù)，對于有著開發(fā)實(shí)力和基礎(chǔ)的大公司來講，他們可以有著完備的數(shù)據(jù)處理體系和開發(fā)人員儲備，可以高效地利用手中的資源對數(shù)據(jù)進(jìn)行再加工，讓數(shù)據(jù)成為企業(yè)的生產(chǎn)要素。

我們知道，“二八定律”作為一個經(jīng)濟(jì)學(xué)原理揭示了任何一組事物最重要的構(gòu)成只占其中的一小部分，其余的大部分多數(shù)構(gòu)成的很小比例在經(jīng)濟(jì)學(xué)上被稱為“長尾效應(yīng)”。企業(yè)也是一樣，處于中長尾的企業(yè)想要數(shù)字化轉(zhuǎn)型，數(shù)據(jù)技術(shù)、人才、資金的高門檻往往讓他們望而卻步。他們亟需大數(shù)據(jù)行業(yè)的領(lǐng)導(dǎo)者，能做出企業(yè)的通用模式，節(jié)約數(shù)字化成本，降低用數(shù)門檻。不少企業(yè)雖然選擇將業(yè)務(wù)上云作為數(shù)字化的一個方向，但對上云后產(chǎn)生的數(shù)據(jù)不管理、不加工、不分析，這讓這些數(shù)據(jù)上云失去了意義。

華為云基于華為IT流程數(shù)據(jù)治理方法論推出華為云大數(shù)據(jù)輕量級解決方案，配合華為云資產(chǎn)可以輕資源、輕開發(fā)、輕部署、輕運(yùn)維地快速構(gòu)建數(shù)據(jù)治理體系，全Serverless方案對中長尾企業(yè)來講使用靈活，企業(yè)無需關(guān)注底層技術(shù)棧、云資源性能，可按需使用降低運(yùn)營成本。

華為云大數(shù)據(jù)相關(guān)服務(wù)提供數(shù)據(jù)全生命周期的一站式管理和開發(fā)，幫助中長尾企業(yè)大幅簡化數(shù)據(jù)治理的流程，在這種輕模式的支持下，中長尾企業(yè)可以快速高效地應(yīng)對大量數(shù)據(jù)的分析，降低用數(shù)門檻，加快企業(yè)數(shù)據(jù)變現(xiàn)，完成企業(yè)的數(shù)字化轉(zhuǎn)型。

接下來，我們就通過具體的實(shí)例來對華為云數(shù)據(jù)湖治理中心DGC進(jìn)行全方位的認(rèn)識和了解，透過華為理念下形成的輕量級通用解決方案探討中長尾企業(yè)如何應(yīng)對數(shù)據(jù)治理上的難題。

華為云大數(shù)據(jù)輕量級解決方案介紹

針對中長尾企業(yè)的數(shù)據(jù)治理需求，華為云推出了大數(shù)據(jù)輕量級解決方案幫助企業(yè)進(jìn)行高效的數(shù)據(jù)治理。我們都知道Serverless本質(zhì)是將復(fù)雜留給自己，將便利提供給客戶，加速用戶的敏捷創(chuàng)新，這也是華為云大數(shù)據(jù)輕量級解決方案的核心思想。

華為云這套輕量級的解決方案區(qū)別于企業(yè)自建自管自運(yùn)營的模式，全Serverless方案對于企業(yè)來講不需要額外考慮資源管理、部署、運(yùn)維，云上模式讓企業(yè)大大降低了用于硬件管理與擴(kuò)容、跨AZ可靠調(diào)度、Bug修復(fù)、軟件安全、AI引擎調(diào)優(yōu)等問題，只需專注業(yè)務(wù)開發(fā)即可，業(yè)務(wù)的使用與運(yùn)營更加靈活。

華為云大數(shù)據(jù)輕量級解決方案作為一項通用的大數(shù)據(jù)治理解決方案為企業(yè)提供了豐富的拓展能力，支持對象存儲、NoSQL、OLTP、OLAP等數(shù)據(jù)庫類型，支持跨云數(shù)據(jù)治理、自建數(shù)據(jù)中心數(shù)據(jù)治理。企業(yè)不需要變更自己的底層數(shù)據(jù)技術(shù)棧就能實(shí)現(xiàn)大數(shù)據(jù)的治理和分析。

針對中長尾企業(yè)的數(shù)據(jù)治理場景，華為云DGC、DLI、CDM、RDS等服務(wù)提供輕量化、靈活的技術(shù)棧，通過將華為云服務(wù)串聯(lián)，打造數(shù)據(jù)治理輕量化模式。涉及到以下核心服務(wù)：

CDM：高效、易用的數(shù)據(jù)遷移服務(wù)，支持批量和增量數(shù)據(jù)遷移，提供超過40種數(shù)據(jù)源到數(shù)據(jù)湖倉遷移能力；

DRS：基于事物日志（如MySQL、Oracle）的數(shù)據(jù)庫復(fù)制進(jìn)行增量同步；

DGC：數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)模型的規(guī)范設(shè)計，可進(jìn)行在線開發(fā)和編排調(diào)度，數(shù)據(jù)質(zhì)量稽核等一站式數(shù)據(jù)管理；

DLI：完全兼容Apache Spark、Apache Flink、Presto生態(tài)，提供批、流、交互式一體的Serverless融合處理分析，完全兼容SQL語法，開發(fā)難度低；

BI：通過華為云DLV數(shù)據(jù)可視化服務(wù)或?qū)I(yè)BI軟件實(shí)現(xiàn)2D或3D數(shù)據(jù)展示，通過拖拉拽式布局，幫助企業(yè)快速進(jìn)行大屏數(shù)據(jù)可視化呈現(xiàn)。

對于企業(yè)來講，華為云大數(shù)據(jù)輕量級解決方案通過一站式的大數(shù)據(jù)分析服務(wù)，實(shí)現(xiàn)了企業(yè)多端數(shù)據(jù)采集，并在統(tǒng)一框架下進(jìn)行數(shù)據(jù)采集、分析、歸納。

通過全棧式技術(shù)能力，依托DLI數(shù)據(jù)湖探索服務(wù)以及配套的數(shù)據(jù)同步方案，可以滿足企業(yè)海量數(shù)據(jù)分析的需求，完成快速數(shù)據(jù)分析，釋放數(shù)據(jù)的價值。

由于DGC提供高度可視化的ETL任務(wù)開發(fā)、管理、調(diào)度的能力，同時DLI等數(shù)據(jù)服務(wù)支持通用SQL語法，這些對于企業(yè)來講可以的大幅的降低開發(fā)過程中的門檻，實(shí)現(xiàn)簡單易用、靈活高效的數(shù)據(jù)開發(fā)模式。另外通過專業(yè)的BI廠商，可以很好的滿足企業(yè)對可視化BI工具的需求，數(shù)據(jù)生產(chǎn)到最后直觀的可視化呈現(xiàn)，為運(yùn)營分析降低門檻。

這DGC提供一站式的數(shù)據(jù)全生命周期的運(yùn)營管理，配合華為云其他大數(shù)據(jù)產(chǎn)品， DGC作為華為云輕量級大數(shù)據(jù)解決方案的核心，它可對接多種數(shù)據(jù)湖引擎，幫助進(jìn)行統(tǒng)一開發(fā)，并提供統(tǒng)一的數(shù)據(jù)資產(chǎn)管理。方便企業(yè)進(jìn)行全鏈路數(shù)據(jù)治理管控。數(shù)據(jù)運(yùn)營全場景可視，統(tǒng)一調(diào)度和運(yùn)維帶來全方位的安全保障。

開發(fā)人員無需復(fù)雜配置就可以完成對數(shù)據(jù)的導(dǎo)入， DGC提供數(shù)據(jù)管理、數(shù)據(jù)集成、腳本開發(fā)、作業(yè)開發(fā)、作業(yè)調(diào)度、運(yùn)維監(jiān)控、全場景可視化等功能。方便企業(yè)不同部門的打破相互隔離，以此建設(shè)統(tǒng)一的數(shù)據(jù)平臺，統(tǒng)一技術(shù)規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)和訪問接口。

DGC提供豐富的大數(shù)據(jù)平臺組件，方便多種數(shù)據(jù)和分析需求，降低數(shù)據(jù)治理的人工工作量，以此提升數(shù)據(jù)管理效率。DGC提供一套完整的數(shù)據(jù)治理方法論落地，通過這套方法論實(shí)現(xiàn)業(yè)務(wù)上下游數(shù)據(jù)的快速傳遞和共享，以此指導(dǎo)實(shí)際業(yè)務(wù)的運(yùn)作。通過數(shù)據(jù)質(zhì)量持續(xù)為企業(yè)提供預(yù)警，以此減少糾錯成本，降低運(yùn)營風(fēng)險，提升服務(wù)質(zhì)量。

在分析處理上， DLI數(shù)據(jù)探索服務(wù)則成為華為云輕量級大數(shù)據(jù)治理方案的重要組成。這套方案中， 通過DLI等基礎(chǔ)云服務(wù)實(shí)現(xiàn)數(shù)據(jù)探查、數(shù)據(jù)監(jiān)控、數(shù)據(jù)標(biāo)準(zhǔn)化，形成有指導(dǎo)意義的集市層數(shù)據(jù)。DLI它支持結(jié)構(gòu)化和無結(jié)構(gòu)化的數(shù)據(jù)處理，并支持豐富的編程語言接口，同時成本也非常低。DLI完全兼容Apache Spark、Apache Flink、HetuEngine（基于Presto）。

DLI采用批流交互式一體架構(gòu)，兼容標(biāo)準(zhǔn) JDBC 協(xié)議，可以直接對接第三方 BI 軟件，完成一站式大數(shù)據(jù)分析、用數(shù)的閉環(huán)場景。

由于DLI兼容標(biāo)準(zhǔn)的SQL語法且均基于Serverless進(jìn)行分析計算服務(wù)，因此用戶無需關(guān)心底層的計算架構(gòu)，只需要通過連接服務(wù)即可進(jìn)行數(shù)據(jù)分析，大大降低了開發(fā)的難度和門檻。DLI還支持免搬遷全域數(shù)據(jù)聯(lián)合查詢，過濾條件支持只能下壓到數(shù)據(jù)源，減少傳輸數(shù)據(jù)量。由于DLI支持Kubernetes，因此DLI還支持資源按需分配，自動彈性伸縮。

接下來我們進(jìn)入實(shí)例場景，通過對門店坪效的全流程設(shè)計來了解華為云大數(shù)據(jù)輕量級解決方案的各項服務(wù)能力，并快速的進(jìn)行業(yè)務(wù)指標(biāo)的模擬輸出。

華為云大數(shù)據(jù)輕量級解決方案坪效實(shí)例場景體驗

坪效作為零售行業(yè)的典型指標(biāo)，是這次實(shí)例場景所要計算的一個指標(biāo)，這樣的數(shù)據(jù)分析模型是華為云大數(shù)據(jù)輕量化解決方案主要的運(yùn)用場景，在進(jìn)行坪效實(shí)例場景的演示操作前，我們首先了解下什么是坪效。坪效是衡量一個地區(qū)或門店某一時間段單位面積產(chǎn)出情況，即每坪經(jīng)營面積可以產(chǎn)出多少營業(yè)額。

坪效計算公式如下：

坪效越高，店鋪整體的經(jīng)營效率也就越高，一般計算都以年為周期。華為云大數(shù)據(jù)輕量級解決方案的指導(dǎo)及下，我們以過去一年門店坪效指標(biāo)和地區(qū)坪效指標(biāo)作為目標(biāo)，進(jìn)行項目的設(shè)計和規(guī)劃，其中涉及華為云大數(shù)據(jù)及其他云服務(wù)，包括VPS、OBS、RDS、CDM、DGC、DLI、DLV等。

零售業(yè)店鋪在獲取到坪效數(shù)據(jù)后，可以針對性的對門店業(yè)務(wù)、門店規(guī)模、人員結(jié)構(gòu)進(jìn)行調(diào)整。這一案例中涉及到DGC開發(fā)的數(shù)據(jù)集成、規(guī)范設(shè)計、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)模塊以及華為云大數(shù)據(jù)其他關(guān)聯(lián)服務(wù)工具。

通過這些模塊的體驗，我們得以實(shí)現(xiàn)對華為云大數(shù)據(jù)輕量級解決方案的全面了解，對中長尾的大數(shù)據(jù)治理進(jìn)行整體的設(shè)計、開發(fā)、分析、運(yùn)營，在這種輕模式下，企業(yè)可以對數(shù)據(jù)進(jìn)行敏捷開發(fā)。

輕資產(chǎn)：按需使用，無需擔(dān)心底層技術(shù)棧及安全問題

在對于中長尾企業(yè)而言輕量化的資產(chǎn)管理體系可以省去大量云服務(wù)建設(shè)成本，華為云大數(shù)據(jù)輕量級解決方案絕大部分資源都建設(shè)在云上，對企業(yè)而言，可按需購買，購買即用，不需要額外關(guān)注底層的硬件性能和技術(shù)實(shí)現(xiàn)，并且不需要考慮相關(guān)工具軟件的迭代和安全問題。

這里我們通過華為云CDM云數(shù)據(jù)遷移服務(wù)，集成RDS MySQL數(shù)據(jù)庫模擬數(shù)據(jù)元門店系統(tǒng)及訂單系統(tǒng)數(shù)據(jù)，利用華為云DLI數(shù)據(jù)湖探索服務(wù)的計算能力實(shí)現(xiàn)數(shù)據(jù)清理、指標(biāo)計算和匯總，并最終使用華為云RDS MySQL作為集市層數(shù)據(jù)展現(xiàn)，最終通過DGC作業(yè)開發(fā)將上述操作串聯(lián)，形成完整的流水線，并通過DGC數(shù)據(jù)服務(wù)能力將數(shù)據(jù)API接口輸出，以此將數(shù)據(jù)輸出到BI報表分析工具或通過華為云DLV數(shù)據(jù)可視化服務(wù)對數(shù)據(jù)進(jìn)行直觀的屏幕輸出。上述CDM、RDS、OBS等服務(wù)均支持按需購買，大幅降低企業(yè)的資產(chǎn)購置壓力。

其中OBS負(fù)責(zé)存儲DGC的日志和臟數(shù)據(jù)；DLI作為貼源層的存儲和計算技術(shù)棧，DLI由于存儲量大且價格便宜，并采用分布式計算模型，因此進(jìn)行大量數(shù)據(jù)運(yùn)算的時候速度較、支持高并發(fā)；通過DLI生成主題庫和專題庫后，將這些數(shù)據(jù)倉庫存儲在RDS MySQL數(shù)據(jù)庫中，這一服務(wù)可以進(jìn)行專業(yè)的BI分析；DGC作為整個項目的數(shù)據(jù)運(yùn)營技術(shù)棧，繼承了數(shù)據(jù)集成、規(guī)范設(shè)計、數(shù)據(jù)開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)服務(wù)功能，也是華為云大數(shù)據(jù)輕量化解決方案的核心技術(shù)模塊，作為數(shù)據(jù)湖運(yùn)營平臺，DGC提供了數(shù)據(jù)的全生命周期管理，在此案例中我們通過上述功能模塊完成了一整條數(shù)據(jù)治理流水線的建設(shè)；在所以數(shù)據(jù)分析歸納后，再通過DLV數(shù)據(jù)可視化服務(wù)對指標(biāo)進(jìn)行結(jié)果展示。

華為云大數(shù)據(jù)輕量級解決方案對于企業(yè)而言不需要變動其底層的數(shù)據(jù)源，這套方案在數(shù)據(jù)集成上已經(jīng)有很好的支持，無論是華為云數(shù)據(jù)庫、第三方云數(shù)據(jù)庫還是企業(yè)自建數(shù)據(jù)中心，都支持?jǐn)?shù)據(jù)遷移。這里我們通過RDS作為模擬數(shù)據(jù)源導(dǎo)入并最終匯總生成集市層數(shù)據(jù)，在進(jìn)行配置前，我們首先要購買對應(yīng)資源才能實(shí)現(xiàn)一整套的數(shù)據(jù)治理流程，具體需購買和提前創(chuàng)建的資源如下：

大數(shù)據(jù)免費(fèi)資源包領(lǐng)取→https://activity.huaweicloud.com/bigdata.html

創(chuàng)建VPC、子網(wǎng)、安全組

創(chuàng)建OBS桶，創(chuàng)建存儲作業(yè)日志和臟數(shù)據(jù)目錄

購買DGC實(shí)例，并配置默認(rèn)工作空間

購買CDM集群，正式項目可考慮使用ROMA

購買RDS實(shí)例

購買DLI隊列實(shí)例

在購買完對應(yīng)資源后，需對原始數(shù)據(jù)進(jìn)行導(dǎo)入，即將數(shù)據(jù)SQL文件導(dǎo)入到RDS MySQL數(shù)據(jù)庫中，這一操作只需進(jìn)入RDS數(shù)據(jù)管理頁面，上傳腳本即可快速完成數(shù)據(jù)導(dǎo)入。數(shù)據(jù)源包含兩張表，分別是門店表(t_user_store_info)和訂單表（t_trade_order）。

RDS MySQL原始數(shù)據(jù)導(dǎo)入后，我們需要在DLI中建立相同的表結(jié)構(gòu)進(jìn)行貼源層數(shù)據(jù)導(dǎo)入。進(jìn)入DLI庫表管理新建一個DLI庫，以此作為項目表存放DLI數(shù)據(jù)庫。

隨后在DLI的SQL編輯器中將建表腳本導(dǎo)入建表，表結(jié)構(gòu)和表名稱最好與RDS MySQL中原表一致。

數(shù)據(jù)導(dǎo)入后，在OBS服務(wù)中完成DGC日志數(shù)據(jù)和臟數(shù)據(jù)文件夾建立，以便后續(xù)DGC正常使用。

接下來就需要對數(shù)據(jù)進(jìn)行入湖處理，這里采用DGC的數(shù)據(jù)集成模塊，DGC批量數(shù)據(jù)遷移CDM提供同構(gòu)或異構(gòu)數(shù)據(jù)元之間批量數(shù)據(jù)遷移服務(wù)，可以幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)的自由流動，支持關(guān)系型數(shù)據(jù)庫、數(shù)據(jù)倉庫、NoSQL、大數(shù)據(jù)云服務(wù)、對象存儲等數(shù)據(jù)源。

這些數(shù)據(jù)源涵蓋華為云DWS、華為云DLI、FusionInsight LibrA、Hadoop、OBS、阿里云OSS、FTP、SFTP、NAS、MySQL、HWSQL、PostgreSQL、SQL Server、DDM、Oracle、Db2、Redis、MongoDB、CSS、Apache Kafka等30多種數(shù)據(jù)源。

這些數(shù)據(jù)源可以作為源也可以作為遷移目的，租戶可以按需付費(fèi)，控制和租戶之間是完全分離的，數(shù)據(jù)始終是在原始位置，后續(xù)的作業(yè)、對數(shù)據(jù)的操作都是與原始數(shù)據(jù)隔離，通過CDM可以更加安全的保護(hù)原始數(shù)據(jù)。

之前我們導(dǎo)入的RDS MySQL云數(shù)據(jù)庫服務(wù)作為源數(shù)據(jù)，另外一個則是數(shù)據(jù)湖探索DLI的連接，通過CDM服務(wù)我們快速生成DLI內(nèi)貼源數(shù)據(jù)導(dǎo)入。

這里，CDM提供自動化的字段映射，對于不同數(shù)據(jù)源數(shù)據(jù)類型不同這樣的情況，CDM支持?jǐn)?shù)據(jù)類型一鍵轉(zhuǎn)換。在CDM遷移之前，我們已經(jīng)提前將對應(yīng)的表在DLI中建好，分別是t_trade_order和t_user_store。這樣CDM就可以進(jìn)行快速匹配。

通過CDM我們就快速實(shí)現(xiàn)了源數(shù)據(jù)導(dǎo)入貼源數(shù)據(jù)的數(shù)據(jù)遷移工作，由于原始數(shù)據(jù)可能存在不斷生成的問題，這里CDM也提供周期作業(yè)以此對數(shù)據(jù)進(jìn)行導(dǎo)入。接下里，我們再進(jìn)行具體的業(yè)務(wù)場景設(shè)計和相關(guān)腳本的開發(fā)。

輕開發(fā)：開發(fā)高度可視化，SQL腳本通用簡單

華為云大數(shù)據(jù)輕量級解決方案最重要的特點(diǎn)是全流程的高度可視化，沒有復(fù)雜的代碼編寫過程，對開發(fā)人員的技術(shù)要求不高，可以從業(yè)務(wù)層面需求出發(fā)進(jìn)行系統(tǒng)化的建模，再通過建模實(shí)現(xiàn)對應(yīng)開發(fā)腳本的生成。整個過程非常的快速高效，由于華為云大數(shù)據(jù)解決方案中的DLI、DWS等服務(wù)均支持標(biāo)準(zhǔn)SQL語句，因此各類腳本編寫上難度不大。在本例中首先需要對業(yè)務(wù)進(jìn)行建模，在形成對應(yīng)的業(yè)務(wù)指標(biāo)對貼源數(shù)據(jù)進(jìn)行清洗加工并輸出有實(shí)際指導(dǎo)意義的參數(shù)。

華為云大數(shù)據(jù)輕量級解決方案將業(yè)務(wù)實(shí)體與實(shí)現(xiàn)細(xì)節(jié)緊密結(jié)合讓需求方無需了解太多編程相關(guān)的細(xì)節(jié)，讓開發(fā)方不必考慮業(yè)務(wù)實(shí)現(xiàn)的邏輯。通過這套解決方案的DGC規(guī)范設(shè)計模塊就能初步實(shí)現(xiàn)各類業(yè)務(wù)的需求指標(biāo)設(shè)計并對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，包含主題設(shè)計、數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計、數(shù)據(jù)模型設(shè)計、數(shù)據(jù)指標(biāo)設(shè)計，通過規(guī)范設(shè)計可以根據(jù)客戶的業(yè)務(wù)需求，進(jìn)行統(tǒng)一的數(shù)據(jù)分類、數(shù)據(jù)標(biāo)準(zhǔn)化、指標(biāo)定義和數(shù)據(jù)模型體系建設(shè)。

通過上述四個步驟，將業(yè)務(wù)數(shù)據(jù)化需求進(jìn)行抽象化，就可以輸出企業(yè)標(biāo)準(zhǔn)化數(shù)據(jù)中臺設(shè)計。完成數(shù)據(jù)模型體系的建設(shè)，對于未來同行業(yè)的解決方案建設(shè)也有了參考價值。通過主題設(shè)計可以很快的完成信息架構(gòu)的設(shè)計，針對不同類型的信息，還可以指定數(shù)據(jù)類型。

在主題設(shè)計完成后，就可進(jìn)行數(shù)據(jù)建模。首先根據(jù)之前的主題設(shè)計進(jìn)行建模，這里提供關(guān)系建模和維度建模兩種建模方式，關(guān)系建模符合3NF，主要是去除數(shù)據(jù)冗余，使數(shù)據(jù)標(biāo)準(zhǔn)化，當(dāng)存在多個數(shù)據(jù)描述同一個情況時，需要使用關(guān)系建模進(jìn)行合并。維度建模則采用數(shù)據(jù)結(jié)構(gòu)化的方法進(jìn)行建模，針對需求和指標(biāo)對數(shù)據(jù)源進(jìn)行維度、事實(shí)建模，相比于關(guān)系建模，維度建模緊緊圍繞業(yè)務(wù)指標(biāo)，非常直觀顯示出業(yè)務(wù)模型中的業(yè)務(wù)問題。維度建模包括維度、維度表、事實(shí)表、匯總表。

維度表多為業(yè)務(wù)指標(biāo)的環(huán)境信息，比如時間、空間信息等，這里我們建模對門店和地區(qū)維度進(jìn)行建模，這就是典型的空間信息。維度表是用戶用來分析數(shù)據(jù)的窗口，一個維度表可以對一組數(shù)據(jù)進(jìn)行分類，且分組后的數(shù)據(jù)可以用來分析。我們以門店維度表為例，門店包括門店編碼、店鋪類型、營業(yè)狀態(tài)、門店名稱屬性。我們?nèi)绻嬎闫盒е笜?biāo)，可以進(jìn)行門店坪效指標(biāo)的計算、某一類型門店坪效指標(biāo)的計算、營業(yè)中門店坪考指標(biāo)計算等，通過這些指標(biāo)可以定義一組數(shù)據(jù)。

事實(shí)表內(nèi)容主要分為三類，分別是維度表外鍵、事實(shí)屬性和度量屬性。比如門店事實(shí)表包含地區(qū)外鍵、門店編碼外鍵、經(jīng)營面積、開業(yè)時間等信息。

匯總表則可以對上述維度和事實(shí)進(jìn)行歸納總結(jié)，得出相應(yīng)的技術(shù)指標(biāo)，我們以地區(qū)坪效指標(biāo)的設(shè)計為例。可以看到對應(yīng)屬性和相關(guān)內(nèi)容的匯總信息，地區(qū)坪效指標(biāo)可以通過技術(shù)指標(biāo)進(jìn)行確定。

DGC將指標(biāo)分為業(yè)務(wù)指標(biāo)和技術(shù)指標(biāo)兩類，業(yè)務(wù)指標(biāo)模塊主要是以文字的形式定義某一指標(biāo)，并以此為參考指導(dǎo)技術(shù)指標(biāo)實(shí)現(xiàn)，我們以坪效為例，坪效位于進(jìn)銷存管理中，根據(jù)坪效的定義，坪效就是門店銷售額與門店面積的比例。通過這一文字定義，我們來到技術(shù)指標(biāo)中，完成坪效這一指標(biāo)的技術(shù)定義。我們也可以對員工的銷售額與績效關(guān)系進(jìn)行統(tǒng)一的界定，對于需求調(diào)研層面的人員來講，這些只需要文字描述就可以快速完成各種指標(biāo)和屬性的確定。

通過以上的需求建設(shè)和管理，需求方很快的就將自己的業(yè)務(wù)需求確定好，整個過程都是可視化的，接下里再進(jìn)一步的對指標(biāo)進(jìn)行運(yùn)算分析，最終形成有實(shí)際意義的指導(dǎo)數(shù)據(jù)，這里則通過技術(shù)指標(biāo)完成對業(yè)務(wù)指標(biāo)的具體實(shí)現(xiàn)，包含原子指標(biāo)、衍生指標(biāo)、復(fù)合指標(biāo)。原子指標(biāo)是最基礎(chǔ)的算子，是緯度在模型中某一個屬性或?qū)傩缘暮唵芜\(yùn)算，在坪效計算中，主要用于坪效計算的就是門店的經(jīng)營面積以及實(shí)際門店產(chǎn)生的銷售額。這兩個指標(biāo)構(gòu)成了坪效計算的原子指標(biāo)。

衍生指標(biāo)則是對原子指標(biāo)添加了一個緯度，對原子指標(biāo)進(jìn)行限定，使得這些原子指標(biāo)更具參考價值，在坪效指標(biāo)計算中，我們可以按照時間原子指標(biāo)進(jìn)行限定，從而衍生出新的指標(biāo)。比如過去一年的某一地區(qū)的銷售額、過去一年某一門店的銷售額、過去一年某地區(qū)的經(jīng)營見面等，這些衍生指標(biāo)還可以進(jìn)一步運(yùn)算，得到復(fù)合指標(biāo)。

復(fù)合指標(biāo)則是多個衍生指標(biāo)的聚合，用于輸出最終的匯總數(shù)據(jù)，比如某地區(qū)過去一年的坪效或某門店過去一年的坪效。到這里坪效指標(biāo)的規(guī)范設(shè)計就已經(jīng)完成了，實(shí)體定義與技術(shù)指標(biāo)緊密結(jié)合，并且符合標(biāo)準(zhǔn)化的設(shè)計規(guī)則。在各種技術(shù)指標(biāo)的計算中，DGC還提供一鍵式的SQL腳本，方便后續(xù)流程自動化的開發(fā)，幫助開發(fā)人員進(jìn)行快速高效的編程腳本實(shí)現(xiàn)。

在信息架構(gòu)中，我們也可以通過DGC自動匯總的關(guān)系圖了解到不同維度表、事實(shí)表、技術(shù)指標(biāo)、匯總表的關(guān)系圖譜，這里也方便運(yùn)維人員快速定位問題，以此進(jìn)行高效運(yùn)維。

如何高效的通過腳本和代碼實(shí)現(xiàn)業(yè)務(wù)需求并實(shí)現(xiàn)一整條業(yè)務(wù)的流水開發(fā)，這對業(yè)務(wù)不熟悉的開發(fā)人員來講往往是個非常大的難題，但華為云大數(shù)據(jù)輕量級解決方案提供了一整套高效的開發(fā)流程，在需求放完成相關(guān)業(yè)務(wù)定義和指標(biāo)設(shè)定后，開發(fā)人員則可以對需求進(jìn)一步實(shí)現(xiàn)，在低代碼量的基礎(chǔ)上完成業(yè)務(wù)需求，真正實(shí)現(xiàn)編程“輕模式”。這里通過DGC數(shù)據(jù)開發(fā)模塊完成腳本開發(fā)、作業(yè)調(diào)度、運(yùn)維監(jiān)控等功能實(shí)現(xiàn)業(yè)務(wù)流水，它支持業(yè)務(wù)流自動化、BI報表生產(chǎn)線、云上倉庫建設(shè)、日志分析挖掘等工具，實(shí)現(xiàn)從數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)分析和計算到業(yè)務(wù)應(yīng)用全流程的一站式IDE平臺服務(wù)。通過數(shù)據(jù)開發(fā)模塊，可以幫助用戶對入湖后的數(shù)據(jù)進(jìn)行快速的加工、清洗，各種聚合運(yùn)算，數(shù)據(jù)轉(zhuǎn)換等。在作業(yè)開發(fā)頁面，DGC也為開發(fā)人員提供了完整的開發(fā)流程介紹。

DGC的腳本開發(fā)支持在線的主流數(shù)據(jù)庫腳本開發(fā)調(diào)試，支持DWS腳本、DLI腳本、Hive腳本等；另外數(shù)據(jù)開發(fā)模塊還提供了強(qiáng)大的ETL算子，通過ETL算子可以在數(shù)據(jù)清洗轉(zhuǎn)換的時候省去開發(fā)人員大量的SQL腳本開發(fā)，直接通過圖形化配置快速實(shí)現(xiàn)大量的清洗整合工作；DGC的數(shù)據(jù)開發(fā)模塊還整合了主流的數(shù)據(jù)開發(fā)能力和所見即所得圖形化ETL工具的能力，最終整合成拖拉拽式的批流結(jié)合全鏈路開發(fā)運(yùn)維，數(shù)據(jù)管道在運(yùn)行后可以實(shí)施進(jìn)行監(jiān)控，方便運(yùn)維人員快速定位開發(fā)中所遇到的問題。

數(shù)據(jù)開發(fā)模塊下的腳本開發(fā)提供了DWS、DLI、Hive、Spark、Flink、RDS、Shell、Python等多種腳本開發(fā)，支持代碼補(bǔ)全、語法高亮、錯誤提示、執(zhí)行歷史記錄等功能，可以幫助開發(fā)者正確高效的編寫。這里我們構(gòu)建了多個腳本，完成貼源層和明細(xì)層數(shù)據(jù)的清洗，數(shù)據(jù)匯總，并最終導(dǎo)入到數(shù)據(jù)庫中。

輕部署：可視化流水線構(gòu)建，快速定位問題

華為云大數(shù)據(jù)輕量化解決方案在業(yè)務(wù)部署上支持拖拉拽式的流水線業(yè)務(wù)部署，整個過程開發(fā)人員不需要進(jìn)行專門的環(huán)境搭建，只需關(guān)注業(yè)務(wù)是否能完成即可，部署后，開發(fā)人員也可對業(yè)務(wù)運(yùn)行過程中出現(xiàn)的問題層層分離，快速定位。業(yè)務(wù)在執(zhí)行上支持單次調(diào)度和周期調(diào)度，調(diào)度如出現(xiàn)問題還可以進(jìn)行實(shí)時通知。整個過程沒有復(fù)雜的報警提示，并可生成運(yùn)維日報，方便運(yùn)維人員對整體業(yè)務(wù)有所把控。

這里通過DGC的作業(yè)開發(fā)實(shí)現(xiàn)業(yè)務(wù)部署，它支持多種云服務(wù)任務(wù)混合編排，通過一系列節(jié)點(diǎn)構(gòu)成一個有效的工作流。支持圖形拖拉拽式的編輯作業(yè)頁面，快速實(shí)現(xiàn)自動化流水部署，并驗證作業(yè)是否存在問題。

數(shù)據(jù)開發(fā)中的作業(yè)監(jiān)控功能提供短信、郵件等提醒方式，方便開發(fā)人員第一時間了解作業(yè)運(yùn)行過程中可能出現(xiàn)的異常狀況。

輕運(yùn)維：數(shù)據(jù)實(shí)時監(jiān)控，封裝服務(wù)開放

針對各類指標(biāo)的監(jiān)控，華為云大數(shù)據(jù)輕量級解決方案為提供專業(yè)的數(shù)據(jù)質(zhì)量監(jiān)控，方便運(yùn)維人員對數(shù)據(jù)的動態(tài)進(jìn)行實(shí)時的監(jiān)控，并也可根據(jù)實(shí)際業(yè)務(wù)情況設(shè)定對應(yīng)監(jiān)控指標(biāo)，幫助企業(yè)產(chǎn)出更有價值的數(shù)據(jù)服務(wù)體系。同時企業(yè)也可將數(shù)據(jù)形成的集市層數(shù)據(jù)封裝成服務(wù)，對外輸出到BI軟件或其他應(yīng)用中，實(shí)現(xiàn)數(shù)據(jù)的最大化利用。對于運(yùn)維人員來講，無論是數(shù)據(jù)質(zhì)量監(jiān)控，還是大數(shù)據(jù)資產(chǎn)管理，抑或是數(shù)據(jù)服務(wù)的開放，這些完全都是在高度可視化的模式下進(jìn)行，無需復(fù)雜代碼即可完成數(shù)據(jù)產(chǎn)品的輸出和監(jiān)控。

這里華為云大數(shù)據(jù)輕量級解決方案中的DGC數(shù)據(jù)質(zhì)量模塊可以將業(yè)務(wù)系統(tǒng)的指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，可以根據(jù)業(yè)務(wù)指標(biāo)校驗規(guī)則對數(shù)據(jù)的完整性、有效性、及時性、一致性、準(zhǔn)確性、唯一性這六個維度進(jìn)行單列、跨列、跨行或者跨表分析，包括存在約束、非空約束、主鍵唯一性約束、實(shí)體唯一性約束、取值范圍約束、長度約束、內(nèi)容規(guī)范約束等。通過上述指標(biāo)校驗，我們可以對數(shù)據(jù)的質(zhì)量進(jìn)行評估，如果有些數(shù)據(jù)存在明顯的質(zhì)量問題，就可以向開發(fā)者發(fā)送郵件、短信進(jìn)行告警。同時也可以對數(shù)據(jù)進(jìn)行分析和統(tǒng)計，之后將數(shù)據(jù)推送到客戶的相應(yīng)部門。最終提升數(shù)據(jù)湖里整體數(shù)據(jù)的質(zhì)量。

DGC數(shù)據(jù)質(zhì)量模塊提供業(yè)務(wù)指標(biāo)監(jiān)控和數(shù)據(jù)質(zhì)量監(jiān)控兩種監(jiān)控方式，我們可以根據(jù)之前設(shè)計的技術(shù)指標(biāo)對指標(biāo)進(jìn)行業(yè)務(wù)指標(biāo)監(jiān)控，我們以之前的坪效指標(biāo)為例，首先在指標(biāo)管理中選擇需要運(yùn)算匯總的指標(biāo)，并以此生成SQL腳本。

然后我們就可以設(shè)定具體規(guī)則對指標(biāo)進(jìn)行監(jiān)控，比如當(dāng)全國平均坪效低于20萬，就出發(fā)年平均坪效較低通知。

在隨后的業(yè)務(wù)場景管理中，我們就可以啟動這一指標(biāo)的業(yè)務(wù)指標(biāo)監(jiān)控。

數(shù)據(jù)質(zhì)量監(jiān)控則可設(shè)定規(guī)則模版對數(shù)據(jù)質(zhì)量進(jìn)行校驗，某人提供了多種數(shù)據(jù)校驗?zāi)０娣奖氵\(yùn)維人員快速對數(shù)據(jù)進(jìn)行校驗。

數(shù)據(jù)質(zhì)量監(jiān)控的質(zhì)量作業(yè)則可設(shè)定質(zhì)量監(jiān)控的內(nèi)容，并對關(guān)聯(lián)質(zhì)量作業(yè)進(jìn)行啟停操作。啟動后質(zhì)量作業(yè)監(jiān)控就會生成質(zhì)量報告，以此幫助運(yùn)維人員對整體數(shù)據(jù)進(jìn)行監(jiān)控。

為了解各類數(shù)據(jù)資產(chǎn)的詳細(xì)情況，華為云大數(shù)據(jù)輕量化解決方案提供一站式的數(shù)據(jù)資產(chǎn)歸納，業(yè)務(wù)資產(chǎn)、技術(shù)資產(chǎn)和指標(biāo)資產(chǎn)三大部分，業(yè)務(wù)資產(chǎn)包含業(yè)務(wù)對象、邏輯實(shí)體、業(yè)務(wù)屬性三大部分，技術(shù)資產(chǎn)則包含數(shù)據(jù)庫、數(shù)據(jù)表和數(shù)據(jù)量。

這里通過配置數(shù)據(jù)元，可以創(chuàng)建數(shù)據(jù)鏈接，實(shí)現(xiàn)數(shù)據(jù)集中管理，并提供自定義策略采集任務(wù)，以此實(shí)現(xiàn)形成資產(chǎn)目錄。幫助企業(yè)一站式，完成數(shù)據(jù)報表整理。

在數(shù)據(jù)目錄下，企業(yè)可以看到所有的業(yè)務(wù)資產(chǎn)、技術(shù)資產(chǎn)和指標(biāo)資產(chǎn)，業(yè)務(wù)資產(chǎn)是邏輯實(shí)體，通過邏輯實(shí)體我們定義多樣化的數(shù)據(jù)，以此指導(dǎo)形成技術(shù)資產(chǎn)和指標(biāo)資產(chǎn)。

針對不同的技術(shù)資產(chǎn)，企業(yè)可以看到所有的表結(jié)構(gòu)，同時血緣分析功能方便回溯數(shù)據(jù)源或作業(yè)。

對數(shù)據(jù)清洗加工并分析生成的集市層數(shù)據(jù)后，這些數(shù)據(jù)就可以以服務(wù)的形式開放給第三方，華為云大數(shù)據(jù)輕量化解決方案可以從DWS、DLI、RDS等華為云數(shù)據(jù)庫中獲取數(shù)據(jù)，并通過鑒權(quán)等手段向第三方輸出數(shù)據(jù)接口，無需復(fù)雜的代碼編寫，就可以通過Serverless的形式對數(shù)據(jù)產(chǎn)品進(jìn)行開放，進(jìn)而實(shí)現(xiàn)零編碼的API生成能力，這種零編碼的數(shù)據(jù)開放能力對于企業(yè)而言有著更加靈活的數(shù)據(jù)開放和管理能力，便于企業(yè)生成更加豐富的數(shù)據(jù)產(chǎn)品。

華為云大數(shù)據(jù)輕量化解決方案中的DGC數(shù)據(jù)服務(wù)支持在線調(diào)試、一鍵發(fā)布，通過Web頁面編排，可以快速發(fā)布基于Serverless的API發(fā)布。支持多種數(shù)據(jù)源對外發(fā)布，這項功能基于Nginx和容器化技術(shù)，實(shí)現(xiàn)單容器50ms內(nèi)耗時和200次/秒的API邏輯解析和轉(zhuǎn)發(fā)速度，另外數(shù)據(jù)服務(wù)還基于WAF行為全方位檢測，可準(zhǔn)確的進(jìn)行惡意請求識別，過濾攻擊流量。自動化監(jiān)控和流量預(yù)警也方便開發(fā)人員快速了解對外輸出接口的情況。

開發(fā)人員可以對不同的API進(jìn)行流量控制、使用時長、API名稱等信息，方便監(jiān)控API調(diào)用狀態(tài)。

DGC數(shù)據(jù)服務(wù)還提供App調(diào)試，App調(diào)試需要調(diào)用SDK進(jìn)行訪問，數(shù)據(jù)服務(wù)提供基于Java、C#、Python、Go、JavaScript、PHP、C++、C、Android等多種主流語言的SDK包。一鍵下載，輕量化開發(fā)。

通過實(shí)際的體驗我們看到，華為云大數(shù)據(jù)輕量級解決方案的一系列服務(wù)，非常直觀和高效的幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)清洗、數(shù)據(jù)加工、數(shù)據(jù)運(yùn)算、數(shù)據(jù)分析等操作，企業(yè)重要的是關(guān)注業(yè)務(wù)本身，而不用關(guān)注實(shí)現(xiàn)的底層技術(shù)棧，不需要大量代碼編寫，也不需要技術(shù)人員吃透需求，需求方和開發(fā)人員都可以獨(dú)立高效的完成業(yè)務(wù)定義和數(shù)據(jù)產(chǎn)品的開發(fā)。

在輸出數(shù)據(jù)產(chǎn)品后，企業(yè)可以對這些數(shù)據(jù)進(jìn)行可視化輸出以便數(shù)據(jù)治理人員根據(jù)這些數(shù)據(jù)做出決策。

華為云大數(shù)據(jù)輕量化解決方案還支持多BI平臺的可視化圖形輸出，幫助企業(yè)實(shí)現(xiàn)更好的數(shù)據(jù)展示，無論是第三方的BI工具還是華為云自家的DLV數(shù)據(jù)可視化服務(wù)都可以很好的調(diào)用接口實(shí)現(xiàn)數(shù)據(jù)的展示分析。

通過這些數(shù)據(jù)接入，企業(yè)可以通過拖拉拽的方式快速構(gòu)建專屬的企業(yè)智慧數(shù)據(jù)大屏幕，形成豐富多樣的數(shù)據(jù)圖表，方便進(jìn)行及時的分析決策。

總結(jié)

華為云提供的大數(shù)據(jù)輕量級解決方案，讓企業(yè)實(shí)現(xiàn)了輕資產(chǎn)、輕開發(fā)、輕部署、輕運(yùn)維的大數(shù)據(jù)治理模式，這樣的“輕模式”讓廣大的中長尾企業(yè)也擁有了更加敏捷的大數(shù)據(jù)治理能力，完備的數(shù)據(jù)治理流程提供了一站式便利的數(shù)據(jù)治理體驗，企業(yè)無需從頭再來搭建平臺、單獨(dú)進(jìn)行人員的開發(fā)和架構(gòu)設(shè)計。基于Serverless的平臺開發(fā)，讓企業(yè)無需關(guān)注業(yè)務(wù)實(shí)現(xiàn)的技術(shù)棧，直觀精簡的開發(fā)過程，只需要掌握SQL代碼即可快速完成開發(fā)。大幅節(jié)省了企業(yè)的平臺建設(shè)成本和人才成本。

全流程可視化的界面設(shè)計，即便是對沒有數(shù)據(jù)開發(fā)經(jīng)驗的非技術(shù)人員，也可以友好快速的進(jìn)行數(shù)據(jù)規(guī)范設(shè)計、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)指標(biāo)定義等工作。

DGC、CDM、DLI、RDS等服務(wù)組成的一整套華為云大數(shù)據(jù)輕量級解決方案為企業(yè)的綜合數(shù)據(jù)治理帶來了強(qiáng)大的內(nèi)生力，大大釋放了大數(shù)據(jù)底層運(yùn)維管理的壓力，讓企業(yè)能更好的利用數(shù)據(jù)專注服務(wù)質(zhì)量提升、產(chǎn)品優(yōu)化等。華為云大數(shù)據(jù)治理輕量級解決方案未來也將會很好的為中長尾企業(yè)賦能，幫助他們實(shí)現(xiàn)更高層次的數(shù)字化轉(zhuǎn)型。

上云必讀 大數(shù)據(jù) 運(yùn)維

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。