【云駐共創】低代碼平臺關鍵能力之數據編排

前言

在信息化高速發展的大潮下，各行各業都在力求加入數字化轉型的賽道，構建新的工作方式和服務模式尤為重要。然而，企業內部往往存在應用割裂、數據孤島、業務斷點等情況，給業務人員帶來大量手工重復勞動的負擔.....

基于這三項業務難點考量，華為GDE的低代碼平臺應運而出，以快速賦能非IT專業人員參與應用開發和功能迭代，提高項目交付效率、節省時間和優化客戶服務體驗。【云駐共創】低代碼平臺關鍵能力之數據編排.docx它將具有公共屬性的業務單元從前端應用中分離與沉淀，形成可共享使用的公共資源與能力，以“云服務+在線應用開發”的方式為企業解決靈活可擴展的業務訴求，實現業務與平臺、應用與數據耦合。

在低代碼平臺中非常關鍵核心的一個能力就是數據編排，本文將系統性介紹。

一 大數據開發面臨的挑戰

? IT技術的迭代迅速，開發門檻越來越高

? 散落的腳本、工具難以管理

? 應用重復建設

? 安全難以管控

從越發復雜的場景，到體量越來越大的數據，再到多樣的應用系統，都對我們的大數據開發提出了更多的挑戰。

二 數據開發平臺DataFactory的定義

DataFactory是一個全場景、一站式的開發平臺，其流程為數據接入->數據建模-> 數據探索->在線調測->數據開發->打包發布->CI/CD->調度執行->數據呈現->數據運維->數據運營。

其具備一下一下三大特征：

2.1 全場景數據編排

涵蓋數據采集、建模、治理、計算、智能分析、存儲、策略、呈現端到端能力。

2.2 低門檻開發模式

以no code/low code 拖拽開發為主，pro code開發為輔，使能業務人員，普惠數據敏捷開發。

釋放業務開發人員經理，使得業務人員更專注自身業務。

2.3 資產原生(Asset Native)

編排資產由研領域特定語言DPL承載，屏蔽具體引起技術棧，可長期沉淀數據資產，長期復用和分發。

三 DataFactory的上下文

DataFactory處于DataCube的統一大數據處理引擎編排體驗，實現數據中臺能力開放,打造具備高易用性、低門檻、生態開放、可擴展的大數據處理核心的數據編排框架，具備兼容收納SEP、Universe存量業務資產能力，打通數據編排和通用作業編排APP和模型斷點。

數據編排DataFactory 為用戶提用根據自身業務來使用DataCube的眾多能力，

流程調用->流程編排，服務調用->通用作業編排，

X統一入口:入口、檢索、開發流水線、打包、部署：GDE場景化編排。

四 DataFactory整體功能架構和關鍵特點

? 全場景一站式：All in one，包括數據源管理、模型建模、數據集成、數據批處理、流處理、策略引擎等場景下的數據編排開發。

? 低門檻高易用：屏蔽底層大數據技術棧，No Code/Low Code為主，輔以Pro Code，降低大數據開發門檻，同時滿足多場景訴求。

? 資產積累沉淀：DPLL統一承載調度、計算、存儲邏輯，與具體引起解耦，模型、數據處理過程、調度等資產可以長期積累沉淀。

? 全場景:涵蓋數據集成、建模、治理、計算、智能分析、存儲、策略端到端能力。

? 領先的開發模式:領先的DataPipline數據管道方式開發+DataMold數據模型驅動開發雙引擎數據工廠,面向過程和面向對象有機結合。

? 低門檻: No Code/Low Code開發為主，屏蔽底層大數據引擎技術細節，通過拖拉拽圖形化的配置即可滿足大部分場景。同時提供自定義函數/自定義程序等代碼注入能力，滿足多樣化場景。

? 設計運行分離: - -次編排，全球分發;支持設計和運行分離，保障生產安全。

? 資產沉淀和復用:編排資產由自研領域特定語言DPL承載，屏蔽具體引擎技術棧，可長期沉淀數據資產。支持模型復制和引用、流程/流程片段復制和引用、APP復制和引用;

? 智能化加持:算子智能推薦，畫布智能連線，智能校驗,智能聯想，智能排版，流程智能修復，資源智能預測(規劃)等。

? 安全可信:支持Meta流水線工具鏈、安全掃描。通用規則+自定義掃描規則(規劃)。

五 開發態與運行態

開發態：用戶根據業務需求開發APP環境。

運行態：APP的安裝，啟動、停止、卸載的運行環境。

? 能力開放:引擎(調度、計算、存儲等)能力抽象封裝成算子，DataFactory提供編排能力。

? 功能集成:數據源配置服務和MetaOne元數據管理服務通過菜單掛載方式集成DataFactory,視覺- -體化, 編排- -體化。

? 編譯打包:在開發態Data actory調用Dolas的編譯接口，將APP源碼包編譯成安裝包:部分APP包在運行態調用Dolas進行二次編譯，根據運行態的情況完成按需計算、合并計算等二二次編譯工作;

? 應用包安裝: App Manager進行應用包安裝(解密、解簽、解壓后下發各模塊DPM包給調度、引擎、存儲)、啟停、激活/去激活、卸載。

? 翻譯執行:各引擎翻譯器將DPM包翻譯為對應引擎API,執行計算邏輯。

? 調度: - -級調度將各引擎和存儲配合起來，完成業務邏輯處理。

? 數據查詢:數據查詢、探索分析。

? 統一認證鑒權:開發態和運行態都基于統一GAM進行認證鑒權。

六 DataFactory開發流程

從共創創建->數據源配置-> 數據建模->算子編排& 調測_> 調度配置->編譯打包。

七 數據編排關鍵技術-數據源管理

系統配置服務(Reference System Configuration Service,簡稱RSCS) 提供數據中臺數據源配置管理功能，包括支持預處的注冊、第三方數據源的定義、憑證管理、運行態和開發態數據源的映射等能力。

7.1 開發態

在開發態，通過人機界面配置物理數據源，BDI、 MetaOne、DF訪問數據源接口獲取物理數據源信息，建立鏈接進行物理模型建模、在線調測等。

7.2 運行態

在運行態，通過人機界面、服務接口配置物理數據源，編排定制APP、BFS、Fstream、 DAC、AIP、 DBUS等服務通過對接數據源注冊或者獲取物理數據源信息并建鏈，實現業務處理。

八 數據治理

數據治理能力:

基于統-管理的數據模型(MetaOne),提供數據質量管理、數據資產可視與分析、數據標準管理、數據運維分析。

九 數據關鍵技術-MetaOne

? 對使用者，元數據管理幫助用戶更好地對數據資產進行管理，理清數據之間的關系。

? 對開發者，元數據管理增強系統可視性，-致性，并消除冗余，從而提高開發效率。

十 數據編排關鍵技術-算子

算子是一個函數空間到函數空間.上的映射O: X- →X。廣義的講,對任何函數進行某-項操作都可以認為是一張老師、甚至包括求冪次，開方都可以認為是一個算子，只是有的算子我們用了一-個符號來代替他所要進行的運算。

在大數據分析系統中(例如Spark) ，算子其實就是一個處理單元，往往是指一個函數, 在使用算子時往往會有輸入和輸出，算子則完成相應數據的轉化，比如: Mapping、 Filter等都是算子。

數據編排將大數據相關的能力，抽象成圖形化的算子，通過界面化設置算子屬性,來實現數據開發。

十一 批處理流程編排

基于Spark的并行化計算能力，提供OOTB的數據轉換與計算配置能力，轉換操作節點可直接拖拽到畫布圍列轉換、連接、去重、過濾、分組、查找、合并、路由分發、排序、聯合等數據操作。

? 數據抽取

? 數據轉換

? 數據加載

十二 流處理流程編排

流處理本質是一-個無界的批處理，或者反過來說也成立，批處理是有界的流處理。所以單從編排的角度來張老師

基于Flink的并行化計算能力，流處理編排提供毫秒級的窗口時間配置和執行能力，支持流式數據的分組、映射等轉換能力。

十三 統一調度編排

統一調度是對數據處理任務的頂層編排，是完成特定功能的實體。為了降低數據處理邏輯的復雜性,將整際老師公，割為多個步驟，每個步驟負責完成特定的任務。通過將不同的數據處理邏輯組合- -起， 來實現一個復雜的數據處理業務過程。

統一調度提供對任務執行流程的控制機制，包括調度策略的配置和管理等。

十四 模擬數據管理&在線調測

提供測試數據上傳和管理能力，提供按照指定策略生成模擬數據能力，在線調測指基于平臺中已有的數據或用一準備時數據，對批處理、流處理算子編排進行業務邏輯調測。在調測過程中可以通過算子輸出的數據對比驗證業務邏輯的準確性。遇到計算失敗的算子，可以查看日志進行問題定位。

十五 實戰案例

15.1 基于批處理的網絡質差監控

? 業務背景

網絡穩定是設備正常運轉和安全生產的前提，定期統計監控網絡質量,如定期統計各個區域的質差網絡占比，以監控網絡質量。

? 業務需求:

每天統計北向區域內質差網絡占比。

? 功能需求:

統計北向區域(NR) 中，基于小區內掉話率和接通率統計質差小區。假定掉話率大于0.5%，并且接通率小于95%為質差小區，計算每個區域中質差小區占比。

15.2 Case2基于流處理的電機溫度監控

? 業務背景.

企業通過在電機上部署溫度傳感器，實時采集和監控設備狀態，確保安全生產。

? 業務需求:

按照時間窗口統計電機溫度，并和標準參考數據做對比，如果超過閾值，則生成相應級別的告警事件。

? 功能需求:

每60秒一個時間窗，統計傳感器在時間窗內探測到的最高溫度，并和參考數據做對比，超過閾值記錄對應告警事件。

結語

華為低代碼支持智能數據分析編排，同時支持第三方系統集成。

低代碼平臺對于企業實現數字化轉型有四大好處。第一，低代碼開發降低了編程的門檻，沒有任何編程經驗的業務人員只需經過簡單培訓即能上手使用；第二，低代碼平臺的一體化編排能力，極大加速了相應業務場景的開發進程，節省了大量開發時間；第三，對于開發完后的應用，低代碼平臺可提供測試、部署、發布以及維護等一站式服務；第四，所有開發成功的應用是可復制的，業務人員可以將穩定、高效的應用快速分享至其他業務場景或部門，實現批量化增效。

未來以來，火力全開，快來使用RPA：https://www.huaweicloud.com/solution/rpa.html?utm_source=baidu&utm_medium=se-cpc-op&utm_campaign=&utm_content=&utm_term=%E5%8D%8E%E4%B8%BARPA&utm_adplace=AdPlace042258

本文整理自華為云社區內容共創活動：任務2【極簡開發·慧享未來】低代碼平臺關鍵能力之數據編排。

查看活動詳情：https://bbs.huaweicloud.com/blogs/308924

大數據 移動APP

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。