大數據“復活”記
1414
2025-04-02
數據中臺簡單介紹
一、什么是數據中臺
2014年馬云正式提出“DT(Data Technology)”的概念,人類從IT時代走向DT時代,阿里內部的數據平臺事業部大刀闊斧的建立整個集團的數據資產,同年,阿里從芬蘭Supercell公司接觸到中臺概念后,在集團內部積極踐行,開創了“大中臺、小前臺”的組織機制和業務機制,通過高效、統一的后方系統來支撐快速變化的前端業務,提高業務產出效率,減少成本投入。
2018年中臺概念開始深入互聯網公司,2019年數據中臺概念大火。之所以現在推崇數據中臺的建設原因是數據中臺確實給小前臺提供了強有力的數據支持,實現了對需求快速響應,另一個重要的原因是數據中臺已經在阿里體現了巨大的商業價值和應用價值。
1.1、 數據中臺概念
數據中臺是一套可持續“讓企業的數據用起來”的機制,通過有形的產品和實施方法論,構建一套持續不斷把數據變成資產并服務于業務的機制,數據來自于業務,并反哺業務,不斷循環迭代,實現數據數據可見、可用、可運營,通過數據中臺把數據變成一種服務能力,其目標是提供普惠的數據服務。
關于數據中臺有以下幾個功能特點:
1)數據中臺具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現核心能力。
2)數據中臺的核心就是實現公共計算邏輯下沉,實現數據復用,提供給接口使用。
3)數據中臺不是某一個單一的產品或者某個技術。本質上講數據中臺就是從數據中發現價值,賦能業務數據管理機制。
如果我們把數據比喻成血液,那么數據中臺就是心臟和毛細血管,構建中臺可以能讓數據價值滲透到各個業務場景中去。
4)數據中臺最核心的理念就是“OneData OneService”
“oneData”指的是對于企業數據我們需要按照主題和分層方式進行管理、統一表及指標的命名規范,保證數據完整性及復用性,全企業數據只有這一份統一管理的數據。
“oneService”指的是業務使用的所有數據來源于數據中臺,數據中臺提供統一的數據服務功能,屏蔽底層數據存儲,做到接口復用,減少不規范的煙囪式的接口開發。
構建數據中臺時需要企業從戰略、組織、人才方面全方位規劃配合,而不僅僅停留在工具和產品層面,所以在一些大互聯公司在宣布中臺戰略時,會伴隨組織架構調整,例如:合并數據處理部門,合并業務部門等等。
1.2、 數據中臺類比案例
為了方便理解中臺概念我們舉個例子:
每個人家里廚房都有油、鹽、糖、醬油、醋、料酒、生抽很多調料,這些調料相當于數據,你相當于業務部門,特別喜歡吃糖醋魚、糖醋排骨、糖醋豬蹄、糖醋里脊,以上食物成品相當于各種業務應用。你家里老媽做飯,相當于IT部門,她覺得每天都按照比例調制糖醋汁很麻煩非常浪費時間,每次調制的味道還不同,于是你老媽決定按照一定的比例(1醬油+2料酒+3醋+4生抽+5鹽,這個比例就相當于數據處理及數據算法)來調制一大桶糖醋汁(相當于數據產品),以后每天倒一點點糖醋汁就可以做出一盤糖醋菜(業務應用), 這個調制糖醋汁以及使用糖醋汁做出一盤糖醋菜的這個過程就相當于構建了一個數據中臺。如果你家十天半個月才吃一次糖醋菜,頻率很低(相當于某個業務應用很低),就沒有必要調制一大桶糖醋汁放在那兒(沒必要構建中臺)。
所以在構建數據中臺之前首先看一看有沒有數據產品的需求,有多少人使用這個數據產品產生的業務結果,使用的需求量大不大?以及使用這個數據產品業務結果的頻率高不高?如果以上都合理就可以規劃構建數據中臺。
數據中臺的核心理念就在于數據取之于業務,用之于業務,它相對于數據平臺注重的是對業務的積累和沉淀,構建了從數據生產到消費,消費后產生的數據再回流到生產流程的閉環過程。
二、前、中、后臺概念
2.1、前臺概念
由各類前臺系統組成的前端平臺,每個前臺系統都是用戶的一個觸點,即企業的最終用戶直接使用或交互的系統,是企業與最終用戶的交點。例如用戶直接使用的網站、手機app、微信公眾號、企業看板等都是前臺范疇。小前臺一般都是敏捷前臺,強調敏捷交互及穩定交付的組織能力建設,對于阿里來說,小前臺就是各個業務部門。
2.2、中臺概念
中臺的設置是為了提煉各個業務線的共性需求,并將這些打造成組件化的資源包,然后以接口的形式提供給前臺各業務部門使用,可以使產品在更新迭代、創新拓展的過程中研發更靈活、業務更敏捷、最大限度地減少“重復造輪子”的KPI項目。中臺是一種經營理念,是一種組織形式,是“平臺思維”的自然演進。
中臺又包含業務中臺、技術中臺、數據中臺。
業務中臺
業務中臺更多偏向于業務流程管控,將業務流程中共性的服務抽象出來,形成通用的服務能力。
比如電商平臺,有C2C、B2C、C2B、B2B四種模式,其中訂單、交易、商品管理,購物車模塊、短信中心,用戶中心、支付中心、交易中心、搜索服務都是有共性的,將這些組件沉淀出來,形成電商行業的業務中臺,再基于這些業務中臺組件的服務能力,可以快速搭建前臺應用,譬如:C2C模式的淘寶、B2C模式的天貓、B2B模式的1688、C2B模式的聚劃算,用戶通過這些前臺業務觸點使用業務服務,業務中臺不直接面向終端用戶,但可以極大提升構建面向終端用戶的前臺的速度和效率。
技術中臺
主要負責基礎服務、基礎組件、基礎平臺、存儲體系、云平臺、運維相關等技術支撐。
數據中臺
業務中臺是抽象業務流程的共性形成通用業務服務能力,而數據中臺則是抽象數據能力的共性形成通用的數據服務能力。
例如:原始業務數據通過資產化、服務化,形成用戶畫像服務,這個服務可用于電商平臺的商品推薦,也可以用于地產購房意愿,還可以用于金融領域的信用評級等。同一個服務在應用層面展現的內容可能不一致,但是底層的數據體系是一致的。
2.3、后臺概念
由后臺系統組成的后端平臺,每個后臺系統一般管理了企業的一類核心資源,例如:財務系統、產品系統、客戶管理系統、倉庫物流管理系統等,這類系統構成了企業的后臺,后臺更多解決的是企業管理效率問題,為前中臺提供數據支撐,而中臺要解決的才是前臺創新的問題。
三、數據中臺與業務中臺區別和聯系
一個企業中可以同時擁有業務中臺和數據中臺,兩者是相輔相成的。業務中臺中沉淀的業務數據進入到數據中臺進行體系化加工,再以服務化的方式支撐業務中臺上的應用,而這些應用產生的新數據又流轉到數據中臺,形成循環不息的數據閉環。
在企業中構建數據中臺與業務中臺沒有先后之分,根據企業實際情況進行規劃建設。
從數據層面上來看,業務中臺只是數據中臺的數據源之一,除此之外,企業還有很多其他的數據來源,如:APP,小程序,IOT等多源數據。
從服務層面上來說,數據中臺的數據服務也不一定經過業務中臺作用于業務,也可以直接被上層應用系統進行封裝,如電商領域推薦系統。
中臺不是平臺,平臺可以有很多,例如:營銷平臺、風控平臺、管理平臺,平臺解決的是特定領域業務的問題,而中臺解決的是全企業各個業務領域綜合問題,一般一個企業只需要一個中臺就可以,現在還有業務中臺、數據中臺之分,未來當數據與業務更加緊密集合,會統一形成“企業中臺”。
四、 數據中臺與大數據平臺關系
大數據平臺更關心技術層面的事情,提供數據加工處理的能力,提供數據集成、數據開發、數據測試、任務上線等,針對的往往是技術人員。而數據中臺的核心是數據服務能力,要結合場景,比如精準營銷、風控等,通過服務直接賦能業務應用,數據中臺不僅僅面向技術人員,更需要面向多個部門的業務人員。
如果把數據中臺看成一個工廠,大數據平臺就是工廠中的設備,為工廠運行提供加工處理數據能力,通過一系列的整合、加工、處理最終為客戶提供有價值的數據結果和服務,當然,屬于大數據平臺的數據倉庫也當屬數據中臺的重要組成部分。
數據倉庫的主要場景實支持管理決策和業務分析,而數據中臺則是將數據服務化之后提供給業務系統,目標是將數據能力滲透到各個業務環節,不限于決策分析類場景。例如:
所以數據時代帶來的挑戰不僅僅是數據量的爆發式增長,更重要的是如何管理好、治理好、利用好這些數據,顯然傳統的大數據平臺建設方法論不能滿足以上需求,數據中臺應運而生
五、構建數據中臺價值
構建數據中臺價值如下:
5.1、提升數據應用能力
數據中臺將海量數據轉化為高質量的數據資產,為企業提供更深層的客戶洞察,從而為客戶提供更個性化和智能化的產品和服務。
5.2、打破數據應用屏障
在傳統數據建設中,數據無法被業務使用,其中一個重要的原因是業務人員不夠懂數據,導致數據應用到業務變得困難,數據分析人員不管業務,只是按部就班產出報表結果,以上情況導致數據分析結果不能很好地反哺到業務中,構建數據中臺之后,數據分析人員將數據變成業務人員可閱讀、易理解的內容,業務人員看到內容后很快可以將數據結合到業務中。
5.3、打破數據孤島,盤活全量數據
數據中臺構建將分散割裂的海量數據做到集成,打破數據孤島的現狀,同時降低使用數據服務的門檻,實現數據“越用越多”的價值閉環。
5.4、支持跨主題域訪問數據
企業早期建設的應用數據層ADS(傳統數據倉庫分為ODS/DW/ADS)更多是為了某個主題域所服務,例如:營銷域、人力資源域、風控域。而企業在數據應用到業務的時候往往需要打破各個主題,會從業務對象主體出發來考慮數據應用,如人(會員、供應商、渠道、員工)和物(商品、倉庫、合同),從全域角度設計完整的面向對象的數據標簽體系。
5.5、數據快速復用
傳統的架構中,將分析后的數據應用到業務中,通常做法就是通過數據同步能力,把結果同步到業務系統中,由業務系統自行處理,這會帶來數據管理問題,整個數據血緣鏈路是割裂的。數據中臺可以很好的提供數據服務,業務系統只需要從數據服務中獲取數據即可。
大數據 應用平臺ROMA
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。