淺談我對數(shù)據(jù)湖Catalog的認(rèn)識

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)已經(jīng)被公認(rèn)為一項(xiàng)重要的資產(chǎn)，對于擁有大量數(shù)據(jù)的企業(yè)而言，如何整合數(shù)據(jù)，用好數(shù)據(jù)，讓數(shù)據(jù)本身為我們產(chǎn)生更大的價(jià)值，形成數(shù)據(jù)資產(chǎn)，將是我們不得不面臨的一個(gè)課題。而這些數(shù)據(jù)想要“變現(xiàn)”，就要快速的從數(shù)據(jù)中獲取價(jià)值，在數(shù)據(jù)新時(shí)代中，在大量晦澀數(shù)據(jù)中查找數(shù)據(jù)所花費(fèi)的時(shí)間多于分析數(shù)據(jù)的時(shí)間，為了使發(fā)現(xiàn)數(shù)據(jù)資產(chǎn)變的更加簡單，就需要通過數(shù)據(jù)目錄讓各個(gè)組織內(nèi)的晦澀數(shù)據(jù)變的更加明晰，隨著企業(yè)體量增大，企業(yè)也需要更智能地處理這些橫跨多個(gè)系統(tǒng)的數(shù)據(jù)，以及拉通管理這些數(shù)據(jù)進(jìn)而產(chǎn)生更大的價(jià)值。

什么是數(shù)據(jù)湖

數(shù)據(jù)湖是一種存儲架構(gòu)，本質(zhì)上講是存儲，企業(yè)基于云服務(wù)，可以快速挖出一個(gè)適合自己的“湖”，完成數(shù)據(jù)的采集、存儲、處理、治理，提供數(shù)據(jù)集成共享服務(wù)、高性能計(jì)算能力和大數(shù)據(jù)分析算法模型，支撐經(jīng)營管理數(shù)據(jù)分析應(yīng)用的全面開展，為規(guī)模化數(shù)據(jù)應(yīng)用賦能。數(shù)據(jù)湖技術(shù)架構(gòu)涉及了數(shù)據(jù)接入（轉(zhuǎn)移）、數(shù)據(jù)存儲、數(shù)據(jù)計(jì)算、數(shù)據(jù)應(yīng)用、數(shù)據(jù)治理、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)資源目錄、數(shù)據(jù)安全及數(shù)據(jù)審計(jì)等。數(shù)據(jù)湖本身是一個(gè)中心化的存儲，能夠存儲任意規(guī)模的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)湖的優(yōu)勢就是數(shù)據(jù)可以先作為資產(chǎn)存放起來，問題就在于如何把這些數(shù)據(jù)在業(yè)務(wù)中利用起來。當(dāng)部署了數(shù)據(jù)湖之后，數(shù)據(jù)治理問題將會接踵而至，這時(shí)有一個(gè)統(tǒng)一的數(shù)據(jù)目錄來進(jìn)行納管，就顯得很有必要了。

為什么不是數(shù)據(jù)池、數(shù)據(jù)海？

因?yàn)橐凶銐虼蟮臄?shù)據(jù)量，那么一個(gè)池子肯定存不下o(╥﹏╥)o，另外企業(yè)的數(shù)據(jù)要有邊界，可以流通和交換，但更注重隱私和安全，因此也不能是數(shù)據(jù)海^_^

什么是元數(shù)據(jù)

這里給大家分享一句《DAMA數(shù)據(jù)管理知識體系指南》中的解釋，元數(shù)據(jù)與數(shù)據(jù)的關(guān)系就像數(shù)據(jù)與自然界的關(guān)系，數(shù)據(jù)反映了真實(shí)世界的交易、事件、對象和關(guān)系，而元數(shù)據(jù)則反映了數(shù)據(jù)的交易、事件、對象和關(guān)系等。簡單來說，只要能夠用來描述某個(gè)數(shù)據(jù)的，都可以認(rèn)為是元數(shù)據(jù)。

如果將一部電影看作數(shù)據(jù)，那么你在該電影海報(bào)上看到的所有信息，如電影名、導(dǎo)演、演員、制片人、電影類型等，都可以認(rèn)為是這部電影的元數(shù)據(jù)。

對于企業(yè)而言，元數(shù)據(jù)是跟企業(yè)所使用的物理數(shù)據(jù)、業(yè)務(wù)流程、數(shù)據(jù)結(jié)構(gòu)等有關(guān)的信息，描述了數(shù)據(jù)（如數(shù)據(jù)庫、數(shù)據(jù)模型）、概念（如業(yè)務(wù)流程、應(yīng)用系統(tǒng)、技術(shù)架構(gòu)）以及它們之間的關(guān)系。

什么是數(shù)據(jù)湖Catalog

數(shù)據(jù)湖Catalog是數(shù)據(jù)湖內(nèi)統(tǒng)一的元數(shù)據(jù)目錄，它可以幫助我們讓數(shù)據(jù)資產(chǎn)發(fā)現(xiàn)變的更簡單，更加快速的查找到你想要的數(shù)據(jù)，同時(shí)提供面向多引擎（Hive? Spark? DLI等）的公共元數(shù)據(jù)存儲和統(tǒng)一元數(shù)據(jù)服務(wù)。

數(shù)據(jù)湖Catalog到底有什么價(jià)值

采集企業(yè)元數(shù)據(jù)，全面梳理企業(yè)數(shù)據(jù)信息資產(chǎn)

企業(yè)數(shù)據(jù)通常呈現(xiàn)碎片化分布，一共有多少系統(tǒng)，有多少個(gè)集群，各系統(tǒng)之間有哪些關(guān)聯(lián)，各個(gè)集群的數(shù)據(jù)怎么拉通共享，數(shù)據(jù)湖Catalog可以幫助企業(yè)實(shí)現(xiàn)完整數(shù)據(jù)資產(chǎn)的整合，方便數(shù)據(jù)的交互和共享。

支撐多種分析引擎，迅速相應(yīng)業(yè)務(wù)數(shù)據(jù)問題

數(shù)據(jù)湖Catalog可以對接多種分析引擎，例如Hive Spark 等。

面向數(shù)據(jù)治理，提供查詢檢索數(shù)據(jù)地圖等元數(shù)據(jù)服務(wù)

數(shù)據(jù)湖Catalog對外提供Rest API和Thrift API接口支撐元數(shù)據(jù)服務(wù)。

統(tǒng)一版本管理，保障企業(yè)元數(shù)據(jù)一致性

數(shù)據(jù)湖Catalog在進(jìn)行元數(shù)據(jù)管理中，要保證元數(shù)據(jù)的一致性和連續(xù)性，為上層分析引擎可靠的元數(shù)據(jù)結(jié)構(gòu)，避免元數(shù)據(jù)錯(cuò)亂。

元數(shù)據(jù)變更監(jiān)控，方便掌握數(shù)據(jù)資產(chǎn)變化

數(shù)據(jù)湖Catalog實(shí)現(xiàn)對元數(shù)據(jù)的可視化信息查看，實(shí)時(shí)監(jiān)控元數(shù)據(jù)的變化，以及相關(guān)統(tǒng)計(jì)變化趨勢。

數(shù)據(jù)湖Catalog作為系統(tǒng)元數(shù)據(jù)的納管者，可以幫助企業(yè)方便、快速的把自身不同系統(tǒng)、不同集群的元數(shù)據(jù)接入到Catalog里，來創(chuàng)建自己企業(yè)級的數(shù)據(jù)資產(chǎn)目錄，進(jìn)行統(tǒng)一的管理和數(shù)據(jù)資產(chǎn)共享，進(jìn)一步形成系統(tǒng)化數(shù)據(jù)資產(chǎn)的視圖，從而精確把握數(shù)據(jù)獲取數(shù)據(jù)，把數(shù)據(jù)轉(zhuǎn)為有價(jià)資產(chǎn)。

EI企業(yè)智能 智能數(shù)據(jù) 數(shù)據(jù)湖治理中心 DGC

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。