大數(shù)據(jù)“復(fù)活”記
1083
2025-03-31
數(shù)據(jù)架構(gòu)設(shè)計
Shared - Disk
各個處理單元使用自己的私有CPU和內(nèi)存,共享磁盤系統(tǒng)。
Shared - Everything
—般是針對單個主機(jī),完全透明共享CPU/內(nèi)存/IO,并行處理能力是最差的。
shared - Nothing
各個處理單元都有自己私有的CPU/內(nèi)存/硬盤等,不存在共享資源,各處理單元之間通過協(xié)議通信,并行處理和擴(kuò)展能力更好。
數(shù)據(jù)庫架構(gòu)的衍變
滿足各類零散分析需求的數(shù)據(jù)庫架構(gòu)
數(shù)據(jù)指標(biāo)統(tǒng)一的ODS架構(gòu)
模塊化存儲的數(shù)倉架構(gòu)
數(shù)據(jù)倉庫
數(shù)據(jù)倉庫( data warehouse,也稱為企業(yè)數(shù)據(jù)倉庫) 是用于報告和數(shù)據(jù)分析的系統(tǒng),被認(rèn)為是商業(yè)智能的核心組件。
數(shù)據(jù)倉庫是一種信息系統(tǒng)的數(shù)據(jù)存儲理論,此理論強(qiáng)調(diào)利用某些特殊數(shù)據(jù)存儲方式,讓所包含的數(shù)據(jù),特別有利于分析處理,以產(chǎn)生有價值的信息并依此作決策。
數(shù)據(jù)倉庫的目的是構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境,為企業(yè)提供決策支持(DecisionSupport)。
數(shù)據(jù)倉庫本身并不“生產(chǎn)”任何數(shù)據(jù),同時自身也不需要“消費(fèi)”任何的數(shù)據(jù),數(shù)據(jù)來源于外部,并且開放給外部應(yīng)用。
數(shù)據(jù)倉庫基于維護(hù)細(xì)節(jié)數(shù)據(jù)的基礎(chǔ)上再對數(shù)據(jù)進(jìn)行處理,使其真正地能夠應(yīng)用于分析。主要包括三個方面:
業(yè)務(wù)模型:基于某些數(shù)據(jù)分析和決策支持而建立起來的數(shù)據(jù)模型
數(shù)據(jù)聚合:基于特定需求的簡單聚合(基于多維數(shù)據(jù)的聚合體現(xiàn)在多維數(shù)據(jù)模型中)
多維數(shù)據(jù)模型:提供了多角度多層次的分析應(yīng)用
數(shù)據(jù)倉庫的應(yīng)用
數(shù)據(jù)挖掘:基于數(shù)據(jù)倉庫中已經(jīng)構(gòu)建起來的業(yè)務(wù)模型展開。
報表展示:將聚合數(shù)據(jù)和多維分析數(shù)據(jù)展示到報表,提供了最為簡單和直觀的數(shù)據(jù)。
數(shù)據(jù)分析:可以基于構(gòu)建的業(yè)務(wù)模型展開,也可以使用聚合的數(shù)據(jù)進(jìn)行趨勢分析、比較分析、相關(guān)分析等,而多維數(shù)據(jù)模型提供了多維分析的數(shù)據(jù)基礎(chǔ)。
OLTP & OLTP
傳統(tǒng)數(shù)據(jù)庫應(yīng)用的趨勢和挑戰(zhàn)
融合倉庫
隨著精準(zhǔn)營銷、客戶畫像、互聯(lián)網(wǎng)平臺等業(yè)務(wù)的上線,需要引入非結(jié)構(gòu)化數(shù)據(jù),以及提升對實(shí)時數(shù)據(jù)的計算處理能力,建立以數(shù)倉為核心,大數(shù)據(jù)平臺為延伸的融合架構(gòu)。
參考文獻(xiàn)
[1] https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXD023+Self-paced/courseware/5708280df2314226a1474523920ed0cc/3a2a1cfe11cc4b1487358ebe1a33181e/
GaussDB數(shù)據(jù)庫 云端實(shí)踐
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。
版權(quán)聲明:本文內(nèi)容由網(wǎng)絡(luò)用戶投稿,版權(quán)歸原作者所有,本站不擁有其著作權(quán),亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容,請聯(lián)系我們jiasou666@gmail.com 處理,核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。