Google的三篇大數(shù)據(jù)思想論文

大數(shù)據(jù)

1、什么是大數(shù)據(jù)

簡(jiǎn)單說(shuō)就是身邊的一切，你看到的是，聽(tīng)到的是，聞到的感覺(jué)到的觸摸到的都是

2、具體一點(diǎn)

天貓?zhí)詫毜馁?gòu)物數(shù)據(jù)，你的聊天記錄，醫(yī)療記錄，看書(shū)或者挑東西時(shí)候的推薦物品

大數(shù)據(jù)的問(wèn)題

1、生活中的種種數(shù)據(jù)數(shù)量如此之多，如何存儲(chǔ)

2、要讓數(shù)據(jù)有意義，又該怎么去處理海量的數(shù)據(jù)

Google對(duì)大數(shù)據(jù)問(wèn)題的思想

1、GFS：Google File System

對(duì)數(shù)據(jù)進(jìn)行分布式文件系統(tǒng)的存儲(chǔ)，解決的大數(shù)據(jù)的存儲(chǔ)問(wèn)題

2、MapReduce

最初是因?yàn)镚oogle要去爬取全球的網(wǎng)頁(yè)然后對(duì)其進(jìn)行排名(PageRank)而衍生出的問(wèn)題，一種用于大數(shù)據(jù)計(jì)算的模型，核心思想是大事化小處理，最后在合并結(jié)果，先拆分再合并

3、BigTable

采用NoSQL數(shù)據(jù)庫(kù)將數(shù)據(jù)存在一張大表之中，通過(guò)犧牲存儲(chǔ)的空間來(lái)?yè)Q取性能

實(shí)現(xiàn)思想 -> Hadoop

主要結(jié)構(gòu)

1、HDFS：Hadoop Distributed File System

1. 采用主從式的結(jié)構(gòu)

2. 主節(jié)點(diǎn): NameNode名稱節(jié)點(diǎn)

3. 從節(jié)點(diǎn): DataNode數(shù)據(jù)節(jié)點(diǎn)

4. SecondaryNameNode: 第二名稱節(jié)點(diǎn)

這里有兩張網(wǎng)上的圖可供參考

需要注意的是：NameNode 和 SecondaryNameNode 之間沒(méi)有關(guān)系，前者管理和維護(hù)整個(gè)HDFS，后者用來(lái)日志的合并，兩者在同一個(gè)節(jié)點(diǎn)上(同一個(gè)機(jī)器)，共同的組成了整個(gè)HDFS的主從式結(jié)構(gòu)，硬盤(pán)需要兩個(gè)(兩臺(tái)機(jī)器)所以HDFS環(huán)境至少需要三臺(tái)機(jī)器

2、Yarn：MapReduce 的運(yùn)行容器

Yarn 的結(jié)構(gòu)，NodeMarager和DataNode在一個(gè)節(jié)點(diǎn)上，有一個(gè)DataNode就有一個(gè)NodeMarager

1. 主從式結(jié)構(gòu)

2. 主節(jié)點(diǎn): ResourceManager -> 資源管理器

3. 從節(jié)點(diǎn): NodeManager -> 節(jié)點(diǎn)管理器

3、HBase: NoSQL數(shù)據(jù)庫(kù)(需要單獨(dú)安裝)

1. 主從式結(jié)構(gòu)

2. 主節(jié)點(diǎn): HMaster

3. 從節(jié)點(diǎn): RegionServer

---------------------

大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。