2020成長(zhǎng)計(jì)劃學(xué)習(xí)小結(jié)II

11月份有移動(dòng)應(yīng)用開(kāi)發(fā)全棧的成長(zhǎng)計(jì)劃，12月份有大數(shù)據(jù)全棧的成長(zhǎng)計(jì)劃，都是從2020年末開(kāi)始，持續(xù)到2021年的，這2個(gè)計(jì)劃自我評(píng)價(jià)我只是個(gè)劃水的看客，慚愧。其中移動(dòng)應(yīng)用開(kāi)發(fā)全棧學(xué)習(xí)后，可以作為打下的一個(gè)基礎(chǔ)，然后再去入門鴻蒙的開(kāi)發(fā)。姑且將周筆記總結(jié)如下：

移動(dòng)應(yīng)用開(kāi)發(fā)全棧（Android入門、Vue&H5）

第一周

雖然是2015年的視頻，但基本原理和基本技術(shù)，是一直沒(méi)有太大的變化。所以是一直有用的。

Android的版本是會(huì)有比較大的變化，課程里是Android4.3.1，2015年是Android6，現(xiàn)在2020年已經(jīng)是Android10了。

第一章.初識(shí)Android 1.Android基礎(chǔ)知識(shí) 2.Android系統(tǒng)架構(gòu)

第二章.第一個(gè)Adroid應(yīng)用 1.搭建開(kāi)發(fā)環(huán)境 2.創(chuàng)建并啟動(dòng)模擬器 3.創(chuàng)建安裝運(yùn)行應(yīng)用 4.eclipse相關(guān)配置

第三章.Android項(xiàng)目結(jié)構(gòu) 1.項(xiàng)目的組成結(jié)構(gòu) 2.APK安裝文件的組成結(jié)構(gòu) 3.系統(tǒng)文件目錄結(jié)構(gòu) 4.SDK的文件目錄結(jié)構(gòu)

第四章.調(diào)試工具 1ADB/DDMS/Log 2尺寸單位 3調(diào)試工具練習(xí)

第四章中，關(guān)于尺寸講解的比較細(xì)也比較清楚：英寸/像素/分辨率/ppi/dpi/Density像素密度 px/dp/sp

另外在一小時(shí)戲說(shuō)android里，籠統(tǒng)的介紹了開(kāi)發(fā)知識(shí)

四大組件：activity/broadcast/contentprovider/service，還有第五大組件：fragment

對(duì)于框架的熟悉，能夠了解底層運(yùn)行邏輯，是一個(gè)加分點(diǎn)

還有一些比較優(yōu)秀的輪子

還有優(yōu)化，就是能比別人做的好的地方。其中“包體積優(yōu)化”越來(lái)越不像以前那么重要了，因?yàn)榫W(wǎng)絡(luò)帶寬越來(lái)越大；當(dāng)一種資源充足的時(shí)候，（預(yù)期將來(lái)會(huì)越來(lái)越充足）那么在節(jié)約這種資源也不是一種美德了。

Java語(yǔ)言的基礎(chǔ)知識(shí)：八大基礎(chǔ)數(shù)據(jù)類型、引用類型，NIO，反射等。目前國(guó)內(nèi)絕大多數(shù)使用java，kotlin很少。如果從頭開(kāi)始的新項(xiàng)目，可以使用kotlin。否則項(xiàng)目歷史的原因，很難切換語(yǔ)言。

還有講到工具和必備技能。跨平臺(tái)如webapp的使用，它的缺點(diǎn)，比如不能使用原生API（互動(dòng)效果差，比如相機(jī)的使用，掃碼等就做不了），還有比較依賴網(wǎng)速；像flutter雖然渲染可以媲美原生，但是不敢多用，因?yàn)樯鷳B(tài)問(wèn)題，版本升級(jí)會(huì)帶來(lái)很多麻煩（比如以前用的屬性都給你干掉了），項(xiàng)目中8k個(gè)問(wèn)題待修復(fù)，這么敢大量投入使用呢。

第二周

本周的內(nèi)容比較多。

先講了理論，Activity。四大組件之一，內(nèi)容可真多啊。

然后是Activity的應(yīng)用練習(xí)。這快相當(dāng)于實(shí)戰(zhàn)了，有6個(gè)，這一塊相對(duì)來(lái)說(shuō)我更喜歡看一些。

比純粹的理論和知識(shí)的學(xué)習(xí)要有趣，在當(dāng)前也更實(shí)用一些。

第一個(gè)應(yīng)用練習(xí)：界面布局。有垂直的和水平的。

界面做好了，一共有4個(gè)功能要實(shí)現(xiàn)。操作的方式分別是點(diǎn)擊和長(zhǎng)按。

然后是常用的UI組件,設(shè)計(jì)了幾個(gè)常見(jiàn)問(wèn)題，這樣大家不會(huì)因?yàn)榻鉀Q不了問(wèn)題而學(xué)的慢。

常用的UI組件不少，反正多于三個(gè)我就覺(jué)得不少了

簡(jiǎn)單的有TextView,EditText,Button,ImageView,CheckBox,RadioGroup,RadioButton,Toast等

菜單有OptionMenu,ContextMenu

進(jìn)度條有Progressbar,Seekbar

對(duì)話框有Dialog

內(nèi)容多，所以講完了做了一個(gè)總結(jié)

第三周

布局

有LinearLayout, RelativeLayout

其中RelativeLayout非常強(qiáng)大。使用的是相對(duì)定位，來(lái)控制子View.

FrameLayout幀布局。每一個(gè)子view代表一個(gè)畫面，后面出現(xiàn)的覆蓋前面的。

視圖有很多標(biāo)簽屬性。屬性有很多，可以對(duì)屬性進(jìn)行分類。

Listview是可以滑動(dòng)顯示的。需要配合Adapter來(lái)使用。來(lái)組合數(shù)據(jù)和布局。

樣式和主題，不太清楚是干什么的，和手機(jī)里的主題類似嗎？就是提煉相同的屬性的意思吧。

style&theme.

做幾個(gè)布局的練習(xí)。顯示所以應(yīng)用列表；長(zhǎng)按消失。等

第四周

移動(dòng)端VUE入門

又解釋了一遍什么是VUE。這個(gè)課程是由華為員工做的培訓(xùn)。

VUE是一個(gè)漸進(jìn)式的，也就是說(shuō)，可以一步一步來(lái)，不需要一步到位

從0創(chuàng)建一個(gè)工程，可以手工引入，也可以npm方式引入

VUE的簡(jiǎn)單應(yīng)用，包括聲明式，告訴框架要做什么，具體這么做不用管的

指令：v-前綴的屬性；生命周期。

移動(dòng)端適配簡(jiǎn)介

其實(shí)電腦應(yīng)該也有適配的問(wèn)題吧，電腦也有13.3，14，15，16，17寸的差別呀

這么在不同分辨率下保持比例一致？

其實(shí)這個(gè)問(wèn)題的提問(wèn)就是答案，答：按比例保持一致就可以了

包括多倍屏出來(lái)后，也是這個(gè)道理

多倍屏，就是相同物理尺寸下渲染了不同的像素?cái)?shù)量，開(kāi)發(fā)不能用px了

另外還有一些繁瑣的問(wèn)題無(wú)解，主要是解決起來(lái)太繁瑣而不徹底，所以叫做無(wú)解

第五周

VUE的路由管理、VUE的狀態(tài)管理模式VUEX、VUE升入原理-響應(yīng)式原理

介紹。使用。模式。守衛(wèi)。

從瀏覽器解析開(kāi)始說(shuō)起，

路由告訴單頁(yè)面哪些模塊要插入

基本使用，3種形式

1標(biāo)簽形式 to某個(gè)url

2在js里寫它

3用push

VUE的狀態(tài)管理模式VUEX

VUE兄弟組件之間通信有哪些方式？

1子傳父，父?jìng)髯?2vuex 2事件總線

1大家都清楚了，哈哈；缺點(diǎn)，如果有孫子的化，路徑太長(zhǎng)，孫子間不能之間傳遞

所以誕生了vuex統(tǒng)一存儲(chǔ)管理的.以全局單例的模式來(lái)管理

VUE深入原理-響應(yīng)式原理

響應(yīng)式框架是什么？

比如數(shù)據(jù)雙向綁定，但我們沒(méi)有寫任何的-和回調(diào)。因?yàn)関ue幫我們做了這些事情

這個(gè)就是響應(yīng)式原理了。

如果我們不使用vue，那我們這么實(shí)現(xiàn)呢？

寫js原生代碼唄。

第六周

VUE渲染過(guò)程、開(kāi)發(fā)技能提升、vue服務(wù)端渲染

結(jié)合vue-router等分析渲染過(guò)程

講了一個(gè)典型的vue項(xiàng)目入口文件是這么寫的

VUE初始化，引入vue的時(shí)候都做了什么？生成和掛載

開(kāi)發(fā)技能提升

前端的插件的使用 devtools 能幫助我們解決一些問(wèn)題查看一些狀態(tài)

非壓縮版的vue點(diǎn)開(kāi)圖標(biāo)就可以看到；Components它展示的vue組件的層級(jí)

Vuex列出發(fā)生了的一些事件

Events列出了事件含相信信息

Routings可以看到歷史

Performance簡(jiǎn)單只能看到當(dāng)前的幀數(shù)

Refresh去刷新我們dom樹(shù)的狀態(tài)

vue服務(wù)端渲染

這個(gè)說(shuō)明了什么時(shí)候是白屏，還是不錯(cuò)的

給你Html(有2種情況：沒(méi)有DOM 或是首屏HTML）

第七周

從vue2.0到3.0

怎么用這個(gè)新特性

H5簡(jiǎn)述，這個(gè)開(kāi)始又和尚硅谷合作的課程，2018年年初的課程

H5的小功能。代碼里起一行打個(gè)debugger 進(jìn)入debug

chrome里f12就可以了

比如 class=“c1 c2 c3 c4”

操作很麻煩，現(xiàn)在操作更加人性化了

testNode.classList

可以testNode.classList.add(“c5”)

testNode.classList.remove(“c2”)

在國(guó)內(nèi)，H5開(kāi)發(fā)暗指移動(dòng)H5開(kāi)發(fā)

優(yōu)勢(shì)就是跨平臺(tái)，因?yàn)闉g覽器跨平臺(tái)

它的好處是快速開(kāi)發(fā)，快速做原型投放市場(chǎng)看前景

沒(méi)前景把開(kāi)發(fā)人員開(kāi)了，下一個(gè)項(xiàng)目

有前景再擴(kuò)展，可能在做android或ios的

H5通吃PC和移動(dòng)端

H5和H4的區(qū)別 還是很有干貨的

講網(wǎng)頁(yè)處于什么渲染模式之下 其中有個(gè)怪異模式 名稱聽(tīng)奇怪的

第八周

canvas也是一個(gè)元素

給一個(gè)提示，如果瀏覽器不支持畫布元素

canvas只支持一種原生的圖形繪制：矩形

調(diào)一次，只能畫一個(gè)矩形

其他的圖形都至少需要一條路徑

先拿到畫布，再拿到畫筆

使用路徑的化，先設(shè)置/移動(dòng)到一個(gè)起點(diǎn)，然后就像劃線一樣一步步的去做

最后連起來(lái)

這個(gè)老師的課程看的有一點(diǎn)累，restore/save這部分，總是用中文輸入法按回車，不累嗎，看的都累

2D變換，畫一個(gè)在走動(dòng)的時(shí)鐘

簽名其實(shí)好做，就是拖拽，就是線嘛

曲線，先畫一個(gè)圓，看它是順時(shí)針還是逆時(shí)針，花個(gè)不封口的圓就可以看出來(lái)（不是360度的）

canvas的畫布是一個(gè)dom節(jié)點(diǎn)，但里面的圖像不是一個(gè)dom節(jié)點(diǎn)，所以通過(guò)dom方法比如css是拿不到它的

然后是多媒體中的音視頻

第九周

H5實(shí)戰(zhàn)-offsetLeft & offsetTop

音視頻標(biāo)簽。

video和audio標(biāo)簽。

這個(gè)多媒體，總是比文字表格圖像要更有表現(xiàn)力的。

都有src的屬性，

這些是H5里面對(duì)音視頻的支持的標(biāo)簽

以往都是用FLASH來(lái)做的，但現(xiàn)在FLASH要停更了（也有用realplay啊，quicktime啊反正是五花八門）

所以以后就是H5了

有了src后，控件怎么調(diào)用出來(lái)呢？用control

這樣的化，有一個(gè)默認(rèn)的尺寸，(對(duì)音頻是無(wú)意義的)

視頻的化，可以調(diào)整音量，但是沒(méi)法拖進(jìn)度

原來(lái)是因?yàn)閏hrome對(duì)于本地的音視頻，是不讓拖進(jìn)度的，而firefox是可以的

真是奇怪，這是不是一個(gè)bug呢？

基本概念：

avi,mp4僅僅是容器的格式，類似于.zip

比如：視頻文件（視頻容器）包含了音頻軌道、視頻軌道和其他一些元數(shù)據(jù)

視頻播放的時(shí)候，音頻軌道和視頻軌道是綁定在一起的

元數(shù)據(jù)包含了視頻的封面、標(biāo)題、子標(biāo)題、字幕等相關(guān)信息

caniuse.com 直接搜索mp4，可以看到各種瀏覽器，包含移動(dòng)端對(duì)于某個(gè)視頻格式的支持情況

現(xiàn)狀是：目前還沒(méi)有一種編碼器和容器的組合能應(yīng)用于所有的瀏覽器中（也是廢話~你又沒(méi)有說(shuō)瀏覽器的版本，如果把老版本的瀏覽器考慮進(jìn)去，當(dāng)然是不可能）

然后講了音視頻標(biāo)簽的兼容模式、各種標(biāo)簽

第十周

H5實(shí)戰(zhàn)-滾動(dòng)事件，第一個(gè)是MAC停靠欄。幾個(gè)圖標(biāo)組成一排，鼠標(biāo)移動(dòng)到的地方圖標(biāo)變大。

看上去蠻炫，看實(shí)現(xiàn)其實(shí)很Low的

先找5個(gè)圖片，大小是128*128，都放到一個(gè)div的id叫做的wrap里面。在配一下css控制一下樣式。

先變小一點(diǎn)，然后圖片組放到最下面，再居中。然后在寫js

滾輪事件、曲線運(yùn)動(dòng)

氣泡效果，就想在天上往下看放煙花的效果，就是一個(gè)一個(gè)圓，慢慢放大，然后消失

需要用canvas來(lái)做

頭部布局、頭部交互

沒(méi)有滾動(dòng)條的，先寫骨架，不能只在自己的屏幕，要考慮分辨率，1200-2000的比較多

更高或更低的，做響應(yīng)式

內(nèi)容區(qū)布局和交互，滾輪來(lái)切換頁(yè)面，從第一屏到第五屏的布局。

大數(shù)據(jù)全棧（Mysql、Hadoop、Spark）

第一周

（第一到三章：Mysql簡(jiǎn)介；查詢；函數(shù)）

本課程還是和尚硅谷合作推出的課程，與之前前端的課程有一點(diǎn)不同的是，這一次是一名女老師哦~

親們，女老師，是不是要尊敬一點(diǎn)，認(rèn)真一點(diǎn)呢

mysql被收購(gòu)了好幾次，現(xiàn)在的東家是oracle

版本也有收費(fèi)版，即企業(yè)版，但是也是很便宜的。

第一章是簡(jiǎn)介，將安裝和啟動(dòng)。啟動(dòng)環(huán)境是以windows上安裝和啟動(dòng)來(lái)講解的。

老師講課講解還是很形象的，數(shù)據(jù)庫(kù)比喻為一個(gè)大倉(cāng)庫(kù)，我們刷卡進(jìn)來(lái)后（認(rèn)證通過(guò)），要干什么呢？

這樣就引出了一些常見(jiàn)的基礎(chǔ)命令：show databases;use test;

+號(hào)的作用：將字段連接，我們是正常如果用 last_name+first_name的化，值是0，為什么呢？

因?yàn)樵贛ysql里，+只有對(duì)數(shù)字型的運(yùn)算功能，沒(méi)有對(duì)字符串的連接功能；

那咋辦呢？用concat唄

第二周

第4章 語(yǔ)法

from子句里的連接類型：

內(nèi)連接：inner

左外連接：left [outer]

右外連接：right [outer]

全外連接：full [outer]

交叉連接: cross

等值連接 t1 inner join t2 on t1.a=t2.a

這里的值是指做條件判斷的字段的值; 等就是直接采用的最簡(jiǎn)單的等于判斷的意思；

非等值連接 t1 join t2 on t1.salary between t2.lower and t2.high

自連接：是指表自己和自己連接 t1 join t1

以上寫inner join或簡(jiǎn)寫為join，都是指內(nèi)連接

外連接：分為主表、從表；既然是從表，如果匹配不到主表，就用Null

第5章 數(shù)據(jù)類型

第6章 變量

第三周

第8章：JDBC概述。數(shù)據(jù)庫(kù)存取技術(shù)，從下到上，是JDBC-Hibernate等OR工具。

我們可以直接使用O/R框架，但學(xué)習(xí)底層的JDBC是為了能夠明白下層的原理，這樣可以走得更遠(yuǎn)。

第9章：JDBC-PreparedStatement

在java工程里去獲取數(shù)據(jù)庫(kù)的連接；首先有驅(qū)動(dòng)Driver，然后可以拿到Connection

上面的代碼都是對(duì)接口的操作，那么需要實(shí)例化

Driver的實(shí)例化，在這里就是加載mysql的驅(qū)動(dòng)jar包（實(shí)現(xiàn)了Driver接口）。

連接時(shí)要指定一個(gè)地址URL，結(jié)構(gòu)是這樣

協(xié)議（含子協(xié)議）：地址：端口：目錄

比如 jdbc:mysql://localhost:3306/test

類似與 http://localhost:8080/mall/keybaord.jpg

jdbc:mysql是協(xié)議部分，中間省略，test表示數(shù)據(jù)庫(kù)名稱

登錄認(rèn)證用的用戶名和密碼封裝到properteis去做connect的一個(gè)參數(shù)，另一個(gè)參數(shù)是url

補(bǔ)充第6章：MYSQL變量

有系統(tǒng)的（服務(wù)器定義的），有自定義的

系統(tǒng)里有全局的和會(huì)話的；自定義的有用戶的和局部的

show global|session variables; like ‘%xx%’; @@global.varname

set global varname = value; @@…

自定義的：1聲明并初始化或賦值： set @varname=|:=value; select @var:=value;

賦值還可以：select xx into @varname from table;

var是弱類型

使用/查看：select @varname; 所以總有一下var都要用@var的形式

局部變量，是在定義它的begin end中有效，比較嚴(yán)格

declare varname type; | var type default value;

set varname; select @varname 矯情關(guān)于@

select varname

存儲(chǔ)過(guò)程是和變量放在一起講的

SP減少了編譯次數(shù)，減少了和數(shù)據(jù)庫(kù)服務(wù)器交互次數(shù)

第四周

學(xué)習(xí)了大數(shù)據(jù)的4個(gè)特征，可以簡(jiǎn)稱為4V，這樣比較好記：

1）Volume 大量

2）Velocity（高速）

3）Variety（多樣）

4）Value（低價(jià)值密度）

其實(shí)這4個(gè)特征是相輔相成的，大量的數(shù)據(jù)不可能都有顯著的價(jià)值，里面的價(jià)值需要艱苦的工作才可以挖掘出來(lái)

大數(shù)據(jù)概念，然后是應(yīng)用場(chǎng)景，當(dāng)然不用說(shuō)，各行各業(yè)都有應(yīng)用了

然后是業(yè)務(wù)分析，包含了組織結(jié)構(gòu)的說(shuō)明，如下

平臺(tái)組。這個(gè)是基礎(chǔ)，搭環(huán)境的，感覺(jué)沒(méi)有什么技術(shù)含量是吧，其實(shí)不然。有技術(shù)含量的，是會(huì)對(duì)基礎(chǔ)軟件進(jìn)行定制化優(yōu)化的，這樣就高大上了吧。平臺(tái)都是集群的，這個(gè)不用多說(shuō)

數(shù)據(jù)倉(cāng)庫(kù)組。分為ETL工程師，這個(gè)是初級(jí)的，做一些累活臟活，比如數(shù)據(jù)清洗啦，就像洗菜一樣，把泥巴洗掉，把壞葉子摘掉等等。還有HIVE工程師，做數(shù)據(jù)分析和數(shù)據(jù)建模。這個(gè)高級(jí)一點(diǎn)吧

數(shù)據(jù)挖掘組。這個(gè)高級(jí)了。包含算法工程師。說(shuō)到算法，想都想的到這個(gè)不是大眾化的工作，也就是說(shuō)不是一般工程師能做的了的。這個(gè)是最高端的工作了吧。然后是推薦系統(tǒng)、用戶畫像工程師。

報(bào)表組。和大數(shù)據(jù)只有半毛錢的關(guān)系，JAVAEE開(kāi)發(fā)。

第五周

Hadoop是apache基金會(huì)的，這個(gè)基金會(huì)比較高產(chǎn)，好的軟件產(chǎn)品還是有很多的

分布式系統(tǒng)基礎(chǔ)架構(gòu)

說(shuō)歷史，從Lucense說(shuō)起，java寫的全文搜索。2001年第成為apache基金會(huì)的一個(gè)子項(xiàng)目

對(duì)于海量數(shù)據(jù)的場(chǎng)景，有困難：存儲(chǔ)困難，檢索慢

升級(jí)為微型nutch

Google是Hadoop的思想之源：GFS>HDFS Map-Reduce->MR BigTable>HBase

2003-2004年，以google公開(kāi)的思想細(xì)節(jié)，實(shí)現(xiàn)了DFS和MapReduce機(jī)制，Nutch性能飆升

…

3個(gè)發(fā)行版本：Apache的入門學(xué)習(xí)最好；Cloudera企業(yè)用的多，Hortonwords文檔好

優(yōu)勢(shì)：4高 高可靠 副本多，這個(gè)浪費(fèi)也多吧~；高擴(kuò)展 節(jié)點(diǎn)擴(kuò)展

高效性 并行工作；高容錯(cuò)性 失敗任務(wù)自動(dòng)重新分配

1.x與2.x區(qū)別

1.x Common輔助工具 HDFS MapReduce計(jì)算+調(diào)度

2.x Yarn專做資源調(diào)度 MapReduce只做計(jì)算

HDFS：NameNode DataNode SecondaryNameNode

YARN: ResourceManager(RM) NodeManager(NM) ApplicationMaster(AM) Container資源的抽象

MapReduce: Map并行處理輸入數(shù)據(jù) Reduce對(duì)Map結(jié)構(gòu)進(jìn)行匯總

生態(tài)體系

數(shù)據(jù)來(lái)源層 > 數(shù)據(jù)傳輸層 > 數(shù)據(jù)存儲(chǔ)層 > 資源管理層 > 數(shù)據(jù)計(jì)算層

第六周

為什么要編譯源碼？

要編譯為64位的，難道沒(méi)有編譯好的64位的？

應(yīng)該是可以自定義要編譯的功能吧？

前期準(zhǔn)備：必須要能連外網(wǎng)

這里是以操作系統(tǒng)centos為例來(lái)說(shuō)明的

如果失敗，就重新執(zhí)行命令。原因還是網(wǎng)絡(luò)不好，導(dǎo)致的問(wèn)題

版本是hadoop2.7.2

然后是1個(gè)多小時(shí)的具體安裝流程，是在本機(jī)上安裝vmware虛擬機(jī)來(lái)做的，比較不容易

克隆后還有修改mac地址之類的，使用的centos6

不用說(shuō)，從源碼安裝是比較麻煩的

要安裝一些開(kāi)發(fā)庫(kù)，準(zhǔn)備好編譯環(huán)境

maven安裝也很慢，要有耐心

第七周

HDFS

它是一種分布式的文件管理系統(tǒng)。

適用場(chǎng)景：一次寫入、多次讀出。不支持文件的修改。所以：適合做數(shù)據(jù)分析，不適合做網(wǎng)盤（但適合做云空間的照片存儲(chǔ)）

優(yōu)點(diǎn)：高容錯(cuò)，通過(guò)增加副本的形式實(shí)現(xiàn)的，始終有3個(gè)副本。

缺點(diǎn)：不適合低延時(shí)訪問(wèn)（如ms級(jí)別）；無(wú)法高效的對(duì)大量小文件進(jìn)行存儲(chǔ)：1占用NameNode大量的內(nèi)存來(lái)存儲(chǔ)文件目錄和塊信息 2小文件存儲(chǔ)的尋址時(shí)間會(huì)超過(guò)讀取時(shí)間

不支持并發(fā)寫入(多個(gè)用戶同時(shí)上傳同一個(gè)文件)、文件隨機(jī)修改（僅支持append）

組成：1.NN（Namenode）2.DN(DataNode) 3.Client 4.Secondary NN

HDFS的文件在物理上是分塊存儲(chǔ)(block),塊的大小是dfs.blocksize定義，在hdfs-default.xml里面。128M

1.x老版本里都是64M，本地運(yùn)行時(shí)是32M

啟動(dòng)后jps看一下進(jìn)程

hadoop fs -ls / 看目錄；同時(shí)可以訪問(wèn)50070端口來(lái)檢查一下

然后有文件操作，分很多小節(jié)

網(wǎng)絡(luò)拓?fù)洌?jié)點(diǎn)距離計(jì)算，好像就是樹(shù)-枝-葉之間算距離

讀數(shù)據(jù)流程；NN和2NN工作機(jī)制；DN工作機(jī)制；HDFS新特性；

第八周

Hadoop數(shù)據(jù)壓縮。因?yàn)榇疟PIO和網(wǎng)絡(luò)帶寬是Hadoop的寶貴資源，所以壓縮很有意義。但雖然其CPU開(kāi)銷不大，也是有代價(jià)的。

自帶的壓縮格式：deflate,gzip,bzip2; lzo,snappy需要安裝

Yarn資源調(diào)度器，提供運(yùn)算資源，相當(dāng)于一個(gè)分布式的OS，而Mapreduce等運(yùn)算程序相當(dāng)于運(yùn)行于OS之上的應(yīng)用程序。

其組件包括：ResourceManager,NodeManager,ApplicationMaster, Container等

Yarn的工作機(jī)制，工作中還好，在面試中會(huì)問(wèn)的非常頻繁

這個(gè)工作機(jī)制，要結(jié)合流程圖來(lái)理解會(huì)比較清楚

還有問(wèn)job提交全過(guò)程的。HDFS/Yarn/mapreduce學(xué)了這么多，他們3個(gè)是這么聯(lián)系到一起的

Android Vue

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。