05_說說Flink架構(gòu)中的角色和作用？

image.png

JobManager： 類似于經(jīng)理

JobManager是Flink系統(tǒng)的協(xié)調(diào)者，它負(fù)責(zé)接收Flink Job，調(diào)度組成Job的多個(gè)Task的執(zhí)行。同時(shí)，JobManager還負(fù)責(zé)收集Job的狀態(tài)信息，并管理Flink集群中從節(jié)點(diǎn)TaskManager。

TaskManager：類似于泳教

TaskManager也是一個(gè)Actor，它是實(shí)際負(fù)責(zé)執(zhí)行計(jì)算的Worker，在其上執(zhí)行Flink Job的一組Task。每個(gè)TaskManager負(fù)責(zé)管理其所在節(jié)點(diǎn)上的資源信息，如內(nèi)存、磁盤、網(wǎng)絡(luò)，在啟動(dòng)的時(shí)候?qū)①Y源的狀態(tài)向JobManager匯報(bào)。

Client：類似于前臺(tái)

當(dāng)用戶提交一個(gè)Flink程序時(shí)，會(huì)首先創(chuàng)建一個(gè)Client，該Client首先會(huì)對(duì)用戶提交的Flink程序進(jìn)行預(yù)處理，并提交到Flink集群中處理，所以Client需要從用戶提交的Flink程序配置中獲取JobManager的地址，并建立到JobManager的連接，將Flink Job提交給JobManager。Client會(huì)將用戶提交的Flink程序組裝一個(gè)JobGraph， 并且是以JobGraph的形式提交的。一個(gè)JobGraph是一個(gè)Flink Dataflow，它由多個(gè)JobVertex組成的DAG。其中，一個(gè)JobGraph包含了一個(gè)Flink程序的如下信息：JobID、Job名稱、配置信息、一組JobVertex等。

job類似于客戶的需求

jobGraph 類似于客戶的需求畫成一張圖

Flink

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。