《企業(yè)級大數(shù)據(jù)平臺構(gòu)建：架構(gòu)與實(shí)現(xiàn)》——2.5.6　集群模式

2.5.6　集群模式

Spark的應(yīng)用以一組獨(dú)立進(jìn)程的形式運(yùn)行在一個集群之上，由主程序中的SparkContext對象進(jìn)行協(xié)調(diào)（也被稱為driver程序）。Spark目前支持三種集群運(yùn)行方式。

具體來說，Spark既可以通過standlone模式獨(dú)立運(yùn)行，也可以運(yùn)行在Mesos或者YARN之上。如圖2-17所示，一旦SparkContext連接到集群，Spark首先會從集群的節(jié)點(diǎn)中獲得一些executor進(jìn)程，這些進(jìn)程會用來執(zhí)行我們程序中的計(jì)算和存儲邏輯，接著它會通過jar包的形式分發(fā)我們的程序代碼到各個executor進(jìn)程。最后，SparkContext會分派任務(wù)到各executor進(jìn)程進(jìn)行執(zhí)行。

圖2-17　Spark任務(wù)進(jìn)程示意

每個應(yīng)用都擁有自己的executor進(jìn)程，這些進(jìn)程會在整個應(yīng)用生命周期內(nèi)持續(xù)運(yùn)行并以多線程的方式執(zhí)行具體的任務(wù)。這種設(shè)計(jì)的好處是將各個應(yīng)用之間的資源消耗進(jìn)行了隔離，每個應(yīng)用都運(yùn)行在它們各自的JVM中。但是這也意味著不同應(yīng)用之間的SparkContext無法共享數(shù)據(jù)，除非借助擴(kuò)展的存儲媒介。

Spark對底層集群管理不可知。只要能夠獲取到executor進(jìn)行，并且這些進(jìn)程之間可以通信，它就能比較容易的運(yùn)行在其他通用集群資源調(diào)度框架之上，如Mesos和YARN。

大數(shù)據(jù) 任務(wù)調(diào)度

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。