大數(shù)據(jù)資源管理方案研究

研究背景

在實際的大數(shù)據(jù)工程部署中，多個業(yè)務(wù)部門經(jīng)常需要運行多個數(shù)據(jù)應(yīng)用，在搭建Hadoop集群時，經(jīng)常面臨如何劃分大數(shù)據(jù)集群及進行資源隔離的問題。另外，由于預(yù)算有限等原因，數(shù)據(jù)運維部門也有控制預(yù)算，減少大數(shù)據(jù)集群節(jié)點個數(shù)，同時保證重點業(yè)務(wù)性能等訴求。

現(xiàn)有大數(shù)據(jù)集群一般支持2種資源管理方式，包括物理多租和邏輯多租，分別介紹如下。在物理多租模式中，每個租戶擁有自己的MRS集群，資源和數(shù)據(jù)物理隔離。它的特點如下：

租戶間的資源完全物理隔離，隔離級別較高，租戶間完全互不影響；但空閑資源無法供其他租戶使用，存在資源浪費。

不同租戶的數(shù)據(jù)在不同集群內(nèi)，數(shù)據(jù)共享需要手工搬運數(shù)據(jù)，效率較低；

管理模式比較簡單，對管理員技能要求相對較低；

運維管理工作量較大，需要維護多套集群。比如集群升級需要每個集群逐一升級。

在邏輯多租模式中，多個租戶共用同一個集群，通過集群內(nèi)的多租戶安全體系，實現(xiàn)多租戶之間的資源資源和權(quán)限管控。它的特點如下：

租戶間的資源可以動態(tài)調(diào)配，A租戶不使用的資源可供B租戶使用，有助于提升平臺的整體資源利用率；

不同租戶間的數(shù)據(jù)在同一平臺內(nèi)，可通過權(quán)限放通實現(xiàn)數(shù)據(jù)的共享，數(shù)據(jù)免搬運;

對管理員技能要求高，要求熟悉各個多租戶的特性與基本原理，合理進行多租戶資源和權(quán)限的規(guī)劃和分配；

運維管理工作量較小，一套集群統(tǒng)一管理。

圖1. 大數(shù)據(jù)物理多租示意圖

圖2. 大數(shù)據(jù)邏輯多租示意圖

2. 問題分析

在進行大數(shù)據(jù)集群劃分時，需要實現(xiàn)兩個主要目標。首先，需要確保不同數(shù)據(jù)業(yè)務(wù)之間的資源隔離，保證各個數(shù)據(jù)業(yè)務(wù)的性能；其次，為了控制預(yù)算，需要想辦法減少節(jié)點個數(shù)。為了實現(xiàn)上述兩個目標，需要做以下三方面的工作：

工作一、為了減少節(jié)點個數(shù)，需要合并集群，

減少MRS集群個數(shù)，減少MRS管控節(jié)點；

工作二、采用邏輯多租和多實例，實現(xiàn)資源隔離，

對于支持YARN的組件，通過邏輯多租實現(xiàn)，實現(xiàn)資源隔離；

對于不支持YARN的組件，通過多實例和物理機部署，實現(xiàn)資源隔離；

工作三、部分組件進一步合部，減少節(jié)點個數(shù)，

支持YARN的組件（HIVE/SPARK/HETU/FLINK），適配同樣硬件的組件，可以合部在一個資源池內(nèi)，通過多租戶機制隔離，進一步減少節(jié)點個數(shù)；

對于多個HBASE集群，采用多實例的方法，進行硬件資源隔離。

為了既能保證重點業(yè)務(wù)的性能，又能減少節(jié)點個數(shù)，只能將既適配同樣硬件，又能基于同一資源調(diào)度器工作的組件合部。下面，我們就分析不同大數(shù)據(jù)組件適配的硬件類型，主要是從硬盤類型、資源調(diào)度器、業(yè)務(wù)類型等角度分析。

組件分類

服務(wù)名

計算資源調(diào)度器

推薦數(shù)據(jù)盤類型

MRS管控節(jié)點

管理節(jié)點

SSD

控制節(jié)點

SSD

MRS離線分析

HIVE

YARN

SATA

SPark

YARN

SATA

MRS實時檢索

HBase

YARN

SATA

ElasticSearch

非YARN

SAS

MRS流式處理

Flink

YARN

SSD

Flume

非YARN

SSD

Redis

非YARN

SSD

Kafka

非YARN

SAS

MRS交互式分析

Hetu

YARN

SATA

表1. 大數(shù)據(jù)組件分類

考慮因素一、計算資源調(diào)度器不同，放在不同的節(jié)點

基于YARN的組件，包括HIVE/SPARKE/Flink/Hetu/；

不是基于YARN的組件，包括Flume/REDIS/ES/KAFKA；

考慮因素二、硬盤類型相同，才能合布

SSD：flink、flume、Redis；

SATA：spark + hive, hbase, hetu引擎；

SAS: ElasticSearch, Kafka；

考慮因素三、業(yè)務(wù)分類

離線分析業(yè)務(wù)，HIVE/SPARK/HBASE/ES/HETU；

實時流式處理業(yè)務(wù)，F(xiàn)link/Redis/Kafka；

其中，實時流式處理業(yè)務(wù)對可靠性要求較高，建議單獨部署。

3. 方案介紹

圖3. 大數(shù)據(jù)資源管理策略

為了解決上述問題，我們提出如下方案。首先，我們將組件分為支持YARN的組件和不支持YARN的組件，主要策略如下。

主要策略一，針對支持YARN調(diào)度的組件，通過資源池進行資源隔離，主要步驟如下：

規(guī)劃機器資源，將相關(guān)資源規(guī)劃給支持YARN的組件，并在這些機器上面安裝Node Manager；

通過資源池將計算節(jié)點分開，不同的租戶應(yīng)用跑到不同的機器上；

可以支持SATA硬盤的組件，分配統(tǒng)一的資源池，通過租戶、子租戶機制，進一步劃分資源；

要求SSD盤的組件，分配相應(yīng)的資源池和租戶，通過租戶，獨占資源。

主要策略二，針對不支持YARN調(diào)度的組件，通過物理機隔離，這些物理機不裝Node Manager。主要步驟如下：

規(guī)劃機器資源，將相關(guān)資源規(guī)劃給不支持YARN的組件，不要在這些機器上面安裝Node Manager；

針對其不同組件要求不同的硬盤類型，分配不同的機器，并在上面安裝不同的組件；

針對多個HBASE集群，采用多實例和硬件隔離的方式，進行資源隔離；

如果單個子集群的負載過小，且適配同樣硬件的組件，可以進一步合部。

4.方案案例

圖4. 物理機集群部署方案

圖5. 邏輯多租部署方案

下面我們結(jié)合一個具體的項目，對比以下物理機集群方案和邏輯部署方案的效果。在圖4，描述了一個物理機部署方案，共有6集群，30控節(jié)點。在圖5，將上述6集群合并為一個集群，通過資源池和多實例的方式，來做資源隔離。對比兩個方案，可以發(fā)現(xiàn)以邏輯多租為主的部署方案，將顯著減少MRS的管控節(jié)點，同時也能保證各項業(yè)務(wù)的資源隔離。

FusionInsight MapReduce服務(wù) Yarn 大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。