【云小課】EI第1課 MRS和自建Hadoop相比，有哪些優勢？

大數據時代企業要發展就必須進行數字化轉型，要完成轉型，企業需要利用大數據技術打破現有數據孤島，構建數據分析和運營能力，才能達到降本增效。企業構建大數據平臺時會面臨如下兩種選擇：一種是大量購買機器及Hadoop發行商版本，本地自建Hadoop大數據集群；一種是按企業自身的需求，購買公有云大數據云服務構建自己的云上大數據平臺。

企業該如何選擇呢？云小課為您解讀華為云大數據云服務MRS相比自建Hadoop集群的優勢，幫助您更好的進行選擇。

MapReduce服務（MRS）提供租戶完全可控的企業級大數據集群云服務，輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數據組件，用戶無需關注硬件的購買和維護。MRS服務擁有強大的Hadoop內核團隊，基于華為FusionInsight大數據企業級平臺構筑，歷經行業數萬節點部署量的考驗，提供多級用戶SLA保障。與自建Hadoop集群相比，MRS還具有以下優勢：

1.? MRS支持一鍵式創建、刪除、擴縮容集群，并通過彈性公網IP便攜訪問MRS集群管理系統，讓大數據集群更加易于使用。

用戶自建大數據集群面臨成本高、周期長、運維難和不靈活等問題。針對這些問題，MRS支持一鍵式創建、刪除、擴容和縮容集群的能力，用戶可以自定制集群的類型，組件范圍，各類型的節點數、虛擬機規格、可用區、VPC網絡、認證信息，MRS將為用戶自動創建一個符合配置的集群，全程無需用戶參與。同時支持用戶快速創建多應用場景集群，比如快速創建Hadoop分析集群、HBase集群、Kafka集群。MRS支持部署異構集群，在集群中存在不同規格的虛擬機，允許在CPU類型，硬盤容量，硬盤類型，內存大小靈活組合。

MRS提供了基于彈性公網IP來便捷訪問組件WebUI的安全通道，并且比用戶自己綁定彈性公網IP更便捷，只需界面鼠標操作，即可簡化原先用戶需要自己登錄虛擬私有云添加安全組規則，獲取公網IP等步驟，減少了用戶操作步驟。

MRS提供了自定義引導操作，用戶可以以此為入口靈活配置自己的集群，通過引導操作用戶可以自動化地完成安裝MRS還沒支持的第三方軟件，修改集群運行環境等自定義操作。

MRS支持WrapperFS特性，提供OBS的翻譯能力，兼容HDFS到OBS的平滑遷移，解決客戶將HDFS中的數據遷移到OBS后，即可實現客戶端無需修改自己的業務代碼邏輯的情況下，訪問存儲到OBS的數據。

2.? MRS支持自動彈性伸縮，相對自建Hadoop集群的使用成本更低。

MRS可以按業務峰谷，自動彈性伸縮，在業務繁忙時申請額外資源，業務不繁忙時釋放閑置資源，讓用戶按需使用，幫助用戶節省大數據平臺閑時資源，盡可能的幫助用戶降低使用成本，聚焦核心業務。

在大數據應用，尤其是周期性的數據分析處理場景中，需要根據業務數據的周期變化，動態調整集群計算資源以滿足業務需要。MRS的彈性伸縮規則功能支持根據集群負載對集群進行彈性伸縮。此外，如果數據量為周期有規律的變化，并且希望在數據量變化前提前完成集群的擴縮容，可以使用MRS的資源計劃特性。MRS服務支持規則和時間計劃兩種彈性伸縮的策略：

彈性伸縮規則：根據集群實時負載對Task節點數量進行調整，數據量變化后觸發擴縮容，有一定的延后性。

資源計劃：若數據量變化存在周期性規律，則可通過資源計劃在數據量變化前提前完成集群的擴縮容，避免出現增加或減少資源的延后。

彈性伸縮規則與資源計劃均可觸發彈性伸縮，兩者即可同時配置也可單獨配置。資源計劃與基于負載的彈性伸縮規則疊加使用可以使得集群節點的彈性更好，足以應對偶爾超出預期的數據峰值出現。

3.? MRS支持存算分離，大幅提升大數據集群資源利用率。

針對傳統存算一體大數據架構中擴容困難、資源利用率低等問題，MRS采用計算存儲分離架構，存儲基于公有云對象存儲實現11個9的高可靠，無限容量，支撐企業數據量持續增長；計算資源支持0~N彈性擴縮，百節點快速發放。存算分離后，計算節點可實現真正的極致彈性伸縮；數據存儲部分基于OBS的跨AZ等能力實現更高可靠性，無需擔心地震、挖斷光纖等突發事件。存儲和計算資源可以靈活配置，根據業務需要各自獨立進行彈性擴展，可使資源匹配更精準、更合理，讓大數據集群資源利用率大幅提升，綜合分析成本降低50%。

同時通過高性能的計算存儲分離架構，打破存算一體架構并行計算的限制，最大化發揮對象存儲的高帶寬、高并發的特點，對數據訪問效率和并行計算深度優化（元數據操作、寫入算法優化等），實現性能提升。

4.? MRS支持自研CarbonData和自研超級調度器Superior Scheduler，性能更優。

MRS支持自研的CarbonData存儲技術。CarbonData是一種高性能大數據存儲方案，以一份數據同時支持多種應用場景，并通過多級索引、字典編碼、預聚合、動態Partition、準實時數據查詢等特性提升了IO掃描和計算性能，實現萬億數據分析秒級響應。

MRS支持自研超級調度器Superior Scheduler，突破單集群規模瓶頸，單集群調度能力超10000節點。Superior Scheduler是一個專門為Hadoop YARN分布式資源管理系統設計的調度引擎，是針對企業客戶融合資源池，多租戶的業務訴求而設計的高性能企業級調度器。Superior Scheduler可實現開源調度器、Fair Scheduler以及Capacity Scheduler的所有功能。另外，相較于開源調度器，Superior Scheduler在企業級多租戶調度策略、租戶內多用戶資源隔離和共享、調度性能、系統資源利用率和支持大集群擴展性方面都做了針對性的增強，讓Superior Scheduler直接替代開源調度器。

5.? MRS基于鯤鵬處理器進行軟硬件垂直優化，充分釋放硬件算力，實現高性價比。

MRS支持華為自研鯤鵬服務器，充分利用鯤鵬多核高并發能力，提供芯片級的全棧自主優化能力，使用華為自研的操作系統EulerOS、華為JDK及數據加速層，充分釋放硬件算力，為大數據計算提供高算力輸出。在性能相當情況下，端到端的大數據解決方案成本下降30%。

6.? MRS支持多種隔離模式及企業級的大數據多租戶權限管理能力，安全性更高。

MRS服務支持資源專屬區內部署，專屬區內物理資源隔離，用戶可以在專屬區內靈活地組合計算存儲資源，包括專屬計算資源+共享存儲資源、共享計算資源+專屬存儲資源、專屬計算資源+專屬存儲資源。MRS集群內支持邏輯多租，通過權限隔離，對集群的計算、存儲、表格等資源按租戶劃分。

MRS支持Kerberos安全認證，實現了基于角色的安全控制及完善的審計功能。

MRS支持對接華為云云審計服務（CTS），為用戶提供MRS資源操作請求及請求結果的操作記錄，供用戶查詢、審計和回溯使用。支持所有集群操作審計，所有用戶行為可溯源。

MRS支持與主機安全服務對接，針對主機安全服務，做過兼容性測試，保證功能和性能不受影響的情況下，增強服務的安全能力。

MRS支持基于WebUI的統一的用戶登錄能力，MRS Manager自帶用戶認證環節，用戶只有通過MRS Manager認證才能正常訪問集群。

MRS支持數據存儲加密，所有用戶賬號密碼加密存儲，數據通道加密傳輸，服務模塊跨信任區的數據訪問支持雙向證書認證等能力。

MRS大數據集群提供了完整的企業級大數據多租戶解決方案。多租戶是MRS大數據集群中的多個資源集合（每個資源集合是一個租戶），具有分配和調度資源（資源包括計算資源和存儲資源）的能力。多租戶將大數據集群的資源隔離成一個個資源集合，彼此互不干擾，用戶通過“租用”需要的資源集合，來運行應用和作業，并存放數據。在大數據集群上可以存在多個資源集合來支持多個用戶的不同需求。

MRS支持細粒度權限管理，結合華為云IAM服務提供的一種細粒度授權的能力，可以精確到具體服務的操作、資源以及請求條件等。基于策略的授權是一種更加靈活的授權方式，能夠滿足企業對權限最小化的安全管控要求。例如：針對MRS服務，管理員能夠控制IAM用戶僅能對集群進行指定的管理操作。如不允許某用戶組刪除集群，僅允許操作MRS集群基本操作，如創建集群、查詢集群列表等。同時MRS支持多租戶對OBS存儲的細粒度權限管理，根據多種用戶角色來區分訪問OBS桶及其內部的對象的權限，實現MRS用戶對OBS桶下的目錄權限控制。

MRS支持企業項目管理。企業項目是一種云資源管理方式，企業管理（Enterprise Management）提供面向企業客戶的云上資源管理、人員管理、權限管理、財務管理等綜合管理服務。區別于管理控制臺進行獨立操控、配置云產品的方式，企業管理控制臺以面向企業資源管理為出發點，幫助企業以公司、部門、項目等分級管理方式實現企業云上的人員、資源、權限、財務的管理。MRS支持已開通企業項目服務的用戶在創建集群時為集群配置對應的項目，然后使用企業項目管理對MRS上的的資源進行分組管理。此特性適用于客戶針對多個資源進行分組管理，并對相應的企業項目進行諸如權限控制、分項目費用查看等操作的場景。

7.? MRS管理節點均實現HA，支持完備的可靠性機制，讓系統更加可靠。

MRS在基于Apache Hadoop開源軟件的基礎上，在主要業務部件的可靠性方面進行了優化和提升。

管理節點均實現HA

Hadoop開源版本的數據、計算節點已經是按照分布式系統進行設計的，單節點故障不影響系統整體運行；而以集中模式運作的管理節點可能出現的單點故障，就成為整個系統可靠性的短板。

MRS對所有業務組件的管理節點都提供了類似的雙機的機制，包括MRS Manager、Presto、HDFS NameNode、Hive Server、HBase HMaster、YARN Resources Manager、Kerberos Server、Ldap Server等，全部采用主備或負荷分擔配置，有效避免了單點故障場景對系統可靠性的影響。

完備的可靠性機制

通過可靠性分析方法，梳理軟件、硬件異常場景下的處理措施，提升系統的可靠性。

?? 保障意外掉電時的數據可靠性，不論是單節點意外掉電，還是整個集群意外斷電，恢復供電后系統能夠正常恢復業務，除非硬盤介質損壞，否則關鍵數據不會丟失。

?? 硬盤亞健康檢測和故障處理，對業務不造成實際影響。

?? 自動處理文件系統的故障，自動恢復受影響的業務。

?? 自動處理進程和節點的故障，自動恢復受影響的業務。

?? 自動處理網絡故障，自動恢復受影響的業務。

8.? MRS提供統一的可視化大數據集群管理界面，讓運維人員更加輕松。

MRS提供統一的可視化大數據集群管理界面，包括服務啟停、配置修改、健康檢查等能力，并提供可視化、便捷的集群管理監控告警功能；支持一鍵式系統運行健康度巡檢和審計，保障系統的正常運行，降低系統運維成本。

MRS聯合消息通知服務(SMN)，在配置消息通知后，可以實時給用戶發送MRS集群健康狀態，用戶可以通過手機短信或郵箱實時接收到MRS集群變更及組件告警信息，幫助用戶輕松運維，實時監控，實時發送告警。

MRS支持滾動補丁升級，可視化補丁發布信息，一鍵式補丁安裝，無需人工干預，不停業務，保障用戶集群長期穩定。

MRS服務支持運維授權的功能，用戶在使用MRS集群過程中，發生問題可以在MRS頁面發起運維授權，由運維人員幫助客戶快速定位問題，用戶可以隨時收回該授權。同時用戶也可以在MRS 頁面發起日志共享，選擇日志范圍共享給運維人員，以便運維人員在不接觸集群的情況下幫助定位問題。

MRS支持將創建集群失敗的日志轉儲到OBS，便于運維人員獲取日志進行分析。

9.? MRS具有開放的生態，支持無縫對接周邊服務，快速構建統一大數據平臺。

以全棧大數據MRS服務為基礎，企業可以一鍵式構筑數據接入、數據存儲、數據分析和價值挖掘的統一大數據平臺，并且與智能數據運營平臺DAYU及數據可視化等服務對接，為客戶輕松解決數據通道上云、大數據作業開發調度和數據展現的困難，使客戶從復雜的大數據平臺構建和專業大數據調優和維護中解脫出來，更加專注行業應用，使客戶完成一份數據多業務場景使用的訴求。DAYU是數據全生命周期一站式開發運營平臺，提供數據集成、數據開發、數據治理、數據服務、數據可視化等功能。MRS數據支持連接DAYU平臺，并基于可視化的圖形開發界面、豐富的數據開發類型（腳本開發和作業開發）、全托管的作業調度和運維監控能力，內置行業數據處理pipeline，一鍵式開發，全流程可視化，支持多人在線協同開發，極大地降低了用戶使用大數據的門檻，幫助用戶快速構建大數據處理中心，對數據進行治理及開發調度，快速實現數據變現。

MRS服務100%兼容開源大數據生態，結合周邊豐富的數據及應用遷移工具，能夠幫助客戶快速完成自建平臺的平滑遷移，整個遷移過程可做到“代碼0修改，業務0中斷”。

想了解更多華為云MRS服務，請點擊這里訪問MRS產品頁了解詳情。

大數據 云小課

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。