華為云FusionInsight MRS如何實(shí)現(xiàn)千余節(jié)點(diǎn)滾動(dòng)升級(jí)無(wú)業(yè)務(wù)中斷升級(jí)

華為開(kāi)發(fā)者大會(huì)2021（Cloud）于2021年4月24日-26日在深圳成功舉行。本屆大會(huì)以#每一個(gè)開(kāi)發(fā)者都了不起#為主題，為眾多開(kāi)發(fā)者帶來(lái)一場(chǎng)ICT方面的技術(shù)盛宴。

大會(huì)期間，由華為技術(shù)專(zhuān)家天團(tuán)打造的《名師大講堂》系列專(zhuān)題演講，圍繞云原生、大數(shù)據(jù)、人工智能等話(huà)題，探討技術(shù)創(chuàng)新帶來(lái)的價(jià)值，分享創(chuàng)新實(shí)踐。其中，華為云FusionInsight解決方案架構(gòu)師許田立，分享了“千級(jí)節(jié)點(diǎn)的大數(shù)據(jù)集群如何無(wú)業(yè)務(wù)中斷升級(jí)”主題。

華為云FusionInsight解決方案架構(gòu)師許田立演講照片

數(shù)據(jù)量激增，可持續(xù)發(fā)展的數(shù)據(jù)底座尤為重要

隨著5G、IoT技術(shù)的飛速發(fā)展，數(shù)據(jù)已成為重要的戰(zhàn)略資源。據(jù)預(yù)測(cè)未來(lái)4年數(shù)據(jù)量將激增4倍+，達(dá)180ZB，到35年呈50倍增長(zhǎng)。同時(shí)，數(shù)據(jù)作為繼土地、資本、技術(shù)、勞動(dòng)力的第5種生產(chǎn)要素，已是數(shù)字經(jīng)濟(jì)發(fā)展的重要要素。但相關(guān)調(diào)查結(jié)果顯示，企業(yè)運(yùn)營(yíng)中僅56%的數(shù)據(jù)被存儲(chǔ)，僅32%的數(shù)據(jù)被利用。為應(yīng)對(duì)呈指數(shù)級(jí)增長(zhǎng)的數(shù)據(jù)資產(chǎn)，挖掘海量數(shù)據(jù)價(jià)值，政企客戶(hù)采用大規(guī)模數(shù)據(jù)底座的需求越來(lái)越迫切。

眾所周知，企業(yè)早期業(yè)務(wù)較小，各業(yè)務(wù)從數(shù)據(jù)集成到數(shù)據(jù)應(yīng)用，系統(tǒng)自建，煙囪林立，伴隨業(yè)務(wù)飛速發(fā)展，數(shù)據(jù)不統(tǒng)一、數(shù)據(jù)融合分析難、開(kāi)發(fā)維護(hù)成本高等問(wèn)題日益凸顯，煙囪式的數(shù)據(jù)體系演進(jìn)達(dá)到瓶頸。

為突破以上瓶頸，挖掘數(shù)據(jù)價(jià)值，驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)，傳統(tǒng)煙囪式數(shù)據(jù)體系向統(tǒng)一數(shù)據(jù)湖架構(gòu)演進(jìn)，實(shí)現(xiàn)一致的數(shù)據(jù)清潔，做到同名同義，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)；通過(guò)一套技術(shù)架構(gòu)減少維護(hù)成本；采用樂(lè)高積木式的指標(biāo)體系，提升開(kāi)發(fā)效率；拉通數(shù)據(jù)實(shí)現(xiàn)跨域融合分析，帶來(lái)更多的業(yè)務(wù)創(chuàng)新。

立足于長(zhǎng)遠(yuǎn)，大集群的數(shù)據(jù)湖架構(gòu)不僅需滿(mǎn)足當(dāng)下，更應(yīng)具備可持續(xù)演進(jìn)的能力。

從技術(shù)角度來(lái)看，大數(shù)據(jù)開(kāi)源、開(kāi)放技術(shù)仍在蓬勃發(fā)展，以前，駕馭大數(shù)據(jù)“三駕馬車(chē)”可轉(zhuǎn)遍大數(shù)據(jù)的池塘，現(xiàn)如今，大數(shù)據(jù)技術(shù)已發(fā)展成一片海洋，社區(qū)已具有100+開(kāi)源項(xiàng)目，大數(shù)據(jù)技術(shù)創(chuàng)新進(jìn)入深水區(qū)。現(xiàn)在大數(shù)據(jù)不僅限于Hadoop生態(tài)，已是多種主流數(shù)據(jù)處理技術(shù)的集合，在不同場(chǎng)景有著豐富的組件進(jìn)行支撐。華為云大數(shù)據(jù)技術(shù)與世界同步，積極擁抱開(kāi)源，汲取全球頂尖大數(shù)據(jù)實(shí)踐經(jīng)驗(yàn)。

從業(yè)務(wù)角度來(lái)看，大數(shù)據(jù)平臺(tái)承載了海量數(shù)據(jù)各業(yè)務(wù)分析場(chǎng)景，其中更涉及多個(gè)關(guān)鍵業(yè)務(wù)，如運(yùn)營(yíng)商的對(duì)內(nèi)收入稽核、對(duì)外廣告精準(zhǔn)投放，金融領(lǐng)域的反欺詐、精準(zhǔn)營(yíng)銷(xiāo)等場(chǎng)景，服務(wù)連續(xù)性要求高，7*24小時(shí)不中斷；如何讓大數(shù)據(jù)平臺(tái)軟件保持最新保本，實(shí)現(xiàn)最優(yōu)的平臺(tái)參數(shù)，達(dá)到最快的問(wèn)題解決速度？這些都對(duì)平臺(tái)運(yùn)維部門(mén)提出了極高的要求。

為了保持業(yè)務(wù)的連續(xù)性和技術(shù)引領(lǐng)，一個(gè)超大規(guī)模、高效率、可持續(xù)發(fā)展的數(shù)據(jù)底座顯得尤為重要，而不中斷業(yè)務(wù)的滾動(dòng)升級(jí)能力則成為其中的必備能力。

滾動(dòng)升級(jí)實(shí)現(xiàn)架構(gòu)平滑演進(jìn)，業(yè)務(wù)無(wú)中斷

華為云FusionInsight MRS云原生數(shù)據(jù)湖提供超大規(guī)模集群，支持單集群2萬(wàn)+節(jié)點(diǎn)規(guī)模，并可聯(lián)邦無(wú)限擴(kuò)容，同時(shí)，從500+節(jié)點(diǎn)集群的標(biāo)配開(kāi)始，華為云FusionInsight MRS云原生數(shù)據(jù)湖已提供滾動(dòng)升級(jí)能力，截止目前升級(jí)成功率為100%。

當(dāng)然，滾動(dòng)升級(jí)的成功并不是一蹴而就的，在其升級(jí)過(guò)程中也將面臨如下挑戰(zhàn)：

無(wú)處不在的兼容性：HDFS作為一個(gè)分布式架構(gòu)組件，涉及的跨進(jìn)程的接口眾多，在中間狀態(tài)，涉及到新老版本交互的場(chǎng)景眾多，每一種組合都存在兼容性問(wèn)題；

可靠性：集群規(guī)模達(dá)到一定數(shù)量后，集群升級(jí)歷時(shí)需數(shù)天，升級(jí)過(guò)程中需要應(yīng)對(duì)各種突發(fā)事件，例如硬件的磁盤(pán)故障、網(wǎng)絡(luò)擁塞等各種異常場(chǎng)景，面臨這些挑戰(zhàn)需要確保升級(jí)進(jìn)度不受影響；

業(yè)務(wù)無(wú)中斷：大數(shù)據(jù)平臺(tái)承載企業(yè)多場(chǎng)景應(yīng)用，升級(jí)過(guò)程中，關(guān)鍵業(yè)務(wù)不允許中斷。

為了保障大集群升級(jí)過(guò)程的平滑，華為云FusionInsight MRS云原生數(shù)據(jù)湖團(tuán)隊(duì)提供了升級(jí)管理可視化服務(wù)工具，可以端到端分步驟的完成滾動(dòng)升級(jí)，實(shí)現(xiàn)升級(jí)過(guò)程中的可視化控制和管理，并應(yīng)對(duì)上述挑戰(zhàn)，主要做了如下處理：

在接口中增加版本號(hào)，新版本客戶(hù)端帶上版本號(hào)標(biāo)識(shí)；服務(wù)端提供兩種RPC實(shí)現(xiàn)入口，在入口處進(jìn)行消息格式不兼容的預(yù)處理，解決接口兼容性問(wèn)題；面對(duì)社區(qū)大版本變更導(dǎo)致的不兼容問(wèn)題，通過(guò)多版本并存的方式，解決滾動(dòng)升級(jí)對(duì)業(yè)務(wù)的影響；

為快速處理升級(jí)過(guò)程中出現(xiàn)的硬件故障，提供了故障節(jié)點(diǎn)隔離能力，在故障發(fā)生時(shí)，可以跳過(guò)該節(jié)點(diǎn)的升級(jí)動(dòng)作，使得故障處理和升級(jí)可以有序進(jìn)行；

為降低在升級(jí)過(guò)程中對(duì)關(guān)鍵任務(wù)SLA的影響，提供了滾動(dòng)升級(jí)暫停的能力，關(guān)鍵作業(yè)或者作業(yè)高峰時(shí)段，無(wú)論是同一批次內(nèi)還是多批次間，都可暫停升級(jí)動(dòng)作，保障關(guān)鍵任務(wù)平穩(wěn)執(zhí)行。

滾動(dòng)升級(jí)不僅是一個(gè)升級(jí)動(dòng)作，更是一個(gè)系統(tǒng)工程，華為云FusionInsight MRS云原生數(shù)據(jù)湖從兼容性、可靠性、工具自動(dòng)化、保障團(tuán)隊(duì)等多方面入手，注重細(xì)節(jié)，通過(guò)滾動(dòng)升級(jí)助力政企客戶(hù)平臺(tái)架構(gòu)平滑演進(jìn)。

工商銀行實(shí)現(xiàn)首個(gè)金融行業(yè)1000+大集群滾動(dòng)升級(jí)成功

工行大數(shù)據(jù)平臺(tái)的Hadoop批量集群已超過(guò)1000節(jié)點(diǎn)，日均處理作業(yè)10萬(wàn)+，數(shù)據(jù)存儲(chǔ)數(shù)十PB，承載了全行重點(diǎn)批量作業(yè)，其中包括反欺詐、精準(zhǔn)營(yíng)銷(xiāo)等多個(gè)重要業(yè)務(wù)場(chǎng)景，服務(wù)連續(xù)性需求較高。而大數(shù)據(jù)技術(shù)迭代快，傳統(tǒng)升級(jí)方式需斷電、重啟等操作，升級(jí)操作復(fù)雜，影響現(xiàn)網(wǎng)業(yè)務(wù)運(yùn)行，且大集群升級(jí)耗時(shí)長(zhǎng)，突發(fā)故障易中斷升級(jí)動(dòng)作。

大數(shù)據(jù)技術(shù)快速發(fā)展，為滿(mǎn)足業(yè)務(wù)變化發(fā)展需求，工行采用了華為云FusionInsight MRS 滾動(dòng)升級(jí)方案，借助于大數(shù)據(jù)核心組件的高可用機(jī)制， MRS按照依賴(lài)層次，多層次并行，在不影響集群整體業(yè)務(wù)的情況下，一次升級(jí)/重啟少量節(jié)點(diǎn)，依據(jù)組件和實(shí)例的依賴(lài)關(guān)系，自動(dòng)編排升級(jí)批次。升級(jí)過(guò)程中，隔離故障節(jié)點(diǎn)，待升級(jí)完成后，再進(jìn)行故障處理。循環(huán)滾動(dòng)，直至集群所有節(jié)點(diǎn)升級(jí)到新版本。

通過(guò)華為云FusionInsight滾動(dòng)升級(jí)能力，實(shí)現(xiàn)大集群分批次滾動(dòng)升級(jí)，業(yè)務(wù)0中斷；故障節(jié)點(diǎn)隔離功能確保升級(jí)動(dòng)作的穩(wěn)定運(yùn)行，實(shí)現(xiàn)7*24小時(shí)不間斷服務(wù)；1000+精細(xì)化運(yùn)維指標(biāo)及可視化操作簡(jiǎn)化運(yùn)維，實(shí)現(xiàn)一個(gè)架構(gòu)持續(xù)演進(jìn)。

結(jié)語(yǔ)

滾動(dòng)升級(jí)作為大集群數(shù)據(jù)底座的必備能力，完美解決了傳統(tǒng)大數(shù)據(jù)平臺(tái)操作繁瑣、業(yè)務(wù)停機(jī)、升級(jí)成本高等問(wèn)題，實(shí)現(xiàn)一個(gè)架構(gòu)的持續(xù)演進(jìn)，業(yè)務(wù)無(wú)中斷。同時(shí)，華為云FusionInsight MRS云原生數(shù)據(jù)湖還將持續(xù)創(chuàng)新，做大數(shù)字世界黑土地，攜手800+ISV為客戶(hù)提供持續(xù)演進(jìn)的湖倉(cāng)一體解決方案，可以在一個(gè)架構(gòu)上實(shí)現(xiàn)離線數(shù)據(jù)湖、實(shí)時(shí)數(shù)據(jù)湖、邏輯數(shù)據(jù)湖，在千行百業(yè)構(gòu)筑“一企一湖，一城一湖”。

EI企業(yè)智能 FusionInsight MapReduce 大數(shù)據(jù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。