藍(lán)軍煉成記

2017年2月9日，一場(chǎng)別樣的事故演練正在緊張有序地進(jìn)行。

藍(lán)軍扮演一線角色，14:00上報(bào)問(wèn)題：“某國(guó)V局點(diǎn)，突然出現(xiàn)大量小區(qū)中斷，客戶投訴，請(qǐng)?zhí)幚怼薄?/p>

14:02?，紅軍快速集結(jié)到作戰(zhàn)室，迅速完成各角色的分工。

14:15，日志回傳完畢。

14:20，發(fā)現(xiàn)日志解析工具版本無(wú)最新適配層，解析日志出現(xiàn)阻塞。

14:30，第一次恢復(fù)的腳本下發(fā)失敗，紅軍緊急啟動(dòng)二次恢復(fù)腳本制作。

14:50，問(wèn)題上升，求助到后臺(tái)專家老唐。專家到場(chǎng)后，抽絲剝繭，迅速找到問(wèn)題根因。

15:10，問(wèn)題恢復(fù)。

恢復(fù)時(shí)長(zhǎng)70分鐘，藍(lán)軍獲勝。老唐因發(fā)揮關(guān)鍵作用，獲得 “事故恢復(fù)之星”殊榮。

而與此同時(shí)，我坐在作戰(zhàn)室“奮筆疾書(shū)”，默不作聲，仔細(xì)地觀察整個(gè)作戰(zhàn)過(guò)程，小心地記錄下了所有的作戰(zhàn)細(xì)節(jié)和思路，和紅軍一起就地復(fù)盤(pán)，完成能力評(píng)分以及能力雷達(dá)。

過(guò)去近兩年，我們?cè)跓o(wú)線控制器團(tuán)隊(duì)內(nèi)進(jìn)行了30多次類似演練。藍(lán)軍在實(shí)驗(yàn)室構(gòu)造網(wǎng)絡(luò)故障，模擬現(xiàn)網(wǎng)事故問(wèn)題場(chǎng)景，上報(bào)給紅軍緊急處理，以此加強(qiáng)紅軍緊急問(wèn)題恢復(fù)的熟練度，達(dá)到快速恢復(fù)事故，保持戰(zhàn)斗力的目的。

我是這支藍(lán)軍的負(fù)責(zé)人，可說(shuō)實(shí)話，我們的出現(xiàn)是被現(xiàn)實(shí)“逼”出來(lái)的。

藍(lán)軍誕生，我成了“滿廣志”

2015年8月26日，E局事故在風(fēng)平浪靜時(shí)爆發(fā)，猶如晴天霹靂，給部門(mén)造成了極大的質(zhì)量創(chuàng)傷，所有研發(fā)人員籠罩在事故的陰影中：接下來(lái)，怎么辦？

PDU部長(zhǎng)在那年質(zhì)量大會(huì)上說(shuō)：“質(zhì)量事故并不可怕，我們要如鳳凰涅槃一般，敢于樹(shù)立‘1000天零事故’的目標(biāo)，開(kāi)啟全新的征程?！痹诋?dāng)時(shí)，那絕對(duì)是個(gè)遙不可及的夢(mèng)想。

接著，進(jìn)入?2016年，控制器網(wǎng)上緊急問(wèn)題發(fā)生的不確定性以及復(fù)雜性，不斷挑撥著整個(gè)部門(mén)敏感的神經(jīng)。對(duì)事故恢復(fù)團(tuán)隊(duì)來(lái)說(shuō)，每次的緊急問(wèn)題恢復(fù)，猶如火山口上走鋼絲，“以戰(zhàn)代練”遠(yuǎn)遠(yuǎn)不能達(dá)到嚴(yán)峻的網(wǎng)上壓力對(duì)事故恢復(fù)能力的要求。比如Y局硬件故障導(dǎo)致業(yè)務(wù)受損的問(wèn)題，投入所有研發(fā)骨干，爭(zhēng)分奪秒將問(wèn)題恢復(fù)，險(xiǎn)些釀成事故。而這種緊急情況，早已成為常態(tài)。

如何提升事故恢復(fù)能力？必須在實(shí)戰(zhàn)中才能提升。部門(mén)決定成立無(wú)線網(wǎng)絡(luò)軟件平臺(tái)藍(lán)軍旅，作為能力提升的發(fā)動(dòng)機(jī)，站在客戶視角，提前發(fā)掘現(xiàn)在網(wǎng)上風(fēng)險(xiǎn)和網(wǎng)上隱患，讓未知風(fēng)險(xiǎn)變已知風(fēng)險(xiǎn)，讓已知問(wèn)題更快恢復(fù)。很快，F(xiàn)SD（全棧工程師）網(wǎng)站上出現(xiàn)了一個(gè)特別的任務(wù)“尋找控制器軟件平臺(tái)的滿廣志”。

我懷著忐忑的心情，“搶”下這個(gè)任務(wù)后，PDU部長(zhǎng)語(yǔ)重心長(zhǎng)地對(duì)我說(shuō)：“藍(lán)軍的運(yùn)作，你一定要站在超過(guò)所有人認(rèn)知的高度去做，場(chǎng)景要無(wú)限逼近現(xiàn)網(wǎng)，且藍(lán)軍要100%獲勝，讓我們的事故恢復(fù)能力能夠真正跨上一個(gè)臺(tái)階。”就這樣，我成了部門(mén)的“滿廣志”，肩負(fù)起了這沉甸甸的使命，同時(shí)100%藍(lán)軍獲勝，也是一個(gè)巨大的壓力。

一場(chǎng) “慢悠悠”的演練

第一場(chǎng)對(duì)抗，我熱情滿滿，在實(shí)驗(yàn)室耗了近兩天的時(shí)間，借鑒已知網(wǎng)上問(wèn)題，經(jīng)過(guò)反復(fù)調(diào)試，設(shè)置了一個(gè)控制器在升級(jí)后GB接口負(fù)荷分擔(dān)路由的場(chǎng)景。而且，為了確保萬(wàn)無(wú)一失，我還小心地嘗試了預(yù)期的恢復(fù)方案，確認(rèn)可以恢復(fù)后，和紅軍約好了演練的時(shí)間，發(fā)起演練。

“某國(guó)Y局點(diǎn)，一線反饋，控制器升級(jí)后，PS業(yè)務(wù)全部中斷，客戶投訴”。藍(lán)軍懷著緊張的心上報(bào)問(wèn)題。

“好的，請(qǐng)回傳下數(shù)據(jù)，我們來(lái)分析下”，紅軍接口人回答。

可是5分鐘過(guò)去了，紅軍卻沒(méi)了動(dòng)靜。怎么回事？我們?nèi)鐭徨伾系奈浵佉粯咏辜薄?/p>

無(wú)奈之下，我只好跑過(guò)去問(wèn)事故組組長(zhǎng)：“為何沒(méi)人響應(yīng)？”他回答：“我們正在協(xié)調(diào)投入人員，現(xiàn)在大家手頭都有事情在處理。 ”過(guò)了好一會(huì)兒，攻關(guān)室才陸陸續(xù)續(xù)進(jìn)去了3個(gè)人，開(kāi)始按部就班，“慢悠悠”地和藍(lán)軍對(duì)話，詢問(wèn)具體信息。

經(jīng)過(guò)紅軍的分析、討論，1小時(shí)過(guò)去了，業(yè)務(wù)仍未恢復(fù)，演練結(jié)束，藍(lán)軍獲勝。紅藍(lán)軍集中到作戰(zhàn)室，一起做了短暫的AAR，記了幾個(gè)遺留問(wèn)題后，就這樣散了，仿佛這樣演練沒(méi)有發(fā)生一般。

眼瞅著花了兩天時(shí)間準(zhǔn)備的演練，就這么倉(cāng)促而馬虎地結(jié)束了，我滿心的失落感無(wú)處宣泄。這樣的演練，即使藍(lán)軍獲勝又有什么意義呢？后面的幾場(chǎng)演練也幾乎是這種狀態(tài)，總感覺(jué)藍(lán)軍運(yùn)作味同嚼蠟，我甚至有點(diǎn)厭煩被卷入了這樣瑣碎、繁雜卻毫無(wú)意義的事務(wù)中。

把每一場(chǎng)演練都當(dāng)成實(shí)戰(zhàn)

2017年初，作為傳統(tǒng)業(yè)務(wù)，控制器人員急劇收縮，整個(gè)團(tuán)隊(duì)隱隱失去了前進(jìn)方向。此時(shí)，部門(mén)提出探路者文化：已知領(lǐng)域：從0->1，點(diǎn)亮一片地圖。未知領(lǐng)域：從1->N，達(dá)到前所未有的高度。我開(kāi)始思考，在藍(lán)軍運(yùn)作的已知領(lǐng)域可否做一個(gè)探路者，將其做到新的高度？

說(shuō)白了，藍(lán)軍的目的是為了促成一支優(yōu)秀的作戰(zhàn)部隊(duì)，那么世界上最優(yōu)秀的作戰(zhàn)部隊(duì)是什么氣質(zhì)？美軍。最頑強(qiáng)的作戰(zhàn)部隊(duì)是哪只隊(duì)伍？我想到了朝鮮戰(zhàn)場(chǎng)的上甘嶺戰(zhàn)役中的人民志愿軍。那段時(shí)間，我看了金一南教授的《將軍是怎么煉成的》《隊(duì)伍的靈魂與血性》及相關(guān)題材電影，同時(shí)，了解了美軍的故事，有很大觸動(dòng)——優(yōu)秀的作戰(zhàn)部隊(duì)“不能例行公務(wù)，要有流程和榮譽(yù)，要不斷反思”。

經(jīng)過(guò)系統(tǒng)的思考和規(guī)劃后，我借鑒了GTAC相關(guān)的作戰(zhàn)規(guī)范和流程及已有的紅藍(lán)軍運(yùn)作規(guī)范，設(shè)立了四個(gè)目標(biāo)（作戰(zhàn)流程、人員能力、工具催熟、工具發(fā)布）、兩個(gè)中心（以作戰(zhàn)流程為中心，以人員能力螺旋式上升為中心）。

為了配合目標(biāo)，我的角色由一線人員變?yōu)榧t軍作戰(zhàn)室里的觀察員，并定義了紅軍不同角色的職責(zé)和考核標(biāo)準(zhǔn)，記錄“分鐘級(jí)”的作戰(zhàn)細(xì)節(jié)來(lái)支撐后續(xù)改進(jìn)，同時(shí)，根據(jù)目標(biāo)優(yōu)化了AAR的模板。這些很快和紅軍達(dá)成一致，被稱之為“重新定義事故演練”。

2017年2月9日，正如開(kāi)頭的場(chǎng)景所描述的那樣，紅藍(lán)軍對(duì)抗以一種全新的方式亮相，所有作戰(zhàn)人員都把演練當(dāng)成實(shí)戰(zhàn)對(duì)待，整個(gè)過(guò)程緊張有序，一氣呵成。

復(fù)盤(pán)后，紅軍對(duì)藍(lán)軍設(shè)置的場(chǎng)景進(jìn)行了評(píng)分，平均9.5分。而且，我將事故恢復(fù)的兩個(gè)關(guān)鍵角色——恢復(fù)指揮官和技術(shù)指揮官的能力模型做成雷達(dá)圖展示出來(lái)，具體指明了作戰(zhàn)過(guò)程中的不足，并根據(jù)分鐘級(jí)的記錄表，給出這種不足對(duì)應(yīng)的實(shí)際舉證。

紅藍(lán)軍“逼迫”對(duì)方成長(zhǎng)

這樣的演練進(jìn)行了5次后，我發(fā)現(xiàn)，紅軍因一些低級(jí)問(wèn)題重犯，導(dǎo)致作戰(zhàn)時(shí)間增加的現(xiàn)象多次發(fā)生。我提議設(shè)立紅軍作戰(zhàn)軍規(guī)。與此同時(shí)，藍(lán)軍也被紅軍“挑刺”： 設(shè)置的場(chǎng)景不貼近現(xiàn)網(wǎng)，故障觸發(fā)后，30分鐘以內(nèi)就上報(bào)不符合實(shí)際的情況，建議藍(lán)軍改進(jìn)。在每個(gè)月的月報(bào)中，會(huì)例行通報(bào)“觸犯”軍規(guī)的人員；每一場(chǎng)演習(xí)中，我們都會(huì)審視軍規(guī)的合理性，一切為了勝利。這樣的紅藍(lán)互評(píng)，督促了紅藍(lán)軍共同成長(zhǎng)與進(jìn)步。

甚至，藍(lán)軍為逼近現(xiàn)網(wǎng)，在紅軍不知情的情況下，多次突然發(fā)起演練。如今年5月份的“被窩場(chǎng)景 ”，早上6:00上報(bào)問(wèn)題；6月份在維護(hù)人員快下班的時(shí)候突然發(fā)起演習(xí)；還策劃了“節(jié)假日?qǐng)鼍?”。每一個(gè)場(chǎng)景的設(shè)置，都為了將紅軍置身于最真實(shí)的事故恢復(fù)情景。

在一次次的演習(xí)中，紅軍不斷改進(jìn)作戰(zhàn)流程調(diào)整策略，通過(guò)演練檢驗(yàn)自己，角色和職責(zé)更加清晰，能力也越來(lái)越強(qiáng)。藍(lán)軍不斷尋找新的場(chǎng)景，通過(guò)演練檢驗(yàn)場(chǎng)景的價(jià)值，增強(qiáng)對(duì)場(chǎng)景的理解。

演練逐漸成為一種紅藍(lán)軍共同的期待，走向了真正的對(duì)抗。有時(shí)候大家為一場(chǎng)演練爭(zhēng)得“面紅耳赤”，甚至和真實(shí)事故處理已無(wú)兩樣。身經(jīng)百戰(zhàn)的紅軍求勝心被極大激發(fā)：“每次演練都只得60分，下次我一定要找到問(wèn)題出在哪” 、“看來(lái)真得緊摳一秒鐘” 。而藍(lán)軍，每當(dāng)碰到一個(gè)網(wǎng)上場(chǎng)景或者現(xiàn)網(wǎng)返回的故障單板，都如獲至寶，仔細(xì)研究構(gòu)造新的場(chǎng)景。

在這種切磋中，紅藍(lán)軍已完成了30多場(chǎng)對(duì)抗，就像一對(duì)雙螺旋，不斷地“逼迫”對(duì)方成長(zhǎng)：作為藍(lán)軍，紅軍不斷“逼迫”你研發(fā)新的高價(jià)值的作戰(zhàn)場(chǎng)景，將未知變已知；作為 紅軍，藍(lán)軍不斷“逼迫”你完成更多的場(chǎng)景識(shí)別，調(diào)整為最優(yōu)的作戰(zhàn)流程，在事故問(wèn)題處理中游刃有余。

新的挑戰(zhàn)，30分鐘恢復(fù)事故

2018年1月，部門(mén)將控制器事故恢復(fù)要求從60分鐘提升到了30分鐘。然而，大半年過(guò)去了，紅軍的作戰(zhàn)能力仍然維持在60分鐘左右，遇到了瓶頸。

接下來(lái)，我們應(yīng)該如何訓(xùn)練？能力提升的本質(zhì)是什么？紅藍(lán)軍進(jìn)行了深入的思考和研討。能力提升的本質(zhì)是作戰(zhàn)人員思維方式和行為方式的提升，演練的本質(zhì)就是改變思維方式和行為方式。

改進(jìn)和提升從來(lái)都不是一蹴而就，而是一個(gè)艱苦卓絕的修行過(guò)程。從7月開(kāi)始，我們開(kāi)始采用“單元作戰(zhàn)法”訓(xùn)練——把事故恢復(fù)過(guò)程，拆解成一個(gè)個(gè)解耦的單元，一個(gè)人為一個(gè)單元負(fù)責(zé)。比如，針對(duì)如何5分鐘內(nèi)完成日志分析，5分鐘內(nèi)確認(rèn)告警，5分鐘完成二進(jìn)制日志分析，5分鐘做出基礎(chǔ)恢復(fù)命令，10分鐘基站搬遷，展開(kāi)一系列“艱苦”的訓(xùn)練。這個(gè)戰(zhàn)法，和滿廣志的“任務(wù)指揮法”如出一轍，即“行動(dòng)時(shí)限、目的和達(dá)到的效果”。

我們相信，真正的鐵軍一定誕生于長(zhǎng)時(shí)間艱苦的訓(xùn)戰(zhàn)中。

2018年5月22日，控制器完成了歷史性的1000天“零事故”。在這個(gè)過(guò)程中，很多守護(hù)網(wǎng)上平安的戰(zhàn)士不分晝夜，不分節(jié)假日7*24小時(shí)投入戰(zhàn)斗，堅(jiān)守“零事故”的承諾，守護(hù)承載近20億用戶的無(wú)線網(wǎng)絡(luò)平安運(yùn)行。

1000天中，藍(lán)軍見(jiàn)證了紅軍的蛻變與成長(zhǎng)。1000天后的每一個(gè)日子，藍(lán)軍還會(huì)堅(jiān)定不移地以“嚴(yán)酷”的要求來(lái)“挑戰(zhàn)”紅軍，倔強(qiáng)前行，全力以赴；會(huì)堅(jiān)定地做一支深入戰(zhàn)場(chǎng)、發(fā)現(xiàn)問(wèn)題、剖析問(wèn)題、解決問(wèn)題的藍(lán)軍，成為一支護(hù)衛(wèi)網(wǎng)上平安的“神秘”部隊(duì)。

本文為《華為人》版權(quán)所有，未經(jīng)允許不得轉(zhuǎn)載。如需轉(zhuǎn)載請(qǐng)聯(lián)系編輯部hwrb@huawei.com

華為人期刊

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。