【云上蘇城，以夢(mèng)為碼】華為云MVP徐燁：這20年，我與應(yīng)用系統(tǒng)的“云化”之路

目前，以數(shù)字技術(shù)為主導(dǎo)的新一輪科技革命加速演進(jìn)，數(shù)字化的進(jìn)程一直伴隨著互聯(lián)網(wǎng)的發(fā)展過(guò)程。在國(guó)家政策和市場(chǎng)需求雙重壓力下，企業(yè)上云成為數(shù)字化轉(zhuǎn)型升級(jí)新的突破口，越來(lái)越多的企業(yè)選擇通過(guò)上云最大限度創(chuàng)造價(jià)值。

在應(yīng)用架構(gòu)，物聯(lián)網(wǎng)等方面有著豐富經(jīng)驗(yàn)的徐燁，回望過(guò)去20年的工作經(jīng)歷，他表示應(yīng)用系統(tǒng)的發(fā)展，就是一個(gè)不斷“云化”的過(guò)程。這里說(shuō)的“云化”，不只是信息化應(yīng)用系統(tǒng)上云，而是要將應(yīng)用系統(tǒng)技術(shù)及業(yè)務(wù)架構(gòu)與云計(jì)算平臺(tái)相互融合的過(guò)程，并為推動(dòng)行業(yè)發(fā)展服務(wù)。他以三個(gè)有代表性的項(xiàng)目，講述他與應(yīng)用系統(tǒng)的“云化”之路。

云化之路一：可視化并行申報(bào)+實(shí)時(shí)劃繳稅款，江蘇省地級(jí)市應(yīng)用系統(tǒng)近10年

2001年，無(wú)錫宜興國(guó)稅局啟動(dòng)了電子申報(bào)項(xiàng)目，該項(xiàng)目主要是能夠讓納稅人通過(guò)本機(jī)軟件填寫(xiě)和提交納稅申報(bào)表，稅局接收申報(bào)數(shù)據(jù)進(jìn)行自動(dòng)申報(bào)，成功后自動(dòng)劃繳稅款，并把相關(guān)結(jié)果反饋給納稅人。項(xiàng)目有兩個(gè)技術(shù)亮點(diǎn)：一是可視化并行申報(bào)，二是實(shí)時(shí)劃繳稅款。

在我們推出可視化并行申報(bào)以前，當(dāng)時(shí)在行業(yè)內(nèi)已經(jīng)實(shí)現(xiàn)的電子申報(bào)后端服務(wù)，不但都是通過(guò)定時(shí)掃描納稅數(shù)據(jù)文件來(lái)串行處理申報(bào)，而且往往高峰時(shí)段要讓納稅人等上2個(gè)小時(shí)以上才有申報(bào)結(jié)果，對(duì)處理程序也沒(méi)有監(jiān)看狀態(tài)界面，都只有日志記錄。

項(xiàng)目中自行實(shí)現(xiàn)了動(dòng)態(tài)數(shù)據(jù)展示組件和線程管理器組件，可視化并行申報(bào)監(jiān)看界面上可以對(duì)已處理申報(bào)、成功數(shù)、待申報(bào)數(shù)和正在申報(bào)的納稅人數(shù)據(jù)情況一目了然，聯(lián)想到現(xiàn)在，這個(gè)和現(xiàn)在很多的監(jiān)控大屏功能有些類(lèi)似；由于當(dāng)時(shí)所有的申報(bào)數(shù)據(jù)都是數(shù)據(jù)文件和數(shù)據(jù)庫(kù)操作為多，磁盤(pán)IO和等待數(shù)據(jù)庫(kù)處理會(huì)花大量的時(shí)間，所以通過(guò)線程管理器配制合理線程數(shù)量并行處理后，申報(bào)效率有了倍數(shù)的提高，高峰期納稅人等待申報(bào)結(jié)果的時(shí)間也明顯縮短。

實(shí)時(shí)劃款功能是初期討論項(xiàng)目時(shí)提出來(lái)的，這在當(dāng)時(shí)還是比較有創(chuàng)新性的，要知道當(dāng)時(shí)根本沒(méi)有稅銀聯(lián)網(wǎng)協(xié)議，合作的三家銀行中行、工行和建行，打報(bào)告一直到了總行才批復(fù)下來(lái)；當(dāng)時(shí)雖然我剛參加工作，但對(duì)網(wǎng)絡(luò)協(xié)議相對(duì)較熟，自己的畢業(yè)設(shè)計(jì)也因此獲得了校優(yōu)秀論文，所以很有信心的承擔(dān)了這個(gè)任務(wù)。這個(gè)功能最后是通過(guò)線程管理組件和同步SOCKET來(lái)實(shí)現(xiàn)同三家銀行對(duì)接，在申報(bào)成功后，可以提供秒級(jí)劃繳稅款，在順利上線后，還獲得了客戶(hù)的高度認(rèn)可。

在接下來(lái)幾年中，項(xiàng)目開(kāi)發(fā)出的軟件系統(tǒng)在江蘇省內(nèi)大部分地級(jí)市里得到了推行，并制定的稅銀協(xié)議。直至2011年全國(guó)TIPS系統(tǒng)上線后，使用新的硬件加密三方劃繳體系后，才逐步被替換。

云化之路二：發(fā)票存儲(chǔ)+多服務(wù)器均衡，成國(guó)稅總局參考依據(jù)

2008年，公司啟動(dòng)了網(wǎng)票項(xiàng)目，項(xiàng)目主體功能是能夠自動(dòng)獲取開(kāi)票方領(lǐng)購(gòu)發(fā)票信息，然后進(jìn)行在線或離線開(kāi)俱打印發(fā)票，數(shù)據(jù)都會(huì)自動(dòng)傳至稅局服務(wù)端，再作票稅比對(duì)及納稅分析。項(xiàng)目主要針對(duì)增值稅普通發(fā)票，涉及納稅人廣，票面種類(lèi)多，僅江蘇當(dāng)時(shí)就有近32萬(wàn)戶(hù)企業(yè)，每年發(fā)票用量近40億份。項(xiàng)目中有兩個(gè)技術(shù)亮點(diǎn)：一是發(fā)票存儲(chǔ)；二是多服務(wù)器均衡。

以往對(duì)于不同模版的發(fā)票存儲(chǔ)，通常是不同類(lèi)型的票使用對(duì)應(yīng)的表，然后對(duì)于發(fā)票明細(xì)，都是按主表和附表來(lái)做，這樣做需要保持一致性，所以對(duì)數(shù)據(jù)庫(kù)有較大的壓力。項(xiàng)目中為了解決這個(gè)問(wèn)題，存儲(chǔ)采用了微結(jié)構(gòu)的方式，把發(fā)票的一條記錄分成三個(gè)區(qū)，發(fā)票主桿、明細(xì)主桿和微結(jié)構(gòu)存儲(chǔ)，如圖1所示，這樣大大降底了對(duì)數(shù)據(jù)庫(kù)一致性的要求，而增加了一些應(yīng)用服務(wù)器的處理量，而應(yīng)用服務(wù)器的處理量可以擴(kuò)充服務(wù)器來(lái)解決的，為此獲得了相關(guān)技術(shù)發(fā)明專(zhuān)利，并且這一微結(jié)構(gòu)特別是在應(yīng)用服務(wù)器相對(duì)比較容易擴(kuò)充的構(gòu)架下，可以較廣泛的得以應(yīng)用。

圖1

多應(yīng)用服務(wù)器并行處理，在原來(lái)電子申報(bào)項(xiàng)目的中后期也有應(yīng)用，但最開(kāi)始是用C#的異步Socket寫(xiě)了一個(gè)NetEqualizer的均衡器，來(lái)提供多應(yīng)用服務(wù)器的并行處理，但高峰時(shí)，穩(wěn)定性不是很好；在本項(xiàng)目改為NGINX和F5，由于F5是硬件，每臺(tái)至少20萬(wàn)人民幣以上，只有少量客戶(hù)具備，所以主推是NGINX，穩(wěn)定性也經(jīng)受住了考驗(yàn)，特別是在linux上。當(dāng)時(shí)印象深刻的是早期NGINX版本，比如斷點(diǎn)續(xù)傳這樣的功能也無(wú)法支持，到了1.2及以后版本才支持，為此，還專(zhuān)門(mén)還組織了技術(shù)攻關(guān)小組，甚至閱讀和修改了部分NGINX源碼來(lái)解決。之后為了進(jìn)一步減少單點(diǎn)故障，還引入LVS.DR進(jìn)行更大規(guī)模并發(fā)支持，提出了組合均衡的方案，如圖2所示，并獲得了相關(guān)技術(shù)發(fā)明專(zhuān)利。

圖2

后期，項(xiàng)目的應(yīng)用系統(tǒng)在2010年獲得了在江蘇省全省的推廣，也是當(dāng)時(shí)國(guó)內(nèi)第一個(gè)全省推廣網(wǎng)票的省份，為國(guó)稅總局在2013年發(fā)布《網(wǎng)絡(luò)發(fā)票管理辦法》提供了依據(jù)。

云化之路三：平臺(tái)應(yīng)用系統(tǒng)擁抱云服務(wù)

2016年，徐燁組建全新團(tuán)隊(duì)建設(shè)一個(gè)以LED屏為主的數(shù)顯終端播控云平臺(tái)，并以此為基礎(chǔ)，設(shè)計(jì)出打通行業(yè)上下游的互聯(lián)網(wǎng)平臺(tái)——iLEDCloud云平臺(tái)。在這個(gè)過(guò)程中，正式首次與IAAS供應(yīng)商進(jìn)行合作，相對(duì)以前項(xiàng)目而言，在技術(shù)層面在三個(gè)方面得到提升：微服務(wù)架構(gòu)、高速NIO和安全業(yè)務(wù)架構(gòu)。

微服務(wù)架構(gòu)就是將一個(gè)平臺(tái)按需切分成很多個(gè)子服務(wù)，整個(gè)平臺(tái)是基于JMS總線和三級(jí)存儲(chǔ)建立的，對(duì)JMS服務(wù)進(jìn)行了定制化，提供了子服務(wù)狀態(tài)監(jiān)測(cè)和自動(dòng)回源。基于此項(xiàng)能力，平臺(tái)WEB前端編緝節(jié)目時(shí)，即可對(duì)關(guān)聯(lián)終端設(shè)備上的數(shù)據(jù)實(shí)時(shí)可視化，大大增強(qiáng)了客戶(hù)體驗(yàn)；三級(jí)存儲(chǔ)是指本地服務(wù)器內(nèi)存、局域網(wǎng)內(nèi)高速緩存服務(wù)和數(shù)據(jù)庫(kù)服務(wù)三級(jí)，針對(duì)的是任務(wù)執(zhí)行效率和服務(wù)宕機(jī)的平衡，通常一次任務(wù)綁定到一個(gè)服務(wù)執(zhí)行，大部分正常情況下，可以以開(kāi)支最小的方式完成任務(wù)；同時(shí)在單個(gè)服務(wù)宕機(jī)時(shí)，其它服務(wù)器上的同類(lèi)服務(wù)能夠依據(jù)設(shè)計(jì)成本來(lái)重建這個(gè)任務(wù)并執(zhí)行。

圖3

如圖3所示，在這個(gè)架構(gòu)下，從原來(lái)2017年的單個(gè)服務(wù)，到現(xiàn)在已經(jīng)有20個(gè)以上的服務(wù)，并隨著平臺(tái)發(fā)展還會(huì)不斷的拆分或增加。微服務(wù)是面向云計(jì)算平臺(tái)的必然，原來(lái)云計(jì)算平臺(tái)就是允許對(duì)資源的伸縮適配，而一個(gè)平臺(tái)中各個(gè)模塊所需資源是不同的，這時(shí)通過(guò)這種分離成微服務(wù)，可以對(duì)每個(gè)微服務(wù)提供不同的適配資源，這是適配資源的進(jìn)一步提升。

高速NIO是指高效的異步網(wǎng)絡(luò)連接及數(shù)據(jù)處理。由于需要對(duì)每個(gè)數(shù)顯終端進(jìn)行實(shí)時(shí)控制，同時(shí)顯示內(nèi)容通常是視頻或圖片，數(shù)據(jù)量又較大，所以高效的連接管理優(yōu)其重要。在本項(xiàng)目中全面使用NIO，包括終端連接協(xié)議和文件數(shù)據(jù)傳送的FTP，通過(guò)設(shè)置以下二個(gè)要點(diǎn)：一是在數(shù)據(jù)處理線程代碼中禁用延時(shí)代碼；二是數(shù)據(jù)處理主要是協(xié)議解析和組裝，把其它耗時(shí)業(yè)務(wù)代碼盡量分離或設(shè)計(jì)成異步處理。經(jīng)過(guò)優(yōu)化代碼，在單核情況下，都能較輕松支持幾千個(gè)終端。同時(shí)重寫(xiě)了FTP文件傳輸服務(wù)的絕大部分代碼，使其不但支持一次一密和虛擬目錄的安全要求，還能滿(mǎn)足在單線程下高效傳輸和速度控制。

作為互聯(lián)網(wǎng)信息發(fā)布性平臺(tái)，安全性至關(guān)重要，項(xiàng)目也是本地網(wǎng)安重點(diǎn)檢查單位。項(xiàng)目首次在行業(yè)內(nèi)提出了事前、事中和事后的全域安全架構(gòu)，并把用戶(hù)操作風(fēng)險(xiǎn)系數(shù)貫穿與平臺(tái)，形成了較完整安全業(yè)務(wù)架構(gòu)。對(duì)連接協(xié)議也實(shí)現(xiàn)了類(lèi)似入侵檢測(cè)(IDS)功能的防火墻，對(duì)非法協(xié)議連接可以在前置環(huán)節(jié)就可隔斷其來(lái)源IP地址。平臺(tái)在今年國(guó)家等保三級(jí)復(fù)評(píng)中獲得了86分以上的較高評(píng)測(cè)分。至今，平臺(tái)已有近3000個(gè)注冊(cè)用戶(hù)，上線屏量也已超1萬(wàn)塊。

牽手華為云，攜手邁向“云化”新征程

2019年，通過(guò)地方政府牽線與華為云進(jìn)行合作，華為云對(duì)軟件研發(fā)類(lèi)企業(yè)的支持是比較全面的，有較豐富的研發(fā)測(cè)試工具，是目前研發(fā)測(cè)試領(lǐng)域“云化”的先行者。基于華為云ESC主機(jī)，我們搭建了iLEDCloud互聯(lián)網(wǎng)測(cè)試環(huán)境，通過(guò)白名單機(jī)制，使我們上海終端設(shè)備研發(fā)云平臺(tái)測(cè)試、昆山終端設(shè)備生產(chǎn)云平臺(tái)測(cè)試和蘇州云平臺(tái)研發(fā)測(cè)試，可以在一個(gè)平臺(tái)上實(shí)現(xiàn)，不但節(jié)省了資源，也提升了跨區(qū)域測(cè)試的工作效率。

企業(yè)上云，是企業(yè)順應(yīng)數(shù)字經(jīng)濟(jì)發(fā)展潮流，加快數(shù)字化、網(wǎng)絡(luò)化、智能化轉(zhuǎn)型，提高創(chuàng)新能力、業(yè)務(wù)實(shí)力和發(fā)展水平的重要路徑。在徐燁的三個(gè)項(xiàng)目經(jīng)歷中不難發(fā)現(xiàn)，從單進(jìn)程多線程到多服務(wù)器，再到微服務(wù)，從同步處理至多層次異步處理，從自建服務(wù)到集成第三方服務(wù)，從機(jī)房到IAAS供應(yīng)商，都能體現(xiàn)“云化”之路上的成長(zhǎng)。如果將同類(lèi)功能的云集成稱(chēng)為混合云，將行業(yè)上下游的云集成稱(chēng)為生態(tài)云，那么混合云和生態(tài)云就是下一步 “云化”發(fā)展的目標(biāo)，徐燁也希望能與華為云等高附加值的合作伙伴一起在“云化”之路上繼續(xù)攜手前行。

專(zhuān)家 任務(wù)調(diào)度 TCP/IP

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。