云計算的可信新邊界:邊緣計算與協同未來(下)(云計算,邊緣計算)
云原生與邊緣計算
無論從邊緣應用的分發,可靠性還是邊云協同的機制上,云原生邊緣計算有利于讓邊緣也具備像云一樣的“彈性”,讓應用可以“順滑”的部署到邊緣,保持應用在邊緣與云端的一致性。“云-邊-端”就像一個完美的整體,用戶無需感知邊緣設備的復雜分布。
通過將AI、大數據能力等延伸到邊緣,解決與云上服務的數據協同、任務協同、管理協同、安全協同訴求。
通過數據本地化處理、邊緣節點離線自治,解決了云邊之間的網絡可靠和帶寬限制問題
通過大幅優化邊緣組件的資源占用,解決邊緣資源的約束問題
通過在云邊之間構建的雙向多路復用通道,解決從云端管理高度分布的海量節點和設備;
南向支持對接物聯網主流通信協議(MQTT,Bluetooth,Zigbee),解決異構硬件接入問題。
傳統嵌入式本地計算和云原生邊緣計算的對比差異如下:
云原生EdgePaaS架構
作為云上邊緣托管服務底座,支持海量邊緣網關節點接入,深度融合IoT云端市場、云端FaaS、消息、運維等服務。通過容器化和K8s的調度能力,傳統IoT業務擁有了強大的日志、監控、自動擴縮容等運維能力,并且運維能力在云中心匯聚。
阿里云將邊緣計算當成云計算整體的一部分進行規劃和設計,基于飛天系統構建。底層是資源層,上面是服務平臺,既可部署在運營商基礎互聯網里,也可部署在客戶側。Link IoT Edge可讓計算就近發生,是連接最后1公里的物聯網邊緣計算平臺,支持包括函數計算、流式計算、規則計算等計算引擎。發布的連接最后10公里的邊緣節點服務(ENS),幫助用戶將計算、轉發等業務下沉至邊緣,降低了時延和成本。如可把終端到邊緣節點的時延縮小到5毫秒之內,終端到云的訪問頻次將減少80%,計算、存儲、網絡等成本可節省30%以上。
云原生是一個大的體系,做到真正的邊緣原生需要從理念、系統設計、架構設計等方面真正的去實踐、實現,才能充分發揮邊緣的優勢。當然,邊緣云平臺也要具備和提供更多的開放能力,形成整個正向的開發生態閉環。
KubeEdge平臺架構
華為云提出基于Kubernetes擴展的云邊協同開源項目—KubeEdge, 在邊緣計算領域的布局涉及“云、管、邊、端、芯”。作為一個智能邊緣平臺,KubeEdge包含邊端的計算節點部分和云端的管理控制部分,其云邊協同體現在:
1)基于WebSocket和Quic協議構建了可靠、高效的云邊消息通信,并作為云邊控制協同、數據協同的通信基礎;2)擴展了Kubernetes,實現云邊協同編排管理,包括基于云端的邊緣控制器 EdgeController等控制Kubernetes API服務器與邊緣節點、應用和配置的狀態同步,支持直接通過kubectl命令行在云端管理邊緣節點、設備和應用;3)提供了DeviceTwin 模塊,實現邊緣計算節點下掛的邊緣設備與云端設備管理之間的同步和控制。
KubeEdge即Kube+ Edge,使能邊緣計算,依托K8s的容器編排和調度能力,實現云邊協同、計算下沉、海量設備的平滑接入等,將K8s優勢和云原生應用管理標準延伸到邊緣。為云和邊緣之間的網絡,應用部署和元數據同步提供基礎架構支持。技術架構上分為云、邊、端三個部分,云端負責云上應用和配置的校驗、下發,同步Edge的狀態和事件;邊緣側負責運行邊緣應用和管理接入設備,接受并執行Cloud部分下發的指令,管理各種負載;設備端側運行各種邊緣設備。KubeEdge完整的打通了邊緣計算中云、邊、設備協同的場景,整體架構如下圖。
Edged:? ?管理邊緣的容器化應用程序。
EdgeHub: 邊緣的通信接口模塊,是一個Web套接字客戶端,負責邊緣計算與云服務的交互。
CloudHub:云端通訊接口模塊,一個Web套接字服務器,負責監視云端的更改、緩存以及向 EdgeHub發送消息。
EdgeController:管理邊緣節點,是一個擴展的Kubernetes控制器,管理邊緣節點和pod元數據,以便數據可以面向特定的邊緣節點。
EventBus:使用MQTT處理內部邊緣通信,是一個MQTT客戶機,可與MQTT服務器交互,為其他組件提供發布和訂閱功能。
DeviceTwin:? 是處理設備元數據的設備軟件鏡像,該模塊有助于處理設備狀態并將其同步到云上。它還為應用程序提供查詢接口,后端使用輕量級數據庫(SQLite)。
MetaManager: 管理邊緣節點上的元數據,是Edged和Edgehub之間的消息處理器,還負責在輕量級數據庫(SQLite)中存儲/檢索元數據。
極致優化,All in K8s
由于邊緣場景通信的不穩定性和嚴苛的資源消耗限制,導致原生的K8s組件無法直接運行在邊緣節點上,例如:工業網關等。而受限于K8S本身list/watch機制帶來的disconnect問題,數據面和管理面斷連后,無法做到本地自治。KubeEdge選擇“輕邊緣”架構,即邊緣側的容器引擎和設備管理agent盡量輕量化,管理面運行在云端,且構建在K8s的調度能力之上,兼容K8S原生API。KubeEdge all in K8s的設計理念使得用戶可以圍繞K8S的標準API定制需求或輕松集成云原生生態中的成熟項目。
ServiceMesh到EdgeMesh
服務網格已演變為云原生堆棧的重要組成部分。在云原生模型中,單個應用程序可能包含數百個服務,每個服務可能有數千個實例,且這些實例中的每一個都可能處于不斷變化的狀態,合理管理使用ServiceMesh對于確保端到端的性能和可靠性至關重要。當純粹的計算在邊緣轉向云邊協同,以云原生的方式構建一個跨越邊緣和云端的分布式系統至關重要:
邊緣應用需要有完善的微服務治理能力,以滿足日趨復雜的邊緣業務模型;
邊云、邊邊的協同成為邊緣應用的基本要求,以滿足海量邊緣數據的處理。
使用EdgeMesh可支持跨越邊界的微服務訪問,EdgeMesh特性基于標準的Istio進行服務治理控制,引入EdgeMesh-proxy負責邊緣側流量轉發以及P2P技術跨子網通信,提供云-邊、邊-邊通信,最終實現跨越邊云的一致的服務發現和訪問體驗。
邊緣設備訪問微服務化
Kubernetes提供的設備插件框架, 旨在通過Kubelet管理“綁定”在節點上的硬件,如:GPU、FPGAs、InfiniBand等,為Pod中的容器應用提供更強的計算和網絡性能。而KubeEdge的設備管理關注的是與邊緣通信的外部設備,如:藍牙終端、智能傳感器、工業設備等。KubeEdge對設備管理的實現采用Operator方式,并實現了設備孿生。設備管理Operator的核心是Device CRD和Device Controller,其中Device CRD用來描述設備的狀態等元數據,Device Controller運行在云上,負責在云和邊之間同步設備狀態的更新(包括設備實際狀態和用戶設定的期望狀態)。
云邊通信
涵蓋cloud端的cloud Hub與edge端的Edge Hub,兩個模塊之間通過websocket或quic通信,相當于建立了一條底層通信隧道,供k8s和其它應用通信。重點保障當之間的鏈路都無法保障時業務不受影響,這就是MetaManager需要解決的問題。
CloudHub
cloud端的cloudHub是一個隧道的server端,用于大量的edge端基于websocket或者quic協議連接。支持獲取消息上下文和為事件構建 channelQ對象,支持從edge讀和向edge寫入消息,以及發布消息到controller。
EdgeHub
位于edge端運行,是隧道的client端,負責將接收到的信息轉發到各edge端的模塊處理;同時將來自個edge端模塊的消息通過隧道發送到cloud端。
Route To Cloud / Edge
邊緣端
Edged
通過讀取metaManager和EdgeController的pod任務列表,來執行對本地pod的操作,管理其生命周期。pod關聯的configmap和secret也會隨著處理pod的過程而一并處理。保障cloud端下發的pod以及其對應的各種配置、存儲(函數式計算)能在edge端穩定運行,并在異常之后提供自動檢測、故障恢復等能力。
EventBus/ServiceBus/Mappper
設備相關的設備管理側,支持外部以MQTT和Rest協議接入,對應EventBus和ServiceBus。EventBus是一個MQTT broker客戶端,主要將edge端各模塊通信的message與設備mapper上報到MQTT的event做轉換;而ServiceBus對應Rest接入時的轉換。IoT的各種設備可能直接支持MQTT,但有的只支持藍牙或其他近場通信協議。Mappper可以實現將各種協議轉換為對MQTT的訂閱與發布,從而實現與edge端的通信。
Eventbus消息交換
Mapper Engine
為避免edge引入大量處理邊緣設備通信代碼,同時保持整個項目良好的易定制性,KubeEdge設計了一個邊緣設備驅動統一管理引擎Mapper,一個用于連接和控制設備的應用程序,支持設備終端通過藍牙、ModbusTCP、ModbusRTU協議與Edge平臺通訊。Mapper作用如同CRI之于K8s,CRI作為Kubernetes定義的容器接口與底層容器引擎打交道,而Mapper作為一個開放接口方便不同的設備協議接入KubeEdge這個邊緣計算平臺。有了Mapper的解耦層,用戶可方便地根據實際需要開發自己的Mapper來實現與特定設備的通信。
MetaManager
在edged和edgehub之間的消息處理器,對應一個本地數據庫(SQLite),其他模塊需與cloud端通信的內容都會被保存到本地DB中,當需查詢數據時,如果本地DB中存在該數據就會從本地獲取,避免了與cloud端之間頻繁的網絡交互;在網絡中斷的情況下,本地的緩存數據也能保障其穩定運行(如智能汽車進入到沒有無線信號的隧道中),在通信恢復之后,重新同步數據。
示例:Insert Operation
DeviceTwin
“數字孿生”指對接入設備信息的特征描述。DeviceTwin就是將這些信息保存到本地DB中,并處理基于cloud端的操作來修改device的某些屬性(即操作設備);同時,將設備基于eventBus上報的狀態信息同步到本地DB和cloud端。
云端Controller
包括用于edge端與API-Server同步信息的edgeController與用于DeviceTwin與API-Server同步device CRD信息的deviceController組成。
Edge Controller
1)? ?Sync add/update/delete event to edge
2)? ?Sync watch and Update status of resource and events
3)? ?Creates manager Interface
Manager defines the Interface of a manager, ConfigManager, Podmanager, secretmanager implements it
Manages OnAdd, OnUpdate and OnDelete events which will be updated to the respective edge node from the K8s-Api-server
Creates an eventManager(configMaps, pod, secrets)
Device Controller
負責設備管理,使用CRDs來描述設備元及狀態信息,在edge和cloud之間保持同步。設備控制器使用設備模型和實例來執行設備管理工作,如把用戶設定的設備孿生期望狀態和配置下發到邊緣,而在邊緣的組件則要接收并處理這些信息。KubeEdge設備管理的工作流程如下圖所示:
Downstream Controller
The downstream controller watches for device updates against the K8S API server, Synchronize the device updates from the cloud to the edge node.
Syncing Desired Device Twin Property Update From Cloud To Edge
The device controller watches device updates in the cloud and relays them to the edge node. These updates are stored locally by the device twin. The mapper gets these updates via the MQTT broker and operates on the device based on the updates.
Upstream Controller
The upstream controller watches for updates from the edge node and applies these updates against the API server in the cloud. Synchronize the device updates from the edge node to the cloud using device twin component.
Syncing Reported Device Twin Property Update From Edge To Cloud
EdgeSite: 邊緣側獨立集群
在邊緣測,業務場景需要配置一個獨立完整的集群, 管理者或用戶能使用本地控制面來執行管理功能和充分利用所有邊緣計算的優勢。EdgeSite用于幫助在邊緣側構建輕量化的集群。
Architecture Design
Advantages
1)? ? ? ? ?Full control of Kubernetes cluster at edge
2)? ? ? ? ?Light weight control plane and agent
3)? ? ? ? ?Edge worker node autonomy in case of network disconnection/reconnection
4)? ? ? ? ?All benefits of edge computing including latency, data locality, etc.
運維與監控
為提升運維效率,當邊緣節點面臨異常事件或故障時需及時響應,邊緣節點與云監控產品對接,把邊緣節點里采集到的日志和事件同步給云監控,由云監控形成與用戶系統的標準化對接、通知、告警。同時用戶系統可通過API管控邊緣節點服務實例和資源,實現整個運維體系的閉環。云監控支持對節點網絡事件、割接事件、實例狀態和遷移的通知,支持節點網絡MTR指標、實例資源占用指標等自定義閾值報警,并可通過IM、郵件、短信等通道觸達用戶,全面賦能邊緣節點服務極簡、高效運維。
應用場景及適應性分析
邊緣計算、云計算與5G商用的融合,支持海量機器通信,促進以智慧城市、智能家居等為代表的典型應用場景與移動通信深度融合,正加速推動工業互聯網、能源、自動駕駛、安防監控、農業生產、醫療保健、零售、物聯網等領域相關技術在垂直行業中的應用和落地。對于大部分邊緣計算業務,云邊協同的業務需求普遍存在。
邊緣計算主要應用場景
新零售應用
可為門店、物流點提供安防視頻解決方案,低成本接入不同廠商設備,提供實時預覽、錄制回看、截圖、分析等能力,實現了視頻安防云聯網,提高了工作效率,促進生產安全,減少盜損資產損失. 同時,邊緣計算提供的視頻AI計算能力,支持計算資源彈性擴容滿足業務突發增長,降低大量本地部署、運維和管理成本。新零售場景下的視頻監控,產生了大量的視頻,通過邊緣節點一系列處理后將結構化數據發送到中心,節約成本,大幅縮短處理時間.
移動互聯網的發展讓我們得以在移動端流暢的購物,我們的購物車以及相關操作都是依靠將數據上傳到云中心才能得以實現。如果將購物車的相關數據和操作都下放到邊緣結點進行,將極大提高響應速度,增強用戶體驗,通過減少延遲來提高人與系統的交互質量。
邊緣計算與交通
設備連接到邊緣節點,可以做數據的清洗分發,包括數據建模、機器學習,可以實現自己的應用。這個過程非常短且延時很低,直接網絡相連。比如說收費、停車這類監控情況。
舉個例子,比如現在需要AI的一個最新算法,是一個車輛預測的。在可能有1000個車輛預測的節點布了邊緣節點,現在只要在云端把這個算法訓練之后,一鍵同步到所有的邊緣計算節點,可以立馬更新算法,可以在最近的邊緣節點做計算的更新,涉及多數據源的融合、實時的分析、集中管理包括數據打通。
車路協同是智慧交通的重要發展方向之一,涉及車內邊緣計算、道路邊緣計算、車路協同云等方面,云邊協同可從多方面提供車車、車路動態實時信息交互,并開展車輛主動安全控制和道路協同管理。在自動駕駛方面,成千上萬的自動駕駛數據上傳到云端,在云端進行圖像分析,并進行機器學習,完善汽車AI能力,當汽車停放或未被使用時,汽車AI從云端獲取系統和導航地圖等更新信息,同時云端與交通控制系統和其它智慧城市基礎設施連接,這些信息也會同步下載到汽車終端,完善汽車終端系統。例如百度智能汽車通過基礎云服務、用戶APP、地圖數據、OEM方案,打造HMI人機交互平臺,提供自動駕駛系統解決方案。
在線教育場景
5G時代帶來的是一場視頻傳輸的革命,高質量視頻通話使在線互動變得更加觸手可及,能最大限度還原線下教學的真實感,同時更高清晰度的互動課堂中,教師可以對學生起到更好的觀察和督促作用,使學習效率和效果雙重提升。借助于云計算、邊緣計算、實時音視頻通信以及直播平臺、AI等技術,不管學生在任何地點,只要有手機或電腦,在線教育平臺就可以把最優秀的老師帶來他的身邊.
智能建筑、家居
智能網聯技術的興起,無論是辦公室、零售店、工廠還是醫院,智能建筑都變得更加高效、舒適、便捷,為居住者帶來獨特的體驗。智能建筑將自動化操作與空間管理相結合,可有效增強用戶體驗、提高生產力、降低成本以及網絡安全風險。建筑物生命周期中75% -80%的成本與其后期運營有關。現在很多商業住宅和辦公大樓都有自動化控制或管理系統,例如通暖、中央空調以及嵌入傳感器的智能照明系統等,它們都能與云平臺或邊緣層級的主系統交互。
云邊融合正走入家庭,逐步促進智能家庭場景的實現。家庭網關、智能終端等邊緣計算節點可處理大量異構數據,再將數據上傳至云平臺。在智能家居中除了可連接的設備,還可在房間、管道、地板、墻面等部署大量傳感器和控制器。未來,智能家庭將不局限于智能家居,還能與家庭醫療、家庭安防等相結合。云邊協同使電器控制、安全保護、視頻監控、定時控制、環境檢測、場景控制、可視對講等家庭智能化功能得以實現,同時使政務、醫療、教育等產業進一步豐富家庭智能化信息服務成為可能。
智能安防、監控
視頻安防監控中通過在邊緣的視頻預分析和AI推理執行,實現視頻監控場景實時異常事件的感知及快速處理,而在云端發揮云端算力、開發工具的優勢,完成AI模型的訓練以及AI分析應用的開發并按需下發給邊緣部署。邊緣計算與AI、云計算的結合能在前端實現本地決策、實時響應,執行人臉識別、車牌識別、行為檢測等多種本地應用。
工業互聯網場景
工業互聯網發展正進入快車道,通過設備互聯、多類型傳感器和邊緣計算,實現數據采集、處理,達到云邊協同式傳輸和處理效果,越來越多的工業互聯網場景對云計算在邊緣端的特殊需求逐步增多。針對預測性維護,除了云端的統一控制外,工業現場的邊緣節點必須具備一定的算力,能夠自主判斷并解決問題,及時檢測異常情況,更好的實現監控,在提升工廠運行效率的同時也能預防設備故障問題。企業通過邊緣端將處理后的數據上傳到云端進行存儲、管理、態勢感知、信息的融合;同時,云端也負責對數據傳輸監控和邊緣設備使用進行管理。
一些大型工業企業已著手建設一站式云邊協同平臺。如海爾COSMO-Edge平臺提供多元的邊緣設備接入能力與邊緣計算能力,提供設備即服務的應用模式,幫助用戶快速構建工業互聯網應用,實現數字化生產;長虹IMES平臺在工廠網絡邊緣層實現工業現場的數據接入,提供數據采集、數據分析等服務,構建云-邊協同化的生產管理體系。
移動邊緣計算
MEC最初指移動邊緣計算,后來概念擴展為多接入邊緣計算。MEC是電信蜂窩網絡與互聯網深度融合的縮影,通過MEC可較好地降低移動設備與服務器之間的時延,提升游戲、視頻和基于數據流的互聯網內容的用戶體驗。5G架構從設計之初將邊緣計算作為關鍵環節,5G時代業務處理功能依托邊緣計算下沉到基站,數據傳輸時延可大幅降低。目前運營商正在加速推進MEC部署。
城市大腦場景
城市計算將會是邊緣計算的最大場景,扎根于城市服務好本地應用,如社區、園區、運輸中心、學校小區、商超、行政中心等,可充分發揮邊緣計算的價值。未來城市將存在大量攝像頭、傳感器,如何把這些數據及時分析,對城市治理形成幫助是一個非常大的命題。比如在市政、交通場景中,把從學校、餐飲、醫院的數千萬攝像頭采集的視頻匯聚、傳輸到城市邊緣計算平臺,數據在邊緣節點進行有效收斂、AI及結構化處理,關鍵性數據再回傳到中心云。
計算下沉邊緣的模式比直接上公有云可以很好節省回源帶寬,相比專有云可以提升交付效率和降低運營成本。在某些典型場景中,網絡帶寬成本占的比例是占到57%,這是非常大的成本,經過邊緣計算的數據收斂之后,帶寬可以做到原來的5%,對總成本節省可以到54%。
解決交通、醫療、健康、新零售這類場景的業務訴求,有兩種思路,一種把計算設施放在商超、工廠、企業里,這種為重資產模式;另外一種是云模式,把計算設施放在基站以上并向企業提供服務。阿里云在布局邊緣計算的時候重點依托CDN的點位優勢布局基站以上的邊緣計算,后續通過引入MEC資源,充分釋放計算紅利,讓企業可以輕裝上陣。目前阿里云已完成國內30多個省份300+邊緣計算節點的全域覆蓋。
其它典型場景
能源:電力、石油石化等傳統能源行業中,信息化接入設備多、信息量大、業務周期峰值明顯,云計算技術的虛擬化、資源共享和彈性伸縮等能更好處理對象廣泛及業務峰值問題。邊緣計算能在偏遠、極端環境下進行本地處理,并將加工后的高價值數據與云端交互。
農業生產:云邊協同可推動農業供給端的變革,由經驗主導向數據主導轉變,通過智能化手段將人的經驗傳遞給機器,通過數據挖掘,可發現新的生產規律和農業商品優化的新空間。
醫療保健:藥師直接且負責任地提供與藥物治療相關的服務,目的是達到改善病人生命質量的確切效果,云邊協同從實時本地數據分析、數據斷點續傳、數據安全傳輸等方面讓醫生為患者提供更快、更高的護理。
邊緣AI: 未來設備無需一直連接云端來完成AI運算,實現“智能邊緣計算”。邊緣人工智能作為不可缺失的支撐技術將取代一部分云平臺功能。亦可采用混合方式,一部分由設備自身執行AI計算,另一部分通過云平臺完成。算法開發者通過標準化的AI服務模板,模型托管、資源托管、一鍵完成AI在邊緣的應用。
云桌面、云游戲:也屬本地化很強的業務場景。邊緣計算可大幅降低企業平臺在IT設施上的投入,簡化運維管控。新時代的云游戲利用云邊協同快速擴張,游戲研發、硬件設備商、通信設備商、游戲平臺將基于自身優勢從不同角度切入,實現萬億云游戲市場突破。
CDN 結合邊緣計算:向下一代內容分發平臺演進,將vCDN 下沉到運營商的邊緣數據中心,降低響應時延、降低延遲卡頓,提升Qos指標,提高用戶體驗。
. . .
場景適應性分析
不同邊緣計算系統具有不同的需求和均衡,決定了適合該應用場景的最佳形態。以下給出一組參數并分析了典型邊緣計算平臺在這組參數下的特點和性能。
1)? ?鄰近度:邊緣層與設備層之間的鄰近度包含兩層含義。一是邏輯上的鄰近度,代表邊緣層基礎設施與終端設備之間的路由跳數,跳數越多代表路由中遭遇擁塞的機會越大,延遲增加的可能性也越大。二是指物理上的鄰近度,取決于終端設備與邊緣層的物理距離和邊緣計算設備的性能。如果在單個邊緣計算節點的一跳服務范圍內,存在大量終端設備且已超過單個邊緣計算節點的服務容量,將導致邊緣計算設備拒絕服務,帶來大量服務延遲。
2)? ?接入方式:設備到邊緣層的連接方式有多種,如Wi-Fi、藍牙、蜂窩網絡和有線連接等。接入方式決定了終端設備到邊緣計算層的帶寬、延遲、連接范圍以及對連接的設備類型。
3)? ?環境感知:是將網絡參數和周圍設備的位置信息暴露給附近的邊緣節點,是物聯網應用的一個關鍵參數。移動邊緣計算服務器通過放置在無線網絡控制器附近,實現檢測網絡的鏈路狀況、負載以及帶寬,接收終端設備的位置信息,因此其感知能力極強。
4)? ?功耗:如果終端設備處于資源受限的環境中,能耗將是邊緣計算的一個重要參數。蜂窩網絡帶來的能量消耗遠高于Wi-Fi的能量消耗,因此移動邊緣計算的能量消耗高于Cloudlet。可以根據需求在多種接入方式中靈活選擇,實現最優的能耗表現。
5)? ?計算時延和服務能力:直接取決邊緣計算節點的計算能力和資源調度策略。移動邊緣計算和Cloudlet采用資源豐富的專用主機作為服務節點,具有顯著優勢。EdgeX Foundry通過容器和GO語言的輕量級特性,兼容不同性能設備,并按需提供計算服務。
6)? ?部署與運維:在邊緣計算平臺的管理和監督中,每個平臺均遵循分層管理方法,通常監督節點作為代理,負責與底層節點通信并收集底層節點可提供的資源和狀態。但不同邊緣計算平臺在代理設置和分層的界定均有不同。
邊緣計算的機遇與挑戰
隨著5G及互聯網智能終端設備數量的急劇增加和數據、業務下沉的訴求增多,邊緣計算規模和業務復雜度已發生很大變化,邊緣智能、邊緣實時計算、邊緣分析等新型業務不斷涌現。
邊緣是一個相對云計算中心的概念,意味著邊緣計算的網絡覆蓋面廣,需要多種資源的協同工作,并且需要與云計算架構實現良好的對接,因而面臨著眾多挑戰。
邊緣設備種類多且數據協議相差大。比如Modbus、OP CUA包括DL645,在邊端硬件規格不同,ARM的、X86的包括各種各樣的AI盒子;體系結構也不同,整個的操作系統其實也不一,軟件基礎環境不同;還有物理環境,可能在家,工廠或隨便某個地方;網絡環境也會有大不同,邊緣計算現運行環境大多為弱網環境,網絡不穩定導致丟包,如何去兼容;通信協議多,怎么適配這些協議;公有云的能力如何快速跟邊端打通,去保證邊端的易用性,這個對架構是一個很大挑戰。
對大規模資源平臺的運營和運維支撐,將復雜度、穩定性等問題封裝,實現上層業務透明化對邊緣計算來講也十分重要。邊緣計算操作系統需解決計算在哪里、如何簡化計算復雜度、如何更便捷地運維分布式計算資產等。開發人員只需簡單調用接口,就可廣泛地使用邊緣計算策略,而不用擔心部署和計算在哪里。
在高度分布式模型中,邊緣計算潛在問題還很多。云邊端協同需要解決中心云、邊緣計算以及IoT連接和計算力的協同,發揮云中心規模化、邊緣計算本地化與低成本、IoT終端感知等各方面優勢,為客戶提供最合適、最經濟的“上車點”,即計算發生的位置。從云到端將云計算能力下沉到邊緣側、設備側,通過中心統一交付、運維、管控,粘合云計算核心能力和邊緣算力,在邊緣基礎設施之上構筑云計算平臺,面臨問題與挑戰。
協 同 : 云邊端協同缺少統一的交付、運維、管控標準。
異 構 : 對不同硬件架構、規格、通信協議的支持,以及基于異構資源、網絡、規模等差異化提供標準統一的服務能力。
網 絡 : 邊緣網絡的可靠性和帶寬限制;
更 新 : 邊緣計算要執行數據采集、程序更新、設備管理和監控、機器學習模型更新等高級功能,而且這些功能需要復制到所有邊緣節點和集群,需要一定程度的自動化服務和工具來支撐。
管 理 : 傳統數據中心使用的管理策略和實踐通常不適用于邊緣部署,邊緣部署分布在多個位置,比傳統數據中心更具動態性。承擔這樣一個系統的業務管理是一項復雜的任務。
架構及災備:邊緣計算需要小型化計算架構,云計算基本上可做到的單節點內幾十萬臺機器之間災備,邊緣節點跨節點災備是需要解決的不小問題。
成 本 :云提供可擴展性且易于配置,具有自動化和彈性,但在邊緣提供這些特征昂貴且復雜。
安 全 :通過多個節點和設備將云和數據中心擴展到邊緣,可能會成倍增加網絡攻擊面。不安全的設備和邊緣節點,可能成為企業網中有價值資產的非法侵入點,或被用于其他惡意目的,如分布式拒絕服務攻擊。邊緣服務和數據的安全風險控制難度高,維護邊緣層所有資產的實體和網絡安全是一項復雜而關鍵的任務。
值得研究推進的方案
為使邊緣計算能在參考框架指導下成功應用于各行業場景,以下對面對的挑戰提出一些值得進一步研究的解決方案,涉及可編程、命名、數據抽象、服務管理、隱私和安全,及性能指標優化。
編程可行性
云有特定的編譯平臺,在云計算平臺編程非常便捷,大部分程序都可在云上跑,云計算的基礎設施結構對用戶來說是透明的。但邊緣計算下的編程就會面臨平臺異構問題,每一個網絡的邊緣都不一樣,有可能是ios,安卓或者linux等,不同平臺下的編程又是不同。計算任務分到各種不同平臺的邊緣節點上。不同節點運行時不同,程序開發者面臨著巨大的困難。
為解決可編程性問題,提出了計算流的概念,計算流是數據傳播路徑上的函數序列/計算序列,可通過應用程序指定計算發生在數據傳播路徑中的哪個節點。計算流可以幫助用戶確定應該完成哪些功能/計算,以及在計算發生后如何傳播數據。通過部署計算流,數據的計算應盡可能靠近數據源,從而減少數據傳輸成本。在計算流中,操作可以重新分配,對應的數據和狀態也要重新分配。此外還要解決協作問題,如數據同步等。
命名機制
每個物體都應有唯一的人類可讀名字,便于服務管理、物體判斷、部件更換。這種命名機制對于用戶和服務提供者來說十分方便。與所有的計算機系統類似,在邊緣計算中,命名方案對于編程、尋址、事物識別和數據通信非常重要,但還沒有行之有效的數據處理方式。邊緣計算的命名方案需要處理事物的移動性,動態的網絡拓撲結構,隱私和安全保護,以及對于大量不確定物體的可擴展性等問題。傳統命名機制如DNS、URI都不能很好解決動態的邊緣網絡的命名問題。目前提出的NDN解決此類問題也存有一定局限性。
數據抽象
在物聯網異構環境中會有大量的數據生成,且生成的數據格式多種多樣,數據格式化對邊緣計算來說是一個挑戰。邊緣的大部分事務只是周期性的收集數據,定期發送給網關,而網關存儲有限,因此邊緣結點的數據會被經常刷新。利用集成的數據表來存儲感興趣的數據,表內結構可以用id、時間、名稱、數據等來表示。數據可以被應用程序讀寫和操作,由于邊緣設備的異構性,導致數據庫的讀寫和操作會存在一定的問題,設備的多樣性帶來數據的呈現方式與相應的操作都會有所差異,找到一種通用的數據抽象方式也并非易事。
服務管理
邊緣結點的服務管理應該有以下特征,包括可區分性、可擴展性、隔離性和可靠性。
可區分性:網絡邊緣上部署多個服務,不同服務應具有不同優先級,關鍵服務如物體判斷和故障報警應在其它普通服務之前執行。對于健康相關服務,心跳停止檢測應該具有最高優先級。
可擴展: 對于網絡邊緣來說是一個較大挑戰。相對于移動系統,物聯網中的物品都是動態的,向物聯網中添加或刪除一件物品都不是那么容易,服務缺少或增加一個新結點能否適應都是待解決的問題,這些問題可以通過設計一個靈活可擴展的服務管理層來解決。
隔離性:指不同的操作之間互不干擾。例如有多個應用可以控制家庭里面的燈光,控制燈光的數據是共享的,當某個應用程序不能響應時,使用其他應用程序依然能夠控制燈光。也就是說這些應用程序之間相互獨立,互相沒有影響;隔離性還要求用戶數據和第三方應用是隔離的,即應用不應能跟蹤用戶數據并記錄,為解決該問題,應添加一種全新的應用訪問用戶數據的方式。
可靠性:可從服務、系統和數據三方面來闡述。服務方面,網絡拓撲中任意節點的丟失都有可能導致服務不可用,如邊緣系統能提前檢測到具有高風險的節點那么就可避免。較好的一種實現方式是使用無線傳感器網絡來實時監測服務器集群。從系統角度來看,邊緣操作系統是維護整個網絡拓撲的重要一部分內容,節點之間能互通狀態和診斷信息,這種特征使得在系統層面部署故障檢測、節點替換、數據檢測等十分方便。從數據角度,可靠性指數據在傳感和通信方面可靠,邊緣網絡中的節點有可能會在不可靠時報告信息,比如當傳感器處于電量不足的時候就極有可能導致傳輸的數據不可靠。為解決此類問題可能要提出新的協議來保證物聯網在傳輸數據時的可靠性。如果數據和通信不可靠,提供可靠的服務將是一個挑戰。
隱私和安全
在網絡邊緣,數據隱私和安全保護是一個重要服務。如果物聯網應用部署在家庭中,用戶的大量隱私數據會被收集,比如可以通過讀取電量和水量使用數據判斷家中是否有人。因此如何在不涉及隱私的情況下提供服務也是一個問題。有些隱私信息可以在處理數據之前剔除,例如遮蔽視頻中的面部。為保證數據的私密性,可從以下方面來確保:
1,提高對數據隱私和安全的意識,所有的利益相關者包括服務提供者,系統和應用開發者以及終端用戶都需要意識到用戶隱私有可能會受到侵害。如果不加防護的話,攝像頭,健康監測器甚至WIFI都可能被他人連接
2,在網絡邊緣處理數據,讓數據留在產生數據的地方可以更好地保護隱私。這樣數據只會在本地被存儲、分析和處理,由用戶決定是否提供給服務提供者。
3,對于不同的應用設置權限,對私密數據的訪問加以限制。
4,邊緣的網絡是高度動態化的網絡,易受攻擊,不好防護。需要有效的工具保護各種數據在網絡中的傳輸。
最優化指標
邊緣計算中節點眾多且不同節點的處理能力不同,因此在不同節點選擇合適的調度策略非常重要。可以考慮在每層均勻分配負載或在每層完成盡可能多的任務,極端情況下完全在端點操作或完全在云端操作。為選擇最佳的分配策略,下面討論幾個優化指標,包括延遲,帶寬,能耗和成本。
延遲: 是衡量性能的最重要指標之一,特別是在交互式應用或服務中,延遲并不單由處理能力決定,也要結合數據在網路中傳輸的時間。在智能城市案例中,譬如要尋找丟失的小孩信息,在本地手機處理后把結果返回給云將明顯加快響應速度。當然這種事情也有相對性,需要放一個邏輯判斷層來判斷把任務交給哪一個節點處理合適,如果此時手機正在處理其他重要的事情,由于手機的計算資源已被占用,此時把這種任務交給其他層次來處理會更好些。
帶寬:高帶寬可減少傳輸時間,但也意味著大量的資源浪費。數據在邊緣處理有兩種模式,一是數據在邊緣完全處理結束后上傳結果到云端;另一種是數據在邊緣處理了一部分,剩下的部分交給云來處理。兩種方式都能極大的改善網路帶寬的現狀,減少數據的傳輸,進而增強用戶體驗
能耗:對于給定任務,需判定在本地運算還是傳輸給其他節點計算節省資源。如本地空閑,那么在本地計算是最省資源的,如本地正在忙碌狀態,那么把計算任務分給其他節點會更合適一些。權衡好計算消耗的能源和網絡傳輸消耗的能源是一件非常重要的事情。一般當網絡傳輸消耗的資源遠小于在本地計算消耗時,會考慮使用邊緣計算把計算任務卸載到其他空閑節點上,幫助實現負載均衡,保證每一個結點的高性能。
成本: 包括但不限于邊緣結點的構建和維護、新型模型的開發等。利用邊緣計算模型,大型服務提供商在處理相同工作的情況下能獲取到更大利潤。
工作分配與各衡量指標之間密切相關。 如有時由于能量限制,工作負載需要在城市數據中心完成。與構建服務器層相比,能量限制不可避免地會影響延遲。對于不同的工作負載,指標應該具有不同優先級(或權重),從而選擇合理的分配策略。此外,成本分析需要在系統運行時進行,同時還應該考慮并發工作的相互干擾以及資源用量。
云原生技術的核心價值之一是通過統一的標準,實現在任何基礎設施上提供和云上一致的功能和體驗,云原生技術有助于實現云 - 邊 - 端一體化的應用分發,解決在海量邊、端設備上統一完成大規模應用交付、運維、管控的訴求;安全方面,云原生技術可提供容器等更加安全的工作負載運行環境,及流量控制、網絡策略等能力,可有效提升邊緣服務和邊緣數據的安全性;依托云原生領域強大的社區和廠商支持,云原生技術對異構資源的適用性逐步提升,在物聯網領域已能很好支持多種 CPU 架構(x86-64/arm/arm64)和通信協議,并實現較低的資源占用。
方向性探索及未來
工業互聯網的大力推動及5G大規模商用的持續醞釀,讓整個產業對IT、OT、CT的深度融合充滿信心和期待,在這種背景下,邊緣計算市場異常火爆。
什么業務適合在邊緣
一類是終端算力上移的場景,借助5G帶寬能力,把終端算力上移到邊緣,具有更靈活、更經濟的優勢。第二類是本地化場景,無論低延時還是大連接,本地產生的大量數據需要及時消化,減少帶寬成本,縮短傳輸時間。
阿里云定義邊緣計算即城市計算,為城市提供算力基礎。城市計算的場景涉及到道路計算(車路協同、交通監測)、公用事業計算(智能電網、智能環保)、消費計算(新零售、物流云)、安全計算(公共安全)和家庭計算(云游戲、VR/AR)等等。
什么業務適合部署在邊緣主要還是從大流量、低延時、廣覆蓋、本地化這幾個方面來規劃,而系統平臺可基于Edge容器化k8s,享受k8s技術生態環境帶來的優勢;對于底層基礎設施不敏感,有較強的彈性伸縮需求,可使用Serverless層的邊緣容器服務,極簡運維,專注后臺業務邏輯。
5G、邊緣計算與云計算的互補結合,有望逐步培育出新的商業生態。
需要怎樣的邊緣計算
整體來看,企業所需的邊緣計算要提供三方面能力,一是網絡和資源的覆蓋,保障海量邊緣節點和彈性的基礎設施來覆蓋終端接入,二是提供邊緣的基礎算力,包括計算、存儲、網絡、安全、調度等一些基礎能力,三是建立邊緣遠程運維體系,支持邊緣應用的快速部署、升級和監控。
邊緣計算不依賴于云端,弱網絡條件下運行是基本功能,而數據處理能力成為新的關注點,邊緣側讓物聯網應用變得更加智能。物聯網和AI 的深度結合成為新的趨勢,邊緣計算框架成為連接物聯網和AI的橋梁。比如在無人機應用上,由于網絡的不穩定而將圖形識別能力部署在無人機上是一種可靠的選擇,實現無人機智能化。在工業物聯網的場合,終端接入數量過于龐大,且反饋實時性要求高,邊緣計算成為工業互聯網的非常重要組成部分。
業務決定把中心的哪些應用做下沉,哪些終端的能力做上移,來實現性能和成本最優解。業務架構的演進比較復雜,邊緣計算平臺的使命就是讓事情變得簡單,從而去加速5G時代的業務架構升級進程,孵化更多的創新應用。比如在云游戲這個場景下,把游戲的業務邏輯處理、數據處理以及畫面渲染放在邊緣,終端就不需太多配置和性能的要求,成本就可大大降低,這也是架構演進帶來的突破和改變。
邊緣融合的計算平臺,融合是指在邊緣的基礎設施如MEC、IDC等資源上做融合。也有在計算形態、提供形式以及運維方面的融合。邊緣節點服務需要滿足業務的彈性,較強的突發需求應變能力,高資源利用率。需要DDoS防護、主機安全保障,應對軟硬件故障對業務帶來的穩定性風險。在提供高可靠性服務的同時可做到問題的秒級發現和處理,支持通過體系化、自動化的運維使工作效率大幅提升。
云邊一體的架構會將邊緣計算堅定在“云計算新邊界”的理念之上。未來的IT架構必將朝著“云邊端一體化協同“的方向發展,其中的核心就是邊緣云原生。邊緣計算新業務的開展也將和傳統的中心云保持同步:Serverless、安全沙箱技術、函數計算等新的業務形態都將在邊緣計算落地。
未來的邊緣技術和形態
未來邊緣云計算將是基于云計算的核心和邊緣計算的能力,構筑在邊緣基礎設施之上的云計算平臺。形成邊緣位置的計算、網絡、存儲、安全等能力全面的彈性云平臺,并與中心云和物聯網、終端形成“云邊端三體協同” 的端到端技術架構。將網絡轉發、存儲、 計算,智能化數據分析等工作放在邊緣處理,降低響應時延、帶寬成本、減輕云端壓力,并提供全網調度、算力分發等云服務。邊緣計算將在三個方向發力:AI、IoT 與邊緣計算的融合,云延伸;去中心化,設施自治,邊緣托管; 5G 邊緣計算引爆新增長。
推測未來的數據和計算20%發生在中心,80%發生在邊緣,能在邊緣處理的不會選擇經過長的鏈路到中心。時延要求高的場景,比如自動駕駛就會優先被放在邊緣。
邊緣計算的發展前景廣闊,被稱為“人工智能的最后一公里”,但仍在發展,仍有許多問題需要解決。如框架的選用,通訊設備和協議的規范,終端設備的標識,更低延遲的需求等。未來,即便從基礎設施的角度來講,也將擁有更多基于互聯網低延時、大帶寬的應用場景和想象空間。
邊緣計算算力其實有限,如量子計算和AI發展到一定程度,比如一個量子計算機就可為一個城市所有人去玩游戲做計算,可能有一天或許真的可以代替云的中心計算,因為在邊緣就可以使用超強的計算。比如網絡切片的技術,可根據不同應用來提供QoS,對網絡要求不高的云的QoS服務質量就低,反之通過網絡切片來提供高質量的網絡服務。包括SDN, MEC邊緣的多變接入,移動端、IP網絡端、電視網絡端,還有5G通信技術,最核心的智能芯片。
邊緣計算未來的形態,像應用市場一樣去使用邊緣計算,比如視覺分析、語音識別、智能分析的算法、游戲、VR、視頻、直播、虛擬工廠、虛擬公路、虛擬城市,包括存儲、數據中間件這些能力,通過云中心連接且安裝到你的家、你行駛的路上,你的影院,你的工廠包括世界各地的邊緣節點,你只需選擇你把能力放到哪里,一鍵就會放到那個地方,在那里為你提供計算服務。你的loT設備就可無需連接云中心,在邊緣節點完成你所有后臺,包括計算的能力。
邊緣計算的落地和推進,將加速“新基建”各領域的進步。
云邊協同,未來80% 計算發生在邊緣。
邊緣計算把云計算更靠近生活,服務生活,讓計算更有溫度 !
最 后
5G和云計算的商用化普及,及企業數字化轉型催生了邊緣計算, 成為云計算的新邊界。邊緣計算拓展了云計算邊界,致力于將計算能力推進到應用和場景發生的最近距離,以此構建萬物互聯的基礎。萬物智聯的時代需要低時延、大帶寬、高并發和本地化,云、邊、端三體協同是萬物智聯的基本形態,最佳的行業應用解決方案。
邊緣計算橫跨OT、IT、CT多領域,涉及網絡聯接、數據聚合、AI、芯片、傳感、行業應用等多個產業鏈,幫助不同行業和廠商之間實現互通和互操作,被稱為下一代互聯網的一個重要技術。物聯網和移動設備的普及改變了邊緣在計算范式中的角色,邊緣正從單純的數據消費者向數據生產者及消費者轉變。在網絡邊緣、在靠近數據源的地方進行計算和處理會更加高效。
當萬物智聯時代到來,當傳感器、攝像頭成為整個社會的眼睛,我們就能更好地通過眼睛去識別環境、回傳信息、智能分析,實現更智慧的城市管理。這就好比一個人的眼睛看到一個物體后馬上識別出來,之后再將結構化信息傳回大腦,邊緣計算即如此。
未來的生活需要邊緣計算,不管你見或不見,邊緣計算就在那里。
把數字帶入每個人,每個家庭,每個組織,構建萬物互聯的智能世界 ...
5G已來,邊緣已來.? 邊緣計算,無處不在 !
容器 邊緣計算 計算 Kubernetes 云計算
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。