實時媒體AI，打破內容創作天花板，加速視頻創新

隨著視頻業務不斷升級，用戶對體驗的要求越來越高，比如要互動性更強、玩法更多樣，體驗更酷炫等。另外，直播業務、RTC業務，內容同質化比較嚴重，內容創造、用戶體驗也都遇到了天花板，這些都需要一些技術去打破它。我們跟斗魚長期碰撞，共同探索后，得到一個命題：通過媒體AI去做這個事情。剛才斗魚肖總的視頻里面也提到了很多直播特效，包括像美顏、美型、虛擬主播、背景替換等，同時我們面向在線教育的場景，也會有一些像課堂評測的能力，都是基于媒體AI去做的。

構建媒體AI目前面臨的三大痛點

當前，媒體AI的構建有幾大痛點：

終端：類型多、算力弱。

目前很多的媒體AI能力都是在終端實現的，雖然終端的算力在不斷提升，但像一些高復雜度的特效是做不了的，比如虛擬人物。背景替換當前的效果也很一般，你能看出一個明顯的輪廓，當然更不要說實現對標電影級特效的背景替換了。

云端：實時互動弱、成本高。

現在很多在云端去做的視頻AI，一般都是偏向于離線的業務，它對互動體驗的滿足性相對比較低。在直播實時互動的時代，這是無法滿足需求的。而且因為音視頻數據在邊緣和云端源站相互傳輸，引入較高的帶寬成本。

創新門檻高、生態封閉。

現在AI的能力，各廠家都是獨立開發，各玩各的，生態相對是比較封閉的。

我們希望基于云原生，和伙伴一起構建一個邊云協同的實時媒體AI的能力，去解決上述痛點，加速視頻業務創新。

實時媒體AI的定義及核心價值

我們給實時媒體AI做了一個定義，基于華為云原生的邊緣、計算、容器、存儲、網絡等服務能力，構建豐富的實時媒體AI處理能力，同時聯同伙伴打造生態開放的AI算法市場，加速視頻業務創新，為客戶提供差異化競爭力，為用戶提供更優質的體驗。

先舉個簡單的例子，我們把當前直播和RTC里端側做的一些特效，通過邊緣云的方式來實現，加入更多更酷炫的特效，比如效果更好的背景替換，提升互動性的AR卡通、虛擬人物等等。

當前，實時媒體AI還處在一個探索推進的狀態中，我們希望其能實現如下4個核心價值：

玩法更多。以后直播和RTC業務有更多的AI能力可以用，可以組合，來實現更多更酷炫的創新玩法；

體驗更優。有了這些創新玩法后，用戶對實時互動的體驗要求是比較高的，我們希望實現“延遲無感”的體驗，與本地使用高端機是同樣的體驗效果。還有一點針對算法開發者來說的，可以基于云的平臺，更快地發布、更快地開發，更快地去體驗驗證。

成本更低。目前大部分媒體AI的能力是基于端側實現的，因為一提到云側，就會想到GPU、各種硬件平臺的成本會比較高，但我們希望能把這塊的成本降下來。這里包括兩個部分，一是用華為云統一的軟硬件資源，提高資源的復用率，降低每一路資源成本，二是基于云上統一平臺，一鍵更新，無需適配多種終端，來降低算法開發和APP更新的成本。

生態開放。我們希望構建一個開放的AI算法生態市場，避免各家閉門造車、各玩各的的狀態，希望能通過AI算法的互通共享，來降低算法開發門檻。

這些核心價值的實現，都是基于云原生，下面將從實時媒體AI的云原生架構、實時處理框架、算法開放幾個方面詳細介紹一下如何通過云原生實現核心價值的。

實時媒體AI云原生架構

首先介紹一下實時媒體AI基于云原生的架構。

從下往上看，首先它是基于華為云的邊緣節點，用華為云IEF邊緣管理服務對整個的節點軟硬件資源做一個納管，進行調度。其次，框架基于華為云EI平臺，提供ModelArts訓練等多種能力，支持Tensorflow、PyTorch等主流深度學習框架。框架里還包含一個SWR（鏡像倉庫）的服務，這個服務既可以集成發布華為EI自研算法鏡像，也可以集成第三方基于EI的算法鏡像。還有一個關鍵點要介紹，我們提供一個高性能邊緣函數計算能力，這個能力實際上是面向實時媒體AI業務做的一個函數級處理框架結構，它可以非常高性能地將所有的AI算法實時調度到邊緣節點上，并對邊緣函數進行編排。實時媒體AI平臺，用于卸載終端上的媒體處理能力，減少媒體處理適配不同終端平臺的開發量，并保證不同終端平臺體驗效果一致，面向不同解決方案提供歸一化的媒體處理能力。

我們通過這個架構，提供更多更優的媒體AI玩法，同時，它統一算法的創新發開平臺，可以避免多終端適配。

實時處理函數框架

如前面所述，實時媒體AI的核心是實時，如何最大程度的降低端到端處理時延，讓用戶對延遲“無感”。

實時媒體AI除了將實時處理能力下沉到邊緣，就近提供處理、降低鏈路時延之外，還重點構建了實時處理函數框架，用來降低處理時延。該處理框架主要以下幾個方面降低端到端處理時延：1）基于華為云昇騰、鯤鵬等硬件，對AI算法、視頻編解碼算法做加速處理；2）通過高速總線加速AI算法容器之間視頻原始數據傳輸；3）通過函數資源池預熱機制提前加載AI算法，降低啟動時延等。 整個處理流程，我們是希望能做到100毫秒以內，加上網絡的時延，能做到300毫秒以內。這樣的話，對用戶而言，延遲是無感知的。

云原生算法開放

如前面所說，我們不僅僅是構建一個實時媒體AI服務能力，更希望的是構建面向多種業務場景的實時媒體AI算法生態，希望更多的伙伴參與進來，一起推動業務創新、用戶體驗提升。

基于這個想法，我們構建了一個算法開放的流程，包括所有實時媒體AI算法的標準算法接口和集成流程，也包括算法生態市場的構建，我們都會陸續的推出。這樣的話，不管是基于華為EI平臺去構建的AI算法，還是考慮到數據的隱私性，基于自己的平臺去構建的AI算法，都可以通過這個流程集成到我們實時媒體AI里面。

實時媒體AI應用案例—斗魚

基于華為云云原生RTC實時音視頻服務以及實時媒體AI能力，斗魚實現實時云端特效，將端側難以實現的特效能力向云側轉移，為用戶提供“延遲無感”的實時互動體驗，促進業務創新，提升業務粘性。華為云領先的云原生技術，讓斗魚可以專注云側創新，避免適配多種終端，快速驗證創新效果，大幅提升研發效能。同時，還能避免SDK頻繁更新帶來的用戶多次下載，提升用戶使用體驗。

基于華為云和斗魚的算法，雙方還構筑了一個富有想象空間的算法生態。面向未來，雙方將持續深化合作，基于AR/VR提供更多創新玩法，結合華為云算法商城為主播帶來更多場景選擇，追求更優用戶體驗。

目前我們正在跟斗魚一起做美顏、美型、濾鏡、貼紙等實時云端特效，這些特效會集成在斗魚的直播平臺里面，后續虛擬形象、背景替換等特效也會陸續上線。

低時延云端美顏、背景替換DEMO

第一個DEMO是當前跟斗魚一起做的一個低時延云端美顏特效，里面包括美白，磨皮等一系列的處理。這個端到端的時延，目前我們在網絡比較好的情況下，可以做到150毫秒。正如我們看到的兩個對比視頻，基本上是同步的，肉眼看不出差異性。

另外的一個DEMO是背景替換的。是一個知識視頻里面做的背景替換。后面還會把背景替換效果做得更好，能像電影級的，比如說把背景替換和美顏美型、虛擬形象等組合疊加，做出更好更炫的效果。

最后我對今天分享的實時媒體AI做個總結。

我們希望實時媒體AI是作為加速視頻業務創新的一個關鍵手段，能夠提供更多的處理能力，更優的互動體驗，更低的創新成本，當然也希望更多AI算法合作伙伴們的加入，一起來共同打造一個開放生態！

媒體處理 實時音視頻 行業視頻管理服務 IVM 視頻點播 視頻直播

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。