【云駐共創】華為云音視頻極簡接入與開發動手實戰
實時音視頻日益成為千行百業的基礎服務,如何讓華為云RTC成為千行百業的重要選擇?極簡接入是基礎也是重要的一環。結合在線教育、互動直播等真實場景,手把手教會開發者如何在自身的服務基礎上,輕松接入華為云RTC的產品?

視頻產業正在向大規模、高質量、智能化的方向飛速發展。在規模方面,視頻已經是當前的風口,業務在互動、文娛、教育、遠程辦公等場景,已經有大量的用戶正在進行視頻化。在高質量方面,H.265的成熟基于4k、AR、VR等結合的視頻體驗得以快速的落地;在智能化方面,AI智能用戶體驗和效率的提升。
在技術感知智能方面,語音識別、語音處理、圖像識別、生物識別等技術都在快速的發展;在認知智能專業的領域的知識理解、深度學習、知識圖譜、多模態預測等方面的技術也在快速的發展。
華為云實施音視頻服務,持續提升音視頻的極致體驗,引領行業的發展,華為在音視頻領域已經有三十多年的經驗。自從1998年開通華為通話業務以來,華為已經在2004年完成了華為視頻業務,2008年完成了華為云會議。2017年華為云上線,基于30年的匠心打造,推出了華為實施音視頻的服務。華為在音視頻領域已經有3000家自有專利,同時,基于華為云的海量邊緣節點,大概有2500個邊緣節點,構建了一張實時的音視頻網絡。
基于華為37年積累的3000家音視頻專利和實時的媒體網絡,華為推出了華為云實時音視頻服務。
華為云實時音視頻解決方案整體介紹
華為實時音視頻解決方案的目標是重新定義整個實時音視頻的服務,提升用戶的體驗,提升用戶的業務,提升用戶的技術,支撐千行百業的快速發展。基于多元的算力構建邊緣云服務支撐、云原生框架、云邊端協同、智能調度等技術,再賦予音視頻處理、音視頻積累、網絡自適應技術、智能編碼技術累計加上自服務的平臺的能力,簡單易用,一天集成云上的專業工具,業務系統的安全,賦予豐富的功能來推動千行百業進一步的使用實時音視頻服務。
覆蓋多種場景-教育行業
在教育行業,基于華為云的實時音視頻服務,可以輕松的構建高品質的互動教學體驗,增強獲客能力。支持小班課這塊,推出的核心能力包括高畫質、高音質、1080p的高清畫質h265同等分辨率下的帶寬成本更低,48k的高音質音頻都是在這個業務場景上構筑的核心競爭力。在大型直播課上面,支持千人互動自由連麥,客戶可以基于的能力實現大型直播課、超級直播課等場景,可以增加單節課的參與人數,支持千人實時互動,增強客戶的獲客和盈利能力。在雙式課堂場景,追求的能力穩定流暢,可以支撐的業務場景包括雙師課堂和名師課堂,在這個場景下面,推出的是極致的抗落網能力,卡頓率小于5%,流暢不卡頓。
覆蓋多種場景-辦公協議
在辦公協議場景,支持互動視頻會議、遠程辦公協作,在視頻會議和辦公協作相關的場景下面,支持線上員工大會、在線研討會、異地業務會議、企業內部培訓。推出的核心競爭力包括,簡單易用,隨時可以加入、無上限參與人數,不需要額外的設備一鍵入會,并且能邀請任何人入會,隨時互動,高清流暢,支持多方異地在線音視頻互動,高清畫面穩定傳輸,支持多碼率多路現場自由切換,不會錯過任何一個分會場。同時也支持對數據的分析和跟蹤,可視化的報告、量化會議培訓以及活動的溝通效果,多維度的用戶畫像觀看狀態的埋點。
覆蓋多種場景-文娛
在文娛場景,目標是打造零距離的互動直播間,具體的業務場景包括主播才藝pk創新的玩法和體驗的提升,在這塊主要打造的能力是主播間的互動無延遲,端到端時延小于200毫秒pk參與人數無限制,所有的觀眾都可以實時參與互動。在相親的這個場景,支撐自由上線高清畫質,一個主持人、N個交友者,交友者可以介紹并且拉票。在這個場景,構筑的核心競爭力就是主播數量無限制,不需要提前安排,自由上線、連麥出境。在在線ktv的場景,提供了優質的音效和超低的實驗,在這塊打造的核心競爭力是優質音效、音頻降噪、原聲高保真、超低延時、極速流暢體驗、創新玩、強唱合唱、超強互動。
華為云實時音視頻服務全功能的視圖
華為云實時音視頻服務全功能的視圖,支持主播端在發送能力,支持自采集,包括通過華為云實時音視頻采集,也支持第三方的自采集。在采集完的視頻,支持預處理處理的能力,包括回聲消除,丟包對抗,智能降噪,消教控制等。處理完了的視頻,支持對它進行硬編和軟編支持高采用率、高碼率、高幀率。在播放側,支持硬解碼,軟解碼還支持不同的播放模式。在解碼完的視頻可以進行后處理,包括音效的美化,趣味的變身,聽聲辨位等等。最終拿到的視頻,可以提供給華為云實時音視頻服務進行渲染,也支持將渲染流推給客戶做自渲染。除此之外,華為也提供了非常豐富的服務端能力,包含實時轉碼、直播、混流錄制審核、房間管理等等。在實時轉碼方面,支持按需實時轉碼,并輸出標清、高清、超清的多種分辨率。在直播場景里面,會將房間內的音視頻流推送給直播服務,在混流功能上面,支持將多錄音視頻流混流成一錄。在錄制方面,支持視頻的實時錄制,錄制的內容可以根據客戶的選擇存儲在對應的OBS桶里面,支持對音頻和視頻內容進行實時審核。在房間管理方面,支持單個主播的加入,也支持多個房間的互動PK。
華為云實時音視頻服務提供了豐富的功能
基礎功能能方面,提供了視頻通話,視頻互動直播,語音通話,語音互動直播。
高級功能這塊提供了高音質,高畫質角色。快單用戶加多房間屏幕共享,3A處理,基礎美顏,音量大小回調等等。
擴展能力方面,支持自定義音頻數據,自定義視頻數據,旁路直播,云端錄制,語音內容審核,視頻內容審核等等。
華為云實時音視頻技術亮點介紹
華為實時音視頻服務構建核心產品亮點是低時延的媒體網絡、高質量音視頻、智能的媒體處理。在超低時延方向,目標是構建端到端,時延小于200毫秒。在全球覆蓋方面,依托全網的2500個加節點,覆蓋全球170家國家,確保用戶的就近接入。在極致體驗方面,通過自適應復雜網絡的算法保證50%的視頻抗六包和80%的音頻抗丟包。在極智編碼方面,支持1080p的視頻分辨率h265和感知編碼技術碼率降低30%~40%。在智能處理方面,支持AI特效的多種玩法,AI降噪效果更優,AI調度提升整個傳輸的可靠性
業界最佳的落網抗丟包能力自適應復雜網絡。華為專利的抗落網丟包技術,實現在落網情況下自適應的找到延遲和流暢的最佳契合點,打造穩定的流暢體驗,50%的視頻抗流包和80%的音頻抗丟包。
智能調速,避免這個丟包惡化提供的能力包括智能的網絡探測,視頻的自動升降速。在智能網絡探測上面,會根據時間和丟包率的關系判斷當前網絡的模型及可用的帶寬控制,編碼的速度與糾錯的方案。
華為在高鐵,地鐵,樓梯間,教室,出租房等業務場景都有做定向的優化。在視頻自動升降速方面,做到了在傳輸網絡帶寬降低或者恢復時,主動降低或者恢復視頻的幀率,視頻的分辨率以實時的匹配當前的網絡帶寬狀況,達到最優的視頻質量。也以華為的網絡團隊進行深度的合作,推出創新的RTC端網協同,在同等無線網絡的擁塞場景下,減少22%的卡頓。在業界率先推出了H.265加感知編碼,重塑用戶的體驗。在這塊有三大塊的技術:
在視頻分層編碼,在視頻多層分層編碼的技術里面,的視頻會以不同的碼率、幀率、分辨率和視頻質量解碼,實現10億的可伸縮性,空翼的可伸縮性,質量的可伸縮性,碼率自適應調整,網絡適應性更強。
在265加感知編碼的技術上面,實現了30%~40%的碼率降低用戶的體驗更佳。
實施超分的能力,啟用超分以后,整體的細節會更清新,體驗提升一檔,但是第一消耗自動開啟,同等馬力下提升視頻質量。華為自研了音頻算法,打造高可靠的音頻體驗,最新的0算法,提升高品質音頻通話的體驗。
將傳統和AI的回聲算法相結合,實現了雙槳場景不漏回聲、不丟字AI降噪和傳統的降噪相結合,實現了抑制平穩和非平穩噪聲,解決了噪聲收斂慢的問題。結合降噪和自動增益功能,實現了更好的降噪和自動增益的效果。
華為云RTC和華為云的云手機協同保障了一個極致的體驗,通過網絡之間的聯通和業務之間的配合,實現了極致的體驗、豐富的功能、云化的生態和安全可靠。在極致體驗上面,實現了時延小于300毫秒豐富的RTC節點網絡,全鏈路的質量監控,保障用戶的體驗外部端的兼容性。在豐富的功能方面,提供了錄制、截圖、視頻、AI超高并發的支持,同時也支持旁路直播做大規模的分發。在云化生態方面,與云手機等華為云產品協同,云手機內網推流極致的穩定性,持續優化的高效穩定。在安全可靠方面,全麥式的網絡跨一部署,彈性伸縮高可靠。在灰度發布方面,是無損發布支撐業務的快速上線。
華為實時音視頻服務,覆蓋全終端的sdk,資源消耗小,簡單易用,客戶只需要幾天的時間即可以完成一個音視頻服務的快速上線全終端平臺,支持windows、mac、安卓、iOS、web,在跨終端平臺支持electron,還有c++,實現了一個資源的消耗,耗小,第一個應用包小,耗電量低,cpu使用率低,平均大概在15%左右,內存占用少,平均大概在100M左右,還有簡單易用,支持的多開發語言,完整的功能代碼示例,靈活的API可調用在端云協同,提供了一個最佳的業務體驗。
根據時延和丟包的利率的關系判斷網絡模型及可用性,實現視頻的自動升降檔,以實時匹配當前帶寬的最優視頻質量。提供了可視化的運維平臺試鏡,通過它可以全面掌控資源的使用情況和運行狀態,提供的能力包括歷史用量的查詢、應用管理查詢、實時用量的統計查詢。在實時洞察通話質量方面,能夠詳細的查詢房間內的用戶的通話時長、視頻的通話時長、音頻的通話時長、房間數人數、人次、同時在線人數、同時在線房間數,也能夠詳細的查詢房間內日均加入房間的成功率、日均五秒加入房間的成功率、首次發生的時間、首次出圖的時間、音頻卡頓率、視頻卡頓率、音頻優質傳輸率、視頻優質傳輸率、網絡食言拉流成功率、推流成功率等客戶關心的核心的業務數據。
商用案例介紹
實時音視頻服務支撐億級暢聯通話穩定運行,實時視頻已經逐步在融入到各類的智能硬件中,為消費者提供隨時隨地的溝通體驗。暢聯通話實現了前所未有的高清原聲的通話功能,億級的設備接入,它支持華為音箱進行語音通話,支持華為兒童手表進行視頻通話,支持通過華為的智慧屏進行視頻通話,支持華為手機的暢聯通話。華為實時音視頻服務正是支撐了這樣億級的終端暢聯通話穩定的運行,提供了一個視頻的高質量。
水滴項目是通過華為云云手機和華為云實時音視頻服務的聯動,實現了這個遠程的視頻銷售項目,它的業務場景主要是銷售和用戶之間通過實時音視頻服務進行視頻通話,同時通過云手機在銷售和用戶之間操作電子保單來完成在線簽約的動作。RTC視頻錄制服務將簽約全過程實時錄制,保障簽約的安全有效。在業務增長情況下,6月份rc的服務音視頻分鐘數已經超過150萬,6月份rc的房間數超過2000家,6月份RTC在線的人數超過6000家。云手機和htc的專線網絡提升了端到端的網絡質量,卡頓率小于0.5%,時延小于200毫秒,確保了在線簽約的更流暢效率的提升。云手機預集成華為云實時音視頻服務,一天的工作量就可以打通前端,提供完整的服務、業務的升級。RTC配合云手機提供便利接入性和安全性,可以支持不同的終端隨時隨地的接入視頻通話、在線清單。
下面介紹一下如何通過華為云官網來進入RTC。打開華為云---產品-----視頻----華為云實時音視頻SparkRTC。https://www.huaweicloud.com/product/cloudrtc.html
進入開發者指南。可以查看到產品介紹以及產品優勢、應用場景、功能、計費說明等產品詳情查閱https://support.huaweicloud.com/wtsnew-rtc/index.html
可下載DEMO體驗,demo代碼詳情講解,獲取開發資料下載。
本文整理自【內容共創系列】1024,懂你所需,予你溫暖,致敬新時代可愛的程序員們
實時音視頻 短視頻 視頻
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。