【云駐共創】年輕人如何入場元宇宙?未來已來!
近期,Facebook把自己公司更名為Meta(元),上了一波熱搜;而前段時間國內的阿里騰訊,國外的谷歌等巨頭紛紛宣布入局元宇宙;行業“冥”燈羅永浩也宣布要入局元宇宙,這個詞匯出現的越來越頻繁,而未來會更頻繁。

那么“元宇宙”究竟是什么呢?
1000個人眼里有1000個“元宇宙”
什么是“元宇宙”,1000個人眼里有1000個“元宇宙”。
不同的媒體、公司、個人等,對“元宇宙”都有著自己的理解:
有的人認為“元宇宙”代表著人類文明的未來;而還有些人覺得“元宇宙”代表著虛擬世界的“躺平”,是個“邪惡”的東西,Elon Musk的沖向太空,才是人類文明的未來.....
而在這兩種觀點之間,還有一種觀點:“元宇宙”和互聯網一樣,本身是不帶任何屬性的,重點還是看我們如何使用它。
要探討什么是“元宇宙”,我們需要探索人類需求的本源。
影視文學中的元宇宙
首先,我們從影視文學中的元宇宙的角度來挖掘一下:
《雪崩》
對于元宇宙的解釋,目前公認翻譯自1992年斯蒂芬森科幻小說《雪崩》中“Metaverse”(也譯為超元域)一詞。元宇宙簡單來說,就是現實世界中的所有人和事都被數字化投射在了這個網絡云端世界里,你可以在這個世界里做任何你在真實世界中可以做的事情。與此同時,你還可能做你在真實世界里做不到的事情
《莊周夢蝶》
而在中國2300多年前的百家爭鳴時代,莊子夢到了自己變成了蝴蝶在翩翩飛舞,醒來之后不知身在何處,就產生了這樣的思考:到底是莊子變成了蝴蝶,還是蝴蝶變成了莊子呢?哪個才是真是的存在?還有《枕中記》一書中的“黃粱一夢”等成語也是類似的哲思探索。
《星球大戰》
在《星球大戰》中我們看到具備三維全息投影功能的R2D2機器人;以及目前在游戲玩家中很流行的玩意兒:由一個全視角顯示頭盔和一套感應服構成,感應服可以使玩家從肉體上感覺到游戲中的擊打、刀刺和火燒,能產生出酷熱和嚴寒,甚至還能逼真地模擬出身體暴露在風雪中的感覺。在《三體》改編的同名游戲中提到,汪淼走到她后面,由于游戲是在頭盔中以全視角方式顯示的,在顯示器上什么都看不到。
《王牌特工》
在美國影視劇《王牌特工》中,當你帶上王牌特工的專屬AR眼鏡,其他與會人哪怕身在不同國家地區,都能就在身邊一樣,開一個全息會議。
《阿凡達》
在《阿凡達》影視劇中,科學家嘗試將人類DNA和納威人的DNA結合在一起,制造出一個克隆納威人。而最神奇的地方在于克隆納威人可以讓人類的意識入駐其中,從而成為人類在這個星球上活動的“化身”(Avatar)。
《黑鏡》
在《黑鏡》第二季第一集當中,名為“Be Right Back·馬上回來”,講述了一對情侶Martha和Ash搬去了Ash父母居住的遠離塵囂的小鎮生活,但是社交網絡狂人Ash卻在歸還搬家租賃的貨車時死于非命。在Ash的葬禮上,Martha的朋友Sarah告訴了她一種和死去的人建立聯系的新方法,就是用Ash在社交網絡中留下的所有信息、狀態,更新和Like,Martha可以創造出一個新的“真”Ash,從而幫助她減輕傷痛。
《刀劍神域》
在《刀劍神域》中,當你帶上腦機接口設備時,你在游戲中死亡,那么在現實中也將死亡。
《太空堡壘》
《太空堡壘》有3個非常了不起的設定:
1、全息眼鏡Holoband和虛擬paradise
2、意識上傳到云端
3、意識下載到機器人的身體中,成為第一代具備真正“智慧”的機器人
《頭號玩家》
2045年,處于混亂和崩潰邊緣的現實世界令人失望,人們將救贖的希望寄托于“綠洲”,一個由鬼才詹姆斯·哈利迪一手打造的虛擬游戲世界。人們只要戴上VR設備,就可以進入這個與現實世界形成強烈反差的虛擬世界。在這個世界中,有繁華的都市,形象各異、光彩照人的玩家,而不同次元的影視游戲中的經典角色也可以在這里齊聚。就算你在現實中是一個掙扎在社會邊緣的失敗者,在“綠洲”里也依然可以成為超級英雄,再遙遠的夢想都變得觸手可及。
《失控玩家》
今年上映的一個新的影視劇。其中的主角以為自己是生活的主角,其實只不是這個世界的一個NPC,這個舞臺上的提線木偶。
UPLOAD
《UPLOAD》中的精彩設定:
1、死前將意識上傳到虛擬天堂
2、死后的世界也有2G和5G之分
3、死后通過全息方式參加自己的葬禮
《黑客帝國》
未來的人類生活在機器人所制造的矩陣(Matrix)虛擬世界中,而機器人則得以從人體獲取所需的生物能源。但生活在虛擬世界中的人類絲毫沒有意識到自己的世界是虛擬的,知道“救世主”的出現。
我們并不是來講解這個科幻影視作品的,我們要做的,是從中這些科幻影視作品中,看看人們的需求。
一提到需求,我們可能會立刻想到馬斯洛的“需求層次論”,但是在這里,我們更加抽象一下:
物質需求:創造價值與財富,提高生產力
精神需求:消費與享受生活,社交娛樂
永生:徹底脫離生老病死,實現數字化永生
當然,按照目前科技的發展進程,如果想實現人類生物身體的永生不老是非常難的,但是通過Metaverse的技術未來我們有可能會實現一種數字化的永生。
巨頭眼中的元宇宙
介紹完影視劇中的“元宇宙”,我們來看看巨頭眼中的元宇宙:
首先我們來看的是Meta,也就是之前的Facebook。對Meta來說,今年是一個非常重要的一年,因為今年它改元。當然我們都知道在中國的歷史上,某個帝王更改自己的年號叫“改元”,其實對Facebook對Meta來說,2021年也是它的改元之年。我們可以看一看在它改元之前,它的虛擬現實以及在元宇宙做了哪些布局。
2014年的時候,其用20億美元將股份收購了Oculus VR。在收購的時候,扎克伯格在自己的Facebook主頁上說了這樣一句話:沉浸式的虛擬現實游戲,將是虛擬現實第一個重大應用,但是這僅僅只是一個起點,虛擬現實絕不僅僅是游戲,我們希望把它打造成下一個計算和通訊平臺。
2018年9月,Facebook在Oculus Connect開發者大會上宣布推出獨立虛擬現實(VR)頭盔Oculus Quest,跟Oculus Go類似,這種頭盔無需PC或手機即可提供虛擬現實功能。但是它提供了6自由度的游戲控制器,可以讓玩家更愉快的玩耍。
2020年9月,Facebook在開發者大會上宣布推出Oculus Quest 2代,定價僅299美元。
2021年11月17日,根據高通CEO透露的數據,Oculus Quest2代的累積銷量已經突破1000萬臺!??!
那么1000萬臺意味著什么?意味著 VR頭顯的設備已經跨越了所謂的第一個極限點,即將邁向真正的星辰大海。
往后接下來幾年還會陸續還有Oculus的3代和4代,而這些都在開發之中,而且價格肯定不會比二代貴,也會解決諸多的技術問題,但是具體的發布時間(可能在2022年圣誕節前
)還在猜測當中。除了3代和4代之外,還有傳聞中的PRO版本,也就是性能更強,價格更高,那么它可能會對標傳說中要發布的蘋果的新品。當然Meta也就是之前的Facebook,除了現有的Oculus這條產品之外,還在積極的研發AR眼鏡。
看完上述的這些產品之外,我們也來看一看Meta還有其他哪些布局:
2018年的Facebook F8大會上,Oculus首席科學家Michael Abrash宣布Oculus研發部門Oculus Research重新命名為Facebook Reality Labs,并同時涉足VR與AR技術的研發。
Facebook AR/VR部門在2021年總人數已逾1萬人,占總員工人數的近20%,而2017年該部門僅為1000人。
Facebook有兩個開發者的大會是值得我們關注的,分別是每年5月到6月的F8大會,以及每年10月底左右的XR開發者大會。
Facebook于2017年發布了名為AR Studio的AR套件,并一直與全球社區合作,共同塑造和定義Spark AR平臺。
2021年8月20日,Facebook推出測試性的VR遠程辦公APP,名為Horizon Workrooms,有了該軟件,Oculus Quest 2用戶可以用虛擬化身參與會議。
2021年11月11日,Meta宣布與微軟合作,將Meta旗下的WorkPlace功能與微軟的Teams整合,發展元宇宙辦公室。
我們可以看到,現在虛擬現實和原有的產品和技術的布局,從之前的以數年為單位,現在已經大大的提速,增加到了一年半年甚至幾個月都會有一個新的產品新的功能出來。
那么在內容生態上,Meta一是推出Oculus Store,目前已有超過60款Oculus Quest 游戲的營收超過100萬美元;二是和第三方平臺SideQuest合作。
其還成立了Oculus Studio,并且收購多家VR內容公司,包括Beat Games、Downpour、Ready at Dawn、Sanzaru Games、BigBox VR。
根據Steam VR平臺的統計數據,我們可以看到OcQ設備的市場占有率是非常的高:
那么目前在這個市場上我們可以看到,整個平臺已經有了一定數量的相關的VR內容,包括支持各個設備的,但是還僅僅是在以千為單位。
我們都知道,比如說蘋果的App Store或者是安卓商城上的應用,都已經是突破上百萬甚至幾百萬個,那么現在目前 VR的應用還處于非常的早期。
所以對于Meta來說,也就對于之前的Facebook來說,最重要的事情就是上個月28號扎克伯格宣布它正式更名成Meta,從此邁向未來的星辰大海。
同樣是元宇宙,我們可以看到Meta,也就是Facebook它更偏重于其社交屬性。而對于微軟來說,它更多是從企業辦公、企業生產力方面來看,也就是所謂的“企業元宇宙”。
2015的開發者大會,微軟與WIN10一起推出黑科技產品HoloLens;
2019年2月的MWC(世界移動通信大會)上,微軟發布HoloLens 2代;
2021年4月,微軟拿下美軍218.8億美元的軍工版HoloLens合同。
除設備之外,
2018年10月,微軟首次啟動Azure Digital Twins平臺預覽版;
2020年12月,微軟宣布Azure Digital Twins全面上市;
2021年3月,微軟推出了一款具有3D化身和其他XR功能的虛擬平臺Mesh,旨在打造能讓人們通過AR/VR技術進行遠程協作的應用。微軟團隊將會推出全新的3D虛擬化身,無須使用VR/AR頭盔,用戶將能夠以虛擬任務或動畫卡通的形式出現在視頻會議中,且通過人工智能能夠解讀聲音,讓頭像變得活靈活現。
可以看到微軟的動作也是不斷的加快:11月2日,微軟在Ignite大會上宣布,計劃將旗下聊天和會議應用Microsoft Teams打造成元宇宙,把混合現實會議平臺Microsoft Mesh融入Microsoft Teams中。此外,Xbox游戲平臺將來也要加入元宇宙。
薩提亞·納德拉表示,微軟的元宇宙最初專注于企業級應用。
微軟(中國)首席技術官官韋青表示,沒必要去糾結現在流行的技術叫什么詞,無論是叫元宇宙也好,叫數字孿生也罷。永遠不要忘記,創造虛擬空間的初衷是為了強化物理世界,讓我們在現實生活提高生產效率,降低生產成本。
官韋青指出,像微軟、蘋果等科技公司的業務是虛擬空間、物理世界兩方面業務皆有覆蓋,兩方面互補,而不是單方面地陷入到某一個領域。元宇宙構筑的邏輯,都是將物理世界的對象和現象變成模型,放到虛擬空間中,進行仿真、預測,最終反饋到物理空間,來強化我們的物理世界。
下圖是微軟的Metaverse解決方案,包括它的物理世界、連接、建模、位置、數據,還有智能邏輯以及協作平臺等等,可以看到它是偏向于提高生產力。
下圖是微軟去年在AR/VR領域的專利,可以看到在Q1至Q3它都是排在第一的,Q4時Magic Leap躍居第一。
在Meta的眼中,元宇宙可能更多的是社交娛樂,也就是滿足我們的精神需求,而在微軟的眼中元宇宙做更多的是提升生產效率,滿足物質層面的需求,那么,英偉達眼中的元宇宙又是什么呢?
英偉達提出自己的元宇宙叫OmniVerse。它在元宇宙相關的布局及相關產品:
1、NVIDIA RTX系統顯卡和虛擬工作站;
2、NVIDIA CloudXR-XR串流平臺(和微軟Azure以及Amazon AWS開展合作,主要兼容AR和VR設備,包括不限于:大部分PCVR、HoloLens 2、VR一體機、支持AR的安卓和iOS設備等);
3、OmniVerse元宇宙平臺-數字版老黃
2021年11月9日GTC大會再次升級Omniverse平臺,發布了Omniverse Avatar和Omniverse Replicator。Omniverse Avatar是一個用于生成交互式AI化身的技術平臺。它集合了英偉達在語音AI、計算機視覺、自然語言理解、推薦引擎和模擬技術方面積累的技術,為創建人工智能助手打開了大門,可以幫助處理數十億的日常客戶服務互動。Omniverse Replicator則是一種合成數據生成引擎,可以基于現有數據持續生成用于訓練的合成數據。
Omniverse的門戶是USD(通用場景描述)黃仁勛認為Omniverse的本質是一個數字蟲洞。未來任何計算機都可以連接到Omniverse就像HTML(一種標記語言,可將網絡上的文檔格式統一)基于網站。
黃仁勛表示:“如何使用OmniVerse模擬倉庫、工廠、物理和生物系統、5G邊緣、機器人、自動駕駛汽車,甚至是虛擬形象的數字孿生,是一個永恒的主題?!?/p>
總結來說,在英偉達眼中,那么不管是叫OmniVerse,還是MetaVerse也好,它百分之八九十的功能是為了提升生產力。具體的細節大家可以去相關的英偉達的開發網站去看詳細的細節(http:developer.nvidia.com/nvidia-omniverse-platform)。
蘋果雖然目前還沒有推出相關的產品,但是他在不斷的收購相關的公司以及部署了非常多的專利。那么在各個場合其CEO庫克也表達了他的其對元宇宙以及對虛擬現實的一些看法。
I think AR is big and profound. This is one of those huge thing that we'll look back at and marved at the stat of it. I think customers are going to see it in a variety of ways anfd it feeld great to get AR going at a level that can get all of the developers behind it.
Tim Cook, Apple CEO
庫克認為,AI,也就是增強現實是一個非常巨大的市場。
在蘋果WWDC 2017大會上,蘋果發布了AR開發工具ARKit,具備SLAM、平面檢測、光照估計、環境理解、圖像識別等功能;
2017年9月12日,蘋果正式發布的iPhone X系列手機中使用了A11 Bionic芯片,首次集成了神經網絡引擎;以及3D結構光技術FaceID,通過iPhone X的Face ID可以3D表情Animoji;
2019年9月11日,蘋果發布的iPhone 11首次使用了UWB超寬頻芯片U1,超寬頻技術讓iphone 11系列更具空間感知能力,可精確定位其他配備U1的蘋果設備;
2019年10月29日,蘋果發布的Airpods Pro無線降噪耳機首次使用了“空間音頻”功能,2020年9月蘋果發布的iOS 14為AirPods Pro新增了“空間音頻”功能;
2020年1月14日,蘋果發布了蘋果推出USDZ 3D格式轉換工具Reality Converter;
2020年3月18日蘋果官網發布了iPad Pro 2020,首次使用了dTOF激光雷達(LiDAR);
2021年4月21日,蘋果春季發布會上推出的ipad pro 2021搭載M1芯片,令世人震驚;
2021年秋季發布會,蘋果推出搭載M1X芯片的14寸和16寸Macbook Pro;
根據彭博社的報告透露,蘋果未來的AR/VR設備將集成M系列芯片的高端版本。
那么產業鏈的消息是2022年的秋季,蘋果很可能會發布自己的首款AR/MR頭顯。與此同時2025年的時候有可能會推出蘋果首家的 AI眼鏡。
當然前面也提到了,其實蘋果雖然沒有推出產品,但是它已經布局了非常多的專利,包括收購了大大小小的各種相關的公司,其實都是公開可以查詢到的(https://www.fastscience.tv/collections/k1ntwsy7lJLihhL5iA89)。
谷歌
看完蘋果之后,我們再來看一下谷歌。谷歌在這個領域的布局和定位,可能是沒有那么的清晰。比如說我們都知道,Meta的定位是做社交元宇宙;微軟做的就是企業元宇宙;蘋果可能因為更多也會面向于 C端消費者市場,但是它定位是做增強現實.
谷歌做了很多嘗試性的工作,包括Google DayDream和Google Glass等,但是延續性都不是很強。所以對于谷歌今后將推出什么樣的產品,我們無從知曉,目前來說延續性比較好的 ARCORE這一塊。
當然它在相關技術的前沿研究上還是做的比較到位的,比如Project Starline,就是一個仿真、全新的社交。Project Starline”是一個結合了硬件和軟件技術進步的技術項目,旨在幫助相隔兩地的朋友、家人和同事共聚一起。想象一下,透過一扇神奇的窗戶,你可以看到另一個人,真人大小,三維形式。你們可以自然地對話,做手勢和進行眼神交流。
2019年推出VR Glass;
2021年11月17日推出VR Glass 6dof 游戲套裝版本;
2019年11月開源數據虛擬化引擎華為河圖Cyberverse, 目的,是打造一個“地球級、不斷演進,與現實無縫融合的數字新世界”。華為河圖有四個核心能力:1、3D高精地圖能力;2、全場景空間計算能力;3、強環境理解功能;4、虛擬現實融合渲染能力。
字節跳動:2021年8月29日官宣字節跳動90億元人民幣收購Pico。
騰訊:提出全真互聯網概念。當然他在這個領域的更多是通過投融資投資來布局,比如說投資虛幻引擎,以及做上周又投了一家做觸覺手套相關技術的公司。
HTC:
2015年3月在MWC 2015上發布HTC Vive,并于2016年上市;
2017年HTC 將部分手機業務出售給Google后,全面轉型VR市場,曾一度占領市場先機。
但是近兩年C端市場的表現遠遠落后于Facebook,2021年6月宣布重心轉向B端;
2021年5月發布HTC VIVE Focus3商業版和HTC VIVE PRO 2。
Sony:
2016年10月,Sony正式開始發售PSVR,并搭配PS4和下一代的PS5使用;
2018年8月,PSVR銷售突破了300萬臺;
根據Sony官方透露的消息,PSVR2預計2022年發布
元宇宙百科詞典
我們看完了科幻影視作品里面元宇宙,以及巨頭對元宇宙之后的看法,接下來我們就看幾個關鍵的核心的名詞。
首先是3個R:
VR=一切皆夢幻泡影
VR(Immersive Virtual Reality)= 虛擬世界,沉浸式虛擬現實,忘了現實世界的一切~
VR滿足3個特性,分別是沉浸、交互和想象。
AR=向左是真實,向右是虛幻
AR(Augmented Reality)=真實世界 + 數字化信息
MR=真實虛幻傻傻分不清
MR(Mixed Reality)=真實世界 + 虛擬世界+ 數字化信息,假作真時真亦假,無為有處有還無
數字人:什么是數字人的虛擬偶像?通過建模、3D掃描以及動作捕捉,把類似真實的人的形象做成一個虛擬的數字人,然后讓他做很多相關的初步動作。待會我們會在技術環節給大家講述數字人是如何實現的。
數字孿生(Digital Twin):虛擬和現實的高度融合互通(現實世界的數字復刻)
1.最早用于NASA阿波羅項目,對飛行中的空間飛行器進行實時仿真;
2.實現物理工廠/系統和數字工廠/系統的交互和融合;
3.面向B端-用于工業4.0、智能制造、智慧城市等;
4.AR/VR、IoT、AI是重要的技術支撐。
下圖是北京航空航天的陶飛等人從車間組成的角度先給出了車間數字孿生的定義,然后提出了車間數字孿生的組成,主要包括:物理車間、虛擬車間、車間服務系統、車間孿生數據幾部分組成。物理車間是真實存在的車間,主要從車間服務系統接收生產任務,并按照虛擬車間仿真優化后的執行策略,執行完成任務;虛擬車間是物理車間的計算機內的等價映射,主要負責對生產活動進行仿真分析和優化,并對物理車間的生產活動進行實時的監測、預測和調控;車間服務系統是車間各類軟件系統的總稱,主要負責車間數字孿生驅動物理車間的運行,和接受物理車間的生產反饋。
全真網:馬化騰于2020年底騰訊集團官方年度特刊《三觀》提出
1.移動互聯網的接替者;
2.虛擬世界和真實世界的全面融合;
3.全面+真實(全面= 消費互聯網+產業互聯網?? 真實= AR/VR交互技術)。
元宇宙:源自科幻作品《雪崩》,?個?們以虛擬形象在三維空間與各種軟件進?交互的世界。其真正為人所知是今年Roblox上市的時候,把MetaVerse加到了招股說明書,并且提出了元宇宙的八大要素:身份、朋友、沉浸感、低延遲、多元化、隨地、經濟系統、文明。
、
可以看出,其對元宇宙的理解,更多也是一個社交娛樂層面的。而維基百科之中,對元宇宙的定義更加的精準和全面:The metaverse (a portmanteau of "meta-" and "universe") is a hypothesized iteration of the internet, supporting persistent online 3-D virtual environments through conventional personal computing, as well as virtual and augmented reality headsets.
一句話概述:元宇宙就是下一代互聯網。
元宇宙的技術基礎
那么接下來我們來一起看一看元宇宙就是如何構建的,也就是元宇宙的技術基礎。
元宇宙的構成技術是非常的多,包括虛擬現實、區塊鏈、AI+人工智能等等.
我們本次重點從虛擬現實和大家分享一下。AR/VR技術的科技樹,也就是五大核心技術:近眼顯示技術、內容創建技術、網絡傳輸技術、渲染技術、感知和自然交互技術。
1.Near-eye display(近眼顯示技術)
包括傳統的屏幕顯示技術(LCOS/OLED/可折疊的AMOLED/Micro LED)和光學技術(光場顯示/波導技術等等
2.Content creation(內容創作技術)
包括虛擬角色和場景構建、動作捕捉、全景視頻拍攝與編輯等等
3.Network?communication(網絡傳輸技術)
這方面最受人關注的當然就是即將商用的5G技術,以及傳說中傳輸速率可達每秒1T的下二代6G技術了。當然還有一系列的其它技術有待發展。
4.Rendering Processing(渲染技術)
包括本地渲染、云渲染、光場渲染、多重視角渲染,以及硬件渲染加速等等技術。
5.Perception&interaction(感知和自然交互)
包括跟蹤定位技術、多感官自然交互技術(腦波、語音交互、觸感交互等等)、機器視覺技術(SLAM/場景分離與識別等)
AR/VR技術有一個非常著名的科技樹(如下圖),我們可以看到剛才提到的五大技術都有一個科技樹展開,然后每個樹也有自己的樹干,每個樹干上也有非常多的分支和樹葉。毫不夸張的說,在其中的任何一個樹干,甚至任何一個樹葉之上,如果去做深入的研究,都可以在這個領域成為一個非常資深的專家。
下圖是AR/VR技術成熟度曲線,可以看到類似跟蹤定位、液晶屏顯示、云渲染以及OS相關等技術基本上都是屬于兩年之內可以商用的。
類似另外一些,比如說自由曲面、虛擬化身、混合云渲染等這些可能要2~5年。
接下來我們快速的帶大家來一起過一下5大核心技術。
近眼顯示技術
首先是近眼顯示技術。近眼顯示技術分兩個部分,分別是顯示技術以及光學技術。
顯示技術其實就指的各種各樣的顯示屏,比如LED、MicroLED等等。
而對于光學技術,我們可能首先想到就是雙眼視差原理。人眼是如何實現立體視覺呢?其實最簡單就是因為每個人都有兩只眼睛,每個眼睛之間都有一定的間隔,通過間隔每個眼睛看到的圖像有所差別,再通過我們的大腦的這種判斷,最終都形成了一個立體視覺。
同時,AR/VR的光學系統,包括 Pancake,折返式、自由曲面以及光波導。
然后我們再來看一下還有全息投影技術,3D全息投影技術可以分為投射全息投影和反射全息投影兩種,是全息攝影技術的逆向展示。
目前我們經??吹降母黝惐硌葜兴褂玫娜⑼队凹夹g都需要用到全息膜這種特殊的介質,而且需要提前在舞臺上做各種精密的光學布置。雖然看起來效果絢麗無比,但成本高昂,操作復雜,需要專業訓練,并非每個普通人都可以輕松享受到的。從某種程度上來說,目前的主流商用全息投影技術只能被稱作“偽全息投影”。
內容創建技術
內容創建技術分成360全景拍攝、傳統3D建模和3D重建。
全景拍攝,其實也就是全景相機還有全景攝像機。
優點:百分百真實
缺點:無法切換焦點,無法和場景及人物互動
3D建模就是大家熟悉的3D MAX、瑪雅等。
優點:精度高,流程成熟
缺點:耗費大量人力、時間、精力
3D重建主要是針對于小物體以及人物角色。它本身就分成基于2D圖像、基于3D掃描、基于紅外TOF。
慣性動作捕捉技術也是比較主流的動作捕捉技術之一。其基本原理是通過慣性導航傳感器和IMU(慣性測量單元)來測量演員動作的加速度、方位、傾斜角等特性。慣性動作捕捉技術的特點是不受環境干擾,不怕遮擋,采樣速度高,精度高。2015年10月由奧飛動漫參與B輪投資的諾亦騰就是一家提供慣性動作捕捉技術的國內科技創業公司,其動作捕捉設備曾用在2015年最熱門的美劇《冰與火之歌:權力的游戲》中,并幫助該劇勇奪第67屆艾美獎的“最佳特效獎”。
我們以英偉達的“虛擬發布會”為例,來講一下怎么搭建一個虛擬場景。
詳細的步驟可以參考下圖:
第一步:使用3D掃描構建虛擬場景
第二步:使用體積攝影進行全身3D建模
第三步:使用AI Audio2Face讓口型和面部肌肉變化隨語音變動
第四步:使用動作捕捉獲取身體姿態動畫
第五步:使用RTX渲染器進行實時光線追蹤
在了解前述知識點之后,我們再來看看3D引擎和SDK技術。當然在這個領域AR/VR里面最常用的3D引擎無非也就是虛幻和Unity。
在此,推薦一本非常經典的書叫《游戲引擎架構》。書里對游戲引擎,從低階到圖形動畫,再到高階的構成做了非常詳細的描述和解釋說明,目前已經是出到第三版了。
AR/VR相關的SDK比如說Vuforia、APPLE ARKit,GOOGLE ARCORE等等。
網絡傳輸技術
我們再來看一下網絡傳輸技術。網絡傳輸技術是虛擬現實的支撐技術。
渲染技術
渲染技術包括本地渲染、云渲染、光場渲染、多重視角渲染,以及硬件渲染加速等等技術。
本地的VR渲染流程如下:
云VR渲染流程:
在本地VR渲染的基礎上額外增加三個環節(比本地渲染增加20ms左右的延遲):
1.圖像壓縮編碼
2.網絡傳輸
3.圖像解壓縮
云VR渲染的利弊:
好處:
1.降低對本地硬件處理能力的要求
包括存儲空間、性能、散熱等,從而讓設備增加輕便
缺點:
1.額外增加延遲,影響實際體驗
2.清晰度經壓縮和傳輸后無法保證
端云渲染的配合使用
1.對于不追求及時響應的應用
如3dof游戲、VR看房、旅游景點觀賞、全景視頻播放等,通過ATW+云渲染+本地觀看的方式可以獲得比較好的效果
2.對于追求及時響應的6dof游戲和社交互動應用
渲染處理更多還是需要在本地進行,云端用于處理指令型數據(參考大型多人在線游戲MMORPG)
3.當前的5G網絡和設備硬件性能無法支撐強互動型的云VR渲染和數據傳輸,未來的6G可以完全實現
感知和自然交互技術
Inside-out技術
基于單目/雙目/多目視覺+IMU的inside-out技術取代早期的Outside-in技術開始產品化,特別是在VR一體機設備,如Oculus Quest /Oculus Quest 2,HTC Vive Focus等
可以實現:
1.追蹤定位
2.手勢動作識別
FOV眼動追蹤技術
眼動追蹤的原理其實很簡單,就是使用紅外攝像頭和LED捕捉人眼或臉部的圖像,然后用算法實現人臉和人眼的檢測、定位和跟蹤,從而估算用戶的視線變化。目前主要使用光譜成像和紅外光譜成像兩種圖像處理方法,前一種需要捕捉虹膜和鞏膜之間的輪廓,而后一種則跟蹤瞳孔輪廓。
SLAM
基于RGBD相機和紅外TOF、激光雷達和AI算法等實現實時場景3D重建,在機器人、無人機和AR/VR設備如HoloLens中得到普遍應用,
除此之外,還有語音交互和語義理解、觸覺反饋,嗅覺及其它感覺及模擬器。
另外還有一個非常亮的亮點——腦機接口(大腦和計算機直接進行交互,有時候又被稱為意識-機器交互,神經直連。腦機接口是人或者動物大腦和外部設備間建立的直接連接通道,又分為單向腦機接口和雙向腦機接口)。
單向腦機接口只允許單向的信息通訊,比如只允許計算機接受大腦傳來的命令,或者只允許計算機向大腦發送信號(比如重建影像)。而雙向腦機接口則允許大腦和外部計算機設備間實現雙向的信息交換。
如何參與元宇宙
作為開發者也好,作為興趣者也好,我們如何來參與元宇宙呢?
未來5年產業發展預測
首先看一下產業鏈的構成,它包括硬件、平臺、工具、內容、行業應用,還有服務。
硬件
硬件有分很多分支,比如終端設備,還有其中的零部件等等,其中:
1.2022年將是AR/VR行業真正爆發的元年,特別是VR;
2.VR設備從2021年OCQ2代單款突破千萬銷量后,將開始爆發式增長;
3.蘋果新品將讓AR/VR從小眾精英人群的玩具走向大眾,其行業影響力不容小覷
4.終端設備從2022年開始將成為巨頭逐鹿的市場,小型創業團隊的窗口期接近關閉,從2021年下半年開始會看到更為密集的戰略型投融資或并購事件發生。
5.AR設備在接近諸多技術問題之前,主要仍將面向2B市場,在2025年可能迎來爆發
6.核心器件方面(芯片、顯示屏、光學器件、聲光電傳感器等模組)投入巨大,不適合初創型團隊,目前仍然是巨頭以及上市公司體量團隊的天下。但該部分也是構成終端設備比例最大的部分
7.感知交互方面,目前并沒有統一的行業標準,空間定位、手勢交互、眼動追蹤、全身動捕、語音交互、腦機交互都處于發展的早期階段,該領域有眾多的初創企業。而Facebook、蘋果等公司收購的重點也在該領域的領先技術團隊
8.其它配套外設,目前全景相機領域已有脫穎而出的領先者,如Insta360,其它領域因生態系統尚未標準化,有較大的空間。
工具平臺
1.工具平臺中的系統級平臺(操作系統/UI)仍將由巨頭把控,特別是蘋果、Facebook,國內廠商如能接受移動互聯網時代的教訓,應在第一時間切入底層系統平臺的打造,否則仍將受制于人
2.AR/VR內容創建工具目前雖然已經有Unity/UE4等市場領先產品,但是因為設備平臺的獨特性,仍然有巨大的潛力空間,包括SDK、3D開發引擎、基于AI技術的自動化3D場景和角色建模工具、基于AI技術的高效渲染軟件等,都有足夠的空間。該部分也給初創型團隊留下了足夠的機會。
內容-內容創作
隨著三大核心產品的爆發,以及C端的量級突破,內容創作方面將迎來全面繁榮,包括影視、游戲、直播、社交、3D/全景等。
而內容創作因為其創意和開放性屬性,一向是初創團隊的首選,在硬件和工具平臺領域形成各自王者之后,將有越來越多的團隊加入該領域。
內容創作和工具平臺的交集是類似Roblox的“元宇宙”大型多人在線社交類產品。
內容-內容分發
1.系統級別的內容分發和流量入口仍將占據首要地位,特別是后續的蘋果生態,
2.類似移動互聯網的安卓商城生態,將有眾多的第三方內容分發平臺涌現,比如專門針對Oculus Quest的SideQuest平臺。
3.類似于移動互聯網時代的微信,后續也將有類似微信的超級APP出現,同樣可以扮演內容分發的角色。
行業應用
1.在國內市場,行業應用領域短期內仍將是VR的主要商業變現應用場景,如面向職業教育的教育培訓、醫療健康、軍事訓練等。
2.在可預見的5年周期內,AR的主要應用場景仍然集中在行業領域,特別是智能制造、數字孿生等。
服務
隨著行業的爆發式增長,相關的媒體、協會、線下活動等也會更加活躍起來,并逐漸形成集媒體、投融資服務、產品推介等為一體的綜合服務,類似移動互聯網時代的36kr等。
部分媒體也會朝內容分發的方向去嘗試。
總結
元宇宙的還有更多的應用待我們去挖掘,比如養老場景、殘障場景、學習場景,但是如何應用得當是我們應該思考的點。元宇宙的高效交互方式是必定要實現的,因為人類需要不斷的提高處理信息的能力,和能量的使用效率。元宇宙為輔,提高人類效率,集中精力發展現實,或許是我們最終的歸宿。
Anyway,我們見證了歷史,也步入了未來。但是,我們要謹記:虛擬世界的美麗會讓人忘記仰望星空的夢想。
本文整理自華為云社區內容共創活動:任務42:元宇宙漫游指南-從VR/AR眼鏡到數字化永生
查看活動詳情:https://bbs.huaweicloud.com/blogs/308924
5G游戲 虛擬化
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。