《HoloLens與混合現(xiàn)實(shí)開(kāi)發(fā)》

HoloLens與混合現(xiàn)實(shí)開(kāi)發(fā)

閆興亞　張克發(fā)　張畫(huà)畫(huà)　裴夢(mèng)澤

馬　柯　張世興　趙素晗　著

Preface? 前　言

混合現(xiàn)實(shí)（Mixed Reality，MR）是指真實(shí)世界與虛擬的數(shù)字世界相結(jié)合產(chǎn)生的一種新的環(huán)境可視化方式，其中的物理實(shí)體與數(shù)字對(duì)象能共存并實(shí)時(shí)相互作用，在技術(shù)上涉及虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）的概念。混合現(xiàn)實(shí)的概念提出較早，而真正被業(yè)內(nèi)開(kāi)發(fā)者所熟悉，大約起始于微軟在2015年1月25日所發(fā)布的HoloLens智能眼鏡，其強(qiáng)大的性能和極具科技感的體驗(yàn)讓很多業(yè)內(nèi)開(kāi)發(fā)者贊嘆不已。筆者于2016年年初接觸到第一臺(tái)HoloLens設(shè)備，在體驗(yàn)了其中的應(yīng)用之后，深感混合現(xiàn)實(shí)技術(shù)將在不久的將來(lái)應(yīng)用到各行各業(yè)，因此學(xué)習(xí)了HoloLens官方開(kāi)發(fā)者文檔，并將其整理為中文資料，以方便開(kāi)發(fā)者和學(xué)生參考使用。之后在教學(xué)過(guò)程中加入了HoloLens開(kāi)發(fā)課程，培養(yǎng)了一批擅長(zhǎng)HoloLens開(kāi)發(fā)的技術(shù)人才，并將教學(xué)過(guò)程中的相關(guān)技術(shù)資料整理成冊(cè)，遂有此書(shū)。

自2016年后，VR熱潮逐漸退去，但國(guó)內(nèi)仍有一批企業(yè)堅(jiān)持在相關(guān)產(chǎn)業(yè)中耕耘，其成果在教育、工業(yè)、工程、軍事、文化等多個(gè)領(lǐng)域落地生根、開(kāi)花結(jié)果。隨著軟件技術(shù)的發(fā)展、硬件產(chǎn)品的迭代以及5G的商業(yè)化，筆者相信，AR、VR、MR技術(shù)在未來(lái)不再是花拳繡腿，而將與人工智能、大數(shù)據(jù)等技術(shù)相結(jié)合，產(chǎn)生巨大的商業(yè)價(jià)值。

2019年1月24日，在西班牙巴塞羅那舉行的2019 MWC世界移動(dòng)通信大會(huì)上，微軟發(fā)布了全新的產(chǎn)品HoloLens2。這款萬(wàn)眾矚目的產(chǎn)品一經(jīng)發(fā)布便贏得了業(yè)內(nèi)的贊譽(yù)，新一代HoloLens設(shè)備在沉浸感、舒適感及視場(chǎng)角方面均有了較大幅度的提升，這意味著混合現(xiàn)實(shí)技術(shù)邁出了更加成熟的一步。

本書(shū)主要包含以下內(nèi)容：

1）混合現(xiàn)實(shí)的概念。

2）國(guó)內(nèi)外混合現(xiàn)實(shí)硬件及解決方案介紹。

3）Unity程序設(shè)計(jì)基礎(chǔ)。

4）HoloLens開(kāi)發(fā)與案例制作。

5）其他平臺(tái)的混合現(xiàn)實(shí)應(yīng)用開(kāi)發(fā)。

由于筆者只能利用工作之余編寫(xiě)此書(shū)，書(shū)中難免有諸多不足之處，希望廣大讀者給予批評(píng)與指正。隨著時(shí)間的推移與技術(shù)的發(fā)展，筆者將會(huì)繼續(xù)完善書(shū)中的案例，修改書(shū)中的漏洞和錯(cuò)誤之處。如果閱讀本書(shū)的讀者能在其中收獲一些知識(shí)和信息，將是筆者最大的榮幸，也會(huì)是筆者繼續(xù)完善此書(shū)的動(dòng)力。如果你在閱讀本書(shū)過(guò)程中有任何疑問(wèn)，歡迎你加入以下QQ交流群：437374015。我們會(huì)在第一時(shí)間為你答疑解惑，并更新一些在線(xiàn)教程。

最后，非常感謝在背后支持我編寫(xiě)此書(shū)的家人、學(xué)生以及同事，有了他們的支持，我才有足夠的精力和時(shí)間去完成此書(shū)。

張克發(fā)

閆興亞，教授，西安郵電大學(xué)數(shù)字藝術(shù)學(xué)院副院長(zhǎng)、西安市虛擬現(xiàn)實(shí)沉浸式拍攝系統(tǒng)工程技術(shù)研究中心技術(shù)委員會(huì)主任、西安郵電大學(xué)數(shù)字文化產(chǎn)業(yè)研究院執(zhí)行副院長(zhǎng)。主要從事增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)及混合現(xiàn)實(shí)領(lǐng)域的相關(guān)研究工作。

張畫(huà)畫(huà)，軟件工程師，畢業(yè)于西安郵電大學(xué)計(jì)算機(jī)專(zhuān)業(yè)，西部數(shù)字經(jīng)濟(jì)研究院數(shù)字文化產(chǎn)業(yè)研究分院虛擬現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)應(yīng)用研究中心工程師，研究方向?yàn)樘摂M現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)。

裴夢(mèng)澤，畢業(yè)于西安郵電大學(xué)計(jì)算機(jī)專(zhuān)業(yè)，西部數(shù)字經(jīng)濟(jì)研究院數(shù)字文化產(chǎn)業(yè)研究分院虛擬現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)應(yīng)用研究中心工程師，研究方向?yàn)樘摂M現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)。

馬柯，畢業(yè)于西安郵電大學(xué)計(jì)算機(jī)專(zhuān)業(yè)，西部數(shù)字經(jīng)濟(jì)研究院數(shù)字文化產(chǎn)業(yè)研究分院虛擬現(xiàn)實(shí)增強(qiáng)現(xiàn)實(shí)應(yīng)用研究中心工程師，研究方向?yàn)樘摂M現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)技術(shù)。

張世興，加速想象力AR/VR開(kāi)發(fā)工程師，Unity3D講師，擅長(zhǎng)C#開(kāi)發(fā)語(yǔ)言、UE4藍(lán)圖開(kāi)發(fā)，擅長(zhǎng)主流AR/VR? SDK二次開(kāi)發(fā)，精通全景拍攝及后期制作技術(shù)。

趙素晗，畢業(yè)于西北大學(xué)數(shù)字媒體藝術(shù)專(zhuān)業(yè)，專(zhuān)注于平面設(shè)計(jì)、新媒體交互設(shè)計(jì)、原畫(huà)創(chuàng)作等。

目　錄? Contents

寄語(yǔ)

前言

第1章　什么是混合現(xiàn)實(shí)??? 1

1.1　混合現(xiàn)實(shí)的概念?? 1

1.2　微軟的混合現(xiàn)實(shí)平臺(tái)?? 2

1.3　Magic Leap One介紹? 3

1.4　0glass AR產(chǎn)品介紹???? 5

1.4.1　硬件產(chǎn)品??? 6

1.4.2　軟件產(chǎn)品??? 7

1.5　HoloMax多人全息交互系統(tǒng)介紹????? 10

1.5.1　產(chǎn)品介紹??? 10

1.5.2　產(chǎn)品特性??? 11

1.5.3　應(yīng)用范圍??? 12

1.6　5G智能眼鏡XMAN介紹??? 14

1.7　NED+AR X2介紹 19

1.8　RealMax產(chǎn)品介紹?????? 21

1.8.1　沉浸式AR眼鏡RealMax乾???? 21

1.8.2　高難度的結(jié)構(gòu)集成??? 21

1.9　EasyAR介紹 23

1.9.1　關(guān)于EasyAR????? 23

1.9.2　產(chǎn)品概述??? 23

1.10　HiAR glasses G200介紹??? 26

1.10.1　產(chǎn)品概述26

1.10.2　產(chǎn)品構(gòu)成26

1.10.3　產(chǎn)品硬件配置和軟件功能28

第2章　HoloLens介紹30

2.1　Hologram全息圖的概念32

2.2　HoloLens硬件細(xì)節(jié)33

2.3　HoloLens shell35

2.3.1　開(kāi)始菜單35

2.3.2　運(yùn)行應(yīng)用36

2.3.3　放置36

2.3.4　應(yīng)用程序欄37

2.3.5　Cortana38

2.4　使用MRC38

2.5　HoloLens配件使用38

第3章　混合現(xiàn)實(shí)內(nèi)容設(shè)計(jì)40

3.1　傳統(tǒng)內(nèi)容設(shè)計(jì)與混合現(xiàn)實(shí)內(nèi)容設(shè)計(jì)的區(qū)別40

3.2　混合現(xiàn)實(shí)中的交互設(shè)計(jì)42

3.3　關(guān)于AR、VR、MR中的體驗(yàn)舒適度43

3.3.1　視覺(jué)輻輳調(diào)節(jié)沖突44

3.3.2　渲染率47

3.3.3　移動(dòng)47

3.3.4　凝視47

3.4　混合現(xiàn)實(shí)設(shè)計(jì)中的呈現(xiàn)效果48

3.4.1　顏色、光線(xiàn)和材質(zhì)48

3.4.2　排版與字體50

3.4.3　對(duì)象和環(huán)境的尺寸52

第4章　C#編程基礎(chǔ)實(shí)踐55

4.1　Unity引擎介紹55

4.2　Unity界面介紹56

4.3　Unity中的編程語(yǔ)言60

4.4　第一個(gè)Unity程序60

4.5　數(shù)據(jù)類(lèi)型62

4.6　變量的定義63

4.7　編譯錯(cuò)誤63

4.8　運(yùn)算符與表達(dá)式64

4.9　控制語(yǔ)句67

4.10　函數(shù)或方法69

4.11　數(shù)組70

4.12　自定義數(shù)據(jù)類(lèi)型71

4.13　繼承和多態(tài)74

4.14　object類(lèi)型77

4.15　裝箱和拆箱78

4.16　集合81

4.17　比較和排序84

4.18　泛型90

第5章　Unity 3D引擎深入實(shí)踐92

5.1　GameObject類(lèi)型92

5.1.1　屬性92

5.1.2　構(gòu)造函數(shù)103

5.1.3　方法104

5.2　Component類(lèi)和Behaviour類(lèi)108

5.2.1　Component類(lèi)108

5.2.2　Behaviour類(lèi)110

5.3　MonoBehaviour類(lèi)型114

5.3.1　生命周期115

5.3.2　屬性122

5.3.3　方法123

5.4　Unity數(shù)學(xué)基礎(chǔ)：向量130

5.4.1　向量的概念和定義131

5.4.2　Unity中的向量132

5.4.3　向量的運(yùn)算133

5.5　四元數(shù)135

5.6　射線(xiàn)檢測(cè)143

5.6.1　2D射線(xiàn)檢測(cè)143

5.6.2　3D射線(xiàn)檢測(cè)151

5.7　Unity文件讀寫(xiě)153

5.7.1　小文件讀寫(xiě)實(shí)例153

5.7.2　文件內(nèi)容的復(fù)制154

5.7.3　大文件讀寫(xiě)實(shí)例155

5.7.4　使用協(xié)程讀寫(xiě)文件157

5.8　Unity中的UI系統(tǒng)158

5.8.1　Text文本框158

5.8.2　Image組件161

5.8.3　Canvas渲染模式164

5.8.4　其他控件164

5.8.5　UI的適配165

5.8.6　事件、遮罩、RenderTexture166

5.9　動(dòng)畫(huà)系統(tǒng)169

5.9.1　簡(jiǎn)單動(dòng)畫(huà)的制作169

5.9.2　復(fù)雜動(dòng)畫(huà)的制作172

5.9.3　動(dòng)畫(huà)的切分175

5.10　資源加載175

5.10.1　預(yù)制體prefab175

5.10.2　預(yù)制體的實(shí)例化177

5.10.3　Resources加載資源180

5.10.4　Resources異步加載181

5.10.5　場(chǎng)景切換182

第6章　打磚塊游戲案例開(kāi)發(fā)185

6.1　案例介紹185

6.2　場(chǎng)景搭建185

6.3　小球運(yùn)動(dòng)187

6.4　碰撞檢測(cè)188

第7章　HoloLens開(kāi)發(fā)基礎(chǔ)實(shí)踐194

7.1　使用Windows Device Portal194

7.2　安裝HoloLens開(kāi)發(fā)工具196

7.3　HoloLens模擬器的使用197

7.4　配置適用于HoloLens開(kāi)發(fā)的Unity工程199

7.5　Camera攝像機(jī)設(shè)置204

7.6　凝視功能實(shí)現(xiàn)204

7.7　手勢(shì)功能實(shí)現(xiàn)206

7.8　語(yǔ)音輸入功能實(shí)現(xiàn)209

7.9　世界錨與場(chǎng)景保持功能實(shí)現(xiàn)213

7.10　空間音效功能實(shí)現(xiàn)219

7.11　空間映射功能實(shí)現(xiàn)220

第8章　HoloLens汽車(chē)展示案例開(kāi)發(fā)224

8.1　工程介紹224

8.2　工程搭建224

8.2.1　新建工程225

8.2.2　資源包下載226

8.2.3　車(chē)模型下載227

8.3　視頻播放功能實(shí)現(xiàn) 228

8.4　車(chē)的移動(dòng)功能實(shí)現(xiàn)233

8.5　車(chē)漆變色功能實(shí)現(xiàn)236

8.6　車(chē)的拆解功能實(shí)現(xiàn)239

8.7　總結(jié)243

第9章　0glass AR應(yīng)用開(kāi)發(fā)基礎(chǔ)244

9.1　開(kāi)發(fā)介紹244

9.2　開(kāi)發(fā)案例246

9.2.1　AR編輯246

9.2.2　算法設(shè)計(jì)248

9.2.3　流程編輯254

9.2.4　應(yīng)用執(zhí)行255

9.2.5　后臺(tái)查詢(xún)257

第10章　MulSDK應(yīng)用開(kāi)發(fā)258

10.1　開(kāi)發(fā)工具258

10.2　開(kāi)發(fā)過(guò)程258

第11章　HiAR 2D SDK集成開(kāi)發(fā)基礎(chǔ)266

11.1　HiAR Glasses簡(jiǎn)介266

11.2　HiAR 2D SDK 簡(jiǎn)介267

11.3　基于HiAR Glasses的HiAR 2D SDK集成開(kāi)發(fā)267

11.4　HiAR 2D SDK集成應(yīng)用開(kāi)發(fā)舉例272

第12章　基于EasyAR的WebAR開(kāi)發(fā)274

12.1　EasyAR SDK274

12.1.1　EasyAR SDK介紹274

12.1.2　EasyAR SDK部分先進(jìn)功能簡(jiǎn)介275

12.2　EasyAR CRS 275

12.3　EasyAR WebAR276

12.4　EasyAR Studio277

12.5　EasyAR教程277

12.5.1　WebAR開(kāi)發(fā)277

12.5.2　WebAR小程序開(kāi)發(fā)282

虛擬化 unity

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶(hù)投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。