混合現(xiàn)實(shí)技術(shù)常見應(yīng)用場(chǎng)景*

羅 偉 王燕一 侯 霞 龐戀蘇 劉洪臣

20世紀(jì)后半葉以來，數(shù)字化浪潮逐漸席卷全球，各行各業(yè)逐步從真實(shí)活動(dòng)進(jìn)入到虛擬世界。在此過程中，人機(jī)交互設(shè)備也從傳統(tǒng)鼠標(biāo)鍵盤的真實(shí)交互向虛擬設(shè)備發(fā)展，逐步出現(xiàn)虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)等技術(shù)。

1.AR/MR簡(jiǎn)介

上世紀(jì)80年代末，Jaron Lanier正式使用Virtual Reality一詞并獲得廣泛認(rèn)可[1]。維基百科對(duì)虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality，簡(jiǎn)稱VR)的定義是：一個(gè)由計(jì)算機(jī)生成的模擬三維仿真環(huán)境，混合了視覺、聽覺甚至觸覺，人可以在其中探索、交互，是一種沉浸式模擬環(huán)境。從根本上說VR會(huì)將人帶入另一個(gè)世界。2000年以來，計(jì)算設(shè)施和智能手機(jī)越來越強(qiáng)大，高清晰度顯示和3D圖像能力劇增，VR獲得迅速發(fā)展。各種頭戴式顯示設(shè)備相繼問世，有力促進(jìn)了VR的快速發(fā)展。比較有名的設(shè)備有Google Cardboard，Samsung galaxy Gear，Oculus Rift，HTC vive等。得益于云計(jì)算的發(fā)展，近幾年基于云端的VR應(yīng)用不斷出現(xiàn)[2]。

增強(qiáng)現(xiàn)實(shí)技術(shù)(Augmented Reality，簡(jiǎn)稱AR)是在現(xiàn)實(shí)世界上實(shí)時(shí)疊加計(jì)算機(jī)生成的信息，通過視覺、聽覺、觸覺、體感甚至嗅覺等傳感器提供一個(gè)混合的交互式體驗(yàn)，從而實(shí)現(xiàn)虛擬信息對(duì)真實(shí)環(huán)境的“強(qiáng)化”。這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng)。早期有名的AR設(shè)備是谷歌眼鏡，允許用戶在視野內(nèi)使用地圖、電子郵件等服務(wù)?，F(xiàn)在移動(dòng)端也有很多支持AR等應(yīng)用，最典型的如地圖類應(yīng)用。下圖是采用AR技術(shù)的某地圖應(yīng)用，在屏幕上實(shí)時(shí)顯示步行路線指示。

圖1 AR地圖應(yīng)用

混合現(xiàn)實(shí)技術(shù)(Mixed Reality，簡(jiǎn)稱MR)是繼虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)之后，出現(xiàn)的全新數(shù)字全息影像技術(shù)(見圖2，圖3)?；旌犀F(xiàn)實(shí)有時(shí)也稱hybrid reality，它打破真實(shí)世界和數(shù)字世界的界限，借助于沉浸技術(shù)將兩者融合生成一個(gè)新的環(huán)境，包容了虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)。MR比AR更進(jìn)一步，對(duì)環(huán)境進(jìn)行識(shí)別，不只是簡(jiǎn)單的在相機(jī)的圖像上疊加了虛擬圖像，而是將計(jì)算機(jī)生成的圖像錨定在真實(shí)世界的某一個(gè)點(diǎn)上?？梢哉fMR是高保真的AR，也有人將AR和MR歸為一類。微軟將自己的Hololens定位為MR產(chǎn)品，并宣稱將只關(guān)注MR。其他知名產(chǎn)品有創(chuàng)業(yè)公司Magic Leap，在2018年8月剛剛開始開放訂購(gòu)。虛擬現(xiàn)實(shí)技術(shù)發(fā)展到現(xiàn)在，AR和MR成了主流[3],為了保持術(shù)語使用的一慣性，在后面的文章里，AR指代低保真度的AR，而MR指高保真度的AR。

圖2 虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)

隨著計(jì)算機(jī)產(chǎn)業(yè)技術(shù)發(fā)展，虛擬現(xiàn)實(shí)核心技術(shù)升級(jí)進(jìn)步，計(jì)算機(jī)及各類移動(dòng)設(shè)備性能的提升，在虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)上發(fā)展出增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)技術(shù)。

與虛擬現(xiàn)實(shí)完全沉浸在虛擬的環(huán)境中不同，增強(qiáng)現(xiàn)實(shí)/混合現(xiàn)實(shí)是一種將虛擬信息與真實(shí)世界巧妙融合的技術(shù)，技術(shù)強(qiáng)調(diào)將虛擬的物體疊加或合成到真實(shí)世界中，在工業(yè)制造、軍事、文化傳播等領(lǐng)域已得到廣泛應(yīng)用。

圖3 一個(gè)典型混合現(xiàn)實(shí)技術(shù)結(jié)構(gòu)圖

與VR相比，AR/MR最大的優(yōu)勢(shì)在于其靈活性。在使用VR時(shí)你完全沉浸于另一個(gè)世界，難以再與真實(shí)世界互動(dòng)。而使用AR和MR時(shí)，更強(qiáng)調(diào)現(xiàn)實(shí)世界的信息。增強(qiáng)現(xiàn)實(shí)的顯示目前有HMD(Head Mounted Display，即頭戴式顯示器，俗稱頭盔)、投影和桌面顯示三種主要方式，最受青睞的是HMD。

以目前比較成熟的MR設(shè)備——微軟的Hololens為例介紹一下AR/MR系統(tǒng)的組成，包括：透射式HMD、環(huán)境感知模塊、交互設(shè)備和虛擬場(chǎng)景生成單元。透射式HMD負(fù)責(zé)輸出虛擬和現(xiàn)實(shí)融合后的信號(hào)；環(huán)境感知模塊負(fù)責(zé)混合現(xiàn)實(shí)捕獲，追蹤用戶感官信號(hào)；交互設(shè)備負(fù)責(zé)環(huán)境控制及視線跟蹤、手勢(shì)及語音控制；虛擬場(chǎng)景生成單元負(fù)責(zé)虛擬場(chǎng)景的三維建模、繪制和管理。Hololens擁有3個(gè)處理器——除了常規(guī)的CPU、GPU，還有專門為了混合現(xiàn)實(shí)定制的HPU(Holographic Processing Unit);追蹤頭盔位置的慣性測(cè)量單元IMU(Inertial Measurement Unit)；4個(gè)環(huán)境感知攝像頭，1個(gè)深度攝像頭，1個(gè)2MP照片/HD視頻攝像頭；4個(gè)麥克風(fēng)；1個(gè)環(huán)境光傳感器等等。

2.常見應(yīng)用場(chǎng)景

隨著大筆資金進(jìn)入AR項(xiàng)目和AR創(chuàng)業(yè)公司，一些IT巨頭如谷歌、蘋果、微軟、高通和佳能等開始競(jìng)相大力布局AR和MR，構(gòu)建自己的AR/MR生態(tài)系統(tǒng)，第一批消費(fèi)級(jí)的AR產(chǎn)品已經(jīng)如雨后春筍般涌現(xiàn)。

2.1 工業(yè)制造 計(jì)算機(jī)在產(chǎn)品開發(fā)中早已廣泛使用，常用的系統(tǒng)有：計(jì)算機(jī)輔助設(shè)計(jì)(CAD)、計(jì)算機(jī)輔助制造(CAM)、計(jì)算機(jī)輔助裝配規(guī)劃(CAAP)等。AR技術(shù)的應(yīng)用大大提高CAD/CAM處理能力[4]。

2.2 軍事模擬 虛擬現(xiàn)實(shí)很早就被應(yīng)用于軍事上。20世紀(jì)60年代Ivan Sutherland提出虛擬世界的概念，隨后美國(guó)國(guó)防部(DARPA)支持下構(gòu)建了頭戴式顯示設(shè)備“Sword of Damocles”(達(dá)摩克利斯劍)。到1983年，DARPA實(shí)現(xiàn)了一個(gè)實(shí)時(shí)仿真系統(tǒng)SIM-NET(Simulation NETworking)，開發(fā)多用戶交互仿真。1990年NASAAmes Research Centre開發(fā)了一個(gè)虛擬風(fēng)洞(VWT)，使用VR設(shè)備BOOM和數(shù)據(jù)手套Data Glove分析流場(chǎng)[3]。

運(yùn)用計(jì)算機(jī)仿真模擬進(jìn)行軍事模擬訓(xùn)練方面，美軍走在世界前列[5]。在阿富汗、伊拉克戰(zhàn)爭(zhēng)準(zhǔn)備階段美軍就在歐文堡訓(xùn)練基地、山姆休斯頓軍事醫(yī)學(xué)教育訓(xùn)練中心開辟模擬實(shí)景訓(xùn)練和仿真模擬訓(xùn)練，實(shí)景還原伊拉克、阿富汗等作戰(zhàn)場(chǎng)景，并要求士兵必須接受該基地3周的適應(yīng)性訓(xùn)練后才能趕赴前線作戰(zhàn)。通過VR、AR技術(shù)，醫(yī)療隊(duì)員攜帶多種形式的傳感設(shè)備，對(duì)各種極端戰(zhàn)場(chǎng)環(huán)境下的救治(極地、深海、高空，包括核化生武器致傷)會(huì)有切身感受，如同親身參加實(shí)戰(zhàn)，對(duì)參訓(xùn)人員的戰(zhàn)傷救治水平、心理承受和應(yīng)變能力都有顯著提高。

2.3 游戲領(lǐng)域 游戲軟件巨頭任天堂公司2015年發(fā)布的的Pokemon Go將AR技術(shù)應(yīng)用于游戲領(lǐng)域，通過手機(jī)在現(xiàn)實(shí)世界中尋找并捕捉虛擬的精靈，憑借出色的創(chuàng)新性獲得巨大成功。

2.4 旅游/數(shù)字場(chǎng)館 將旅游景點(diǎn)進(jìn)行數(shù)字化，以AR形式展現(xiàn)景點(diǎn)的魅力。如2006年北京理工大學(xué)的王涌天等人提出運(yùn)用增強(qiáng)現(xiàn)實(shí)技術(shù)數(shù)字化圓明園，實(shí)現(xiàn)圓明園的重建，通過原址、移動(dòng)設(shè)備AR及頭盔式AR等多種形式重現(xiàn)圓明園的往昔風(fēng)采[6]。場(chǎng)館方面，AR技術(shù)能成為讀者的隨身助理，也能成為館員提升工作效率的得力助手，場(chǎng)館信息展示的新舞臺(tái)。應(yīng)用實(shí)例：讀者利用AR設(shè)備觀察書籍、名勝、歷史遺跡等被強(qiáng)化物時(shí)，相關(guān)信息如館藏書目、影音資料、景點(diǎn)故事等作為強(qiáng)化物疊加其上。還可協(xié)助讀者/管理員定位圖書，結(jié)合用戶位置進(jìn)行導(dǎo)航。

2.5 汽車領(lǐng)域 GTC2016開發(fā)者大會(huì)上，德國(guó)馬牌展示了其正在開發(fā)的AR增強(qiáng)現(xiàn)實(shí)技術(shù)在汽車領(lǐng)域的新應(yīng)用。在汽車前擋風(fēng)玻璃上顯示人機(jī)交互界面，計(jì)算機(jī)會(huì)根據(jù)真實(shí)世界場(chǎng)景，實(shí)時(shí)動(dòng)態(tài)地投射消息至前擋風(fēng)玻璃上，駕駛者看到的車速、路線、交通狀況等信息與路面、建筑等自然環(huán)境融為一體，通過AR交互大幅度提升了汽車駕駛體驗(yàn)。

2.6 AR購(gòu)物 2017年萬事達(dá)聯(lián)合高通等公司推出了一個(gè)新的購(gòu)物系統(tǒng)，并集成了增強(qiáng)現(xiàn)實(shí)與生物識(shí)別技術(shù)來提升其購(gòu)物體驗(yàn)和安全性。

2.7 智能家居 2014年谷歌斥資32億收購(gòu)家居設(shè)備公司Nset，蘋果發(fā)布智能家居平臺(tái)Homekit，大量家電企業(yè)、互聯(lián)網(wǎng)企業(yè)涌入其中。目前交互展示屏、視頻墻已較為普及，數(shù)字交互的媒體技術(shù)已經(jīng)非常成熟，可以實(shí)現(xiàn)在家中與窗戶等玻璃制品進(jìn)行交互，AR條件下進(jìn)行家居的擺放布置。下一步就是3D投影與AR技術(shù)的結(jié)合，投入到智能家居場(chǎng)景中。

3.醫(yī)學(xué)應(yīng)用展望

學(xué)者們已開始在醫(yī)療領(lǐng)域進(jìn)行各種嘗試，摸索合適的應(yīng)用場(chǎng)景。如解剖教學(xué)[7]、模擬手術(shù)訓(xùn)練[8]、術(shù)中導(dǎo)航[9]、康復(fù)訓(xùn)練[10]等多種場(chǎng)合均有望在AR/MR的支持下，獲得更直觀、更理想的效果。

口腔醫(yī)學(xué)方面，AR/MR應(yīng)用范圍也較廣。AR/MR的虛擬投影可用在頜面外科、種植科等手術(shù)科室的醫(yī)患術(shù)前溝通，直觀呈現(xiàn)手術(shù)規(guī)劃設(shè)計(jì)；也可進(jìn)行術(shù)中實(shí)時(shí)導(dǎo)航，提高手術(shù)精準(zhǔn)度和安全性；觀察髁突和關(guān)節(jié)窩位置關(guān)系，輔助顳下頜關(guān)節(jié)病的診斷和治療；正畸科的方案設(shè)計(jì)、最終效果顯示等。

隨著技術(shù)不斷進(jìn)步，AR/MR已經(jīng)成功應(yīng)用于游戲、工業(yè)制造、醫(yī)療、軍事、家裝、購(gòu)物、語言翻譯等多種行業(yè)中，應(yīng)用前景十分廣闊。同時(shí)我們還要看到，有關(guān)AR/MR的研發(fā)還處在初級(jí)階段，對(duì)于專業(yè)性、精準(zhǔn)度要求較高的醫(yī)療領(lǐng)域來說，還有很大發(fā)展空間，需要更多的醫(yī)學(xué)專業(yè)人員和軟件開發(fā)人員開展緊密合作，熟悉AR/MR技術(shù)的優(yōu)勢(shì)和局限，才能開發(fā)出適宜的產(chǎn)品。但不可否認(rèn)，幾十年來，虛擬現(xiàn)實(shí)在游戲娛樂、影視制作、專業(yè)技能訓(xùn)練、旅游、軍事、工業(yè)制造等各個(gè)方面對(duì)人類活動(dòng)已產(chǎn)生深遠(yuǎn)影響，未來也必將給醫(yī)學(xué)領(lǐng)域診治過程帶來深刻變革。