頭戴式增強(qiáng)現(xiàn)實(shí)顯示設(shè)備技術(shù)綜述

王文曉張 謙徐國(guó)祥

（1.國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作河南中心電學(xué)發(fā)明審查部，河南 鄭州 450000；2.國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作北京中心電學(xué)發(fā)明審查部，北京 100000）

頭戴式增強(qiáng)現(xiàn)實(shí)顯示設(shè)備技術(shù)綜述

王文曉1張 謙1徐國(guó)祥2

（1.國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作河南中心電學(xué)發(fā)明審查部，河南 鄭州 450000；2.國(guó)家知識(shí)產(chǎn)權(quán)局專(zhuān)利局專(zhuān)利審查協(xié)作北京中心電學(xué)發(fā)明審查部，北京 100000）

隨著增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)的逐漸成熟，頭戴式顯示設(shè)備將會(huì)是增強(qiáng)現(xiàn)實(shí)顯示設(shè)備中最具有市場(chǎng)前景的交互界面呈現(xiàn)設(shè)備?；诖耍饕撌鯝R顯示設(shè)備的基本類(lèi)型，重點(diǎn)介紹頭戴式（Head-Attached）顯示設(shè)備的分類(lèi)、運(yùn)作原理及相關(guān)的代表產(chǎn)品，最后對(duì)當(dāng)前最新的頭戴式AR顯示設(shè)備的產(chǎn)品進(jìn)行總結(jié)，并給出幾個(gè)需要解決的問(wèn)題。

虛擬現(xiàn)實(shí)；增強(qiáng)現(xiàn)實(shí)；混合顯示；3D

虛擬現(xiàn)實(shí)（Virtual Reality，以下簡(jiǎn)稱(chēng)VR）技術(shù)最早在20世紀(jì)80年代提出，利用計(jì)算機(jī)生成的虛擬多源信息進(jìn)行融合交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真，使用戶(hù)在該虛擬環(huán)境中與物體進(jìn)行沉浸式行交互。隨后在VR技術(shù)的基礎(chǔ)上又出現(xiàn)了多種VR增強(qiáng)技術(shù)。在20世紀(jì)90年代設(shè)計(jì)一個(gè)輔助布線系統(tǒng)時(shí)，波音公司的考德?tīng)柤捌渫率状翁岢觯?］：通過(guò)實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù)，將虛擬環(huán)境與現(xiàn)實(shí)環(huán)境進(jìn)行匹配合成以實(shí)現(xiàn)增強(qiáng)，這種使三維虛擬對(duì)象疊加到真實(shí)世界顯示的技術(shù)稱(chēng)為增強(qiáng)現(xiàn)實(shí)（Augmented Re?ality，以下簡(jiǎn)稱(chēng)AR）。

保羅·米爾格拉姆（Paul Milgmm）和岸野文郎（Fumio Kishino）于1994年提出：現(xiàn)實(shí)-虛擬連續(xù)統(tǒng)（Milgmn’s Re?ality-Virtuality Continuum），將現(xiàn)實(shí)世界（Real Environ?ment，以下簡(jiǎn)稱(chēng)RE）和VR分別作為連續(xù)統(tǒng)的兩端，位于它們中間的統(tǒng)稱(chēng)為“混合實(shí)境（Mixed Reality,以下簡(jiǎn)稱(chēng)MR）”，靠近真實(shí)環(huán)境的是AR，靠近虛擬環(huán)境的則是擴(kuò)增虛境（Augmented Virtuality，以下簡(jiǎn)稱(chēng)AV）。

本文主要論述了AR顯示設(shè)備的基本類(lèi)型，重點(diǎn)介紹頭戴式（Head-Attached）顯示設(shè)備的分類(lèi)、運(yùn)作原理及相關(guān)的代表產(chǎn)品，最后對(duì)當(dāng)前最新的頭戴式AR顯示設(shè)備的產(chǎn)品進(jìn)行總結(jié)，并給出幾個(gè)需要解決的問(wèn)題。

1 AR顯示設(shè)備的分類(lèi)

Bimber和Raskar按AR圖像的形成位置不同，將AR顯示設(shè)備分為頭戴式（Head-Attached）、手持式（Hand-Held）和空間式（Spatial）3種。

1.1 頭戴式（Head-attached）顯示設(shè)備

也稱(chēng)作近眼顯示設(shè)備（Near-Eye Display，NED），包括視網(wǎng)膜掃描顯示（Retinal Scan Display，以下簡(jiǎn)稱(chēng)RSD）、頭戴式顯示器（Head-Mounted Display，以下簡(jiǎn)稱(chēng)HMD）、頭戴式投影顯示器（Head-Mounted Projector，以下簡(jiǎn)稱(chēng)HMP）3種主要形態(tài)，屬于可穿戴式顯示設(shè)備，固定在人體頭部，通過(guò)相應(yīng)的光學(xué)組件使得虛擬圖像可以疊加顯示在肉眼觀察的真實(shí)物體（Real Object）上，從而實(shí)現(xiàn)AR效果。

頭戴式顯示設(shè)備受限于體積、成本及相關(guān)技術(shù)等方面的因素，目前還存在有重量大、舒適性差、續(xù)航時(shí)間短等缺陷，相關(guān)研究主要集中在優(yōu)化系統(tǒng)性能和能耗、改善光學(xué)組件結(jié)構(gòu)與重量、提高使用舒適度等方面。

1.2 手持式（Hand-held）顯示設(shè)備

手持式AR顯示設(shè)備借用手持式移動(dòng)終端（如手機(jī)、平板電腦等）的顯示屏幕作為AR圖像的顯示設(shè)備；或者采用帶有分束器（Beam Aplitter）的手持鏡等設(shè)備通過(guò)光學(xué)合成器融合反射圖形，在投影面上顯示AR圖像；近年來(lái)，Raskar等人還提出將投影機(jī)作一種手電筒，以交互的方式生成虛擬物體并直接投射到真實(shí)物體上，可以應(yīng)用于建筑的維護(hù)等工作中。

手持式顯示設(shè)備所生成的圖像可以在手臂伸展的范圍內(nèi)自由移動(dòng)，顯然需要占用至少一只手，將會(huì)對(duì)使用者的操作與控制帶來(lái)不便。在使用移動(dòng)終端顯示屏幕作為AR顯示設(shè)備時(shí)，還對(duì)移動(dòng)終端自身的性能和能耗都提出了較高的要求，在當(dāng)前高密度二次電池技術(shù)沒(méi)有突破性進(jìn)展的情況下尚未得到很好的解決。

1.3 空間式（Spatial）顯示設(shè)備

空間式顯示設(shè)備通過(guò)多種技術(shù)使得用戶(hù)可以直接參與到三維空間中的AR交互中，具體包括有基于屏幕的視頻穿透顯示、空間光學(xué)穿透顯示和基于投影的空間顯示等。

空間式顯示設(shè)備由于其體積龐大，只能應(yīng)用于固定顯示領(lǐng)域，缺乏沉浸式體驗(yàn)，但對(duì)于演示三維模型等應(yīng)用具有突出的優(yōu)勢(shì)，目前該技術(shù)還處于研究狀態(tài)，尚未進(jìn)入廣泛的商業(yè)化應(yīng)用。

2 頭戴式AR顯示設(shè)備

依據(jù)圖像生成技術(shù)可以將頭戴式AR顯示設(shè)備分為三類(lèi)：利用低功率激光將圖像直接透射到視網(wǎng)膜的視網(wǎng)膜顯示技術(shù)RSD、利用設(shè)置在眼睛前方的微型顯示器的頭戴式顯示器HMD，以及使用微型投影儀或透射式LCD使得生成的圖像可以同時(shí)疊加顯示在真實(shí)環(huán)境上的頭戴式投影顯示器HMP。

2.1 視網(wǎng)膜掃描顯示（RSD）

視網(wǎng)膜掃描技術(shù)的研究源自于20世紀(jì)80年代初由Webb R所設(shè)計(jì)的掃描激光檢眼鏡（Scanning Laser Oph?thalmoscope，以下簡(jiǎn)稱(chēng)SLO）。SLO采用特殊設(shè)計(jì)的掃描裝置控制激光束按照時(shí)序掃描以實(shí)現(xiàn)對(duì)人眼視網(wǎng)膜的均勻照明，通過(guò)對(duì)眼底反射光進(jìn)行探測(cè)成像以重構(gòu)二維的視網(wǎng)膜圖像，該系統(tǒng)已廣泛應(yīng)用于醫(yī)學(xué)獲取眼底的視網(wǎng)膜圖像［2］。

目前應(yīng)用RSD技術(shù)的主要有Magic Leap公司的頭戴式AR顯示設(shè)備（尚未有明確產(chǎn)品名稱(chēng)）及Avegant公司的頭戴式VR顯示設(shè)備Glyph等。

MagicLeap公司成立于2011年，是一家位于美國(guó)的增強(qiáng)現(xiàn)實(shí)公司，2014年MagicLeap公司聯(lián)合華盛頓大學(xué)的研究人員共同申請(qǐng)了發(fā)明名稱(chēng)為超高分辨率掃描光纖顯示系統(tǒng)，這種掃描光纖顯示的技術(shù)優(yōu)勢(shì)在于分辨率相當(dāng)高，并且可以通過(guò)圖象調(diào)制實(shí)現(xiàn)光場(chǎng)（Light Field）的顯示效果。但是，其依然存在較為明顯的技術(shù)缺陷，光源調(diào)制系統(tǒng)過(guò)于復(fù)雜導(dǎo)致其很難實(shí)現(xiàn)可移動(dòng)化，據(jù)稱(chēng)其附加設(shè)備可能同冰箱一樣大小，顯然離產(chǎn)品成熟面向市場(chǎng)還具有一定的距離。

2.2 頭戴式顯示器（HMD）

HMD是目前最常見(jiàn)的AR顯示設(shè)備，一般分為光學(xué)透射式（Optical See-Through，以下簡(jiǎn)稱(chēng)OST）頭盔和視頻透視式（Video See-Through，以下簡(jiǎn)稱(chēng)VST）頭盔。OST是指用戶(hù)可以直接透過(guò)透明鏡片看到真實(shí)世界，并通過(guò)反射或投影方式看到虛擬環(huán)境或?qū)ο?；而VST則是指將頭盔上集成攝像頭采集的外部圖像與虛擬場(chǎng)景相合成，然后輸出到用戶(hù)眼前的小屏幕上。

2.2.1 VST頭盔。應(yīng)用于AR的VST頭盔是在原單純的HMD顯示器上進(jìn)一步結(jié)合了攝像頭和相關(guān)圖像技術(shù)而得來(lái)的。應(yīng)用于AR的VST頭盔利用設(shè)置在頭盔上的攝像頭拍攝現(xiàn)實(shí)世界的圖像，與虛擬圖像合并后將混合圖像顯示在頭盔內(nèi)，為用戶(hù)提供臨場(chǎng)感，該技術(shù)已經(jīng)比較成熟，市場(chǎng)應(yīng)用比較廣泛，當(dāng)前市場(chǎng)中的代表產(chǎn)品有Sony Playstation VR、Oculus Rift、HTC Vive等。

VST頭盔的優(yōu)點(diǎn)是技術(shù)成熟可靠，視網(wǎng)膜顯示屏（Retina）和相關(guān)傳感器技術(shù)已經(jīng)相當(dāng)成熟。然而，由于該類(lèi)型技術(shù)依靠于對(duì)現(xiàn)實(shí)世界的拍攝-識(shí)別-轉(zhuǎn)換的過(guò)程，無(wú)法做到極高的真實(shí)度，影響交互效果，同時(shí)無(wú)法很好地解決重量問(wèn)題和續(xù)航，導(dǎo)致佩戴舒適感差，容易造成VR臉（即長(zhǎng)時(shí)間佩戴該設(shè)備導(dǎo)致雙眼周?chē)糠謺?huì)產(chǎn)生明顯壓痕），并且易引起3D眩暈等癥狀。

2.2.2 OST頭盔。OST頭盔是基于平視顯示器（Head Up Display，以下簡(jiǎn)稱(chēng)HUD）技術(shù)延伸和發(fā)展得來(lái)的。HUD是目前普遍運(yùn)用在航空器上的飛行輔助儀器，也可以理解為最早的AR顯示設(shè)備。OST利用了HUD的投影原理，利用特定角度的半透鏡或者透明液晶顯示器反射投影儀投射的虛擬圖像，人眼通過(guò)半透鏡或者透明液晶顯示器就可以同時(shí)觀察到現(xiàn)實(shí)世界和虛擬圖像。

谷歌眼鏡已經(jīng)將體積和重量盡可能縮小，然而因?yàn)轱@示原理的限制，會(huì)導(dǎo)致用戶(hù)長(zhǎng)時(shí)間觀看顯示圖像信息后視覺(jué)疲勞，顯示的圖像信息不夠真實(shí)，同時(shí)由于大幅度縮小體積的原因?qū)е鹿雀柩坨R的顯示范圍非常?。▋H在視線中心上方的一小塊區(qū)域），因此也幾乎喪失了AR系統(tǒng)的交互功能，僅僅能提供顯示提示信息的功能，因此市場(chǎng)接受度很低，谷歌公司已經(jīng)于2015年1月19日停止了該項(xiàng)目的所有研究工作。

2.3 頭戴式投影顯示器（HMP）

HMP最大的特點(diǎn)是使用了覆蓋于整個(gè)視線范圍內(nèi)的透明輕薄的光波導(dǎo)元件，投影光束經(jīng)過(guò)光束分離器（Beam Splitter）后照射到全反射表面（Retro-reflective Sur?faces）的光波導(dǎo)后反射進(jìn)入人眼，因此投影圖像與現(xiàn)實(shí)世界疊加在一起，共同組成了AR顯示畫(huà)面。

以微軟公司的Hololens全息眼鏡（http://www.micro?soft.com/microsoft-hololens）為例，Hololens是美國(guó)微軟公司于2015年1月22日與Windows 10共同發(fā)布的全新產(chǎn)品，是微軟公司基于美國(guó)奧斯特豪特集團(tuán)有限公司（Os?terhout Group，INC）的一系列相關(guān)技術(shù)而進(jìn)一步優(yōu)化整合的產(chǎn)物。

該產(chǎn)品包括有兩組深度相機(jī)、一組手勢(shì)相機(jī)、兩組顯示鏡片及麥克風(fēng)等相關(guān)傳感器，可以偵測(cè)并創(chuàng)建環(huán)境模型，識(shí)別環(huán)境中的可交互對(duì)象，并在用戶(hù)視線范圍內(nèi)展現(xiàn)一幅栩栩如生的混合圖像，各種傳感器可以追蹤用戶(hù)的移動(dòng)，通過(guò)層疊的彩色鏡片創(chuàng)建可以從不同角度進(jìn)行交互的對(duì)象，使用聲控或者手勢(shì)控制與交互對(duì)象產(chǎn)生任何的交互動(dòng)作，同時(shí)該設(shè)備作為一個(gè)完整的設(shè)備而無(wú)需連接到任何計(jì)算機(jī)主機(jī)中即可使用。

由于Hololens也使用了透射式鏡片，為了解決鬼影現(xiàn)象，可以在透鏡靠近現(xiàn)實(shí)世界一側(cè)設(shè)置可以區(qū)域阻光的材料，如電致變色透鏡、透明式液晶、電子墨水等，使得在需要顯示高對(duì)比度或純色區(qū)域時(shí)得到較好的效果。

通過(guò)基于深度識(shí)別的SLAM（實(shí)時(shí)定位與地圖構(gòu)建）技術(shù)，通過(guò)發(fā)射IR光線投射網(wǎng)格或條紋圖案到場(chǎng)景當(dāng)中，檢測(cè)變形的圖案來(lái)分析、確定目標(biāo)或物體上特定位置的物理距離，通過(guò)2組不同朝向的深度相機(jī)，可以創(chuàng)建超過(guò)人眼視線范圍的環(huán)境模型，以提前預(yù)測(cè)人體動(dòng)作。用戶(hù)也可以通過(guò)光學(xué)手勢(shì)識(shí)別系統(tǒng)來(lái)主動(dòng)輸入操作命令，與交互物體產(chǎn)生交互。在左右雙眼旁各設(shè)置一個(gè)眼睛跟蹤相機(jī)，通過(guò)識(shí)別肉眼反射的紅外光線來(lái)跟蹤眼球指向，通過(guò)處理單元分析視線焦點(diǎn)來(lái)對(duì)虛擬圖像進(jìn)行顯示調(diào)整。基于陀螺儀、加速度計(jì)或磁力計(jì)的數(shù)據(jù)來(lái)細(xì)化或更新設(shè)備（或用戶(hù)）的位置和取向數(shù)據(jù)，以確定潛在的視角。

Hololens可以說(shuō)是當(dāng)前最成熟、最完善的AR顯示設(shè)備，同時(shí)也是一個(gè)完整的AR系統(tǒng)，雖然受限于成本和重量，目前的版本還存在有視角優(yōu)先、虛擬圖像質(zhì)量不高、系統(tǒng)性能不足等問(wèn)題。但是，微軟公司的一系列專(zhuān)利文件證明，隨著技術(shù)的不斷進(jìn)步，這些問(wèn)題都隨之迎刃而解，毋庸置疑Hololens在短時(shí)間內(nèi)是最好的AR設(shè)備。

3 結(jié)語(yǔ)

綜合以上技術(shù)原理及產(chǎn)品技術(shù)的分析來(lái)看，當(dāng)前唯一實(shí)現(xiàn)了量產(chǎn)的產(chǎn)品只有微軟公司的Hololens，并已經(jīng)開(kāi)始就商業(yè)化應(yīng)用開(kāi)展各類(lèi)應(yīng)用程序，其實(shí)現(xiàn)了在一個(gè)輕便頭戴式眼鏡形態(tài)的獨(dú)立設(shè)備中，常規(guī)續(xù)航時(shí)間5.5h，高負(fù)荷續(xù)航時(shí)間2.5h，可以與任何支持WiFi或藍(lán)牙通訊的設(shè)備進(jìn)行聯(lián)網(wǎng)的高度成熟系統(tǒng)，具有佩戴舒適、顯示延遲低、支持手勢(shì)操作等功能，已經(jīng)與MagicLeap公司的概念化產(chǎn)品產(chǎn)生了巨大的差距。MagicLeap公司的產(chǎn)品雖然具有比3D顯示效果更佳的優(yōu)勢(shì)，但由于其自身的原理導(dǎo)致其很難微型化，不利于其消費(fèi)產(chǎn)品的推廣和使用。在可以預(yù)計(jì)的短期時(shí)間內(nèi)，微軟公司的Hololens將成為增強(qiáng)現(xiàn)實(shí)技術(shù)的最佳交互界面。

［1］朱淼良，姚遠(yuǎn)，蔣云良.增強(qiáng)現(xiàn)實(shí)綜述［J］.中國(guó)圖像圖形學(xué)報(bào)，2004（7）：767-774.

［2］呼新榮，劉英，王健，等.基于視網(wǎng)膜掃描的頭戴顯示器研究現(xiàn)狀［J］.紅外與激光工程，2014（3）：871-878.

Review of Head-Attached Augmented Reality Display Devices

Wang Wenxiao1Zhang Qian1Xu Guoxiang2
（1.Patent Examination Cooperation Center of the Patent Office，SIPO，Henan，Department of Electrical Invention and Examination，Zhengzhou Henan 450000；2.Patent Examination Cooperation Center of the Patent Office，SIPO，Beijing，Department of Electrical Invention and Examination，Beijing 100000）

With the gradual maturity of augmented reality(AR)technology,the head mounted display device will be the most promising interactive interface presentation device in reality display devices.Based on this,this paper main?ly discussed the basic types of AR display equipment,the classification,operation principle and the related represen?tative products of the head wearing type(Head-Attached)display device were mainly introduced.At last,the prod?ucts of the latest AR display device were summarized,and some problems that need to be solved were also given.

virtual reality；augmented reality；mixed display；3D

TN873

A

1003-5168(2016)09-0090-03

2016-08-19

王文曉（1985-），男，本科，助理研究員，審查員，研究方向：計(jì)算機(jī)輸入輸出設(shè)備與技術(shù)，防偽印刷技術(shù)，靜態(tài)存儲(chǔ)器驅(qū)動(dòng)電路技術(shù)等領(lǐng)域發(fā)明專(zhuān)利申請(qǐng)實(shí)質(zhì)審查；張謙（1979-），男，本科，副研究員，部門(mén)主任，研究方向：電學(xué)領(lǐng)域發(fā)明專(zhuān)利申請(qǐng)實(shí)質(zhì)審查（等同于第一作者）。