視頻透視技術(shù)發(fā)展現(xiàn)狀綜述

李浩銘，付戰(zhàn)平，胡文婷，蘇 鋒，邢 祎

(海軍航空大學(xué)青島校區(qū)， 山東 青島 266041)

1 引言

隨著虛擬現(xiàn)實技術(shù)日新月異的發(fā)展，Virtual Reality (VR)由于視場角有限、易暈眩、安全性不高等限制難以滿足越來越嚴(yán)格的仿真應(yīng)用要求，擴(kuò)展現(xiàn)實(extended reality，XR)技術(shù)應(yīng)運而起。其中，增強(qiáng)現(xiàn)實(augmented reality，AR)、混合現(xiàn)實(mixed reality，MR)技術(shù)都能夠通過實現(xiàn)虛實融合達(dá)到更好的仿真效果。VR沉浸性、逼真度較強(qiáng)，適合應(yīng)用于游戲，但由于VR看不到現(xiàn)實場景，如果應(yīng)用于航空航天模擬器或者工業(yè)裝配，佩戴者的感知與視覺系統(tǒng)不同步易產(chǎn)生眩暈感；AR都是在現(xiàn)實可見的基礎(chǔ)上，增加虛擬物體或者虛擬提示，應(yīng)用于工業(yè)裝配等操作時，避免了看不見現(xiàn)實場景時危險設(shè)備可能造成的傷害，但虛擬物體與現(xiàn)實之間的遮擋和光照一致性很難處理好，適用于對虛擬顯示要求相對不是很高，但對安全性要求較高的應(yīng)用；MR巧妙將現(xiàn)實和虛擬場景融合在一起，能夠滿足對逼真度、真實性、實時度同時要求較高的應(yīng)用，特別是應(yīng)用于模擬系統(tǒng)仿真時，提高了模擬系統(tǒng)的實用性，同時避免了眩暈和光照不一致的問題。

MR技術(shù)近些年在教育培訓(xùn)、娛樂傳媒、軍事、航天航空、醫(yī)療健康等方面都取得了重大的突破，特別在軍用模擬訓(xùn)練方面。據(jù)中國航空工業(yè)發(fā)展研究中心何曉驍在《空天防務(wù)觀察》發(fā)文稱美軍于2020年1月開啟了視頻透視技術(shù)在模擬訓(xùn)練中的探索研究。國內(nèi)在這個方向上的探索也早已開始。經(jīng)過調(diào)研交流，在工業(yè)制造方面，601所、615所和118廠都在大力研究視頻透視式虛實融合系統(tǒng)在虛擬仿真領(lǐng)域的應(yīng)用。

MR技術(shù)研究重點包括虛擬環(huán)境的實景高清視頻流的顯示、定位處理、自然交互及虛實融合技術(shù)等。通過研究解決視覺傳感器標(biāo)定校準(zhǔn)技術(shù)、頭顯式高清視頻流透視的位姿追蹤及虛實配準(zhǔn)技術(shù)、視口同步技術(shù)、高精度人工標(biāo)識定位技術(shù)、視頻流綠幕摳像技術(shù)及全景拼接算法，能夠構(gòu)建高精度、高沉浸感、低成本的MR應(yīng)用系統(tǒng)，實現(xiàn)虛實融合的人機(jī)自然交互。其中視頻透視技術(shù)(video see through，VST) 以及光學(xué)透視技術(shù)(optical see through，OST)能夠?qū)崿F(xiàn)虛擬場景與實物的無縫融合交互。

2 VST與OST對比

2.1 原理

VST是指頭戴顯示器通過安裝在眼鏡/頭盔上的微型攝像頭采集真實場景的圖像，如圖1所示，計算機(jī)通過場景理解和分析將所要添加的信息和圖像信號疊加在攝像機(jī)的視頻信號上，同時將計算機(jī)生成的虛擬場景與真實場景進(jìn)行融合，最后通過頭戴式頭盔/大顯示器等顯示載體呈現(xiàn)給用戶。

圖1 視頻透視原理框圖

OST的特點是讓用戶能夠直接看到真實的環(huán)境，如圖2所示，在用戶眼睛前面放置部分透明的光學(xué)合成器，用戶透過它可以直接看到真實世界。合成器又是部分反射的，用戶同時可以看到從頭戴顯示器反射到合成器上產(chǎn)生的虛擬圖像。

圖2 光學(xué)透視原理框圖

VST相較于傳統(tǒng)OST的半透明顯示效果更加逼真，對混合現(xiàn)實的實時響應(yīng)性要求不高，計算機(jī)算法實時渲染的影像呈現(xiàn)視角更大，且疊加的圖像與現(xiàn)實場景融合得更好。

2.2 應(yīng)用

VST頭盔顯示器應(yīng)用時，由于人眼的視點與攝像機(jī)在物理上不可能完全一致，因而可能導(dǎo)致用戶看到的景象與實際的真實景象之間存在誤差；但視頻透視式頭盔顯示器沉浸性好、實時響應(yīng)速度高以及虛實光照較為一致，在模擬仿真和交互式游戲應(yīng)用較多。

OST頭盔顯示器應(yīng)用的一個主要問題就是由于前方的光學(xué)融合器既允許真實環(huán)境中的光線通過，又允許虛擬環(huán)境中的光線通過，因此由計算機(jī)生成的虛擬物體不能夠完全遮擋住真實場景中的物體，使得虛實融合的真實感較差，但OST頭盔顯示器具有結(jié)構(gòu)簡單、價格低廉、安全性好、分辨率高以及不需要視覺偏差補(bǔ)償?shù)葍?yōu)點，在機(jī)械裝配和維修系統(tǒng)應(yīng)用較多。

3 關(guān)鍵技術(shù)

視頻透視技術(shù)屬于頭戴式MR技術(shù)，從頭盔制備到交互應(yīng)用，可以將VST涉及的關(guān)鍵技術(shù)分為：VST頭盔的制備、跟蹤注冊算法、虛實遮擋的優(yōu)化以及人機(jī)交互的方法。

3.1 VST頭盔顯示器制備

針對VST的應(yīng)用，VST顯示器分為自制和商用2種。早期VST顯示器根據(jù)不同的應(yīng)用需要，由實驗室根據(jù)VST顯示原理制備，效果主要根據(jù)應(yīng)用需要判定；后期由于MR游戲的興起，商用VST顯示器不斷絡(luò)繹不絕，并不斷更新?lián)Q代中。

..自制VST顯示器

2011年，任超宏基于虛擬相機(jī)位置的立體圖像生成方法得到虛擬模型的立體顯示，采用了一種新型頭盔顯示器顯示虛實融合圖像，如圖3，頭盔顯示裝置可對兩個攝像頭之間的距離進(jìn)行調(diào)整，緩解了現(xiàn)有的雙目VST頭盔容易讓佩戴者感到頭暈等不良癥狀；2012年，徐剛強(qiáng)對可控畸變魚眼鏡頭相機(jī)的建模、標(biāo)定和成像校正進(jìn)行了研究，針對可控畸變魚眼鏡頭的實例—橢圓全景鏡頭在視頻監(jiān)控中的應(yīng)用，研究了鏡頭成像畸變的多視角漫游校正，通過并行處理提高了畸變校正算法的效率；2017年，張漢軍針對雙目頭盔顯示器關(guān)鍵技術(shù)進(jìn)行了研究：結(jié)合雙目視場匹配特性，通過研究得到雙目鏡片安裝的相對位置要求，并通過對頭盔顯示系統(tǒng)的設(shè)計，實現(xiàn)了一個初步的雙目頭盔信息顯示系統(tǒng)；2018年，吳智敏采用雙目校正以及攝像機(jī)參數(shù)調(diào)整的方法對VST頭戴顯示器視覺效果進(jìn)行了優(yōu)化，建立了由圖4所示的VST頭戴顯示器、混合跟蹤模塊、三維注冊算法、虛實遮擋處理等軟硬件構(gòu)成的裝配訓(xùn)練系統(tǒng)操作平臺。

圖3 任超宏自制VST顯示器

圖4 吳智敏自制VST顯示器

自制VST頭盔相較于商用頭盔，能更好得符合實際應(yīng)用要求，但分辨率、視場角(field of view，F(xiàn)OV)、實時性等仍有待于從硬件上進(jìn)行優(yōu)化。目前自制VST顯示器的研究主要在提高顯示分辨率、還原大視角、增強(qiáng)跟蹤實時性和改善光照一致性等方向。

..商用VST顯示器

2015年，在巴塞羅拉世界移動通信大會上，HTC和VALVE合作推出了一款虛擬現(xiàn)實頭戴式顯示器——HTC Vive系列，具備手勢追蹤功能，如圖5所示為HTC Vive Pro。圖6中的Hololens是微軟公司2015年發(fā)布的一種MR頭顯，通過追蹤佩戴者的移動和視線，生成適當(dāng)?shù)奶摂M對象，并支持手勢交互；2016年11月，亮風(fēng)臺發(fā)布第二代AR眼鏡HiAR Glasses，如圖7所示。這款眼鏡采用驍龍820處理器，支持手勢識別，可實現(xiàn)視覺交互、空間感知較好的AR體驗。Magic Leap One于2018年開始在美國售賣，如圖8，ML One外形奇特，視覺效果清晰生動，但其視場角讓人不夠滿意，無法滿足大視角沉浸。

圖5 HTC Vive Pro

圖6 微軟Hololens

圖7 HiAR Glasses

圖8 Magic Leap One

表1統(tǒng)計了市場上主流VST顯示器的相關(guān)參數(shù)，可見商用VST顯示器視場角和分辨率差強(qiáng)人意，多應(yīng)用于進(jìn)一步工業(yè)開發(fā)或者VR游戲中，外觀精致，佩戴較自制顯示器舒適，功能多樣化，普遍帶有多傳感器，便于人機(jī)交互。

表1 商用VST顯示器參數(shù)Table 1 Commercial VST display parameters comparison

3.2 跟蹤注冊算法

跟蹤注冊是實現(xiàn)虛擬環(huán)境與現(xiàn)實環(huán)境空間位置映射轉(zhuǎn)換的算法，是實現(xiàn)VST最為重要的一部分。目前視覺跟蹤領(lǐng)域中主要算法有TLD(tracking-learning-detection，跟蹤-學(xué)習(xí)-檢測算法)、Struck(structured output tracking with kernel，核結(jié)構(gòu)化輸出跟蹤算法)、CT(compressive tracking，壓縮跟蹤算法)以及KCF(kernel correlation filter，核相關(guān)濾波算法)等，但是跟蹤速度和跟蹤效果都存在很大的改進(jìn)空間。

2010年，陳靖等根據(jù)圓明園大水法景觀的特點，提出基于關(guān)鍵幀匹配的增強(qiáng)現(xiàn)實跟蹤注冊算法，采用隨機(jī)樹的特征識別分類方法實現(xiàn)圖像間的特征匹配，據(jù)此構(gòu)建了基于VST頭盔顯示器的移動增強(qiáng)現(xiàn)實系統(tǒng)。2014年，孫洪興針對目標(biāo)的跟蹤精度和實時性要求不能同時滿足的情況下，設(shè)計了一種基于自然特征實時跟蹤的新方法，由基于人臉識別和自然特征的跟蹤技術(shù)實現(xiàn)，構(gòu)建了一種虛擬眼鏡試戴系統(tǒng)的原型。2015年，嚴(yán)玉若對基于自然特征的三維注冊進(jìn)行了深入研究，提出了一種基于非線性尺度空間的無標(biāo)記注冊方法。2018年，Yu-Kai Chen等利用商用相機(jī)和無邊框LED面板實現(xiàn)了一個色彩調(diào)節(jié)系統(tǒng)，通過提出的HDR和顏色映射技術(shù)，有效地獲取了真實場景的三維信息。2019年，林思源等針對人工標(biāo)識注冊的局限性與自然特征注冊的速度限制，通過引入黑色邊框，結(jié)合自然特征設(shè)計了一種新的標(biāo)識物注冊方法，利用視頻幀中標(biāo)識物的邊緣特征完成了標(biāo)識的初定位與快速跟蹤。同年，Peng-Xia Cao等提出了一種結(jié)合檢測器和跟蹤器的有效的無標(biāo)記跟蹤配準(zhǔn)算法，采用LK(Lucas-Kanade)光流跟蹤器實時跟蹤被檢測目標(biāo)，提高了跟蹤精度和速度。2020年，楊靖帆等針對KLT(kanade-lucas-tomasi)跟蹤穩(wěn)定性較低、抗遮擋性較差以及直接使用特征點注冊精度較低等問題，提出一種使用局部特征描述改進(jìn)的LK跟蹤注冊方法(DF-LK)，提高了光照變化、輕微運動模糊和較大透視變化等情況下的跟蹤穩(wěn)定性和精度。

跟蹤注冊算法作為實現(xiàn)VST虛實融合技術(shù)的最關(guān)鍵算法，主要技術(shù)體現(xiàn)在對圖像處理的標(biāo)識交互。比較常用的3種注冊手段有：基于人工標(biāo)識、基于自然特征，和基于無標(biāo)識?；谌斯?biāo)識的方法計算量小，算法相對成熟，在惡劣光照下魯棒性高，但存在視覺污染和操作復(fù)雜等問題?；谧匀惶卣鞯姆椒▽o紋理目標(biāo)魯棒性較好，但點云數(shù)據(jù)量龐大，對硬件運算能力要求較高?；跓o標(biāo)識的方法不需要手動初始化位姿，具有良好的實時性和魯棒性，避免了因特征點少引起的位姿抖動，但跟蹤精度低、算法相對復(fù)雜。目前較為主流的研究方向是結(jié)合人工標(biāo)識的優(yōu)點，將人工標(biāo)識融匯于自然標(biāo)識或無標(biāo)識算法中，跟蹤注冊效果得到了顯著提高。

3.3 虛實遮擋

在XR系統(tǒng)中，當(dāng)虛擬場景被真實場景錯誤遮擋時，容易產(chǎn)生空間位置錯亂和用戶感官迷失的問題，如圖9所示。所以利用計算機(jī)視覺和圖像處理等原理，處理好虛實遮擋問題，尤為關(guān)鍵。

圖9 虛實遮擋圖

2010年，Amir H.Behzadan等提出了一種基于深度感知算法和幀緩沖處理算法的AR遮擋處理系統(tǒng)，能夠在實時動態(tài)增強(qiáng)現(xiàn)實環(huán)境中解決堵塞錯誤的發(fā)生。2010年，田元以基于輪廓跟蹤的虛實遮擋處理方法為出發(fā)點，引入計算機(jī)視覺、數(shù)字圖像處理、算法的復(fù)雜性分析和非線性優(yōu)化等相關(guān)理論，圍繞半自動實時虛實遮擋處理方法、自動實時虛實遮擋處理方法和非剛性物體虛實遮擋處理方法等技術(shù)內(nèi)容展開了深入的研究與實踐。2015年，嚴(yán)玉若對AR系統(tǒng)虛實融合一致性方面進(jìn)行深入的研究，提出了一種基于視頻透視AR系統(tǒng)的虛實融合運動一致性模擬方法。2018年，鈴木伸介等針對雙目頭盔顯示器的遮擋矛盾問題，結(jié)合計算機(jī)圖形學(xué)進(jìn)行了心理物理實驗，發(fā)現(xiàn)在重疊區(qū)域垂直邊緣深度不能絕對確定的情況下，會產(chǎn)生感知不穩(wěn)定，導(dǎo)致雙目對抗的問題。

國內(nèi)外對于虛實遮擋方面的研究不夠系統(tǒng)，相關(guān)理論有待于根據(jù)實際實驗需求進(jìn)一步探索。

3.4 人機(jī)交互

2011年，Gun A.Lee和Mark Billinghurst提出了一種Snap-To-Feature的交互方法，通過吸引用戶輸入點到AR場景中的圖像特征幫助用戶進(jìn)行更精確的觸摸屏交互。2014年，劉鐵良著重研究了手勢圖像分割、指尖定位檢測等關(guān)鍵技術(shù)，通過人手與虛擬模型進(jìn)行交互的手指檢測識別等算法，實現(xiàn)了一種更加自然和智能的人機(jī)交互方式。2015年，何貞毅針對三維交互界面、以手勢為主的交互手段以及應(yīng)用性廣泛的徒手三維建模場景進(jìn)行了研究與評估，設(shè)計并實現(xiàn)了徒手三維建模的應(yīng)用場景。2016年，李玄基開發(fā)并實現(xiàn)了一種基于HoloLens增強(qiáng)現(xiàn)實的檢測定位交互系統(tǒng)，可檢測識別設(shè)備并定位其物理位置，并能通過Gaze、Gesture、Voice等方式，與疊加的3D模型進(jìn)行移動、旋轉(zhuǎn)、分解等多種交互動作。2017年，李佳寧研究了基于RGB-D攝像機(jī)的增強(qiáng)現(xiàn)實系統(tǒng)中的關(guān)鍵技術(shù)，提出了一種新的基于Frame-to-Model的SLAM系統(tǒng)框架，設(shè)計了一套用戶能夠直接用手觸控的增強(qiáng)現(xiàn)實人機(jī)交互系統(tǒng)。

現(xiàn)在的人機(jī)交互主要體現(xiàn)在手勢交互、手持標(biāo)識交互、聲音交互等方式，在增強(qiáng)現(xiàn)實和混合現(xiàn)實方面都大大增加了系統(tǒng)的虛實融合效果。

4 結(jié)論

1) 分析了頭盔顯示器、跟蹤注冊、虛實遮擋、人機(jī)交互的國內(nèi)外發(fā)展現(xiàn)狀和技術(shù)難點，提出了這四項技術(shù)目前的發(fā)展瓶頸和應(yīng)用優(yōu)勢，可為VST在虛擬仿真領(lǐng)域的應(yīng)用提供參考。

2) 針對VST視場角小的問題，一方面可以對魚眼鏡頭和360°鏡頭的拉伸還原進(jìn)行研究，另一方面可以對攝像頭與頭盔視場角不相等產(chǎn)生的黑色縫隙進(jìn)行虛擬填充；

3) 針對VST分辨率不高的問題，可以在高分辨率攝像頭與頭盔實時響應(yīng)能力之間進(jìn)行調(diào)節(jié)；

4) 針對跟蹤注冊效果不穩(wěn)定，可以結(jié)合綠幕算法、人工標(biāo)識、無標(biāo)識、自然標(biāo)識算法的原理和優(yōu)勢，對跟蹤注冊算法進(jìn)行優(yōu)化；

5) 針對虛實融合和虛實遮擋問題，可以嘗試結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行優(yōu)化。

6) 視頻透視技術(shù)在駕駛、飛行、航空、軍事訓(xùn)練模擬系統(tǒng)中都可以發(fā)揮其優(yōu)勢，但在交互游戲的制作上造價高于VR游戲，在旅游業(yè)、博物館展覽時可以充分發(fā)揮其優(yōu)勢，在成本可以接受的范圍內(nèi)充分應(yīng)用視頻透視技術(shù)，增加應(yīng)用的安全性和逼真度。