許昌職業(yè)技術(shù)學(xué)院 張貴明,金夢(mèng)濤
增強(qiáng)現(xiàn)實(shí)(Augmented Reality,簡(jiǎn)稱AR)最早于1990年提出,是在虛擬現(xiàn)實(shí)的基礎(chǔ)上發(fā)展起來(lái)的新興技術(shù),是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像的技術(shù),通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)現(xiàn)實(shí)世界的感知,并將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中,從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的“增強(qiáng)”。這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實(shí)世界并進(jìn)行互動(dòng),是一種能將真實(shí)世界信息和虛擬世界信息“無(wú)縫”集成的新技術(shù),是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺(jué)信息、聲音、味道、觸覺(jué)等),通過(guò)計(jì)算機(jī)等科學(xué)技術(shù),模擬仿真后再疊加,將虛擬的信息應(yīng)用到真實(shí)世界,被人類感官所感知,從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn),讓真實(shí)的環(huán)境和虛擬的物體實(shí)時(shí)地疊加到同一個(gè)畫(huà)面或空間同時(shí)存在,它不僅展現(xiàn)了真實(shí)世界的信息,而且將虛擬的信息同時(shí)顯示出來(lái),兩種信息相互補(bǔ)充、疊加。AR是虛擬與現(xiàn)實(shí)的連接入口,注重虛擬與現(xiàn)實(shí)的連接,是為了達(dá)到更震撼的現(xiàn)實(shí)增強(qiáng)體驗(yàn)。其定義很廣泛,技術(shù)種類眾多,目前主流的AR是指通過(guò)設(shè)備識(shí)別判斷(二維、三維、GPS、體感、面部等識(shí)別物),并將虛擬信息疊加在以識(shí)別物為基準(zhǔn)的某個(gè)位置,并顯示在設(shè)備屏幕上,可實(shí)時(shí)交互虛擬信息,總結(jié)起來(lái)即識(shí)別、虛實(shí)結(jié)合、實(shí)時(shí)交互。AR技術(shù)包含了多媒體、三維建模、實(shí)時(shí)視頻顯示及控制、多傳感器融合、實(shí)時(shí)跟蹤及注冊(cè)、場(chǎng)景融合等新技術(shù)與新手段,提供了在一般情況下,不同于人類可以感知的信息,通過(guò)計(jì)算機(jī)系統(tǒng)提供的信息增加用戶對(duì)現(xiàn)實(shí)世界感知,并將計(jì)算機(jī)生成的虛擬物體、場(chǎng)景或系統(tǒng)提示信息疊加到真實(shí)場(chǎng)景中,從而實(shí)現(xiàn)對(duì)現(xiàn)實(shí)的“增強(qiáng)”。它將計(jì)算機(jī)生成的虛擬物體或關(guān)于真實(shí)物體的非幾何信息疊加到真實(shí)世界的場(chǎng)景之上,實(shí)現(xiàn)了對(duì)真實(shí)世界的增強(qiáng),同時(shí)由于用于與真實(shí)世界的聯(lián)系并未被切斷,交互方式也就顯得更加自然。
AR技術(shù)可廣泛應(yīng)用到軍事、醫(yī)療、交通、汽車(chē)、建筑、教育、工程、影視、娛樂(lè)等領(lǐng)域,它具有以下3個(gè)突出特點(diǎn)。
(1)虛實(shí)結(jié)合。它可以將顯示屏幕擴(kuò)展到真實(shí)環(huán)境,使計(jì)算機(jī)窗口與圖標(biāo)疊映于現(xiàn)實(shí)對(duì)象,由眼睛凝視或手勢(shì)指點(diǎn)進(jìn)行操作;讓三維物體在用戶的全景視野中根據(jù)當(dāng)前任務(wù)或需要交互地改變其形狀和外觀;對(duì)于現(xiàn)實(shí)目標(biāo)通過(guò)疊加虛擬景象產(chǎn)生類似于X光透視的增強(qiáng)效果;將地圖信息直接插入現(xiàn)實(shí)景觀以引導(dǎo)駕駛?cè)说男袆?dòng);通過(guò)虛擬窗口調(diào)看室外景象,使墻壁仿佛變得透明,使真實(shí)世界和虛擬世界的信息集成為一體。
(2)實(shí)時(shí)交互。它使交互從精確的位置擴(kuò)展到整個(gè)環(huán)境,從簡(jiǎn)單的人面對(duì)屏幕交流發(fā)展到將自己融合于周?chē)目臻g與對(duì)象中;運(yùn)用信息系統(tǒng)不再是自覺(jué)而有意的獨(dú)立行動(dòng),而是和人們的當(dāng)前活動(dòng)自然而然地成為一體;交互性系統(tǒng)不再是具備明確的位置,而是擴(kuò)展到整個(gè)環(huán)境。
(3)在三維尺度空間中增添定位虛擬物體。
一個(gè)完整的增強(qiáng)現(xiàn)實(shí)系統(tǒng)是由一組緊密聯(lián)結(jié)、實(shí)時(shí)工作的硬件部件與相關(guān)的軟件系統(tǒng)協(xié)同實(shí)現(xiàn)的,常用的有如下3種組成形式。
(1)Monitor-Based增強(qiáng)現(xiàn)實(shí)系統(tǒng)(圖1)。在基于計(jì)算機(jī)顯示器的AR實(shí)現(xiàn)方案中,攝像機(jī)攝取的真實(shí)世界圖像輸入到計(jì)算機(jī)中,與計(jì)算機(jī)圖形系統(tǒng)產(chǎn)生的虛擬景象合成,并輸出到計(jì)算機(jī)顯示器,用戶從計(jì)算機(jī)顯示器上可看到最終的增強(qiáng)場(chǎng)景圖片。它雖然簡(jiǎn)單,但不能帶給用戶多少沉浸感。
(2)光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)(圖2)。頭盔式顯示器(Head-mounted displays,簡(jiǎn)稱HMD)被廣泛應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)中,用以增強(qiáng)用戶的視覺(jué)沉浸感。增強(qiáng)現(xiàn)實(shí)技術(shù)的研究者們也采用了類似的顯示技術(shù),這就是在AR中廣泛應(yīng)用的穿透式HMD。根據(jù)具體實(shí)現(xiàn)原理又劃分為2大類,分別是基于光學(xué)原理的穿透式HMD(Optical See-through HMD)和基于視頻合成技術(shù)的穿透式HMD(Video See-through HMD)。光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有簡(jiǎn)單、分辨率高、沒(méi)有視覺(jué)偏差等優(yōu)點(diǎn),但它同時(shí)也存在著定位精度要求高、延遲匹配難、視野相對(duì)較窄和價(jià)格高等不足。
(3)視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)(圖3)。視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)采用基于視頻合成技術(shù)的穿透式HMD(Video See-through HMD)。視頻透視式頭盔顯示器通過(guò)一對(duì)安裝在用戶頭部的攝像機(jī),攝取外部真實(shí)環(huán)境的景象,計(jì)算機(jī)通過(guò)計(jì)算處理,將所要添加的信息或圖像信號(hào)疊加在攝像機(jī)的視頻信號(hào)上。用視頻透視式頭盔顯示器的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中,使用者看到的周?chē)鎸?shí)世界的場(chǎng)景是由攝像機(jī)攝取的。因此,圖像經(jīng)過(guò)計(jì)算機(jī)的處理,不產(chǎn)生虛擬物體在真實(shí)場(chǎng)景中的游移現(xiàn)象。但由于處理速度等原因,圖像顯示會(huì)有遲滯現(xiàn)象,而且在處理過(guò)程中可能會(huì)丟失一些細(xì)節(jié)。
盡管AR技術(shù)呈現(xiàn)出爆炸性的增長(zhǎng),但AR軟件和內(nèi)容目前主要還是為小屏幕設(shè)備(比如智能手機(jī)和平板電腦)打造的,而真正的AR應(yīng)用意味著虛擬物體和真實(shí)環(huán)境能夠結(jié)合,可以在視野不同深度的地方呈現(xiàn)畫(huà)面,不僅僅限于在屏幕的表面。因此,真正的AR要想在大眾市場(chǎng)得到廣泛應(yīng)用,不僅需要豐富的應(yīng)用程序和內(nèi)容生態(tài),更需要性能強(qiáng)大的硬件設(shè)備支持,然而相關(guān)硬件還遠(yuǎn)遠(yuǎn)沒(méi)有準(zhǔn)備好,開(kāi)發(fā)商們只能依靠智能手機(jī)的屏幕作為推銷(xiāo)AR的主要手段。其實(shí),即使是可穿戴設(shè)備,也不是AR技術(shù)呈現(xiàn)的最好的選擇,因?yàn)閹缀醪豢赡軐⒄嬲鼳R的高渲染性能、實(shí)用性和高質(zhì)量的廣角圖片等優(yōu)點(diǎn)塞到一個(gè)很小尺寸的系統(tǒng)中去呈現(xiàn)。如果智能手機(jī)、平板電腦、可穿戴設(shè)備都沒(méi)有準(zhǔn)備好迎接真正的AR,那么不可佩戴的設(shè)備一定會(huì)出現(xiàn)。什么樣的設(shè)備最有可能將虛擬景象與現(xiàn)實(shí)環(huán)境進(jìn)行深度整合呢?答案來(lái)自于汽車(chē)領(lǐng)域,因?yàn)椋瑩碛凶銐蛲该鞅砻娴钠?chē)是非常理想的AR硬件平臺(tái)。隨著汽車(chē)產(chǎn)業(yè)朝著無(wú)人化駕駛方向的迅速轉(zhuǎn)變,AR技術(shù)可以幫助用戶適應(yīng)新的現(xiàn)實(shí),借助AR技術(shù),乘客可以通過(guò)可視化的方式了解汽車(chē)的決策過(guò)程,有利于增強(qiáng)其乘車(chē)的安全感和自信??傊环矫嫫?chē)行業(yè)給了AR技術(shù)更多繁榮的機(jī)會(huì),提供了更智能的硬件平臺(tái);另一方面,AR在幫助市場(chǎng)順利過(guò)渡到無(wú)人駕駛運(yùn)輸上有很大潛力。這意味著未來(lái)汽車(chē)配備AR應(yīng)用是一種趨勢(shì),這將不斷壯大AR技術(shù)的實(shí)力,同時(shí)為AR在其他行業(yè)的發(fā)展鋪平道路。
圖1 Monitor-Based增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方案
圖2 光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方案
圖3 視頻透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的實(shí)現(xiàn)方案
相信大家對(duì)HUD(Heads Up Display,抬頭顯示系統(tǒng),又叫平視顯示系統(tǒng))都不太陌生,它可以把重要的信息映射在風(fēng)窗玻璃上(圖4),使駕駛?cè)藷o(wú)需低頭就能看清汽車(chē)的重要信息,從而避免分散對(duì)前方道路的注意力,以將更多的精力放到觀察路面的情況,并可以減少駕駛?cè)擞^察遠(yuǎn)處道路情況與近距離查看導(dǎo)航、車(chē)輛信息視線頻繁轉(zhuǎn)換引發(fā)的視覺(jué)疲勞,從而提高了汽車(chē)的行車(chē)安全性。不過(guò)HUD中的內(nèi)容非常少,且更多的是將原本需要低頭去尋找的信息(如車(chē)速、導(dǎo)航等)挪到了與正常駕駛視線更貼近的位置。HUD這項(xiàng)從航空領(lǐng)域引進(jìn)的技術(shù)本身就是為了讓駕駛?cè)四軌蚣凶⒁饬Χ嬖诘?,最早的HUD需要有一個(gè)單獨(dú)的屏幕來(lái)輔助信息呈現(xiàn),被稱為C-HUD;而進(jìn)階的HUD則去掉了這塊屏幕,直接將信息顯示在風(fēng)窗玻璃上,被稱為W-HUD。AR HUD其實(shí)也還是將信息投射到風(fēng)窗玻璃上,不同之處在于其投射的內(nèi)容與位置會(huì)與現(xiàn)實(shí)環(huán)境相結(jié)合,顯示的范圍也不局限在某一處,而是擴(kuò)展到整個(gè)風(fēng)窗玻璃,從本質(zhì)上來(lái)說(shuō),AR HUD是信息顯示與駕駛輔助技術(shù)的結(jié)合。
從現(xiàn)階段各家企業(yè)的概念開(kāi)發(fā)展示來(lái)看,AR HUD顯示的信息依然是駕駛?cè)俗钚枰⒁獾膬?nèi)容,包括導(dǎo)航路徑規(guī)劃與指示、其他道路使用者(包括車(chē)輛、行人、騎行者等)提示等。如果要往更遠(yuǎn)暢想的話,未來(lái)也可能作為人機(jī)交互的進(jìn)階方式,比如通過(guò)AR HUD的方式顯示周邊車(chē)輛和建筑的信息,又或者是交通燈與標(biāo)志的指示燈。相比傳統(tǒng)的C-HUD與W-HUD,AR HUD顯示的范圍更大,距離更遠(yuǎn)。AR HUD可以讓駕駛?cè)藥缀醪挥玫皖^看,低頭的角度可以調(diào)整到1°以內(nèi)。
AR HUD要怎么實(shí)現(xiàn)呢?圖5所示為使用全息膜方式的AR HUD。所謂全息膜,是一種透明的顯像元件,能夠在顯像的同時(shí)讓人看到其背后的景物。那么。如果不用全息膜這種“便捷”的方式,如何實(shí)現(xiàn)AR HUD呢?其實(shí)可以反推一下。要在路面上顯示指示箭頭,系統(tǒng)首先需要知道路口在哪里,車(chē)輛與路口之間還有多遠(yuǎn)的距離,在什么時(shí)候顯示出這個(gè)信息比較方便??傮w來(lái)說(shuō),要解決什么時(shí)候在什么位置顯示哪一類信息的問(wèn)題,因此環(huán)境建模是必須的,系統(tǒng)必須要知道周?chē)h(huán)境是什么樣子,再根據(jù)周?chē)h(huán)境決定顯示哪一類信息,然后還要處理好顯示出來(lái)的信息是否與環(huán)境貼合的問(wèn)題,更進(jìn)一步,還要知道駕駛?cè)嗽诳茨膬海缓蟾鶕?jù)駕駛?cè)怂吹奈恢萌ワ@示對(duì)應(yīng)的信息,因此AR HUD涉及到的技術(shù)包括環(huán)境建模(傳感器、算法、芯片)、信息顯示(光學(xué)元件、算法)和駕駛?cè)搜矍蜃粉櫟取?/p>
為實(shí)現(xiàn)人車(chē)新對(duì)話形式,國(guó)際汽車(chē)零部件供應(yīng)商大陸集團(tuán)開(kāi)發(fā)出增強(qiáng)現(xiàn)實(shí)抬頭顯示器(AR-HUD)。該增強(qiáng)現(xiàn)實(shí)抬頭顯示器通過(guò)內(nèi)部特殊設(shè)計(jì)的光學(xué)系統(tǒng)將圖像信息精確地結(jié)合于實(shí)際交通路況中,從而擴(kuò)展了或者說(shuō)增強(qiáng)了駕駛?cè)藢?duì)于實(shí)際駕駛環(huán)境的感知。因此,AR-HUD技術(shù)極有可能成為汽車(chē)人機(jī)界面(HMI)最具創(chuàng)新性的發(fā)展方向。大陸集團(tuán)的AR-HUD可以實(shí)現(xiàn)由2個(gè)不同投影距離產(chǎn)生的投影面,也被稱為近投影或狀態(tài)投影面和遠(yuǎn)投影或增強(qiáng)投影面(圖6)。近投影出現(xiàn)在駕駛?cè)饲胺降陌l(fā)動(dòng)機(jī)罩末端,能夠顯示駕駛?cè)怂x的狀態(tài)信息,如即時(shí)速度、有效距離限制(如禁止超車(chē)和限速)或ACC當(dāng)前設(shè)置等。如要查看這些信息,駕駛?cè)酥恍枭陨詫⒁暰€下調(diào)約6°即可,狀態(tài)投影信息的視域尺寸為5°×1°(相當(dāng)于210 mm×42 mm),投影距離為2.4 m,相當(dāng)于傳統(tǒng)抬頭顯示器的虛擬圖像。AR-HUD中的主角是增強(qiáng)投影面,它的投影距離在駕駛?cè)饲胺?.5 m,可將增強(qiáng)的顯示符號(hào)直接投射在道路上,與當(dāng)前交通狀況相融合。在大多數(shù)交通情況下,用7.5 m遠(yuǎn)投影面直接在行駛道路上增強(qiáng)內(nèi)容,而2.4 m近投影面則用于顯示狀態(tài)信息。
圖4 HUD系統(tǒng)的基本原理
圖5 使用全息膜方式的AR HUD
圖6 大陸集團(tuán)的AR-HUD可實(shí)現(xiàn)由2個(gè)不同投影距離產(chǎn)生的投影面
“你想用HUD做什么?”很多駕駛?cè)说幕卮鹗恰跋M鸋UD在導(dǎo)航時(shí)可以直接將箭頭畫(huà)在道路上,而不是告知在第幾個(gè)出口駛出!”在很多知名汽車(chē)品牌,如寶馬、現(xiàn)代等發(fā)布的未來(lái)概念片中都出現(xiàn)過(guò)AR(增強(qiáng)現(xiàn)實(shí))導(dǎo)航,從駕駛?cè)说囊暯莵?lái)看,就是將導(dǎo)航箭頭等提示直接“放在”路上(圖7),使駕駛?cè)嗽陂_(kāi)車(chē)時(shí)不用低頭,直接可以在車(chē)窗上看到各項(xiàng)導(dǎo)航信息和運(yùn)行數(shù)據(jù),還可以進(jìn)行例如接聽(tīng)電話、回復(fù)信息等操作。
瑞士高科技公司W(wǎng)ayRay還推出了世界上第一個(gè)真正的增強(qiáng)現(xiàn)實(shí)汽車(chē)導(dǎo)航系統(tǒng)NAVION。NAVION安裝在汽車(chē)儀表盤(pán)上,可以指示行車(chē)方向、行程細(xì)節(jié),并顯示例如行人、興趣點(diǎn)(POI)或駕駛?cè)吮仨毩私獾那胺降缆飞系奈kU(xiǎn)情況實(shí)時(shí)提醒信息,而無(wú)需使用頭戴設(shè)備或眼部設(shè)備。NAVION還能以免提模式工作,幫助駕駛?cè)税踩竭_(dá)目的地,并可以對(duì)簡(jiǎn)單的語(yǔ)音命令或獨(dú)特的手勢(shì)做出響應(yīng)。
英國(guó)公司 Blippar最新發(fā)布了一款A(yù)R導(dǎo)航應(yīng)用——AR City。該應(yīng)用涉及到AR和計(jì)算機(jī)視覺(jué)技術(shù),可幫助用戶導(dǎo)航全球300多個(gè)城市,顯示的信息包括街道名字、建筑物名稱和當(dāng)?shù)氐娘L(fēng)景名勝點(diǎn),也就是說(shuō),當(dāng)駕駛?cè)朔植磺鍠|南西北時(shí),可以通過(guò)AR City得知身邊建筑物的名稱,跟傳統(tǒng)的路線導(dǎo)航相結(jié)合,會(huì)更清晰地看到自己所走的方向。Blippar講到AR City可實(shí)現(xiàn)的功能包括3個(gè)方面:一是基本的AR導(dǎo)航,在AR模式下道路信息顯示;二是豐富的地圖內(nèi)容,用戶所處位置的AR信息顯示,如用戶所在的街道、風(fēng)景名勝等;三是城市視覺(jué)定位(Urban Visual Positioning,UVP),通過(guò)計(jì)算機(jī)視覺(jué)可識(shí)別、定位和判斷方向信息。特別是,在一些選定的地方,可將城市視覺(jué)定位與AR結(jié)合,可實(shí)現(xiàn)比GPS(全球定位系統(tǒng))更精準(zhǔn)的定位,用戶拿著手機(jī)對(duì)準(zhǔn)身邊的建筑物,即可實(shí)時(shí)呈現(xiàn)該建筑物的名字(圖8)。未來(lái)AR City想要實(shí)現(xiàn)的功能如圖9所示。
圖7 導(dǎo)航信息直接顯示在路面上
圖8 手機(jī)上顯示出建筑物的名稱
圖9 未來(lái)AR City想要實(shí)現(xiàn)的功能
除了在對(duì)開(kāi)式車(chē)門(mén)車(chē)身上,A柱、B柱、C柱是保證安全必不可少的存在。但A柱在行車(chē)中造成的駕駛?cè)艘曈X(jué)盲區(qū),又成了行車(chē)安全的最大隱患。而如果讓A柱隱身不見(jiàn),會(huì)是怎樣一番景象?捷豹路虎的360 Virtual Urban Windscreen(360°虛擬城市風(fēng)擋)便利用AR技術(shù),讓A柱處于透明狀態(tài),從而極大減少駕駛?cè)说囊曇懊^(qū)。簡(jiǎn)單來(lái)說(shuō),捷豹路虎借助汽車(chē)外部攝像頭來(lái)捕獲實(shí)時(shí)視頻流,并將視頻信息通過(guò)嵌入在A柱中的顯示屏呈現(xiàn)給用戶(圖10),如此一來(lái),駕駛?cè)吮隳芸吹皆居善?chē)A柱造成的視野盲區(qū)。捷豹路虎表示,這項(xiàng)技術(shù)能讓駕駛?cè)丝辞迤?chē)周?chē)啡恕ⅡT行者、其他汽車(chē)。有趣的是,A柱顯示屏默認(rèn)為關(guān)閉,當(dāng)駕駛?cè)宿D(zhuǎn)頭看向汽車(chē)一側(cè)時(shí),系統(tǒng)會(huì)自動(dòng)讓相應(yīng)的A柱變?yōu)橥该鳡顟B(tài),也就是該公司所宣稱的“在恰當(dāng)?shù)臅r(shí)間給駕駛?cè)饲‘?dāng)?shù)男畔?。”此外?60 Virtual Urban Windscreen 還能與云端結(jié)合,A柱顯示屏可以展示附近可用的停車(chē)位數(shù)量或是加油站燃油價(jià)格等信息。捷豹路虎希望將所有駕駛所需的外部信息都展示在駕駛?cè)饲胺降奶ь^顯示屏上,如此一來(lái),駕駛?cè)说囊暰€就不會(huì)離開(kāi)路面,從而大大提高行車(chē)安全性?;谙嗤脑恚粌HA柱,B柱、C柱一樣可以變?yōu)橥该鳡顟B(tài)。
此外,捷豹路虎還有一項(xiàng)名為Follow-Me Ghost Car Navigation的技術(shù)(圖11),該技術(shù)在風(fēng)窗玻璃上可以展示虛擬的汽車(chē),以方便駕駛?cè)烁?chē)行駛,達(dá)到導(dǎo)航的作用。
圖10 捷豹路虎的360虛擬城市擋風(fēng)
圖11 Follow-Me Ghost Car Navigation的技術(shù)