增強現(xiàn)實中的空間深度感知問題

陳東義

多年來，對頭戴式增強現(xiàn)實（AR）的研究得到了諸如手持式AR和投影攝像機系統(tǒng)等新平臺研究的補充。隨著手機應(yīng)用的快速發(fā)展，AR應(yīng)用概念已逐漸成為市場新興增長點。然而，研究人員和從業(yè)者仍在嘗試解決AR設(shè)計開發(fā)中的許多根本問題。目前，眾多研究人員正在解決由跟蹤注冊算法引起的定位精度問題，但在AR應(yīng)用中正確地感知仍然是AR應(yīng)用中的一個關(guān)鍵挑戰(zhàn)。這些障礙可以追溯到增強顯示中相互關(guān)聯(lián)的深度感知和照明感知問題，或是與環(huán)境感知有關(guān)的問題。這些問題均可能會導致場景感知失真和深度感知失真的情況。雖然其中的一些問題源于技術(shù)限制，然而許多是由于有限的理解或顯示信息方法的不足所造成的。

感覺刺激的識別和解釋是一個復雜的構(gòu)造過程。我們經(jīng)常從觀察到的環(huán)境中獲得不同的線索，并嘗試匹配那些線索。線索提示可以是互相重疊，或者是互相沖突的。其中重要的是，不正確的感知通常是線索提示沖突的結(jié)果。在文中，我們僅關(guān)注與視覺感知相關(guān)的問題，而忽略與其他感知的相互作用。感知問題涉及對生成的虛擬世界以及現(xiàn)實世界在觀察和解釋時出現(xiàn)的一些問題，不僅可能由真實信息和虛擬信息的組合引起，也可能源自于現(xiàn)實世界本身的表現(xiàn)。

針對深度感知失真的問題，目前的研究大多是針對深度相關(guān)線索進行修正以達到增強的目的。Christoph等人[1]通過增加景深和選擇性的局部對比度提升來對單目深度線索進行增強。Athena等人[2]指出運動視差等動態(tài)透視線索能夠提升深度感知。Chiuhsiang等人[3]調(diào)查了使用立體眼鏡觀看近場增強現(xiàn)實虛擬目標的中心距離感知精度，指出當目標是垂直放置，靠近觀察者位置并且目標間隔較小時精度會有提高。Ernst等人[4]詳細探討了增強現(xiàn)實應(yīng)用過程中與感知相關(guān)的問題，并按各種感知類別給出了總結(jié)。Chen等人[5]給出了一種感知導向的深度線索增強方法，該方法展示了一種非線性視差映射，能增加觀察者關(guān)注的深度范圍。劉自強[6]研究了增強現(xiàn)實中深度一致性問題，并提出了一種基于雙目攝像機的深度計算方法來解決深度一致性問題。鄭毅[7]則介紹了增強現(xiàn)實應(yīng)用中存在的虛實遮擋問題。相比前述工作，文中我們提供了一種感知問題分類方法，將信息增強作為一個感知理解管道從而對各個環(huán)節(jié)分別組織闡述，圖1給出了感知理解管道中存在的影響因素的分層關(guān)系。

1 增強現(xiàn)實中感知問題的

來源

我們可以從影響感知的因素入手，了解增強顯示時用戶對內(nèi)容不正確感知的幾個問題。對于某一些任務(wù)，不正確的增強現(xiàn)實感覺可能沒有影響，而對于其他一些任務(wù)，這類問題是至關(guān)重要的。這些問題大致可分為3類：

（1）場景扭曲和抽象。場景增強可能會出現(xiàn)扭曲和部分抽象變形，使得對象識別、尺寸感知、對象分割或?qū)ο髢?nèi)部關(guān)系的感知變得困難。

（2）深度失真和物體排序。與上一個問題相關(guān)，不正確的深度解釋是AR應(yīng)用程序中最常見的感知問題。AR中的深度是指第一人稱視角，視野中的物體與重疊的信息之間在空間關(guān)系上的解釋和相互作用。深度失真和物體排序問題使用戶無法正確地將重疊的信息匹配到現(xiàn)實的世界中。

（3）能見度。用戶可能無法查看內(nèi)容本身，主要是由屏幕問題引起的，例如：屏幕大小、屏幕反射和亮度，或環(huán)境干擾中顏色和紋理圖案。

AR中的目標是將真實世界對象和數(shù)字內(nèi)容之間在感知上正確連接，正確地解釋真實和虛擬對象之間的空間關(guān)系。不正確的深度感知是AR應(yīng)用程序中最常見的感知問題，妨礙了第一人稱視角下視圖中的真實對象與疊加（嵌入）信息之間的空間關(guān)系理解。

1.1 增強疊加

增強是指在光學圖像或視頻圖像上注冊數(shù)字內(nèi)容，并可能因技術(shù)水平限制而產(chǎn)生一系列相關(guān)的深度感知問題。

（1）注冊錯誤。精確注冊依賴于跟蹤設(shè)備的正確定位和方向信息（姿勢）。當前的手機具有相對不精確的位置和方位傳感器，導致跟蹤精度和方向測量存在顯著漂移。所需的跟蹤精度取決于所觀察對象的環(huán)境和距離要求：較低精度跟蹤對于距離較遠的大型環(huán)境中的物體可能是可以接受的，即使產(chǎn)生偏移也不太明顯，而對增強設(shè)備附近物體準確地增強則顯得較為困難。

（2）視覺遮擋。物體視覺上被遮擋。與遮擋相關(guān)的主要問題是前景和背景的分割不正確：需要在特定對象后面呈現(xiàn)對象，而不是出現(xiàn)在特定對象的前面，否則會導致不正確的深度排序，使得對象看起來像它們不屬于當前場景。自AR出現(xiàn)以來，研究人員試圖使遮擋或隱形物體再次可見，主要是利用稱為X射線視覺的疊加顯示技術(shù)，允許用戶通過前面的對象來查看遮擋對象。然而，X射線視覺也容易發(fā)生深度排序問題，因為重疊的順序是相反的。

（3）層間干擾。環(huán)境物體的排列組合模式會限制增強感知和識別。根據(jù)環(huán)境背景和增強后的特征，感知干擾可能發(fā)生在圖形相交或者是視覺合并的地方，并因此導致前景背景的視覺解釋問題。這些特征受到圖案的方向、透明度、密度和規(guī)律性以及使用的顏色方案的影響。另外，前景背景圖案問題與在多層AR系統(tǒng)中發(fā)生的問題有關(guān)，其中多層AR是指多個虛擬對象被渲染在彼此之上。這帶來的問題是容易出現(xiàn)層間干擾，這取決于虛擬對象的數(shù)量及各自的不透明度。一旦層數(shù)太大，對象可能會重疊，這可能會降低環(huán)境增強信息的可讀性。

（4）渲染質(zhì)量。渲染質(zhì)量定義了屏幕上顯示數(shù)字對象的保真度。在保真度和數(shù)字再現(xiàn)圖形中的深度判斷之間沒有發(fā)現(xiàn)直接的關(guān)系。除了渲染質(zhì)量之外，照明可以影響增強物體的保真度及其正確的感知。在分辨率和清晰度之間的差異可能導致不正確的立體感知。

1.2 顯示裝置

顯示裝置向用戶顯示增強的環(huán)境，并且像其他階段一樣可以引起空間感知問題。大多數(shù)問題可能與屏幕相關(guān)聯(lián)，但是還有一些問題來自于處理器和圖形單元。

（1）立體顯示。主要存在于頭戴顯示器（HWD），典型的問題包括實際和預設(shè)瞳孔間距的差異、視力和對比效應(yīng)，對齊和校準問題以及與瞳孔匯聚有關(guān)的問題。然而，當使用HWD來查看完全人工合成的虛擬環(huán)境時出現(xiàn)的一些感知問題可以用AR來減輕。目前來說，立體顯示問題對于手持設(shè)備和投影攝像機系統(tǒng)來說還不重要。endprint

（2）視野角（FOV）。FOV是指可觀察世界的角度。在視頻透視顯示中，F(xiàn)OV顯然限制了現(xiàn)實世界中可以看到多少內(nèi)容。盡管人類視網(wǎng)膜視覺分辨率不到1°，但人類還依賴于非焦點的視力，而有限的FOV使許多視覺任務(wù)變得非常困難。目前研究來看有限的FOV不一定會導致深度估計錯誤。在光學透視和手持設(shè)備中，問題則變得更加復雜，因為信息空間不再是統(tǒng)一的。人類具有超過180°的水平FOV，而視頻透視HWD通常支持30°～100°水平FOV（盡管有些達到近180°）。光學透視顯示器和手持設(shè)備使用相對較小的FOV。在一些光學透視顯示器中，光學器件無框架或被非常薄的框架包圍，用戶可以觀察現(xiàn)實世界中FOV的大部分，而不是重疊的圖形：用戶以正確的尺度看現(xiàn)實世界兩部分。同樣，大多數(shù)手持式視頻瀏覽顯示器允許用戶查看顯示器邊框周圍的真實世界。然而，在這些顯示器中，相機使用的寬FOV鏡頭與顯示器中心的偏移相結(jié)合，通常會在小且不正確縮放的增強視圖中產(chǎn)生明顯感知差異。

（3）角度偏移。HWD是直接放置在眼睛的前方，因此在被觀察的現(xiàn)實世界和被看見的增強顯示之間通常存在相對小的角度偏移。這種偏移還會通過由連接到顯示器的相機引起可能的進一步偏移強化。根據(jù)設(shè)備重量，此角度偏移量可能會隨著時間的推移動態(tài)增加。偏移影響了用戶對增強后真實世界的間接觀察。這種問題也可以稱之為對齊問題，用戶不能很容易地直接看到現(xiàn)實世界中內(nèi)容之間的關(guān)系，以及在屏幕顯示時兩者的比較關(guān)系，這需要用戶經(jīng)歷一個困難的心理旋轉(zhuǎn)和縮放適應(yīng)過程。另外，相機相對于顯示器的角度和放置位置可能會使視角偏移進一步出現(xiàn)惡化。

（4）顯示屬性。當與環(huán)境光混合時，顯示亮度和對比度會影響內(nèi)容的可視性。顯示亮度是指顯示器的亮度，大約在250～500燭光/平方米（cd/m2）之間變化。對比度可以由顯示能夠產(chǎn)生的最亮顏色（白色）的亮度與最暗顏色（黑色）的亮度的比率來表示。特別是在戶外應(yīng)用中，由于環(huán)境光的影響，顯示器對比度受到很大限制，環(huán)境光將降低顯示屏的對比度，這導致人類視覺系統(tǒng)無法區(qū)分更細微的顏色。

（5）色彩保真。在AR中，色彩保真度是指現(xiàn)實世界與屏幕上顯示的顏色相似度。而在打印介質(zhì)中，不同設(shè)備的顏色表示之間存在標準轉(zhuǎn)換，目前的做法通常不涉及采樣的真實世界顏色之間的映射。色彩空間轉(zhuǎn)換使用色域映射方法將顏色轉(zhuǎn)換為可在給定設(shè)備上顯示的范圍。自然色彩的全系列不能忠實地表現(xiàn)在現(xiàn)有的顯示器上，特別是不能再現(xiàn)高度飽和的色彩。這可能扭曲基于顏色的感知線索，并影響對顏色編碼信息的解釋。戶外環(huán)境中的色彩保真度是一個非常復雜的問題。更改戶外條件會影響光學透視顯示器，因為在視頻透視顯示器中，現(xiàn)實世界和重疊式顯示在相同的色域中。在投影機相機系統(tǒng)中，投影面上的紋理變化可能會干擾色彩表現(xiàn)。

（6）鏡面反射。反射是擾亂AR內(nèi)容感知最重要的影響因素。在HWD中，閃亮的物體可能會擾亂感知。在具有暴露屏幕的手持AR系統(tǒng)中，內(nèi)容可能幾乎看不見，這通常取決于環(huán)境條件，例如朝向太陽或人造燈的亮度和方向以及被反射的物體之間的相對觀察位置。反射也引入了多個視差平面的問題，因為反射物體通常與屏幕內(nèi)容不同。當內(nèi)容投射在鏡面反射面上時，投影機相機系統(tǒng)中的反射也是一個問題。

（7）系統(tǒng)延遲。延遲涉及捕獲或顯示內(nèi)容的延遲，并且直接取決于顯示設(shè)備能夠產(chǎn)生的每秒幀數(shù)。大多數(shù)情況下取決于處理器和圖形卡的性能，并與內(nèi)容的復雜性直接相關(guān)。硬件性能可能會影響內(nèi)容的捕獲和渲染質(zhì)量。延遲包括動態(tài)注冊延遲、相機圖像更新和渲染覆蓋延遲。延遲影響用戶與內(nèi)容的直接互動。延遲對正在觀看的內(nèi)容的感知影響較小，例如：許多AR應(yīng)用程序涉及靜態(tài)或至少緩慢變化的內(nèi)容，渲染速度對這類內(nèi)容影響程度較小。依賴于快速圖形生成（如游戲）或依賴于重疊圖形的靈巧運動類應(yīng)用程序的可用性也存在受到延遲引起的感知限制的影響。

1.3 用戶感知

用戶是感知流水線的最后階段，受到各種平臺的不同影響。

（1）個人差異。在顯示屏幕上呈現(xiàn)的數(shù)字內(nèi)容的最終感知受到用戶之間個體差異的高度影響。這些差異可能需要對我們表示信息的方式進行明顯的修改，例如圖標或文本。個體差異體現(xiàn)在用戶感知細節(jié)的能力，包括眼睛視力、色覺能力和空間分辨能力等差異。

（2）深度提示。深度線索在解釋增強內(nèi)容中起著至關(guān)重要的作用。圖形深度線索是圖像中的特征，給人以物體的不同深度的印象。這些線索包括遮擋、視野中的高度、相對尺寸、空中視角、相對密度、相對亮度和陰影。動態(tài)深度提示可以通過視點位置動態(tài)變化而獲得深度信息，例如相對運動視差和運動視角。生理深度提示來自眼睛的肌肉控制系統(tǒng)，包括會聚（相反方向的眼睛旋轉(zhuǎn)以固定在一定深度）、調(diào)焦（通過改變眼睛的晶狀體形狀來抵消模糊）和瞳孔直徑（通過改變眼睛的景深來抵消模糊，但是也受環(huán)境照明水平的影響）。最后，雙目視差通過組合由眼睛提供的場景的兩個水平偏移視圖來提供深度線索。在所有這些深度線索中，遮擋是最主要的，這驅(qū)動了AR中最普遍的深度提示問題：空間距離上不正確的深度排序。當只有有限數(shù)量的深度線索可用時，這個問題變得更加成問題，這可能導致物體深度不足，甚至出現(xiàn)矛盾。

（3）視差平面?，F(xiàn)實世界和虛擬物體都會有不同的雙目差異，并導致與視差平面和視差區(qū)域相關(guān)的知覺問題。在雙視AR系統(tǒng)的中，經(jīng)常會出現(xiàn)深度差異：增強信息存在于一個區(qū)域，而現(xiàn)實世界存在另一個區(qū)域。由于這些區(qū)域處于不同的焦點深度，所以用戶可能需要在這些區(qū)域之間持續(xù)地切換其聚焦（眼睛旋轉(zhuǎn)）來比較內(nèi)容，或者因為注意力被吸引到其他區(qū)域。此外，在HWD中，在視錐的前平面中呈現(xiàn)的用戶界面元素與實際AR內(nèi)容之間可能存在深度偏移。當用戶經(jīng)常需要使用界面時，會導致這些不同深度平面之間的定期切換，這將導致視覺疲勞。

（4）瞳孔調(diào)節(jié)。立體顯示器的用戶通常會遇到所謂的會聚調(diào)節(jié)沖突。當眼睛收斂于提供給左眼和右眼兩個空間偏移視圖中的觀察物體時，就會發(fā)生這種沖突。人類視覺系統(tǒng)一般具有容忍這種不匹配的能力，但深度感知會被扭曲。在單視鏡和投影攝像機系統(tǒng)中，所有內(nèi)容都在單一深度平面上顯示和觀看，因此不存在這個問題（以損失會聚調(diào)節(jié)深度線索為代價）。投影機相機系統(tǒng)可能沒有焦平面（差異）問題。然而，由于除激光投影機之外的所有焦點都具有固定的焦點深度，因此不同的多個非連續(xù)深度面將產(chǎn)生深度感知問題。endprint

2 增強現(xiàn)實中感知問題的

解決思路

研究人員提出了各種方法來解決增強現(xiàn)實中感知渠道的問題。在本節(jié)中，我們概述除用戶之外的主要解決思路。

2.1 環(huán)境分析

物體在雜亂場景中的增強通常需要使用一種視覺輔助機制，來對物體進行獨特的增強綁定。具體來說，當增強信息重疊在幾個對象上時，正確的對象布局判斷可以輔助正確的增強疊加，可以使用計算機視覺分析方法來分離前景和背景層。增強也可能需要一些顏色上的拮抗，以避免增強信息與被覆蓋物體的出現(xiàn)視覺融合現(xiàn)象。然而，如果對象顏色發(fā)生改變，則對象和增強信息可能會出現(xiàn)分離的情況。

2.2 捕獲設(shè)備

捕獲受到鏡頭和攝像機參數(shù)兩者的限制。然而，解決由鏡頭引起的問題通常很困難，目前只有少數(shù)解決方案存在。對于廣角鏡頭，觀察者不一定會注意到廣角引入的扭曲，而雙重視圖條件下真實世界的視圖可以糾正包括由低分辨率引起的線索提示之間的潛在沖突。然而，雙重觀圖的情況會增加視差平面切換和認知負荷，并且當對象快速移動時無效。

2.3 增強提示

對于與遮擋對象相關(guān)的問題，大多數(shù)研究人員通過避免對象裁剪來糾正深度排序問題。此外，已經(jīng)出現(xiàn)了許多技術(shù)能夠改善被遮擋對象的X射線可視化。正確的光照渲染也有助于與遮擋物體相關(guān)的深度排序，例如使用陰影信息能夠提供重要的深度提示。正確的光照渲染也可以使場景深度更加可信，防止增強的虛擬物體看起來像一個突兀的平面模型。此外，可以使用諸如網(wǎng)格或深度標簽（距離指示器）的人造深度提示來直接向用戶提供深度線索判別。

2.4 顯示設(shè)備

目前的顯示技術(shù)水平不斷提高，預計將出現(xiàn)新的顯示技術(shù)，以更好地應(yīng)對亮度和對比度問題。盡管顯示內(nèi)容在陽光充足的條件下還難以清晰呈現(xiàn)，但目前顯示技術(shù)經(jīng)常使用背光和抗反射涂層使內(nèi)容更加可見?？梢酝ㄟ^增加涂層來最小化反射光，但這也可能降低屏幕的亮度。類似地，在HWD殼體的內(nèi)部應(yīng)避免設(shè)計反射表面。匹配環(huán)境光照的動態(tài)范圍同樣是一個問題。飛機中使用的平視顯示器可以匹配該動態(tài)范圍，并且基于激光的顯示技術(shù)具有匹配該動態(tài)范圍的應(yīng)用潛力，但是目前還沒有被廣泛使用。

3 結(jié)束語

文章中，我們概述了主流AR平臺上影響用戶正確感知增強信息的主要問題來源，特別是影響空間深度感知的一些因素?？偠灾?，除去對內(nèi)容主體增強，如何使用戶在感知上也獲得正確的增強仍然是一個困難的問題，并對AR平臺的用戶體驗構(gòu)成了潛在困擾。從技術(shù)和方法看，還有很大的改進空間。由于涉及到人的主觀感受，通過改進的硬件和軟件來實現(xiàn)感知正確的增強是非常具有挑戰(zhàn)性的研究方向。相關(guān)技術(shù)平臺開發(fā)也是未來研究的基礎(chǔ)方向。endprint