視網(wǎng)膜投影顯示技術(shù)研究進(jìn)展

張 旭，王 梓，*，屠科鋒，陳 濤，龐煜劍，呂國強，馮奇斌

（1. 合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院，安徽 合肥230009；2. 合肥工業(yè)大學(xué) 特種顯示國家工程實驗室，光電技術(shù)研究院，安徽 合肥230009）

1 引 言

近眼顯示器（Near eye display，NED）或頭戴顯示器（Head mounted display，HMD）［1-3］作為實現(xiàn)虛擬現(xiàn)實（Virtual reality，VR）［4］和增強現(xiàn)實（Augmented Reality，AR）［5-6］并提供沉浸式和交互式體驗的基本設(shè)備，受到了研究者們的廣泛關(guān)注。目前，NED 面臨的一個關(guān)鍵問題是輻輳-聚焦沖突，用戶長時間觀看會導(dǎo)致眼睛疲勞和不適［7］。視網(wǎng)膜投影顯示（Retinal projection displays，RPD）技術(shù)具有全景聚焦（Always in focus）的圖像特征，自然化解了輻輳-聚焦沖突，是近眼顯示領(lǐng)域的研究熱點之一。

RPD 這一概念最早出現(xiàn)在1860 年物理學(xué)家麥克斯韋所做的一個實驗中［8］。他將光源通過透鏡直接成像在瞳孔中，由此觀察到透鏡被光線均勻地照明。這種將光源成像在瞳孔中的方法被稱為麥克斯韋觀察法（Maxwellian viewing）。1980 年，Webb 等人設(shè)計了一種掃描激光檢眼鏡，將二維掃描激光束通過瞳孔直接投射到視網(wǎng)膜上，并探測返回的光強來檢查眼底的情況［9］。這種技術(shù)已經(jīng)被廣泛運用在眼科檢查中。在此基礎(chǔ)上，Kollin 等人加入圖像源，開發(fā)了第一款RPD 顯示器原 型［10］。隨 后，RPD 技 術(shù) 開 始 受 到 企 業(yè) 界 的關(guān)注。

2010 年，日本Brother 公司在世博會上展示了一 款RPD 眼鏡終端AirScouter［11］，能夠提供單目AR 顯示，視場角為20°（H）×11.4°（V）。2014 年，Avegant 公司發(fā)布一款具有立體影像視覺的雙目RPD VR 觀 影 設(shè) 備Glyph［12］。2018 年，加 拿 大 創(chuàng)業(yè)公司North 發(fā)布一款基于激光光束掃描（Laser beam scanning，LBS）的RPD AR 眼鏡Focals，該眼鏡可以在約15°的視場范圍內(nèi)提供300×300 分辨率的圖像。微軟則在2017 年展示了視場角高達(dá)80°的RPD AR 眼鏡樣機［13］。

由于RPD 無輻輳-聚焦沖突、高光效、大視場等優(yōu)點，國內(nèi)外學(xué)者近年來開展了大量的研究，并且出現(xiàn)了采用全息波前調(diào)控的新型RPD顯示方法。本文將從原理、分類等方面對其研究進(jìn)展進(jìn)行概述，并對RPD 技術(shù)的發(fā)展進(jìn)行了展望。

2 RPD 原理

圖1 為傳統(tǒng)RPD 的基本原理圖。在圖1（a）中，點光源經(jīng)透鏡準(zhǔn)直后，平行照射空間光調(diào)制器（Spatial light modulator，SLM）加載數(shù)字圖像信息，經(jīng)目鏡在人眼瞳孔處匯聚成光點，直接投射到人眼視網(wǎng)膜上成像，而不受人眼調(diào)焦的影響。平行光源在瞳孔處的成像產(chǎn)生了小于瞳孔直徑的出瞳孔徑，大幅增加了近眼顯示系統(tǒng)的景深，且可以通過添加光闌進(jìn)一步增加系統(tǒng)景深。人眼成像景深范圍Δl［14］：

其中δ為視網(wǎng)膜最小分辨尺寸，f為人眼等效焦距，l為人眼聚焦面深度，d為瞳孔處的系統(tǒng)出瞳孔徑大小?？梢?，RPD 的大景深特征來源于小出瞳孔徑。

圖1（b）是另一種采用LBS 方式的RPD 顯示原理［15］。微機電系統(tǒng)（Micro-Electro-Mechanical System，MEMS）掃描鏡對激光束做二維方向的掃描偏轉(zhuǎn)，同時對激光束的強度進(jìn)行同步調(diào)制，加載圖像信息，實現(xiàn)激光束掃描投影。再通過目鏡在人眼瞳孔處匯聚成光點，實現(xiàn)視網(wǎng)膜投影顯示。LBS 方式利用激光的高準(zhǔn)直性實現(xiàn)小出瞳孔徑，與圖1（a）中的被動式光機相比，是一種主動式的顯示方法。

圖1 視網(wǎng)膜投影原理。（a）基于SLM 的視網(wǎng)膜投影顯示；（b）基于LBS 的視網(wǎng)膜投影顯示。Fig. 1 Principle of RPD.（a）RPD based on SLM；（b）RPD based on LBS.

與傳統(tǒng)直視式顯示相比，RPD 將圖像源直接成像到人眼瞳孔中的獨特原理造就了諸多優(yōu)勢。第一，RPD 將近乎所有的光都匯聚到人眼中，因此系統(tǒng)光效很高，特別適合于戶外使用。第二，通過增加目鏡的數(shù)值孔徑可以直接獲得大視場的近眼顯示。第三，RPD 的全景聚焦特征自然化解了近眼顯示存在的輻輳-聚焦沖突，可以實現(xiàn)無視疲勞的AR 近眼顯示。在某些AR 應(yīng)用如車輛輔助駕駛上，駕駛員雙眼對焦在車外不同距離處時均可看清虛擬圖像，避免了在車外路況與虛擬圖像之間來回對焦引發(fā)的風(fēng)險，增加了駕駛安全性。

RPD 的景深與SLM 像素間距及圖像頻譜相關(guān)。如圖1（a）所示，SLM 放置于目鏡的前焦面上，則瞳孔位于SLM 的頻譜面上。假設(shè)某一像素處的圖像空間頻率為ν，則其光束發(fā)散角為2 sin-1(λυ)，在瞳孔處所產(chǎn)生的光束寬度為2fsin-1(λυ)，f為目鏡焦距?？梢姰?dāng)SLM 像素間距越小，圖像高頻成分越豐富，則產(chǎn)生的光束寬度越大，RPD 的景深則越小。通?？梢栽谌搜弁滋帲搭l譜面）添加小孔或增加單獨的濾波系統(tǒng)來限制光束寬度，增加景深，但是同時會濾除圖像高頻信息，造成圖像質(zhì)量下降。因此RPD 存在景深-圖像質(zhì)量之間的權(quán)衡問題。

由于光線被匯聚至一點，過小的出瞳（Eyebox）尺寸使得人眼瞳孔必須正好位于光點上時才能接收到圖像，而微小的偏移將導(dǎo)致圖像消失。近眼顯示中，理想的出瞳大小約為8～15 mm［16-17］，因此出瞳拓展是RPD 所要解決的關(guān)鍵問題。圍繞該問題，國內(nèi)外學(xué)者給出了形式多樣的解決方案，主要分為幾何光學(xué)與衍射光學(xué)兩大類。

3 基于幾何光學(xué)的RPD

基于幾何光學(xué)的RPD 通過透鏡等幾何光學(xué)元件，將光束匯聚到人眼瞳孔中，向視網(wǎng)膜直接投射圖像。Yang等人設(shè)計了基于硅基液晶（Liquid crystal on silicon，LCOS）的RPD 系統(tǒng)，利用準(zhǔn)直激光束照射LCOS 后，由透鏡匯聚到人眼瞳孔中［18-19］。Lin 等人采用透鏡將LBS 系統(tǒng)的掃描光束匯聚到人眼瞳孔中，實現(xiàn)30°×22°視場角的RPD 顯示［20］。Zhang 等人在此基礎(chǔ)上實現(xiàn)31.5°視場角的RPD 與光場顯示的結(jié)合［21］。Hyeongkyu等人利用針孔限制微顯示器的成像光束寬度，并利用回反射膜與分光鏡將光束匯聚到瞳孔中［22］。除了傳統(tǒng)二維圖像源，利用全息生成三維圖像源并由透鏡匯聚到人眼中，可以實現(xiàn)具有深度感的RPD 近眼顯示［23-25］。

由于光線被透鏡匯聚至一點，出瞳拓展顯得尤為關(guān)鍵。RPD 的出瞳拓展方法可分為視點復(fù)制和視點轉(zhuǎn)向。視點復(fù)制通過產(chǎn)生多個視點，以覆蓋較大的眼動范圍。如圖2（a）所示，Shrestha等人提出分光鏡陣列方法，使光路多次透反射后形成3×3 個間距為4 mm 的視點陣列來拓展出瞳［26］。這種視點復(fù)制方法簡單有效，但需要格外注意視點間距與瞳孔直徑之間的匹配。如圖3 所示，視點間距小于瞳孔直徑時會導(dǎo)致視點間串?dāng)_，視點間距大于瞳孔直徑時會導(dǎo)致圖像丟失?？紤]到人眼瞳孔直徑隨環(huán)境光強的變化而改變，視點間距的設(shè)計面臨挑戰(zhàn)。此外，視點復(fù)制得越多，每一視點圖像亮度也隨之降低。

圖2 視網(wǎng)膜投影出瞳拓展。（a）分光鏡陣列；（b）機械轉(zhuǎn)向鏡（c）LED 陣列。Fig.2 Eyebox expansion of RPD using beam splitter array（a），steering mirror（b）and LED array（c），respectively.

圖3 （a）視點間距過小導(dǎo)致串?dāng)_；（b）視點間距過大導(dǎo)致圖像丟失。Fig.3 Crosstalk problem with a narrow viewpoint spacing（a）and blank image problem with wide viewpoint spacing（b）in the RPD with multiple viewpoints.

相比之下，如圖2（b）所示，視點轉(zhuǎn)向方法會根據(jù)瞳孔的位置動態(tài)地改變視點的位置。Jang等人采用高速機械轉(zhuǎn)向鏡改變光線傳播方向，從而改變匯聚視點位置［27］。視點轉(zhuǎn)向方法的圖像亮度更高，且無需考慮視點間距與瞳孔直徑的匹配，但是額外的瞳孔追蹤與光線轉(zhuǎn)向設(shè)備也增加了RPD 系統(tǒng)的復(fù)雜性。

如圖2（c）所示，Hedili 等人提出一種發(fā)光二極管（Light-emitting diode ，LED）光源陣列方案來實現(xiàn)視點轉(zhuǎn)向。根據(jù)瞳孔追蹤的信息動態(tài)控制不同位置LED 發(fā)光，以生成瞳孔面不同位置的視點，從而獲得一個14 mm×10 mm 大小的出瞳［28］。

另一方面，LED 光源陣列方案亦可實現(xiàn)視點復(fù)制。Ueno 等人提出一種LED 陣列配合高速SLM 生 成2D 視 點 陣 列 的 方 案［29］。通 過 高 速 切換LED 光源，并同步刷新SLM 上加載的圖像，可以實現(xiàn)視點復(fù)制。該方法的特別之處在于使相鄰視點加載視差圖像并一同進(jìn)入瞳孔，實現(xiàn)附加單目深度線索的超多視點顯示。

4 基于衍射光學(xué)的RPD

采用幾何透鏡不利于光學(xué)系統(tǒng)的減薄，而透鏡全息光學(xué)元件（HOE）作為離軸的光學(xué)組合器，可以較好地解決輕薄化問題［30-32］。如圖4 所示，經(jīng)過光學(xué)干涉制備的透鏡HOE，作為平面光學(xué)元件，同時具備了聚焦與反射的光學(xué)效果。同時由于布拉格光柵的波長選擇性，透鏡HOE 對環(huán)境光的透過率接近100%。利用透鏡HOE 對LBS［33］、LCOS［34］等圖像源光束進(jìn)行匯聚，可以實現(xiàn)結(jié)構(gòu)緊湊、高光效的RPD 系統(tǒng)。

圖4 基于HOE 的RPD。（a）透鏡HOE 對LBS 圖像源光束匯聚；（b）透鏡HOE 對SLM 圖像源光束匯聚。Fig.4 RPD based on HOE.（a）LBS image source beam converged by lens HOE；（b）SLM image source beam converged by lens HOE.

Maimone 等人利用全息方法生成三維圖像源，并開發(fā)了基于HOE 的AR 眼鏡樣機，視場角達(dá) 到80°［13］。Lee 等 人 利 用 可 調(diào) 焦 液 體 透 鏡 配 合透鏡HOE，實現(xiàn)了RPD 與直視式顯示的切換［35］。

與前述幾何透鏡RPD 的出瞳拓展類似，在基于HOE 的RPD 中，如圖5（a）所示，采用透鏡陣列HOE 產(chǎn)生點光源陣列復(fù)制視點［36］，或采用機械偏轉(zhuǎn)鏡偏轉(zhuǎn)視點［37］是常見的出瞳拓展方法。此外，如圖5（b）所示，HOE 的角度復(fù)用特性提供了另一種可能的解決方案，Kim 等人提出將多個匯聚光束記錄到同一個HOE 中，從而將信號光匯聚到出瞳為9 mm×3 mm 的3 個不同視點［38］。

圖5 （a）透鏡陣列HOE 產(chǎn)生的點光源陣列；（b）多個匯聚光束記錄到同一個HOE。Fig.5 （a）Point light array produced by lens array HOE；（b）Multiple converging beams are recorded to a single HOE.

為了消除可能出現(xiàn)的視點間串?dāng)_，Jo 等人設(shè)計了多片HOE 結(jié)構(gòu)，使每片HOE 產(chǎn)生分離的視點，這樣即使多個視點同時進(jìn)入人眼也不會產(chǎn)生串?dāng)_［39］。

Choi 等人采用基于二維針鏡陣列HOE 的薄波導(dǎo)系統(tǒng)，在對RPD 進(jìn)行出瞳拓展的同時，保證了結(jié)構(gòu)的緊湊型［40］。

Wang 等人將周期相同、相位相反的光柵曝光到幾何相位光學(xué)元件（Pancharatnam-Berry optical element）不同區(qū)域，用于將空間光調(diào)制器出射的信號光分離成3 束不同方向的光束，3 束光經(jīng)透鏡匯聚后被HOE 反射，同時進(jìn)入人眼，實現(xiàn)超多視點視網(wǎng)膜投影顯示［41］。

近年來，具備偏振特性的體光柵器件（PVG）或液晶HOE（LCHOE）也被用于實現(xiàn)RPD 的出瞳拓展［42］，如圖6 所示。與傳統(tǒng)HOE 記錄干涉光束的強度不同，由于液晶固有的各向異性特性，PVG對信號光的偏振態(tài)非常敏感。該特性結(jié)合液晶器件的偏振調(diào)制能力，為RPD 系統(tǒng)出瞳拓展提供新的可能。

圖6 （a）反射式PVG；（b）透射式PVG。Fig.6 （a）Reflective PVG；（b）Transmissive PVG.

Xiong 等人利用反射式液晶全息光學(xué)元件（LCHOEs）的偏振選擇特性［43］，通過控制偏振轉(zhuǎn)換器（PC）動態(tài)切換入射光偏振態(tài)可以使得左手性LCHOE 與右手性LCHOE 分別發(fā)揮作用，從而實現(xiàn)RPD 視點位置的動態(tài)切換。

同樣基于偏振選擇性，Yoo 等人利用透射式偏振光柵（PG）器件與偏振轉(zhuǎn)換器動態(tài)切換光束方向，配合HOE 產(chǎn)生兩組可切換的視點，以緩解傳統(tǒng)HOE 復(fù)制視點可能出現(xiàn)的視點串?dāng)_及圖像丟失［44］。Shi 等人則通過調(diào)整兩塊PG 間距來改變視點間距，以適應(yīng)人眼瞳孔大小的變化［45］。另外，為實現(xiàn)出瞳在二維方向的拓展，Lin等人采用兩片幾何相位偏轉(zhuǎn)器（Pancharatnam-Berry deflectors）分別對水平和垂直兩個方向進(jìn)行出瞳拓展［46］。He 等人通過優(yōu)化液晶達(dá)曼光柵衍射級次，獲取3×3 的高均勻度彩色視點陣列［47］。

視點間距與瞳孔直徑匹配，以及眼球的轉(zhuǎn)動要求對視點三維坐標(biāo)、數(shù)量、間距等參數(shù)實現(xiàn)自由、精準(zhǔn)的操控，采用全息波前調(diào)制的方法可以很好地完成這一目標(biāo)。2018 年，Takaki 等人提出一種全新的無透鏡波前調(diào)控全息RPD 方法［14］，將目標(biāo)圖像作為振幅，乘以匯聚球面波相位，再通過菲涅爾衍射并引入?yún)⒖脊飧缮?，得到最終的振幅全息圖，如圖7（a）所示。這種方法摒棄了透鏡的使用，直接通過SLM 波前調(diào)制實現(xiàn)視網(wǎng)膜投影。結(jié)合人眼追蹤，視點三維坐標(biāo)可以通過編碼球面波相位進(jìn)行自由精準(zhǔn)的操控，具有無透鏡像差、高系統(tǒng)自由度等優(yōu)點。全息RPD 的全息圖計算過程十分簡單，對計算資源的需求較低。此外，由于使用球面波相位替代了傳統(tǒng)隨機相位，散斑噪聲得到了較好的抑制。

圖7 （a）全息RPD 原理；（b）采用多球面波編碼的全息視網(wǎng)膜投影出瞳拓展；（c）共軛光項編碼實現(xiàn)全息視網(wǎng)膜投影出瞳拓展。Fig.7 （a）Principle of holographic RPD；（b）Eyebox expansion of holographic RPD using multiple spherical wave encoding method；（c）Eyebox expansion of holographic RPD using conjugate wavefront encoding method.

Wang 等人理論分析了該球面波前方法中存在的景深-圖像質(zhì)量權(quán)衡問題，并提出一種具有不同聚焦特性的平面波前方法［48］。通過將球面波方法和平面波方法有效地結(jié)合，在保證圖像質(zhì)量的同時拓展了景深。

全息RPD 的靈活波前調(diào)控特性可以更為簡單地實現(xiàn)視點復(fù)制。如圖7（b）所示，Chang 等人利用乘上不同方向閃耀光柵的多個球面波相位將光線匯聚到多個視點［49］。Zhang 等人為相位全息圖添加不同平面載波，并由透鏡匯聚到不同視點位置［50］。同時，通過對準(zhǔn)相鄰視點的投射圖像位置，實現(xiàn)了無縫的視點切換。Wang 等人利用振幅全息圖的共軛光來拓展全息RPD 的出瞳［51］。如圖7（c）所示，通過將共軛光項編碼成平面波相位與目標(biāo)圖像的乘積，結(jié)合多平面波編碼，將傳統(tǒng)無用的共軛光干擾轉(zhuǎn)化成視點陣列，實現(xiàn)了雙倍的視點復(fù)制。此外，通過在單張全息圖中編碼三色RPD 波前信息，并利用數(shù)值低通濾波器消除顏色串?dāng)_，可以實現(xiàn)低散斑噪聲的彩色動態(tài)全息RPD 顯示及橫向出瞳拓展［52］。與傳統(tǒng)復(fù)制視點方法不同，全息RPD 利用波前編碼實現(xiàn)光束匯聚、偏轉(zhuǎn)及復(fù)制，可以對視點三維坐標(biāo)、數(shù)量及間距靈活調(diào)控，以完美匹配瞳孔位置及大小的變化，有效解決視點串?dāng)_及圖像丟失問題。

5 結(jié) 論

RPD 近眼顯示具有高光效、大視場等特點，其全景聚焦特征自然化解了輻輳-聚焦沖突，可以實現(xiàn)無視疲勞的AR 近眼顯示。針對出瞳拓展問題，幾何光學(xué)方法常采用點光源陣列與機械偏轉(zhuǎn)鏡等手段實現(xiàn)視點的復(fù)制或偏轉(zhuǎn)，但具備一定的復(fù)雜性。HOE 獨特的角度和偏振復(fù)用特性有助于實現(xiàn)大視場、大出瞳的輕薄化RPD 系統(tǒng)。全息RPD 直接通過SLM 波前調(diào)制實現(xiàn)視網(wǎng)膜投影，可以實現(xiàn)對視點的自由、精準(zhǔn)的操控。但全息RPD 系統(tǒng)的出瞳與視場角仍受到SLM 器件的限制。未來，通過結(jié)合全息波前調(diào)控與HOE 的優(yōu)點，有望實現(xiàn)大視場、大出瞳、高系統(tǒng)自由度的輕薄化RPD 近眼顯示。