基于回返器和反射偏振片的分辨率增強集成成像3D 顯示器

何 偉，李 強，郭兆達，鄧 歡

（四川大學 電子信息學院，四川 成都610065）

1 引 言

3D 顯示能夠真實地再現(xiàn)出物體的深度和視差信息，加強了觀看者對三維物體的立體感知，是人類追求的終極顯示方式。在醫(yī)療診斷、軍事演練、工業(yè)設(shè)計和科學研究等領(lǐng)域有著重要的應(yīng)用價值，不僅能夠帶來視覺沉浸感，更能夠提高工作效率和專注力。但是傳統(tǒng)的裸眼3D 顯示存在輻輳調(diào)節(jié)沖突的問題［1-3］，觀察者長時間注視容易造成眩暈和視覺疲勞等不適感，嚴重影響了觀看體驗。因此，發(fā)展出了基于光場理論［4-5］的真3D 顯示技術(shù)，主要包括全息顯示技術(shù)［6-7］、體3D顯示技術(shù)［8-9］和集成成像顯示技術(shù)［10-12］，通過重構(gòu)出真實場景的光場信息，克服了輻輳調(diào)節(jié)沖突并實現(xiàn)了自然的觀看體驗，從而吸引了研究者的廣泛關(guān)注。集成成像顯示技術(shù)具有結(jié)構(gòu)簡單，不需要相干光源，可以實現(xiàn)真彩色、準連續(xù)視差的3D圖像等優(yōu)點，被認為是最接近市場化的真3D 顯示技術(shù)之一。

盡管集成成像顯示技術(shù)有很多優(yōu)點，但是其顯示性能存在相互制約的關(guān)系［13］，難以突破空間帶寬積的限制。分辨率表征了再現(xiàn)圖像的精細程度，直接影響重構(gòu)3D 圖像的視覺效果。集成成像的觀看分辨率主要由透鏡陣列的空間分辨率［14］和顯示器的分辨率共同決定。隨著現(xiàn)代制造工藝的進步，透鏡的空間分辨率遠大于顯示器的分辨率，因此顯示器的分辨率決定了3D 圖像分辨率的下限。一方面，顯示器的像素尺寸越小，在空間中重構(gòu)出的3D 體素就越小，顯示的內(nèi)容越細致；另一方面，顯示器的像素數(shù)量越多，對應(yīng)的3D 體素就越多，重構(gòu)的3D 圖像越豐富。在提升集成成像3D 圖像分辨率方面，國內(nèi)外學者做了較多的研究。在增加像素數(shù)量方面，康涅狄格大學提出了同步移動記錄和顯示透鏡陣列的方法來增加對顯示器的采樣頻率，進而提高像素數(shù)量［15］。釜慶大學提出在透鏡陣列前面增加一層動態(tài)掩模板，快速切換掩模板的位置，并配合LCD 快速刷新片源，在空間中實現(xiàn)像素點的增加［16］。東京大學設(shè)計了基于多臺投影機的集成成像顯示系統(tǒng)，將兩臺投影機投影的片源通過光路折轉(zhuǎn)系統(tǒng)轉(zhuǎn)移到一個平面，實現(xiàn)像素數(shù)量的倍增［17］。此外，還提出了基于旋轉(zhuǎn)棱鏡片的方法，在透鏡陣列后面增加一個快速旋轉(zhuǎn)的棱鏡陣列，通過時分復用將像素數(shù)量增加到原來的4 倍［18］。此外還有一些通過空分復用或時分復用的方法改變定向背光的方向?qū)崿F(xiàn)點光源的倍增，進而增加3D 圖像的體素［19-22］。上述方法主要通過時分復用或空分復用技術(shù)，或者使用多臺投影系統(tǒng)，來提升像素數(shù)量，對顯示器的刷新率具有較高的要求，存在矯正困難等問題。在減小像素尺寸方面，西安大學通過在商用顯示器上設(shè)計子像素掩模板，通過時分復用實現(xiàn)對子像素的控制，從而減小像素尺寸［23］。臺灣交通大學將顯示器的每個像素分成3 個子像素，實現(xiàn)像素尺寸的減小，并通過相應(yīng)的子像素重組算法生成相應(yīng)的EIA，將分辨率提高為原來的2.41 倍［24］。北京郵電大學設(shè)計了一個分光棱鏡陣列將顯示器上特定的片源發(fā)出光線分成多數(shù)細光線，再將細光束錯位疊加在一起形成更小的像素單元，進而實現(xiàn)分辨率的增強［25］。如何在現(xiàn)有的商用顯示器的基礎(chǔ)上進一步減小像素尺寸并同時增加像素數(shù)量仍是一個挑戰(zhàn)。

本文提出了一種使用回返器和反射偏振片來提高集成成像分辨率的方法。該方法通過偏振復用技術(shù)將EIA 光線在空間中分離，并錯位疊加形成高密度小像素點的高分辨率EIA，并通過像素索引關(guān)系反向計算出顯示器上EIA 的像素值用作顯示片源。該方法可根據(jù)顯示器的參數(shù)靈活地調(diào)整片源的錯位距離來匹配各種顯示器尺寸，不需要復雜的機械運動和投影矯正，可有效減小像素尺寸并增加像素數(shù)量，突破2D 顯示屏的分辨率限制，實現(xiàn)3D 圖像分辨率的提升。

2 結(jié)構(gòu)原理及片源生成方法

2.1 系統(tǒng)結(jié)構(gòu)原理

本文提出了基于回返器和反射型偏振片的高分辨率集成成像顯示裝置。裝置結(jié)構(gòu)和實際光路的俯視圖如圖1 所示，主要由2D 顯示器、反射型偏振片、四分之一波片、回返器和透鏡陣列組成，XY平面平行俯視平面，Z軸垂直XY平面。2D 顯示器在XZ面內(nèi)以45°角放置，其像素對角線平行于X軸方向，反射型偏振片反射S 光透射P光，其垂直于XY面，并與X軸成45°夾角。平板顯示器發(fā)出的光線經(jīng)過反射型偏振片1，被分成透射光路和反射光路，如圖1（a）中紅色箭頭所示。在反射光路中，四分之一波片1 的光軸與S偏振光的振動方向成45°，S 偏振光經(jīng)過四分之一波片1 后變成左旋圓偏振光（left-hand circularly polarization，LCP），并向回返器1 方向傳播。回返器由角錐棱鏡陣列構(gòu)成，如圖1（b）所示，每個角錐棱鏡由3 個相互正交的反射面組成，入射光線在3 個反射面上依次反射，最后出射光線沿原入射光方向原路返回。由于每個角錐棱鏡的尺寸為微米級，出射光線和入射光線的位置誤差相對于像素尺寸來說可以忽略。由于入射光在回返器里面反射3 次，存在半波損失，左旋圓偏振光變成右旋圓偏振光（right-hand circularly polarization，RCP），再次經(jīng)過四分之一波片1 后變成P 偏振光。P 偏振光透過兩個反射型偏振片在顯示器關(guān)于反射型偏振片1 對稱的位置上形成P 偏振分量的EIA；同理，在透射光路中，P 偏振光經(jīng)過四分之一波片2 和回返器2 變成S 偏振光，再由反射型偏振片2 反射，在顯示器關(guān)于反射型偏振片2 對稱的位置形成S 偏振分量的EIA。P偏振分量和S 偏振分量EIA 將錯位疊加，如圖1（c）所示，圖中的每個小方格的長度是像素對角線的長度，為其中d是像素節(jié)距。P 偏振分量EIA 由顯示屏光線先被反射偏振片1 反射，再透過間距為Δt的兩個反射偏振片產(chǎn)生，如綠色光線所示。而S 偏振分量EIA 由顯示器光線先透過兩個反射偏振片，再由反射偏振片2 反射而產(chǎn)生，如藍色光線所示。P 偏振分量EIA 和S 偏振分量EIA 沿對角線方向存在Δr的位移，其中通過控制兩個反射偏振片的垂直間距Δt為（1/2）d，使得兩個偏振EIA 沿對角線方向的相對位移Δr為，分解到水平和豎直方向上的相對位移均為1/2 個像素，疊加之后的像素尺寸為原來的1/4，從而形成尺寸更小、密度更高的像素點。經(jīng)過透鏡陣列實現(xiàn)光線的方向性調(diào)制，最終在空間中重構(gòu)出尺寸更小數(shù)量更多的體素，從而提高3D 圖像的分辨率。

圖1 所提出分辨率增強集成成像系統(tǒng)的結(jié)構(gòu)圖Fig.1 Structure diagram of the proposed resolution-enhanced integral imaging system

2.2 EIA 生成方法

為了能夠正確重建出3D 圖像，需要根據(jù)疊加后的高分辨率EIA 和偏振EIA 之間的像素關(guān)系，反向計算出偏振EIA 的像素值。兩個偏振EIA 的像素與高分辨率EIA 的像素索引關(guān)系如圖2 所示，假設(shè)平板顯示器的像素數(shù)為n×n，經(jīng)過反射型偏振片分離出的灰度值相同的兩個偏振EIA，像素數(shù)均為n×n，并在水平和豎直方向上均有 半 個 像 素 的 相 對 位 移。S（i，j）和P（i，j）分 別 代 表S 偏 振EIA 和P 偏 振EIA 的 像 素 值，下 標i和j是兩個偏振EIA 的坐標索引。P 偏振EIA 的每個像素都與S 偏振EIA 上坐標相鄰的4 個像素疊加，形成4 個更小的像素。因此，高分辨率EIA 的像素值H（u，v）和兩個偏振EIA 的像素關(guān)系可用公式（1）表示：

圖2 像素索引關(guān)系Fig.2 Relationship of the pixel index

其中：u和v是高分辨率EIA 的坐標索引，根據(jù)公式（1）可 知，P（i，j）與S（i，j），S（i+1，j），S（i，j+1）和S（i+1，j+1）4 個像素疊加形成新的4 個小像素，因此，疊加后的像素總數(shù)為4n2-4n+1，接近顯示屏像素數(shù)的4 倍。為 了 能 夠 疊 加 形 成 目 標 高 分 辨 率H（u，v），需 要計算出偏 振EIA 的像素值，根 據(jù)H（u，v）與S（i，j）和P（i，j）的 像 素 索 引 關(guān) 系，可 以 反 向 計 算 出S（i，j）或P（i，j）的像素值。由于反射偏振片對光線亮度有一半 的 損 失，反 向 計 算 出 的S（i，j）或P（i，j）的 像 素 值 需乘以2 倍，即獲得顯示屏上待顯示的EIA。

3 實驗驗證

在實驗中，我們利用3Ds Max 軟件搭建了3D 場景，通過OpenGL 建立虛擬相機陣列來代替透鏡陣列渲染光場圖像，將采集到的光場圖像合成目標高分辨率EIA，根據(jù)公式（1）反向計算出偏振EIA 的像素值，進而獲得顯示器上待顯示的EIA。圖3 為搭建的分辨率增強集成成像3D 顯示實驗裝置，其中2D 顯示屏為iPad 2019，其分辨率為2 150 pixels×1 620 pixels，像素節(jié)距為0.096 mm，將其在XZ面內(nèi)旋轉(zhuǎn)45°放置，使其像素的對角線方向平行于光學平臺方向。透鏡陣列中透鏡節(jié)距為1 mm，焦距為3.3 mm，透鏡元為方形無間隙緊密排布，透鏡個數(shù)為100×100。透鏡陣列位于疊加的高分辨率EIA 右側(cè)3.5 mm 處，為了將其與EIA 匹配，將其在YZ平面內(nèi)旋轉(zhuǎn)45°放置。反射型偏振片的工作波長在420～750 nm 之間，在可見光范圍內(nèi)對S 偏振光的反射率基本維持在88%，對P 偏振光透過率基本在90%，避免了色差對圖像質(zhì)量的影響。兩個反射偏振片中間加入一個0.048 mm 的透明薄膜，用于控制S 偏振光和P 偏振光的偏移量，反射型偏振片的光軸與四分之一波片的光軸夾角為45°。四分之一波片的工作波長為400～750 nm，保證了在可見光范圍內(nèi)具有正確的相位延遲。

圖3 實驗裝置圖Fig.3 Configuration of the experimental setup

使用多個彩色氣球和上下兩個紫色矩形框作為3D 模型，在模型中將最前面的粉色氣球和最后面的黃色氣球間距設(shè)置為15 mm，模型排布的側(cè)視圖和對應(yīng)的EIA 如圖4 所示，3D 圖像的中心深度平面位于透鏡陣列前57.75 mm 處。將相機聚焦在中心深度平面的位置，觀察重構(gòu)圖像細節(jié)處的分辨率來證明所提方法的可行性和有效性。圖5 對比顯示了使用傳統(tǒng)集成成像方法和本文所提出的方法重構(gòu)的3D 圖像。圖5（a）是基于傳統(tǒng)集成成像方法重構(gòu)的3D 像，其中的黑色線條是顯示器的黑色網(wǎng)格經(jīng)過透鏡陣列放大后形成的。圖5（b）是使用本文提出的方法重構(gòu)的3D 像，可以看到疊加后的像素網(wǎng)點更小且密度增加，同時減輕了像素間的黑網(wǎng)格問題，亮度更加均勻，從而提高3D 圖像的質(zhì)量。雖然分辨率有所提高，但是圖像的邊緣存在光暈，這主要是由掠入射到回返器上的光造成的，未來可通過準直器控制光束的發(fā)散角來改善這種情況［26］。圖5 中重建的3D 圖像上半部分有些模糊，這是由于相機僅聚焦在中心深度平面的位置，其他深度的圖像處于離焦狀態(tài)。

圖4 3D 場景和生成的EIA Fig.4 3D scene and generated elemental image array

圖5 光學重構(gòu)的3D 圖像對比Fig.5 Comparison of reconstructed 3D images

為了驗證重構(gòu)3D 圖像的視差效果，以及不同深度氣球的清晰再現(xiàn)效果，采用大景深的光圈進行拍攝，圖6 展示了從不同方向觀看到的3D 圖像，觀看視角為16°，黃色矩形框中展示了水平和豎直方向上的運動視差，不僅所有深度的氣球都能夠被清晰地重建，而且沒有出現(xiàn)明顯的畸變。因此，所提方法能有效地提高3D 圖像的分辨率。

圖6 重構(gòu)3D 圖像的不同視圖Fig.6 Different perspectives of reconstructed 3D images

4 結(jié) 論

本文分析了影響集成成像分辨率的主要因素，透鏡陣列分辨率和顯示器分辨中較小的一個決定了集成成像系統(tǒng)的分辨率上限，且顯示器的像素尺寸對重構(gòu)圖像的分辨率影響較大。基于此，本文提出了使用回返器和反射型偏振片實現(xiàn)偏振復用的方法，該方法能夠有效減小像素尺寸，同時增加像素的數(shù)量，提高了整個系統(tǒng)的空間帶寬積。實驗表明，通過所提出的方法增加了3D 圖像的分辨率，改善了顯示器的黑網(wǎng)格效應(yīng)，圖像亮度更加均勻，提升了重建3D 圖像的質(zhì)量。所提方法不會損失觀看視角和景深，同時不需要復雜的機械結(jié)構(gòu)，可以通過控制兩個反射型偏振片的距離靈活地匹配各種像素尺寸的平板顯示器，能夠突破現(xiàn)有顯示器的分辨率極限，尤其適用于大像素點的顯示器。