基于相機實拍的高分辨集成成像三維顯示技術(shù)的研究

謝俊國，趙 慧

（廣東輕工職業(yè)技術(shù)學(xué)院 電子通信工程系，廣東 廣州510300）

1 引 言

集成成像技術(shù)源于100多年前法國物理學(xué)家G.Lippmann提出的集成攝影術(shù)［1］（Integral Photography），它使用微透鏡陣列（lens array）來記錄和再現(xiàn)3D 空間場景，具有水平和垂直方向的連續(xù)視差，極具發(fā)展?jié)摿Α?/p>

早期的集成攝影的記錄過程是通過微透鏡單元或針孔成像在背部的銀鹽膠片經(jīng)感光獲取3D場景信息，感光膠片經(jīng)顯影定影得到2D 圖像陣列；再現(xiàn)過程仍采用同樣參數(shù)的微透鏡陣列并將2D 圖像陣列膠片放置于微透鏡陣列的焦平面上，根據(jù)光路可逆原理，微透鏡陣列將2D 圖像元透射出來的光線再聚集還原，從而在微透鏡陣列的正面重建出3D 場景的立體圖像。

上述全光學(xué)的集成成像技術(shù)因受限于早期微透鏡陣列制造困難和精度誤差，以及光學(xué)膠片記錄處理的不便，存在的種種缺陷和再現(xiàn)效果一直難于令人滿意，使其面世近百年而一直未能商業(yè)化推廣應(yīng)用。

近年來隨著精密加工技術(shù)和計算機處理技術(shù)的巨大進步，集成成像三維顯示技術(shù)迎來了發(fā)展的熱潮［2－3］，之前的諸多缺陷得到克服，如3D 深度翻轉(zhuǎn)問題，實虛轉(zhuǎn)換［4］問題及采集鏡頭巨多等都有了對應(yīng)解決辦法［5］，在增大分辨率、景深和觀看視場角方面的研究也都有了相應(yīng)的進展［6］，特別是計算機輔助集成成像記錄和計算集成圖像重建技術(shù)［7］使圖像顯示和深度重現(xiàn)質(zhì)量有了明顯提高。

在集成成像圖像采集記錄方面，利用計算機仿真建模和虛擬采集記錄無疑具有很高的記錄準(zhǔn)確度，但集成成像未來發(fā)展應(yīng)用，如實時視頻采集轉(zhuǎn)換離不開現(xiàn)場的實物拍攝，而實拍的參數(shù)及提高集成成像三維系統(tǒng)的顯示分辨率是研究的關(guān)鍵，以下基于數(shù)碼相機靜物實拍為例進行分析，其結(jié)論對于動態(tài)視頻的集成成像三維顯示也有借鑒意義。

2 數(shù)碼相機鏡頭成像分辨率分析

專業(yè)數(shù)碼相機的鏡頭大多是由多組透鏡組合以修正像差與畸變，鏡頭成像素質(zhì)高，但仍可用薄透鏡模型進行分析。如圖1所示，設(shè)物距L0的物點B（物平面）成像在距透鏡g0的感光平面（像平面）上匯聚為清晰的像點B’，在感光平面位置不變的情況下，所有偏離物點B 所在物平面的物點如A、C 將匯聚在感光平面的前后，因此，在感光平面上將出現(xiàn)散焦現(xiàn)象，由高斯成像公式及幾何關(guān)系可計算物點A 或C 在感光平面上因散焦所形成的圓形光斑的直徑為：

圖1 薄透鏡成像與散焦Fig.1 Thin lens imaging principle and defocusing

其中：L 是物點離透鏡的距離，f 是透鏡焦距，D為鏡頭光圈直徑，將鏡頭光圈指數(shù)

代入整理得：

由式（3）可知當(dāng)物距L＝L0時物體在感光平面上剛好完全聚焦呈現(xiàn)最清晰的高分辨率的圖像，偏離L0的物體都不同程度存在散焦，減小散焦提高前后景分辨率可通過減小L－L0差值，增大F，也即采用小光圈增加景深，這在靜物拍攝中不難實現(xiàn)，因此，在集成成像的實拍景物采集中可忽略鏡頭散焦的影響。

3 集成成像3D 顯示的分辨率

根據(jù)微透鏡陣列到顯示屏液晶像素距離g與微透鏡焦距f 間的關(guān)系，集成成像有3種顯示模式——實模式、虛模式和聚焦模式，g＝f 的顯示模式稱聚焦模式，此種顯示模式顯示屏上的液晶像素經(jīng)微透鏡折射形成平行出射光線，可實現(xiàn)較大深度范圍的3D 景深，但由于顯示像點尺寸等同于透鏡節(jié)距［8］，顯示分辨率不高，這里不做過多討論；當(dāng)g＞f 的顯示模式稱實模式，如圖2（a）所示，此時所顯示的3D 圖像浮現(xiàn)于微透鏡陣列前方，為一實像；當(dāng)g＜f 的顯示模式稱虛模式，如圖2（b）所示，此時所顯示的3D 圖像處于微透鏡陣列后方，為一虛像；實、虛顯示模式下，當(dāng)顯示屏上的圖像液晶像素陣列通過微透鏡陣列重構(gòu)的3D 圖像位置與中心深度平面重合時，可重構(gòu)最清晰的高分辨率圖像，以下進行分析。

圖2 集成成像的實虛顯示模式Fig.2 Real／virtual mode display

3.1 中心深度平面的3D 成像的分辨率

中心深度平面是指顯示屏上各像素經(jīng)微透鏡陣列折射成像后形成的系列交點所組成的平面，也即滿足高斯成像公式：

式（4）所對應(yīng)的距微透鏡陣列距離L 的各像素的共軛成像平面。

以實像顯示模式為例，如圖3所示，在共軛成像情況下，A0成像于中心深度平面，液晶顯示屏像素被透鏡陣列放大，由幾何關(guān)系可得到中心深度平面上的像素尺寸為：

圖3 集成成像的實模式成像光路Fig.3 Real mode optical path

其中：L0為微透鏡陣列到中心深度平面的距離，g0為顯示屏距微透鏡陣列的距離，這里g0＞f，p為液晶顯示屏像素尺寸，P 為中心深度平面上的3D 像的像素尺寸，其倒數(shù)為顯示圖像的分辨率R：

其中：r＝1／p 為液晶顯示屏像素分辨率。

由式（6）可見，在中心深度平面上成像的3D圖像的分辨率正比于液晶屏像素分辨率，與微透鏡元的節(jié)距無關(guān)，這一特點有別于聚焦顯示模式。因此，實／虛顯示模式不必過于追求減小微透鏡陣列的節(jié)距，這樣可降低光的衍射效應(yīng)的影響，提高微透鏡陣列光學(xué)系統(tǒng)的性能。

3.2 中心深度平面3D成像的深度范圍

集成成像實／虛顯示模式的三維圖像，在中心深度平面具有最大的分辨率，保持該最大分辨率的3D 圖像有一定的深度范圍，仍以圖3 為例分析如下：

設(shè)A0，A1，A2為不同微透鏡元下子圖陣列中對應(yīng)像素尺寸的同一邊緣物點（可視為無窮小點），該系列物點經(jīng)各微透鏡元成像在后平面的B點，B 點距中心深度平面ΔZ，為非共軛點，成像過程中點A0、A1、A2在像點B 處形成一個散焦斑，由幾何光學(xué)理論可推導(dǎo)出，散焦斑的大小為：

因散焦使原放大像素擴大為原尺寸的2 倍時，相鄰像素重疊，分辨率下降，因此，保持中心深度圖像分辨率不變的極限條件為：

也即

將式（5）（7）代入式（8）可得：

滿足上述公式對應(yīng)的后平面稱為后深度平面，考慮到幾何關(guān)系的對稱性，距中心深度平面之前ΔZ距離的平面為前深度平面，因此，保持式（6）所述可分辨的清晰3D 圖像的深度范圍為：

3D 成像需要一定的顯示深度，由式（10）增大L0，減小D 或者犧牲部分顯示分辨率R 都可增加顯示深度，更好的方法是采用實／虛雙模式的集成成像系統(tǒng)［9］同時顯示實模式和虛模式3D 圖像，將大大提高3D 場景的深度范圍和實現(xiàn)高分辨的3D 圖像顯示。

4 實驗驗證

根據(jù)實／虛顯示模式集成成像的原理，設(shè)計了相機實拍的集成成像圖像采集與顯示實驗方案：利用數(shù)碼相機沿導(dǎo)軌水平及縱向平移進行圖像采集，基于集成成像原理進行圖像處理合成后精密打印輸出，再經(jīng)過縱橫柱鏡光柵交疊襯墊透明薄膜膠片調(diào)整物距進行實驗驗證。

4.1 相機實拍集成成像采集系統(tǒng)

采集設(shè)備如圖4所示，數(shù)碼相機平移圖像采集的拍攝參數(shù)如表1所示。

圖4 相機實拍圖像采集系統(tǒng)Fig.4 Cameras acquisition system

為提高相機圖像的拍攝質(zhì)量，相機鏡頭采用EF50mm 專業(yè)定焦鏡頭，所有參數(shù)采用手動模式，快門采用專用遙控線，拍攝平移間隔5 mm，縱橫平移50～100次，因此，實拍采集面臨大數(shù)據(jù)量的處理。以制作微透鏡節(jié)距1 mm，面積50mm×50mm的二維集成成像樣板為例，所需拍攝采集圖像多達2 500個鏡頭，利用圖像插幀技術(shù)可大大減少場景采集數(shù)量［10］。

表1 相機拍攝參數(shù)Tab.1 Camera parameters

4.2 實／虛模式集成成像實驗樣品

集成成像的實／虛顯示模式要求微透鏡陣列和顯示屏的間距滿足成實像或虛像的高斯成像公式的約束，否則不能在中心深度平面獲得最高分辨率的3D 圖像。目前市場上現(xiàn)有的柱鏡光柵板大多設(shè)計為聚焦模式，也即其厚度等于柱鏡光柵的焦距，實模式顯示可通過調(diào)整襯墊透明薄膜膠片達到所需物間距，虛模式顯示時需對柱鏡光板進行適當(dāng)磨削加工。

圖5為實拍的虛模式顯示集成成像樣品，實拍鏡頭數(shù)目95，原始圖像采集大小640×480像素，采集參數(shù)同表1，顯示參數(shù)見表2，g0＝3.2，打印輸出像素理論分辨率為50mm－1，實際測試為20mm－1，代入式（6）得R＝6.4mm－1，由式（10）計算得2ΔZ＝3.1mm。

圖5 虛模式顯示集成成像樣品Fig.5 Virtual mode sample

該實驗樣品中心深度平面位于酒瓶表面，酒瓶花紋圖案范圍位于上述深度范圍，顯示極為清晰細(xì)致，背景靜物超過上述深度范圍，圖像虛化，但仍具較強3D 顯示效果。

表2 顯示參數(shù)Tab.2 Display parameters

圖6為計算集成實／虛顯示模式的單幅人物集成成像實驗樣品，樣品尺寸85mm×145mm。

圖中左邊美女為實模式顯示樣品，右邊美女為虛模式顯示樣品，基本參數(shù)為：

透鏡節(jié)距2.52mm，f＝3.25mm，實模式顯示光柵板厚度d＝4.2mm，虛模式顯示光柵板厚度d＝3.0mm。

圖6的集成成像實／虛顯示模式成像在中心深度平面，因而具有極高的顯示分辨率，由圖6中左邊圓形放大區(qū)可見，處于透鏡節(jié)距區(qū)內(nèi)的發(fā)絲仍清晰可見，大大優(yōu)于傳統(tǒng)基于視差原理的多視點裸眼立體顯示的分辨率［11］，也優(yōu)于聚焦模式的集成成像顯示分辨率。

圖6 實虛模式集成成像樣品Fig.6 Real／virtual display mode samples

5 結(jié) 論

通過幾何光學(xué)的分析，對集成成像實／虛顯示模式的分辨率作了分析，進一部推導(dǎo)出在中心深度給定分辨率下的深度范圍，通過實拍數(shù)據(jù)采集進行實驗，實驗結(jié)果驗證了該深度范圍圖像顯示效果極佳，實／虛顯示模式分辨率明顯優(yōu)于聚焦模式和傳統(tǒng)基于視差原理的多視點裸眼立體顯示的分辨率，理論與實驗結(jié)果相符，為集成成像系統(tǒng)的設(shè)計和充分發(fā)揮集成成像三維顯示的自身優(yōu)勢提供了實驗依據(jù)。

［1］ Lippmann G.La Photograhie integrale［J］.Comptes Rendus Acad.Sci，1908，146：446－451.

［2］ Park J H，Hong K，Lee B.Recent progress in three－dimensional information processing based on integral imaging［J］.Appl.Opt，2009，48（34）：77－94.

［3］ Cho M，Daneshpanah M，Javidi B.Three－dimensional optical sensing and visualization using integral imaging［J］.Proc.IEE，2011，99（4）：556－575.

［4］ 王瓊?cè)A.3D 顯示技術(shù)與器件［M］.北京：科學(xué)出版社，2011：219－224.Wang Q H，3 D Display Technologies and Devices［M］.Beijing：Science Press，2011：219－224.（in Chinese）

［5］ Deng H，Wang Q H，Li D H.Method of generating orthoscopic elemental image array from sparse camera array［J］.Chinese Optics Letters，2012，10（6）：061102（1－3）.

［6］ Park J H，Jung S，Choi H，et al.Integral imaging with multiple image planes using a uniaxial crystal plate［J］.Opt.Express，2003，11（16）：1862－1875.

［7］ Shin D H，Yoo H.Image quality enhancement in 3Dcomputational integral imaging by use of interpolation methods［J］.Optics Express，2007，15（19）：12039－12049.

［8］ Lee B，Park Jae－Hyeung，Min Sung－Wook.Three－dimensional display and information processing based on integral imaging［C］／／Digital Holography and Three－Dimensional Display，US：Springer，2006：333－378.

［9］ Kim Y，Park J H，Choiet H，et al.Depth－enhanced three－dimensional integral imaging by use of multilayered display devices［J］.Appl.Opt，2006，45（1）：4334－4343.

［10］ Zitnick C L，Jojic N，Kang S B.Consistent segmentation for optical flow estimation［C］／／Proc.IEEE Int.Conf.Computer Vision，US：Springor，2005：1308－1315.

［11］ 郝敦博，李大海，王瓊?cè)A，等.柱面透鏡自由立體顯示器的分辨率損失研究［J］.液晶與顯示，2008，23（4）：494－498.Hao D B，Li D H，Wang Q H，et al.Resolution loss of autostereoscopic display based on lenticular［J］.Chinese Journal of Liquid Crystals and Display，2008，23（4）：494－498.（in Chinese）