含液晶擴(kuò)散片的高分辨率光場(chǎng)成像系統(tǒng)

何燕成，李 暉，3*，錢文彤，吳云韜

（1.武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430205；3.華中科技大學(xué) 化學(xué)與化工學(xué)院，湖北 武漢 400074；4.武漢工程大學(xué) 郵電與信息工程學(xué)院，湖北 武漢 430205）

1 引言

與傳統(tǒng)成像方法相比，光場(chǎng)相機(jī)［1-2］可以獲得多維信息和多視角圖。傳統(tǒng)光場(chǎng)相機(jī)的視角圖取決于微透鏡陣列中子透鏡的數(shù)目，但是子透鏡數(shù)目往往遠(yuǎn)遠(yuǎn)小于CCD 像元數(shù)目，相當(dāng)于對(duì)數(shù)量巨大的CCD 像元數(shù)目進(jìn)行了幾十倍的壓縮，難以平衡角分辨率與空間分辨率。這會(huì)導(dǎo)致成像器件的空間帶寬積［3］（Spatial Bandwidth Product，SBP）問(wèn)題，成像質(zhì)量較低。

為解決光場(chǎng)成像空間分辨率偏低的問(wèn)題，梁欣等［4］采用穩(wěn)健的正則化超分辨率算法，通過(guò)操作將低像素點(diǎn)映射到高分辨率的網(wǎng)格中，從而實(shí)現(xiàn)圖像空間分辨率的提升。鄧承志等［5］提出基于近似稀疏表示模型的圖像超分辨率重建方法，通過(guò)高分辨字典與圖像稀疏表示，重建得到高分辨率圖像。上述方法均采用超分辨率的算法思想提升圖像的空間分辨率，但是此類方法需要準(zhǔn)確計(jì)算出圖像位移矩陣與精確的圖像配準(zhǔn)，圖像位移矩陣和圖像配準(zhǔn)直接影響光場(chǎng)圖像重建的結(jié)果。在智能計(jì)算風(fēng)靡之時(shí)，人們將深度學(xué)習(xí)逐步應(yīng)用 到圖像處理中。Meng 等［6］建立 了基于4 維卷積的兩階段恢復(fù)的學(xué)習(xí)框架，通過(guò)網(wǎng)絡(luò)模型學(xué)習(xí)捕獲多個(gè)相鄰視圖中的幾何信息特性，然后進(jìn)行張量恢復(fù)。蔡體健等［7］提出一種通道注意力與殘差級(jí)聯(lián)超分辨率重構(gòu)網(wǎng)絡(luò)，對(duì)提取到的特征信息進(jìn)行訓(xùn)練，完成圖像的超分辨率重建。此類方法需要海量的高分辨率圖像進(jìn)行訓(xùn)練，時(shí)間代價(jià)大且消耗資源多。當(dāng)前超分辨算法往往只能針對(duì)已獲得的光場(chǎng)圖像數(shù)據(jù)進(jìn)行計(jì)算，不能同時(shí)兼顧圖像的空間分辨率與質(zhì)量。為了直接獲取高分辨率光場(chǎng)圖像，斯坦福大學(xué)采用相機(jī)陣列［8］采集四維信息，但是這種方法成本高，且需要對(duì)每個(gè)相機(jī)進(jìn)行標(biāo)定，實(shí)現(xiàn)起來(lái)較為困難。Lu 等［9］通過(guò)使用標(biāo)準(zhǔn)相機(jī)的高分辨率圖像與Shack-Hartmann 傳感器的低分辨率波前測(cè)量相結(jié)合重建高分辨率光場(chǎng)圖像。Xu 等［10］提出使用兩個(gè)衰減掩膜來(lái)捕獲更高分辨率的光場(chǎng)采集系統(tǒng)，在傅里葉域中采用多路復(fù)用方法計(jì)算出光譜圖像數(shù)據(jù)。但是該系統(tǒng)中光路上的掩膜頻率響應(yīng)容易被傳感器數(shù)目影響且需要保證掩膜編碼中不能出現(xiàn)負(fù)值。

隨著成像元件的不斷更新，液晶因其獨(dú)特的電光特性逐步地應(yīng)用于光場(chǎng)成像。雷宇等［11］設(shè)計(jì)的電控液晶微透鏡陣列，通過(guò)控制電壓可實(shí)現(xiàn)普通2D 圖像的獲取和3D 光場(chǎng)數(shù)據(jù)的采集。但是此類方法無(wú)法準(zhǔn)確控制液晶折射率形成平滑的梯度折射率分布，即存在一定程度的像差，使其成像質(zhì)量及應(yīng)用范圍受限?；谝壕У纳⑸涑上瘢?2-13］一直是計(jì)算成像領(lǐng)域的前沿和發(fā)展重點(diǎn)。散射介質(zhì)成像技術(shù)包括基于反饋的波前整形［14-15］，數(shù)字全息［16-17］和斑點(diǎn)相關(guān)［18-19］。早期的透過(guò)散射介質(zhì)成像，是規(guī)避散射光或者減弱散射的影響；現(xiàn)階段的透過(guò)散射介質(zhì)成像，則是利用散射光對(duì)成像質(zhì)量進(jìn)行提升。

針對(duì)光場(chǎng)圖像空間分辨率偏低的問(wèn)題，本文設(shè)計(jì)了一種液晶擴(kuò)散片，并與微透鏡陣列組成新型光場(chǎng)成像系統(tǒng)。利用液晶擴(kuò)散片透過(guò)率的電控特性來(lái)獲取不同電壓下的光場(chǎng)信息，同時(shí)結(jié)合適配液晶擴(kuò)散片的成像算法，獲得了高分辨率的光場(chǎng)圖像。

2 原理及器件制備

2.1 液晶擴(kuò)散片的制作流程

液晶擴(kuò)散片由兩個(gè)玻璃襯底（厚度約為1 mm）組成，采用銦錫氧化物（ITO，厚度約為300 nm）作為頂部和底部的導(dǎo)電層。選擇20 μm的間隔微球制備出空液晶腔。然后，將液晶擴(kuò)散片的頂部導(dǎo)電層采用光控取向技術(shù)進(jìn)行水平定向，制備可以誘導(dǎo)液晶分子定向的取向?qū)印９饪厝∠蚣夹g(shù)可以克服傳統(tǒng)摩擦取向所產(chǎn)生的微小雜質(zhì)、絨毛以及靜電等缺陷，也可以減少對(duì)器件造成物理性損傷，提升液晶的取向效果。該技術(shù)［20-21］是一種新興的液晶取向技術(shù)，包括了光交聯(lián)、光降解和光致順?lè)串悩?gòu)等。制備采用的是光致順?lè)串悩?gòu)技術(shù)，實(shí)現(xiàn)了液晶分子的水平定向，如圖1 所示。利用毛細(xì)效應(yīng)將大雙折射液晶灌入制備的液晶腔內(nèi)，其中液晶（型號(hào)JC-M-LCLDn03，南京寧萃光學(xué)科技有限公司）在室溫條件下的主要參數(shù)為：Δn=0.394，Δε=1.8，ne=1.980 8，no=1.513。最后，利用AB 膠封口，完成液晶擴(kuò)散片的制備。

圖1 偶氮苯分子光控取向液晶的示意圖Fig.1 Schematic diagram of azobenzene molecules lightcontrolled orientation liquid crystal

通過(guò)上述過(guò)程制備的液晶擴(kuò)散片，其透過(guò)率的工作機(jī)理如圖2 所示。由于液晶分子各向異性和雙折射等性質(zhì)，加載電壓信號(hào)時(shí)，液晶分子會(huì)沿其所處位置向電場(chǎng)方向發(fā)生偏轉(zhuǎn)。在電壓關(guān)斷的條件下，液晶擴(kuò)散片中液晶分子指向矢的方向平行于液晶擴(kuò)散片取向?qū)拥姆较颉Ｒ壕Х肿拥挠行д凵渎蕿閚eff=，此時(shí)液晶擴(kuò)散片的透過(guò)率最低，透過(guò)光線中包含了目標(biāo)場(chǎng)景光場(chǎng)的散射光強(qiáng)信息。在電壓開啟的條件下，隨著電壓的動(dòng)態(tài)調(diào)控，液晶分子會(huì)沿電場(chǎng)方向重新取向，液晶擴(kuò)散片的透過(guò)率逐步提高，目標(biāo)場(chǎng)景的細(xì)節(jié)信息也逐漸豐富。

圖2 液晶擴(kuò)散片透過(guò)率工作機(jī)理Fig.2 Schematic diagram of working mechanism of liquid crystal diffuser

2.2 基于液晶擴(kuò)散片的高分辨率光場(chǎng)成像原理

在光場(chǎng)成像中，通常采用雙平面參數(shù)模型［22］對(duì)光場(chǎng)進(jìn)行表征，成像探測(cè)器接收到的目標(biāo)場(chǎng)景的光線光照度為：

其中：L(u，v，x，y)表示入射光線的強(qiáng)度，(x，y)表示圖像在成像探測(cè)器上的橫縱坐標(biāo)。

采用液晶擴(kuò)散片的高分辨率光場(chǎng)成像系統(tǒng)的光學(xué)結(jié)構(gòu)如圖3 所示。適配所制備液晶擴(kuò)散片的算法（Liquid Crystal Diffuser Light Field Algorithm，LCLFA）的具體實(shí)現(xiàn)步驟如下：

圖3 采用液晶擴(kuò)散片的高分辨率光場(chǎng)成像系統(tǒng)示意圖Fig.3 Schematic diagram of high-resolution light field imaging system using liquid crystal diffuser

首先，將液晶擴(kuò)散片放置在主透鏡與微透鏡陣列之間，其中液晶擴(kuò)散片的厚度為l，整個(gè)系統(tǒng)滿足高斯成像公式：

其中：d=a+l+b，為主透鏡與微透鏡陣列之間的距離，c是微透鏡陣列與成像探測(cè)器之間的距離，fm表示微透鏡陣列的焦距。由于液晶擴(kuò)散片的透過(guò)率具有電控可調(diào)特性，在不同的電壓下獲取的目標(biāo)場(chǎng)景光場(chǎng)的散射光強(qiáng)信息不同。

其次，根據(jù)散射模型［23］可獲取目標(biāo)場(chǎng)景的原始入射光線信息。從目標(biāo)場(chǎng)景的原始入射光線信息中可獲取到更多的細(xì)節(jié)信息，有利于提升最終圖像的空間帶寬積。該散射模型的數(shù)學(xué)表達(dá)式為：

其中：B(u，v，s，t)表示目標(biāo)場(chǎng)景的原始入射光照強(qiáng)度；I(u，v，s，t)表示目標(biāo)場(chǎng)景的透過(guò)光照強(qiáng)度；t(u，v，s，t)表示光線經(jīng)過(guò)液晶擴(kuò)散片的散射衰減程度，通常稱為透過(guò)率；A為該環(huán)境的光照幅度。

由于目標(biāo)場(chǎng)景的環(huán)境瞬時(shí)變化微小，可篩選目標(biāo)場(chǎng)景在紅綠藍(lán)3 個(gè)通道的最大均值，作為該環(huán)境光照幅度

電控可調(diào)液晶擴(kuò)散片的透過(guò)率隨著外加電壓發(fā)生變化，則液晶擴(kuò)散片的透過(guò)率為：

其中：I，I0分別為透射光強(qiáng)與入射光強(qiáng)，ξ為液晶擴(kuò)散片中液滴的密度，Enlcext表示外加電壓，l為液晶擴(kuò)散片的厚度，σ表示發(fā)生散射的平均散射截面。假定液晶擴(kuò)散片中液晶液滴符合泊松分布，則式（4）中的平均散射截面為：

式中：

其中：k=，σ0為液滴的幾何光學(xué)截面，α0是入射光線的偏振角，θ0為入射光線與液晶指向矢之間的夾角，ve，vo分別為尋常光與非尋常光的計(jì)算參量，neff為液晶的有效折射率，λ為入射波長(zhǎng)，r為液晶微滴半徑，ne，no分別為尋常光和非尋常光的折射率。

根據(jù)式（3）～式（5）可得出，液晶擴(kuò)散片在不同電壓下目標(biāo)場(chǎng)景的原始入射光線信息：

其中：Ie(u，v，s，t)為不同電壓下目標(biāo)場(chǎng)景的透過(guò)光照強(qiáng)度。由式（4）可知，外加電壓強(qiáng)度不同，液晶擴(kuò)散片的透過(guò)率不同，成像探測(cè)器所呈現(xiàn)的光場(chǎng)圖像的像素視覺(jué)顯著性［24］程度也會(huì)不同，則有：

其中：e表示不同的電壓信號(hào)，通常從0vrms 開始到液晶擴(kuò)散片的飽和電壓；g(x，y)為I(x，y)在(x，y)處的灰度值；ω(i，j)是大小為m×n的高斯掩膜系數(shù)。則在不同電壓下圖像的基礎(chǔ)權(quán)重系數(shù)為：

其中：De(x，y)表示當(dāng)前電壓下像素的灰度值，Se(x，y)表示當(dāng)前電壓下像素的飽和度。將不同電壓下圖像的基礎(chǔ)權(quán)重系數(shù)歸一化為：

根據(jù)式（9）～式（11），可計(jì)算出不同電壓下圖像的高對(duì)比度區(qū)域。

最后，結(jié)合式（8）和式（11），可將液晶擴(kuò)散片不同電壓下的圖像進(jìn)行加權(quán)平均：

式中G(u，v，s，t)為使用本文提出的系統(tǒng)獲取到的高分辨率入射光照強(qiáng)度信息。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出方法的可行性，搭建了如圖4 所示的實(shí)驗(yàn)平臺(tái)，對(duì)液晶器件的性能與成像結(jié)果進(jìn)行了驗(yàn)證。液晶擴(kuò)散片緊貼在微透鏡陣列前方，微透鏡陣列放置在主透鏡與成像探測(cè)器之間，與成像探測(cè)器保持一倍焦距。成像探測(cè)器（MV-SUA500C-T，邁德威視公司）的分辨率為2 592 pixel×1 244 pixel；微透鏡陣列（MLA-150-5C，THORLAB 公司）的具體參數(shù)如表1 所示；鏡頭為Computar 公司的M3520-MPW2-500（35 mm）；采用VICTOR 公司2015H 的函數(shù)發(fā)生器對(duì)液晶擴(kuò)散片進(jìn)行驅(qū)動(dòng)。計(jì)算機(jī)CPU 為8核AMD Ryzen7 4800u，其主頻為1 800 MHz，運(yùn)行內(nèi)存為16 GB，所使用軟件為Matlab R2019b。

圖4 實(shí)驗(yàn)場(chǎng)景及液晶擴(kuò)散片實(shí)物Fig.4 Experimental scene and liquid crystal diffuser

表1 MLA150-5C 微透鏡陣列參數(shù)Tab. 1 Parameters of MLA150-5C microlens array

3.1 器件性能測(cè)試

圖5 為液晶擴(kuò)散片的透過(guò)率測(cè)試曲線。測(cè)試設(shè)備采用上海菁華科技儀器有限公司的光度分光儀，型號(hào)為723PC。

圖5 液晶擴(kuò)散片不同電壓下的透過(guò)率測(cè)試曲線Fig.5 Transmission test curves of liquid crystal diffuser under different voltages

當(dāng)波長(zhǎng)＞500 nm 時(shí)，不同電壓下液晶擴(kuò)散片的透過(guò)率均超過(guò)72%，這意味著液晶擴(kuò)散片具有良好的透過(guò)特性。隨著電壓的增大，液晶擴(kuò)散片的透過(guò)率也有較為明顯的增加。根據(jù)高斯光束的基本定理可知，液晶擴(kuò)散片加載電壓后，透過(guò)率會(huì)發(fā)生變化，其散射角θ≈tanθ=。其中，w0為高斯光束的束腰半徑。為了測(cè)量器件在不同電壓下的散射角度，采用波長(zhǎng)為633 nm 的He-Ne 激光器（長(zhǎng)富科技（北京）有限公司，型號(hào)為HN150B），它在1/e2處的束腰半徑w0約為0.8 mm。圖6 給出了液晶擴(kuò)散片在不同電壓下的散射角度。

圖6 液晶擴(kuò)散片不同外加電壓下的散射角度Fig.6 Dispersion angles of LC diffuser at different voltages

3.2 成像結(jié)果分析

液晶擴(kuò)散片的透過(guò)率具有電控可調(diào)特性。通電可改變器件中液晶分子的排列方向以及液晶液滴的折射率，引起液晶擴(kuò)散片透過(guò)率的變化。尤其是：當(dāng)液晶擴(kuò)散片在低透過(guò)率時(shí)，目標(biāo)場(chǎng)景光場(chǎng)的散射光強(qiáng)信息較多，缺少更多細(xì)節(jié)信息；而在高透過(guò)率時(shí)，恰好逐步增強(qiáng)目標(biāo)場(chǎng)景的光場(chǎng)細(xì)節(jié)信息。圖7 呈現(xiàn)了在不同電壓信號(hào)下該系統(tǒng)獲取的光場(chǎng)圖像。

圖7 不同電壓下的光場(chǎng)圖像Fig.7 Light field images at different voltages

當(dāng)液晶擴(kuò)散片未加載電壓信號(hào)時(shí)，在成像探測(cè)器上獲取的圖像是模糊的，如圖7（a）所示。由于液晶的散射效應(yīng)，根據(jù)式（5）可知其平均散射截面最大，其散射光強(qiáng)信息多于細(xì)節(jié)信息，因此整個(gè)液晶擴(kuò)散片的透過(guò)率最低。對(duì)液晶擴(kuò)散片逐漸加載電壓信號(hào)，器件中的液晶指向矢逐步發(fā)生旋轉(zhuǎn)，其平均散射截面變小，透過(guò)率逐步增大，其成像探測(cè)器獲取的圖像逐漸清晰，目標(biāo)場(chǎng)景光場(chǎng)的細(xì)節(jié)信息也逐漸豐富。圖7 可明顯看出隨著電壓的加大，圖7（a）～7（d），逐漸從模糊變得清晰。最后，通過(guò)適配液晶擴(kuò)散片的成像算法，有效融合不同電壓下的散射光強(qiáng)信息與細(xì)節(jié)信息，獲得融合后的光場(chǎng)圖像。

通過(guò)計(jì)算重建光場(chǎng)圖像。為了評(píng)價(jià)重建后光場(chǎng)圖像的質(zhì)量，對(duì)它進(jìn)行渲染。根據(jù)微透鏡陣列與成像探測(cè)器的像元孔徑匹配關(guān)系提取子圖，最終渲染獲得一張二維圖像。

將重建的光場(chǎng)圖像進(jìn)行圖像渲染，結(jié)果如圖8 所示。并將傳統(tǒng)的玻璃型微透鏡陣列光場(chǎng)成像結(jié)果作為對(duì)比，如圖9 所示。通過(guò)對(duì)比，圖8 所示的光場(chǎng)圖像渲染圖明顯比圖9 清晰。由于液晶擴(kuò)散片的透過(guò)率具有電控可調(diào)特性，由式（9）可計(jì)算得出不同電壓下獲取的圖像視覺(jué)顯著度。選取視覺(jué)顯著度高的值，在最后的加權(quán)融合中會(huì)提高最終成像的基礎(chǔ)權(quán)重圖像系數(shù)。最后，通過(guò)適配液晶擴(kuò)散片的成像算法均衡融合不同電壓下的散射光強(qiáng)信息與細(xì)節(jié)信息，重建了高分辨率光場(chǎng)圖像。而傳統(tǒng)的微透鏡陣列成像系統(tǒng)，由于沒(méi)有更好地利用雜散光信息，丟失了較多的光場(chǎng)細(xì)節(jié)信息，因此，最后得到的效果要稍弱于所提出的方法。

圖8 采用液晶擴(kuò)散片獲取的光場(chǎng)圖像的子圖渲染圖Fig.8 Rendering results of light field image captured by imaging system with liquid crystal diffuser

圖9 傳統(tǒng)玻璃型微透鏡陣列獲取的光場(chǎng)圖像的子圖渲染圖Fig.9 Rendering results of light field image captured by conventional MLA imaging system

從圖8 和圖9 標(biāo)注的方框可以看到，圖8 中的4 組局部放大圖像，清晰度明顯高于圖9 中的4 組圖像。為了進(jìn)一步量化兩者之間的對(duì)比度，本文選取獲得的光場(chǎng)圖像的第一視角圖作為計(jì)算參考圖，提取視角圖采用非周期性提取算法［25］。表2 列出了圖8 與圖9 的圖像質(zhì)量評(píng)價(jià)結(jié)果。

表2 圖像的質(zhì)量評(píng)價(jià)結(jié)果Tab. 2 Quality evaluation results of images

由表2 可知，圖8 的平均梯度值（AG）、峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）均高于圖9。其中，平均梯度值的最大增長(zhǎng)約為24.7%。

為了驗(yàn)證本文所提方法的有效性，將本文所提出的液晶擴(kuò)散片結(jié)合LCLFA 算法，設(shè)計(jì)組成了新型光場(chǎng)成像系統(tǒng)，并將獲取的渲染結(jié)果，與傳統(tǒng)玻璃型微透鏡陣列組成的光場(chǎng)成像系統(tǒng)分別采用小波變換成像算法（WT）、拉普拉斯金字塔成像算法（LP）及HIS 成像算法的渲染結(jié)果進(jìn)行對(duì)比，結(jié)果如圖10 所示。

為了量化分析，選取圖10 中方框標(biāo)出的一組圖像作為對(duì)比組。經(jīng)過(guò)計(jì)算，發(fā)現(xiàn)圖10（a）的PSNR 值明顯高于圖10（b）～10（d）。結(jié)合圖10中所有圖像信息，所提方法獲取的圖像比其他3組圖像的PSNR 值，平均提升了約4.98%。這是因?yàn)橐壕U(kuò)散片的透過(guò)率具有電控可調(diào)特性，低透過(guò)率保留了更多的散射光強(qiáng)信息，高透過(guò)率具有更多細(xì)節(jié)信息。再通過(guò)式（12）及成像算法計(jì)算，將液晶擴(kuò)散片低透過(guò)率光場(chǎng)的散射光強(qiáng)信息與高透過(guò)率光場(chǎng)的細(xì)節(jié)信息相融合，得出了高分辨率圖像。

圖10 不同算法的渲染結(jié)果對(duì)比Fig.10 Comparison of rendering results of different algorithms

4 結(jié)論

本文利用液晶擴(kuò)散片透過(guò)率電控可調(diào)的特性，提出了高分辨率光場(chǎng)成像融合算法，設(shè)計(jì)了一種含液晶擴(kuò)散片的高分辨率光場(chǎng)成像系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，較傳統(tǒng)方法，本文方法獲取的圖像PSNR 值平均提升約4.98%，能夠有效提高光場(chǎng)圖像的空間分辨率。而且，所制備的器件工藝簡(jiǎn)單、成本較低，有利于制作出高性價(jià)比的光場(chǎng)相機(jī)，從而推動(dòng)高分辨率光場(chǎng)成像技術(shù)的實(shí)用化。