一種應(yīng)用相機(jī)陣列實(shí)現(xiàn)圖像遮擋物移除的方法

楊墨軒，趙源萌，朱鳳霞，張宏飛，張存林

（太赫茲光電子學(xué)教育部重點(diǎn)實(shí)驗室，太赫茲波譜與成像北京市重點(diǎn)實(shí)驗室，北京成像理論與技術(shù)高精尖創(chuàng)新中心，首都師范大學(xué) 物理系，北京 100048）

1 引 言

在計算機(jī)視覺領(lǐng)域中，目標(biāo)物前出現(xiàn)遮擋與目標(biāo)物出現(xiàn)混疊時都會對數(shù)據(jù)采集造成影響。多數(shù)傳統(tǒng)相機(jī)設(shè)備采集數(shù)據(jù)時僅可以記錄場景的二維信息，當(dāng)目標(biāo)物前出現(xiàn)遮擋時，單視角成像設(shè)備在數(shù)據(jù)采集時由于遮擋物的影響，會造成信息的大量丟失。多視角的合成孔徑技術(shù)則可以同時記錄空間中光線的四維信息，包括方向信息與角度信息［1］，利用更高維度的信息量減少遮擋物帶來的影響。相機(jī)陣列法以斯坦福大學(xué)提出的128 臺相機(jī)陣列為代表，相機(jī)采用不同的排列方式，獲得多種不同角度的子圖像陣列，同時利用相機(jī)陣列的景深特點(diǎn)，通過數(shù)字重聚焦技術(shù)與合成孔徑技術(shù)可實(shí)現(xiàn)類似“透視”的效果［2］。相機(jī)陣列相比于傳統(tǒng)相機(jī)多記錄了兩個維度的信息，為后續(xù)有效地移除遮擋物、獲得高還原度的目標(biāo)信息提供了理論基礎(chǔ)。

近年來，去遮擋物算法被國內(nèi)外眾多學(xué)者廣泛研究，并提出了具有高參考價值的理論。劉嚴(yán)羊碩等［3］提出一種先利用EPI 的邊緣特征估計景深范圍，再進(jìn)行光場重建的算法。此方法需要遮擋物與目標(biāo)物存在明顯不同的深度特性，否則影響遮擋物的識別與移除。張世輝等［4］提出一種利用隨機(jī)森林檢測深度圖像中遮擋物的方法。其方法是基于機(jī)器學(xué)習(xí)思想，在圖像檢測時需要選擇通用性較好的夾角特性。陳先鋒等［5］提出一種基于先驗信息的去遮擋物算法。該方法對遮擋區(qū)域具有低敏感度，對于非遮擋區(qū)域具有高敏感度的特性。劉潤興等［6］提出一種聚焦式光場去混疊的方法移除遮擋。此方法對圖像合成有較為良好的改善，但計算量大，實(shí)時性還有待提高。Bobick 等［7］提出了加入順序約束條件的動態(tài)規(guī)劃算法。該方法受限于物體的大小，無法有效處理孔狀和窄物體區(qū)域。Egnal 等［8］基于唯一性約束條件提出交叉驗證算法，受限于唯一性約束，該方法無法使用在水平傾斜表面。

遮擋物移除算法大多著重于遮擋物移除的完全性和精確性，忽略了重構(gòu)圖像的質(zhì)量，不利于圖像細(xì)節(jié)部分的還原。本文提出一種應(yīng)用相機(jī)陣列系統(tǒng)，基于光場數(shù)據(jù)采集與數(shù)字重聚焦技術(shù)，并通過SEEQ 圖像質(zhì)量評價算法評估圖像質(zhì)量從而選擇最佳的傾斜因子，并利用最小誤差法分割遮擋物，最后通過圖像增強(qiáng)與形態(tài)學(xué)處理還原完整的目標(biāo)圖像的方法。遮擋物移除技術(shù)在國防軍事、公共安全、航天遙感等領(lǐng)域都有著很好的發(fā)展前景。

2 基于相機(jī)陣列的遮擋物移除算法

本文首先利用數(shù)字重聚焦技術(shù)，根據(jù)遮擋物與目標(biāo)物體深度上的不同選擇合適的深度重聚焦，突出目標(biāo)物體細(xì)節(jié)信息。根據(jù)子圖像陣列與相機(jī)陣列的位置關(guān)系，利用幾何特征連續(xù)迭代選擇效果最佳的傾斜因子，得到重構(gòu)圖像。利用最小誤差法選擇合理的閾值進(jìn)行遮擋區(qū)域的分割。最后移除遮擋區(qū)域像素，恢復(fù)目標(biāo)物圖像的細(xì)節(jié)信息，具體流程如圖1 所示。

圖1 算法流程圖Fig.1 Algorithm flow chart

2.1 光場成像與數(shù)字重聚焦

如圖2 所示，本文采用雙平面參數(shù)法來表征光場。該方法依據(jù)Levoy 等［1］提出的光場渲染理論，分別在主透鏡與傳感器處建立兩個二維平面，設(shè)一條同時穿過兩個平面的光線，分別交兩個平面于（u，v）和（s，t）兩點(diǎn)，由（u，v）和（s，t）描述這條光線的二維位置信息與二維方向信息，光線與主透鏡平面和傳感器平面相交的兩坐標(biāo)點(diǎn)共同構(gòu)成了光場的四維函數(shù)L（u，v，s，t），其中函數(shù)值L是光線的輻射通量。

圖2 基于Levoy 光場渲染理論用四維光場函數(shù)表征光場Fig.2 Light field representation using 4D light field function based on Levoy’s light field rendering theory

應(yīng)用光場數(shù)字重聚焦技術(shù)可以做到先利用陣列相機(jī)采集信息，再根據(jù)目標(biāo)物與遮擋物的深度特性進(jìn)行數(shù)據(jù)重聚焦，利用相機(jī)的景深特性可以有效突出目標(biāo)物的細(xì)節(jié)信息，減小障礙物帶來的影響［9］。這里將光場成像系統(tǒng)中的光線用四維光場函數(shù)L（u，v，s，t）表征［10］，其中u-v面是光學(xué)系統(tǒng)主平面，s-t面是探測器所在平面，L（u，v，s，t）代表給定光線的光輻射量，下標(biāo)F代表上述兩平面間的距離，像面上接受到的輻射量可表示為

在此基礎(chǔ)上，通過積分求解可以得到一幅數(shù)字圖像。由于透鏡平面和探測器平面定義的光場函數(shù)與透鏡平面和重聚焦平面定義的光場函數(shù)之間的關(guān)系可以通過構(gòu)建相似三角形的幾何變換得到，四維光場函數(shù)在空間中的傳播可以表示為

在這里α為兩相似三角形的比例系數(shù)，調(diào)整比例系數(shù)的大小控制重聚焦的深度。

2.2 傾斜因子的確定

單視角相機(jī)僅記錄二維信息，在面對感興趣區(qū)域被遮擋時具有較大的局限性［12］，面對動態(tài)的目標(biāo)物時可采用連續(xù)多次拍攝的方式來復(fù)現(xiàn)目標(biāo)物，但面對目標(biāo)物與遮擋物都為靜態(tài)的情況，應(yīng)用單視角相機(jī)移除遮擋物則十分困難。然而使用多視角合成孔徑技術(shù)可以利用光場成像獲得豐富的四維信息，為遮擋物的移除提供基礎(chǔ)。通過相機(jī)陣列采集子孔徑圖像集，選取中心圖像并使其他圖形根據(jù)視差的幾何關(guān)系進(jìn)行平移。根據(jù)幾何關(guān)系選擇合適的傾斜因子重構(gòu)圖像，當(dāng)子圖像經(jīng)過聯(lián)合位移后，選擇不同傾斜因子的狀態(tài)會有所不同，導(dǎo)致重構(gòu)圖像輪廓不清晰。

如圖3 所示，本文假設(shè)同一排陣列相機(jī)鏡頭間距為Δm，其中第i的相機(jī)相對坐標(biāo)原點(diǎn)的位置為mi并建立坐標(biāo)系表征傾斜因子，根據(jù)幾何關(guān)系有

圖3 子圖像陣列幾何關(guān)系示意圖Fig.3 Geometrical relationship of sub-image array processing

其中：θ為傾斜因子，Δθ為兩圖像沿n軸方向的間距，這里定義則有Δn=1，tanθn=Δm。

其中：σ為修正因子，本文中取σ=0.008 多次迭代尋找重構(gòu)效果最好的傾斜因子。

2.3 圖像重構(gòu)及其質(zhì)量分析

劉利雄等［11］提出了一個有效的通用無參考（NR）圖像質(zhì)量評估（IQA）模型，該模型利用畸變圖像的局部空間和光譜熵特征。采用一個基于失真分類和質(zhì)量評估的兩階段框架，利用支持向量機(jī)（SVM）訓(xùn)練圖像失真和質(zhì)量預(yù)測引擎。被稱為基于空間光譜熵的質(zhì)量指數(shù)（SSEQ），能夠跨多個失真類別評估失真圖像的質(zhì)量。其中空間熵為

其中：x是塊內(nèi)的像素值，p（x）為經(jīng)驗概率密度。失真的引入會導(dǎo)致空間熵的變化，噪聲導(dǎo)致局部空間熵的降低，通過研究空間熵的變化特征可以反應(yīng)出圖像扭曲的類型。該模型利用下采樣響應(yīng)作為輸入，從輸入中提取12 維局部熵特征向量，并從這些特征中學(xué)習(xí)預(yù)測圖像質(zhì)量分?jǐn)?shù)。

按照如圖4 所示的裝置圖進(jìn)行數(shù)據(jù)采集，該實(shí)驗選擇室內(nèi)場景拍攝目標(biāo)物飛機(jī)模型，遮擋物為樹枝，構(gòu)建10×10 的相機(jī)陣列，單次拍攝采集不同角度及不同位置子圖像100 張。如圖5 所示，本文選擇子圖像陣列中一行圖像進(jìn)行圖像重構(gòu)，以第5 張圖像為中心其余圖像分別向兩側(cè)平移。利用修正因子進(jìn)行多次迭代，每次迭代后應(yīng)用SEEQ 圖像質(zhì)量評估模型進(jìn)行質(zhì)量評估，從而確定最適合此相機(jī)陣列的傾斜因子。觀察重構(gòu)圖像，雖然重構(gòu)后遮擋范圍變大，但經(jīng)過加權(quán)平均后，原被遮擋物完全覆蓋住的部分已經(jīng)被很好地復(fù)現(xiàn)與還原。

圖4 實(shí)驗裝置示意圖Fig.4 Schematic diagram of experimental device

圖5 不同迭代次數(shù)的重構(gòu)圖像Fig.5 Reconstructed image in different iterations

2.4 遮擋物區(qū)域標(biāo)記

在計算機(jī)視覺中，圖像分割一直是一個熱門的研究方向，同時也是多數(shù)圖像處理問題的關(guān)鍵步驟。其中經(jīng)典的閾值分割算法有最小誤差法、最大熵法和最大類間方差法［12-14］等，本文應(yīng)用的是龍建武等提出的一種自適應(yīng)最小誤差閾值分割算法［19］。假設(shè)轉(zhuǎn)換為灰度圖像后由暗遮擋物和亮目標(biāo)物組成，且遮擋物與目標(biāo)物滿足高斯分布。其中，P0和P1分別為遮擋物C0和C1各自分布的先驗概率，且C0C1各自分布均服從均值為μj和方差為σ的正態(tài)分布，則有

其中：J(t)為最小誤差函數(shù)，最佳閾值在其取最小值時獲得。圖6 所示為利用最小誤差閾值分割法，經(jīng)過圖像增強(qiáng)、形態(tài)學(xué)處理后得到的遮擋物標(biāo)記圖像。

圖6 前景標(biāo)記Fig.6 Foreground image

2.5 遮擋物區(qū)域移除與還原

如圖7 所示，應(yīng)用相機(jī)陣列采集數(shù)據(jù)后進(jìn)行圖像重構(gòu)，移除目標(biāo)圖像前被標(biāo)記的圖像，并用重構(gòu)圖像進(jìn)行還原。按本文2.3 節(jié)所提出的重構(gòu)方式得到的重構(gòu)圖像整體質(zhì)量不高，因為我們只考慮了感興趣區(qū)域的重構(gòu)質(zhì)量。本文將2.4 節(jié)所標(biāo)記的前景區(qū)域作為重點(diǎn)，只保留此區(qū)域重構(gòu)質(zhì)量優(yōu)秀的圖像組成新的子圖像陣列，提取相機(jī)陣列中心相機(jī)所拍攝的圖像并標(biāo)記前景區(qū)域。同時保留未被標(biāo)記區(qū)域的全部元素，只對被遮擋區(qū)域進(jìn)行計算，本文提出的方法只對遮擋區(qū)域進(jìn)行相關(guān)計算，在最大程度上保證了圖像質(zhì)量。將感興趣區(qū)域中每一個像素點(diǎn)進(jìn)行替換，得到遮擋物移除后的重構(gòu)圖像。

圖7 結(jié)果處理示意圖Fig.7 Results processing diagram

3 實(shí)驗結(jié)果分析

本文實(shí)驗所使用的相機(jī)陣列中單相機(jī)型號為Canon EOS 6D 型，搭載了一個2 020 萬像素的CMOS 感光組件與DIGIC 5+ 圖像處理器核心，圖像感應(yīng)器尺寸為35.8 mm×23.9 mm，采集圖像最大尺寸為5 472×3 648。鏡頭型號為EF 24～105 mm f/4。

如圖8 所示，本文提出的應(yīng)用陣列型相機(jī)實(shí)現(xiàn)遮擋物移除的方法，對于不涉及目標(biāo)物細(xì)節(jié)處的圖像有較強(qiáng)的移除遮擋物的能力，并在移除后不會造成明顯的圖像重影與分辨率丟失。對于目標(biāo)物細(xì)節(jié)處的還原，利用基于相機(jī)陣列采集的大量數(shù)據(jù)有較強(qiáng)的還原細(xì)節(jié)能力。圖8（a）為未處理的原始圖像，部分細(xì)節(jié)信息完全被遮住且無法辨認(rèn)。圖8（b）為文獻(xiàn)［3］所提出的算法經(jīng)處理后則可以復(fù)現(xiàn)被遮擋部分細(xì)節(jié)信息，使得字體可以辨認(rèn)，但重構(gòu)圖像較為模糊，部分細(xì)節(jié)無法辨認(rèn)。圖8（c）為本文提出的遮擋物移除算法，通過合理的傾斜因子選擇很好地根據(jù)幾何關(guān)系消除了圖像的扭曲，同時還原了圖像的細(xì)節(jié)信息，保證了圖像質(zhì)量。

圖8 圖像質(zhì)量對比。（a）原始圖像；（b）文獻(xiàn)［3］算法；（c）本文算法。Fig.8 Image quality comparsion.（a） Original image；（b）Algorithm of Ref.［3］；（c）Ours.

如表1 所示，為證實(shí)本文所提出算法的優(yōu)勢，本文選取有參考的客觀評價指標(biāo)MSE、SNR、PSNR、MAE 進(jìn)行比較。在數(shù)值上，本文算法的MSE 與MAE 均小于文獻(xiàn)［3］的結(jié)果，在SNR 與PSNR 上分別提升了17.3%與77.6%。實(shí)驗證實(shí)了本文提出的算法在細(xì)節(jié)的還原度上優(yōu)于其他算法，同時有效提升的重構(gòu)圖像的信噪比。為了應(yīng)對實(shí)際應(yīng)用中無參考圖像的情況，我們對比了6 組無參考的評級指標(biāo)，分別為EOG、Brenner、Robters 算子與劉利雄等提出的基于空間光譜熵的質(zhì)量評價方法（SSEQ），Wang 等提出的無參考的彩色圖像質(zhì)量評價方法（CCF）［16］以及AnushKrishna Moorthy 等提出的構(gòu)造盲圖像質(zhì)量指數(shù)的兩步框架（BIQI）［18］方法對3 幅圖像進(jìn)行質(zhì)量評價。其中分?jǐn)?shù)區(qū)間為0～50，0 分為質(zhì)量最佳。對比10 種客觀評價標(biāo)準(zhǔn)，本文算法相對文獻(xiàn)［3］在細(xì)節(jié)復(fù)現(xiàn)與圖像質(zhì)量上都有明顯改善，獲得了輪廓清晰、可信度高的重構(gòu)圖像。

表1 圖像質(zhì)量客觀評價表Tab.1 Objective evaluation form of image quality

此外，同時采集圖像與光場數(shù)據(jù)的方案很好地解決了目標(biāo)物或遮擋物為動態(tài)物體的情況，但是應(yīng)用陣列型光場相機(jī)的遮擋物移除算法需要反復(fù)計算得到最佳的傾斜因子，這種方法的計算量較大，無法做到實(shí)時移除遮擋物。

4 結(jié) 論

本文提出一種應(yīng)用陣列型光場相機(jī)的遮擋物移除算法。實(shí)驗結(jié)果證明該方法與文獻(xiàn)［3］提出的前景移除算法相比，不需要目標(biāo)物與遮擋物之間存在較為明顯的深度區(qū)別，而且僅對遮擋區(qū)域進(jìn)行計算，減少了圖像重構(gòu)導(dǎo)致未被遮擋區(qū)域的像素?fù)p失。本算法應(yīng)用范圍更廣，實(shí)用性更強(qiáng)。在圖像重構(gòu)中選擇合理的傾斜因子，可以有效降低目標(biāo)區(qū)域的模糊與噪聲的引入，細(xì)節(jié)上目標(biāo)物邊緣輪廓也有較為明顯的改善。依據(jù)無參考的圖像質(zhì)量評價指標(biāo)，本文算法在重構(gòu)圖像質(zhì)量 上SNR 與PSNR 分 別 提 升 了17.3% 與77.6%。本文提出的算法仍具有一定的局限性，在遮擋物分割方面采用最小誤差的閾值分割法，面對目標(biāo)物與遮擋物灰度范圍較為接近有可能產(chǎn)生分割區(qū)域不準(zhǔn)確而過度復(fù)現(xiàn)原圖導(dǎo)致圖像模糊的現(xiàn)象，今后將針對上述問題做進(jìn)一步研究。