基于單次曝光光場成像的全焦圖像重建技術(shù)

（江南大學(xué) 理學(xué)院，江蘇 無錫 214122）

引言

圖像的高質(zhì)量獲取在現(xiàn)場監(jiān)控、地理勘探、軍事偵察以及無人駕駛等眾多領(lǐng)域具有不可替代的作用，除了獲取高分辨率的圖像，大景深圖像的獲取同樣能夠提高圖像采集的質(zhì)量。由于景深的限制，僅僅通過光學(xué)系統(tǒng)的優(yōu)化設(shè)計(jì)仍舊難以實(shí)現(xiàn)令人滿意的大景深全焦成像。因此為了重建大景深全焦圖像，最常用的方法是基于多聚焦圖像進(jìn)行圖像融合生成全焦圖像[1]：其主要由基于硬件的多聚焦圖像源集的采集和基于軟件的全焦圖像的融合兩部分構(gòu)成。常見的多聚焦圖像源集的采集方法主要包括手動(dòng)調(diào)焦以及結(jié)合自動(dòng)電機(jī)的自動(dòng)調(diào)焦[2]兩種。手動(dòng)調(diào)焦受到操作精度的限制，聚焦位置不準(zhǔn)確，且部分聚焦圖源數(shù)目有限。結(jié)合電機(jī)進(jìn)行自動(dòng)化多聚焦操作的準(zhǔn)確度相對于手動(dòng)調(diào)焦有明顯提高，但是在多次拍攝的過程中，背景信息的不一致仍會影響全焦圖像生成效果。另外，這些方法依賴多次曝光，圖像采集的不穩(wěn)定性也會導(dǎo)致全焦圖像重建質(zhì)量的下降。

常用的全焦圖像融合方法也尚待提升。Nitin S.Ambatkard 等提出了基于小波分解的多聚焦圖像融合算法[3]，該算法利用離散小波變換對圖像進(jìn)行分解，并用最大選擇原理和最小選擇原理兩種融合方式對分解圖像進(jìn)行融合分析，此方法雖然可以實(shí)現(xiàn)全焦融合，但是產(chǎn)生的全焦圖像邊緣模糊，高頻細(xì)節(jié)丟失。Nitin S.Ambatkard 等人又對傳統(tǒng)小波融合進(jìn)行改良，提出了基于小波域方差計(jì)算的多聚焦融合算法[4]，提升了結(jié)果圖的融合質(zhì)量，但是仍然受到小波變換的自身缺乏局部分析能力且信息冗余過大[5]限制。Mostafa Amin-Naji等提出了神經(jīng)網(wǎng)絡(luò)（CNNs）硬投票進(jìn)行多聚焦圖像融合的方法[6]，此方法采用了3個(gè)不同的數(shù)據(jù)集和模型，有助于提升網(wǎng)絡(luò)分類的準(zhǔn)確度。楊斌等人利用卷積深度神經(jīng)網(wǎng)絡(luò)獲取全焦圖像并通過使用類似于平均濾波器的重構(gòu)神經(jīng)網(wǎng)絡(luò)濾波器提升全焦圖像的分辨率[7]，這類基于神經(jīng)網(wǎng)絡(luò)的全焦融合算法對硬件要求較高，為了保證訓(xùn)練精度，需要大量的輸入信息。另外，基于深度索引的全焦融合算法依賴大量實(shí)驗(yàn)提取最優(yōu)結(jié)果，操作復(fù)雜費(fèi)時(shí)。探索一種全新的全焦圖像重建方法，不僅不依賴多次曝光重建多聚焦圖像源集，并且能夠快速高質(zhì)量地實(shí)現(xiàn)大景深全焦圖像的融合，成為了全焦圖像重建技術(shù)需要解決的關(guān)鍵問題。

為了解決上述問題，本文提出了基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)：通過基于單次曝光的光場成像技術(shù)進(jìn)行信息采集，經(jīng)由光場重建即可得到多聚焦圖像集；進(jìn)而使用導(dǎo)向?yàn)V波方法確定各級圖像融合權(quán)重，最后進(jìn)行圖像融合得到高質(zhì)量大景深的全焦圖像。在基于硬件的多聚焦圖像源集的采集方面，相比于多次曝光實(shí)現(xiàn)多聚焦圖像采集的方式，單次曝光的操作不僅具有更好的背景一致性和圖像采集穩(wěn)定性，而且經(jīng)過后期數(shù)字重聚焦可得到大量多聚焦切片以保證圖像源集的數(shù)據(jù)完整性。在基于軟件的全焦圖像的融合方面，導(dǎo)向?yàn)V波器作為一種保邊的非線性濾波器，可以極大程度地保留邊緣高頻信息，相比于小波融合和深度圖索引的方法有效保持了源圖像的細(xì)節(jié)信息，能夠?qū)崿F(xiàn)更好的成像效果。本文通過實(shí)驗(yàn)證明了所提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)可以獲得與傳統(tǒng)方法相比清晰度更高、綜合成像質(zhì)量更好的全焦圖像，因此該技術(shù)有望用于計(jì)算大景深成像等應(yīng)用中。

1 原理

本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的整體思路是，首先使用光場成像的方法采集光場圖像，進(jìn)而結(jié)合數(shù)字重聚焦技術(shù)解碼光場圖像[8]，以獲得一系列多聚焦圖像即多聚焦圖像源集；在此基礎(chǔ)上，結(jié)合導(dǎo)向?yàn)V波確定各級圖像的融合權(quán)重；最后結(jié)合多聚焦圖像源集及其融合權(quán)重重建大景深全焦圖像。基于單次曝光光場成像[9-10]的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的流程方法如圖1所示。以下將分別從基于單次曝光光場成像的多聚焦圖像源集的獲取和基于導(dǎo)向?yàn)V波的全焦圖像的重建2個(gè)方面對本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)展開詳細(xì)介紹。

1.1 基于單次曝光光場成像的多聚焦圖像源集的獲取

傳統(tǒng)圖像傳感器拍攝物體時(shí)，可以記錄物體某個(gè)方向的投影強(qiáng)度，但是卻丟失了光線的方向信息。基于波前探測的一系列成像技術(shù)雖然記錄了完整的波前信息，但是這些方法依賴于相干光源，并不適用于自然光線下的被動(dòng)成像模式。然而，基于微透鏡陣列成像的光場成像技術(shù)能夠同時(shí)記錄光線的強(qiáng)度和方向信息，經(jīng)過后期數(shù)字圖像處理如光場重聚焦可以實(shí)現(xiàn)多聚焦圖像的重建。因此，為了不依賴多次曝光重建多聚焦圖像源集，本文提出的全焦圖像重建技術(shù)利用可實(shí)現(xiàn)單次曝光的光場成像技術(shù)采集光場圖像，并結(jié)合光場解碼和數(shù)字重聚焦獲得用于大景深全聚焦圖像重建的多聚焦圖像源集。

圖2（a）展示了光場成像系統(tǒng)的原理圖，光場成像在主透鏡和傳感器之間引入微透鏡陣列平面，與其后面的傳感器平面組成雙平面系統(tǒng)，以進(jìn)行光線的參數(shù)化標(biāo)定。其中，圖2（a）左邊的平面代表微透鏡平面（u-v平面），右邊的平面代表傳感器CCD平面（s-t平面），2個(gè)平面的間距是微透鏡的焦距。

圖1 本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)流程圖Fig.1 Flow chart of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

圖2 基于單次曝光光場成像的多聚焦圖像源集的獲取原理Fig.2 Principle of obtaining multi-focus image source set based on single exposure light field imaging

如圖2（a）所示的一條光線穿過2個(gè)平面，交點(diǎn)分別為（u0，v0）和（s0，t0），這條光線可以表示為L（u0，v0，s0，t0），傳感器記錄的是距離為f的光線強(qiáng)度。圖2（b）展示了光場重聚焦算法原理，經(jīng)過簡單的三角形相似原理可以將光線入射角度與入射強(qiáng)度結(jié)合起來，得到光輻射量的積分[11]如公式（1）所示。其中α是變焦倍率，f是微透鏡陣列與傳感器之間的間距。

根據(jù)（1）式可以得到位于某一焦面上的圖像，通過改變變焦倍率α的大小，可以得到一系列對應(yīng)不同焦面的圖像，也就是進(jìn)行后期融合需要的多聚焦圖像源集。

1.2 基于導(dǎo)向?yàn)V波的全焦圖像的重建

在獲得多聚焦圖像源集的基礎(chǔ)上，計(jì)算重建得到的對應(yīng)不同焦面圖像的低頻信息與高頻信息，進(jìn)而使用導(dǎo)向?yàn)V波方法確定各級圖像融合權(quán)重，最后進(jìn)行圖像融合得到高質(zhì)量大景深的全焦圖像。

通過光場重聚焦得到一組數(shù)量為N的多聚焦圖像源集，由成像原理可知，每張圖像上聚焦區(qū)域不同，即每張子圖像均為部分聚焦[12]圖像。首先將這些多聚焦圖像源集根據(jù)頻率分解為低頻信息層L和細(xì)節(jié)信息層H兩層，如（2）式和（3）式所示，其中：IN代表了第N個(gè)源圖像；LN和HN分別表示第N個(gè)圖像對應(yīng)的低頻信息層和高頻信息層；faverage是一個(gè)窗口大小為31×31的均值濾波器[13]，利用faverage對原始圖像進(jìn)行濾波得到低頻信息，然后通過差值的方式得到高頻細(xì)節(jié)信息。

根據(jù)本文提出的大景深全焦圖像重建方法，全焦圖像實(shí)際上是這些低頻信息層和高頻信息層按照不同的權(quán)重進(jìn)行疊加的結(jié)果。因此，在獲得源圖像低頻信息層和高頻信息層的基礎(chǔ)上，還需要確定對應(yīng)的疊加權(quán)重。首先，按照（4）式對源圖像的邊緣進(jìn)行提取，其中：EN代表提取的邊緣信息；flaplacian為拉普拉斯濾波器[14]。值得說明的是為了增強(qiáng)邊緣提取的效果，通過（4）式運(yùn)算后，本文還通過高斯變換將邊緣信息強(qiáng)化，強(qiáng)化后的邊緣信息仍然用EN表示。

進(jìn)而基于（5）式對每一個(gè)多聚焦圖像源集計(jì)算，以求得其對應(yīng)的顯著圖PN（i，j），其中（i，j）為圖像索引。

顯著圖表示了不同焦面圖像的清晰位置。利用這些清晰位置，結(jié)合導(dǎo)向?yàn)V波計(jì)算出低頻信息和高頻信息對應(yīng)的權(quán)重圖，分別如（6）式和（7）式所示。

導(dǎo)向?yàn)V波器[15]作為一種保邊濾波器，具有良好的邊緣保持能力。傳統(tǒng)的線性濾波器如高斯濾波器[16]、拉普拉斯濾波器、Sobel 濾波器[17]等在進(jìn)行圖像濾波的過程[18]中往往會造成高頻信息丟失。導(dǎo)向?yàn)V波器通過引入一張引導(dǎo)圖像作為邊緣判斷標(biāo)準(zhǔn)以盡可能保留邊緣信息。（6）式和（7）式中的fguide表示導(dǎo)向?yàn)V波器，WLN和WHN分別表示低頻信息權(quán)重圖和高頻信息權(quán)重圖，PN作為引導(dǎo)圖像構(gòu)建了濾波權(quán)重WS（PN），S代表濾波窗口。值得說明的是，在計(jì)算低頻信息權(quán)重時(shí)，濾波窗口SL設(shè)置為8×8個(gè)像素以及歸一化因子設(shè)置為0.32。在計(jì)算高頻信息權(quán)重時(shí)，輸入信息與計(jì)算低頻信息權(quán)重時(shí)相同，但是濾波窗口SH尺寸變?yōu)?×4個(gè)像素，減小窗口尺寸可以防止濾波過度而造成細(xì)節(jié)信息受損，歸一化因子設(shè)置為0.052。根據(jù)（6）～（7）式可以計(jì)算出對應(yīng)于各個(gè)源圖像的低頻信息權(quán)重和高頻信息權(quán)重，再根據(jù)（8）式獲得歸一化的低頻信息權(quán)重和高頻信息權(quán)重。

在根據(jù)（2）～（3）式獲得低頻信息和高頻信息[19]以及根據(jù)（6）～（8）式獲得歸一化的低頻信息和高頻信息權(quán)重的基礎(chǔ)上，根據(jù)（9）式按照不同的權(quán)重比例將低頻信息和高頻信息進(jìn)行疊加即可以得到最后的融合全焦圖像Ifusion。

以上詳細(xì)介紹了基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的原理，為了更加清晰說明其程序結(jié)構(gòu)，本文還提供了基于導(dǎo)向?yàn)V波的全焦圖像的重建技術(shù)的偽代碼，如表1所示。從數(shù)學(xué)分析和程序結(jié)構(gòu)可以發(fā)現(xiàn)多聚焦圖像源集的獲取僅需要基于單次曝光的光場成像技術(shù)結(jié)合光場重聚焦便可以獲得，相較于多次曝光技術(shù)而言，不僅保證了背景的一致性，同時(shí)也提升了系統(tǒng)的穩(wěn)定性。另外，全焦圖像的重建基于導(dǎo)向?yàn)V波，其處理速度快、重建效果好。以下將使用實(shí)驗(yàn)的方式驗(yàn)證基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的效果。

表1 全焦圖像重建技術(shù)偽代碼Table1 Pseudocode for all-in-focus image reconstruction technology

2 實(shí)驗(yàn)

為了測試本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的實(shí)際效果，設(shè)計(jì)了如圖3所示的實(shí)驗(yàn)。被測物為3個(gè)具有一定間距的物體，且場景內(nèi)的3個(gè)物體之間存在部分遮擋，使用商業(yè)化的光場相機(jī)Lytro 1.0 拍攝光場圖像。Lytro 相機(jī)的景深可以達(dá)到220 mm（30 mm～250 mm）[20]，而在實(shí)驗(yàn)中，樣品系統(tǒng)的景深為79 mm，處于Lytro 相機(jī)的景深有效范圍。之后，對采集到的光場信息進(jìn)行解碼、色彩校正以及數(shù)字重聚焦，重建得到一系列位于不同焦面的圖像，作為多焦面圖像源集。最終結(jié)合導(dǎo)向?yàn)V波對所得多聚焦圖像源集進(jìn)行圖像融合，得到大景深全焦圖像。

圖3 基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)的實(shí)驗(yàn)系統(tǒng)Fig.3 Experimental system of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

圖4展示了基于單次曝光光場成像的多聚焦圖像源集的獲取結(jié)果，圖4（a）是光場圖像經(jīng)過解碼和顏色矯正的結(jié)果圖，圖4（b）和圖4（c）是局部放大圖，進(jìn)一步展示了解碼圖像的細(xì)節(jié)信息，可以看出商用光場相機(jī)拍攝的光場圖像單元是正六邊形的，這樣可以最大化地保證光場信息采集效率。對圖4（a）的圖像進(jìn)行光場重聚焦可以重建獲得一系列對應(yīng)于不同焦面的圖像，即為多聚焦圖像源集，如圖4（d）所示。

在獲得多聚焦圖像源集的基礎(chǔ)上，使用導(dǎo)向?yàn)V波方法重建全焦圖像，其結(jié)果如圖5所示。圖5（a）和圖5（b）展示了多聚焦圖像源集中的2 幅圖像，它們分別聚焦至遠(yuǎn)景部分和近景部分，虛線所示的局部放大圖如圖5（d）、圖5（g）、圖5（e）和圖5（h）所示?？梢钥闯鲞@些聚焦于不同焦面的圖像僅有部分深度的圖像具有清晰的細(xì)節(jié)，而難以實(shí)現(xiàn)大景深成像。圖5（c）展示了基于圖4（d）所示的一系列多聚焦圖像源集使用本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)獲得的結(jié)果，其局部放大圖如圖5（f）和圖5（i）所示。無論是遠(yuǎn)景部分和近景部分都具有清晰的細(xì)節(jié)信息，可以看出本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)可以獲得高質(zhì)量的大景深全焦圖像。

圖4 基于單次曝光光場成像的多聚焦圖像源集的獲取結(jié)果Fig.4 Results of multi-focus image source set based on single exposure light field imaging

圖6還比較了本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)、基于深度索引的全焦融合方法和基于小波變換[21]的全焦融合方法[22-24]的全焦圖像重建效果。這里，3種方法重建所基于的多焦面圖像源集一致，均為圖4（d）所示基于光場成像技術(shù)獲得的一系列不同焦面的圖像。圖6（a）展示的是使用基于深度索引算法獲得的全焦圖像，這里選取指定區(qū)間內(nèi)41 幅源圖像進(jìn)行融合；由其局部放大圖可知，其得到的全焦圖像邊緣存在明顯的模糊偽像。圖6（b）展示的基于小波變換方法得到的全焦圖像，這里選取小波基“sym5”，同樣由其局部放大圖可知，該全焦圖像的細(xì)節(jié)部分丟失嚴(yán)重，邊緣部分光暈明顯。相比而言，本文方法得到全焦圖像如圖6（c）所示，具有更多的高頻細(xì)節(jié)信息，同時(shí)不存在偽像和光暈，未出現(xiàn)像素點(diǎn)偏移問題，實(shí)現(xiàn)了較好的融合結(jié)果。利用“Brenner”清晰度評價(jià)標(biāo)準(zhǔn)[25]計(jì)算3種重建的全焦圖像的清晰度，基于深度索引的方法得到全焦圖像的清晰度是7.31，以此為基礎(chǔ)，基于小波變換方法得到的全焦圖像的清晰度提高了1.92%，而本文提出的方法計(jì)算出的全焦圖像的清晰度提高了13.68%，證明本文所提方法產(chǎn)生的全焦圖像具有更高的清晰度。

圖5 基于導(dǎo)向?yàn)V波的全焦圖像的重建效果Fig.5 Reconstruction results of all-in-focus image based on guided filtering

圖6 全焦圖像的重建效果比較Fig.6 Comparison of different reconstruction results of allin-focus images

另外，為了分析圖像融合的計(jì)算時(shí)間，并與傳統(tǒng)的方法進(jìn)行比較，我們統(tǒng)計(jì)了基于小波變換的全焦圖像融合方法、基于深度索引的全焦圖像融合方法以及本文提出的基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建方法的計(jì)算時(shí)間。為了保證統(tǒng)一性，3種方法的重建清晰度保持一致，每一幅圖像像素?cái)?shù)為379×378，計(jì)算平臺硬件為Intel Celeron 1007U 1.5 GHz，RAM 4 GB，計(jì)算平臺軟件件為Matlab 軟件。為了獲取全焦圖像，基于小波變換的全焦圖像融合方法需要4.35 s，基于深度索引的全焦圖像融合方法需要6.25 s，而基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建方法僅需要4.17 s。結(jié)果表明，基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建方法不僅能夠高質(zhì)量地重建全焦圖像，而且較之經(jīng)典方法速度有明顯提高。

根據(jù)以上實(shí)驗(yàn)結(jié)果可以看出，本文提出的全焦圖像重建技術(shù)僅基于單次曝光拍攝的光場圖像便能夠重建出高質(zhì)量的大景深全焦圖像，而且相比于基于深度索引和小波變換的全焦融合方法，其重建大景深全焦圖像具有更清晰的細(xì)節(jié)信息，因此具有更好的重建效果。

3 結(jié)論

為了避免基于多次曝光的多焦面圖像源集采集方式導(dǎo)致的采集圖像背景不統(tǒng)一、系統(tǒng)不穩(wěn)定，以及常見融合算法信息冗余、操作復(fù)雜、缺乏局部分析能力、對硬件要求高的缺點(diǎn)，本文提出了基于單次曝光光場成像的導(dǎo)向?yàn)V波全焦圖像重建技術(shù)。該方法首先基于單次曝光的光場成像技術(shù)進(jìn)行信息采集，經(jīng)由光場重聚焦即可得到多聚焦圖像源集，進(jìn)而使用導(dǎo)向?yàn)V波方法確定各級圖像融合權(quán)重，最后進(jìn)行圖像融合得到高質(zhì)量大景深的全焦圖像。實(shí)驗(yàn)證明該方法能夠?qū)崿F(xiàn)高質(zhì)量的大景深全焦圖像重建，而且相比于傳統(tǒng)的基于深度索引和小波變換的全焦融合方法，其重建大景深全焦圖像具有更好的效果?？紤]其具有重建質(zhì)量高、單次曝光的優(yōu)勢，有望能夠用于現(xiàn)場監(jiān)控、地理勘探、軍事偵察以及無人駕駛等需要大景深全焦圖像的領(lǐng)域中。