一種改進區(qū)域能量融合規(guī)則的光子計數(shù)圖像增強算法

仲紅玉 尹麗菊 胡浩東 王 炫 寇廷棟 潘金鳳 蔡富東

（1.山東理工大學電氣與電子工程學院，淄博，255049；2.山東信通電子股份有限公司，淄博，255088）

引 言

光子計數(shù)圖像是在極微弱光環(huán)境下獲得的圖像。隨著微光夜視技術(shù)的發(fā)展，微光圖像處理系統(tǒng)對極微弱光下所得圖像融合的需求也在不斷提升。圖像融合是運用數(shù)學方法對獲得的多幅源圖像進行顯著特征增強的過程[1]，由于多幅源圖像之間可以相互補充，所以圖像增強能降低融合圖像不確定性和減少模糊度,同時提高融合圖像信息的準確性和可靠性，形成對目標比較完整的描述[2-3]。圖像增強目的就是產(chǎn)生一個更易于理解的合成圖像，這將有利于進行觀察和目標識別。

近年來，圖像融合多應(yīng)用于可見光圖像與紅外圖像[4-6]、微光圖像和紅外圖像[7-8]。其中，文獻[8]將增強后的微光圖像與紅外圖像進行融合，融合后的圖像突出了目標；文獻[9]通過對紅外圖像進行濾波處理后再與微光圖像進行融合，融合后的圖像提供了較豐富的背景信息，增強了目標信息。文獻[10]提出了一種微光與紅外圖像的開窗融合技術(shù)方法，解決圖像融合速度與圖像融合質(zhì)量的矛盾。文獻[11]通過小波變換進行圖像稀疏化，計算對應(yīng)的梯度和能量值，采用絕對值取大法和加權(quán)平均法對圖像進行融合，融合圖像效果得到改善，但仍存在不清晰的現(xiàn)象。同時使用基于區(qū)域能量和基于區(qū)域梯度法融合規(guī)則進行的圖像融合，得到融合圖像亮度較高，但會出現(xiàn)比較嚴重的條紋噪聲且圖像輪廓不清晰[12-13]。

針對上述方法的不足，本文對基于區(qū)域能量的融合規(guī)則法進行改進，并應(yīng)用于微光圖像的融合。微光圖像是在小于10-1勒克斯的微弱光照下得到的圖像，成像器件多為像增強器和電荷藕合成像器件類。本文在10-4～10-5勒克斯的極微弱環(huán)境下，采用多像素光子計數(shù)器（Multi-piexl photon counter，MPPC）在不同光照度條件下得到光子計數(shù)圖像，采用改進的區(qū)域能量融合規(guī)則對光子計數(shù)圖像進行融合，得到的圖像質(zhì)量更高，目標輪廓更清晰，可辨別出圖像中的目標。

1 MPPC光子計數(shù)成像系統(tǒng)

1.1 M PPC光子計數(shù)實驗平臺

MPPC是濱松公司研發(fā)的一種由多個工作在蓋革模式的APD像素組成的光子計數(shù)產(chǎn)品，具備高光子探測效率、高增益、精準的時間分辨率、寬光譜響應(yīng)范圍，以及可在低電壓下工作等優(yōu)點。為了研究光子計數(shù)圖像處理技術(shù)，本文設(shè)計并搭建了光子計數(shù)實驗平臺，整個平臺外帶有黑箱。光子計數(shù)實驗平臺的原理框圖[14]如圖1所示。圖中，寬量程微光照度計用來讀出實驗環(huán)境下的光照度。

圖1 光子計數(shù)實驗平臺的原理框圖Fig.1 Block diagram of photon counting experimental platform

本文實驗中使用1根光纖是為了提高光子計數(shù)圖像掃描的分辨率。光纖的一端固定在二維平移臺上方的光纖耦合器上，另一端與MPPC探測器探頭連接，使光子通過光纖傳入MPPC探測器像元內(nèi)；計算機通過電纜線與MPPC探測器的USB口連接，并與步進電機控制器的串口相連，控制MPPC探測器的掃描，同時也控制著步進電機控制器的運動[14]。光子計數(shù)實驗平臺的實物圖如圖2所示。

1.2 MPPC光子計數(shù)成像實驗平臺的軟件實現(xiàn)

實驗平臺的上位機軟件采用MFC微軟基礎(chǔ)類庫編寫而成。軟件通過串口向步進電機控制器發(fā)送控制指令，驅(qū)動步進電機的運動，完成MPPC探測器逐行逐點采集圖像數(shù)據(jù)的工作，基本流程如圖3所示。

圖3中，初始化部分主要進行步進電機的速度參數(shù)和步長參數(shù)設(shè)定、MPPC探測器的參數(shù)初始化工作等。參數(shù)輸入和讀取部分主要進行基本的參數(shù)輸入和步進電機的歸零操作，以及將設(shè)定的參數(shù)正確地讀取到步進電機。之后，程序開始進入循環(huán)，MPPC探測器開始逐行逐點采集圖像數(shù)據(jù)，此過程所需時間由采集參數(shù)決定，數(shù)據(jù)采集過程耗時較長。數(shù)據(jù)全部采集完成后，程序?qū)⒉杉降臄?shù)據(jù)導入文本文件，然后通過MATLAB軟件進行數(shù)據(jù)處理和圖像恢復，以及其他圖像處理的優(yōu)化。最后，將生成的圖像以及一些數(shù)據(jù)分析結(jié)果存入文件。

2 光子計數(shù)圖像融合

2.1 基于小波變換的圖像融合

由于本文光子計數(shù)圖像是由二維矩陣信息構(gòu)成，所以對源圖像進行二維的小波變換，即Mallat算法。光子計數(shù)源圖像經(jīng)過二維小波變換后，分別得到圖像的高、低頻部分。在j分辨率下可以將圖像分解為如下4部分[15]：Ajf表示低頻部分圖像（用LL表示）；D1j+1f表示在垂直方向上的高頻部分圖像（用LH表示）；f表示在水平方向上的高頻部分圖像（用HL表示）；f表示在對角線方向上的高頻部分圖像（用HH表示），如圖4所示。

大多數(shù)的小波變換算法是將原來的圖像分解成為一個大小遞減的小波面。而在冗余小波變換的算法中，全部小波面的像素都相同，與原始圖像一樣，變換后的各頻率子帶圖像與源圖像大小相等，具有平移不變性?；谌哂嘈〔ㄗ儞Q的融合方法原理框圖如圖5所示。

本文對低頻圖像進行像素平均的融合方法，對高頻圖像采用改進區(qū)域能量的融合規(guī)則進行圖像融合。由于一個大小一定的區(qū)域內(nèi)部包括多個像素點，區(qū)域能量融合規(guī)則需要考慮該區(qū)域內(nèi)的所有像素點，避免了只考慮單獨1個像素點產(chǎn)生的誤差，提高了光子計數(shù)圖像的融合效果。

圖4 圖像小波變換的塔形結(jié)構(gòu)Fig.4 Tower structure of image wavelet transform

圖5 基于冗余小波的圖像融合方法示意圖Fig.5 Image fusion based on redundant wavelet transform

2.2 區(qū)域能量的融合規(guī)則

對同一融合方法采用不同的融合規(guī)則，將會得到不同效果的融合圖像。目前小波域的融合規(guī)則有小波系數(shù)進行絕對值較大選擇法、絕對值較小選擇法和加權(quán)平均法等，都是對單個像素點進行處理[16]。然而圖像的細節(jié)特征通常是由多個像素點表征，單個像素點并不能表示出圖像的某一細節(jié)，并且這些像素點集中分布在圖像中的某一區(qū)域，像素點之間表現(xiàn)出較強的相關(guān)性。因此,圖像融合如果只是簡單地對單個像素點進行圖像融合處理，融合后的圖像會存在較大的誤差，圖像效果較差。區(qū)域能量融合規(guī)則的圖像融合原理[17]是對源圖像進行變換，得到高、低頻圖像；然后計算兩幅源圖像中高頻部分圖像的局部區(qū)域能量，根據(jù)局部區(qū)域能量計算兩幅源圖像的匹配度，并與設(shè)定的閾值進行比較：當匹配度小于閾值時,表示在該區(qū)域中兩幅源圖像的能量差異較大,選取局部區(qū)域能量較大的圖像像素點值；當匹配度大于或等于閾值時,說明兩幅源圖像在該區(qū)域上能量比較接近，采用加權(quán)融合規(guī)則進行圖像融合。

令源圖像A和B在j分辨率下、ε方向上以(m,n)為中心的局部區(qū)域能量分別為(m,n)和(m,n)表示A×B在j分辨率下、ε方向上以(m,n)為中心的局部區(qū)域的能量，由此可以確定兩幅源圖像對應(yīng)局部區(qū)域的匹配度M為[18]

式中：K和L表示局部區(qū)域的大小，m=1,2,3,…,K，n=1,2,3,…,L；fA(m,n)和fB(m,n)分別表示源圖像A和源圖像B在(m,n)點的像素值(m,n)表示源圖像A和源圖像B在3個方向的高頻部分圖像；ω(i,j)為權(quán)系數(shù)，表達式為

區(qū)域能量的融合規(guī)則中閾值T根據(jù)多次實驗效果設(shè)定為T=0.7。匹配度與閾值進行比較，對圖像進行融合。其中，fF(m,n)表示融合后的光子計數(shù)圖像。

若M ＜ T，則

若M ≥ T，則

式中ωA和ωB為圖像融合中的加權(quán)系數(shù)[16]，其值由局部區(qū)域能量決定，表達式為

由于本文是對光子計數(shù)圖像進行融合，而光子計數(shù)圖像的亮度和對比度較低，對其進行基于區(qū)域能量融合規(guī)則的圖像融合則效果不佳。因此本文在區(qū)域能量融合規(guī)則法的基礎(chǔ)上，提出了改進的區(qū)域能量融合規(guī)則。

2.3 改進的區(qū)域能量融合規(guī)則

文獻[19]中圖像融合原理是對源圖像進行小波變換，得到高、低頻分量，對低頻分量進行鄰域能量加權(quán)的融合方法；對高頻分量進行鄰域能量對比度取大法的融合方法。本文對區(qū)域能量融合規(guī)則進行改進,即對源圖像中某一區(qū)域所有像素點進行能量和均方差計算，然后根據(jù)其局部區(qū)域能量決定兩幅源圖像的匹配度；當匹配度小于閾值時,圖像融合規(guī)則選擇能量大的區(qū)域像素點的增強值作為融合圖像中相對應(yīng)的像素點值,增強因子是由兩幅源圖像的相應(yīng)鄰域均方差決定；反之,當匹配度大于或等于閾值時,可采用加權(quán)區(qū)域能量法確定融合圖像，其中加權(quán)系數(shù)是由兩幅源圖像的局部區(qū)域能量和閾值共同決定的，而閾值由兩幅源圖像的圖像信息決定。圖6為改進區(qū)域能量融合規(guī)則的圖像融合基本原理框圖。

圖6 改進區(qū)域能量融合規(guī)則的圖像融合基本原理框圖Fig.6 Basic principle block diagram of image fusion for improving regional energy fusion rules

圖像的鄰域特性受多個因素的影響，其中局部區(qū)域能量和方差比較顯著。局部區(qū)域均方差與圖像細節(jié)的豐富程度有關(guān)，均方差值越大，表示圖像細節(jié)越豐富。圖像某點像素的增強值是由該點像素值與增強因子乘積決定，高頻部分的像素增強值更能體現(xiàn)出圖像的細節(jié)，具體評價參數(shù)為

式中：μA和μB分別表示光子計數(shù)源圖像A，B的均值；σA和σB分別表示光子計數(shù)源圖像A，B的均方差；ψA和ψB表示光子計數(shù)源圖像A，B的增強因子。

區(qū)域能量的融合規(guī)則中閾值T是根據(jù)多次實驗效果設(shè)定的，沒有考慮源圖像本身的圖像信息。如果不同的源圖像進行圖像融合時，閾值T相同會影響融合圖像的融合效果。由于本文所設(shè)定的閾值T要與兩幅源圖像局部區(qū)域的匹配度進行比較，故需計算出與匹配度相對應(yīng)的局部區(qū)域閾值。根據(jù)式(9)可以計算出與局部區(qū)域匹配度相對應(yīng)的局部區(qū)域閾值為

根據(jù)匹配度M和閾值T可以確定加權(quán)的系數(shù)為

若M ＜ T，則有

若M ≥ T，則有

3 實驗分析

本文進行圖像融合的計算機配置是Intel Corei5處理器，2 GB內(nèi)存，融合算法仿真使用MAT?LABR2016a。實驗選擇兩組圖像分別是葉子圖像和經(jīng)典的Lena圖像，經(jīng)過光學實驗平臺探測得到相應(yīng)的光子計數(shù)圖像，如圖7—12所示。每組兩次實驗中設(shè)置的SC步進電機的步長和速度相同，掃描點數(shù)和時間相同，只在光學實驗平臺中設(shè)定不同的微光照度，其中圖7(a)和圖10(a)中微光照度計測得的數(shù)值為6.31×10-5lx，圖7(b)和圖10(b)中微光照度計測得的數(shù)值為4.02×10-4lx，令得到的光子計數(shù)圖像作為圖像融合的源圖像，按照融合規(guī)則1—3進行圖像融合，并對融合后的圖像進行主觀和客觀上的評價。其中，融合規(guī)則1為低頻部分圖像采用加權(quán)平均法，高頻部分圖像為小波系數(shù)取絕對值較大法；融合規(guī)則2為低頻部分圖像采用加權(quán)平均法，高頻部分圖像為區(qū)域能量融合法；融合規(guī)則3為低頻部分圖像采用加權(quán)平均融合法，高頻部分圖像采用改進區(qū)域能量法。

圖7 葉子源圖像Fig.7 Source images of Leaf

圖8 不同融合規(guī)則下的基于小波變換的葉子圖像融合Fig.8 Fusion of Leaf images based on wavelet transform under different fusion rules

圖9 不同融合規(guī)則下的基于冗余小波變換的葉子圖像融合Fig.9 Fusion of Leaf images based on redundant wavelet transform under different fusion rules

圖10 Lena源圖像Fig.10 Source images of Lena

圖11 不同融合規(guī)則下的基于小波變換的Lena圖像融合Fig.11 Fusion of Lena images based on wavelet transform under different fusion rules

圖12 不同融合規(guī)則下的基于冗余小波變換的Lena圖像融合Fig.12 Fusion of Lena images based on redundant wavelet transform under different fusion rules

由2.3節(jié)改進的圖像融合算法可看出，本文改進的融合算法計算量與已有的區(qū)域能量融合規(guī)則的計算量無較大區(qū)別。表1為不同融合規(guī)則生成融合圖像所需時間。根據(jù)表1可以看出，圖9(c)和圖11(c)運行時間少于圖9(a,b)和圖11(a,b)的運行時間。總體來看，雖然本文融合算法步驟多于其他融合法，但是改進融合規(guī)則的計算簡單，程序運行所需時間較短。

由融合圖像可以看出：圖8（a）和圖 9（a）中葉子圖像出現(xiàn)塊狀模糊現(xiàn)象，圖 8（b,c）和圖9（b,c）在主觀視覺上沒有很大區(qū)別，都較好地突出了葉子的細節(jié)部分，可以看出葉子的主經(jīng)脈，但圖（c）融合圖像層次比圖（b）更分明。圖11和圖12融合的Lena圖像中，圖（a）融合圖像中出現(xiàn)馬賽克現(xiàn)象，一些細節(jié)同時被模糊；圖（b）融合效果好于圖（a）,沒有出現(xiàn)模糊的塊狀，但是圖像亮度較低；圖（c）融合圖像效果和圖像質(zhì)量好于其他融合圖像，融合圖像層次分明，圖像紋理和細節(jié)比較清晰。從主觀評價結(jié)果可以看出，采用基于區(qū)域能量的融合規(guī)則得到融合圖像效果最好。

表1 不同融合規(guī)則下的融合運行時間Tab.1 Fusion r un time under differ ent fusion r ules s

由于主觀評價會隨著觀察者的不同，對融合圖像的效果評價產(chǎn)生較大誤差。為了更精確地評價融合圖像質(zhì)量的優(yōu)劣，采用均值、標準差、信息熵、平均梯度及空間頻率[19]作為評價指標對圖像進行客觀的評價，具體結(jié)果如表2所示。從表2可以看出，圖8（c）和圖11（c）的信息熵、平均梯度和空間頻率值大于同組的圖（a，b）值，圖9（c）和圖12（c）的信息熵、平均梯度和空間頻率也大于同組其他值，說明圖像所含的信息越多，邊緣信息以及細節(jié)越豐富，圖像效果越好；而圖（c）的標準差和均值居中，不是最大也不是最小，說明圖（c）的融合圖像有一定的反差、信息含量也較多，圖像融合效果也較好。通過以上數(shù)據(jù)分析可以得出，采用改進區(qū)域能量融合規(guī)則的光子計數(shù)圖像融合得到的信息熵、平均梯度和空間頻率比其他融合圖像提高了20%，25%，30%左右，圖像質(zhì)量和效果最好，邊緣信息和紋理細節(jié)也比較明顯。

表2 融合圖像的評價指標Tab.2 Evaluation index of fusion images

4 結(jié)束語

本文針對不同光照度條件下得到的光子計數(shù)圖像采用基于改進區(qū)域能量融合規(guī)則進行融合。實驗結(jié)果表明，采用本文融合規(guī)則得到的光子計數(shù)融合圖像，目標輪廓更加清晰可見，細節(jié)更明顯，目標更易于識別；從客觀評價指標也可以看出，融合圖像的信息熵、平均梯度以及空間頻率值都有所提高，融合圖像效果更好。