激光圖像融合算法

張合新,王 強,宋 睿

(火箭軍工程大學 控制工程系，西安 710025)

激光圖像融合算法

張合新,王 強,宋 睿

(火箭軍工程大學 控制工程系，西安 710025)

為了有效提高激光強度圖像的質量，使其能夠更好地與其他多源圖像匹配，提出了一種激光強度圖像與距離圖像融合的方法。該方法首先分析了激光強度圖像與距離圖像不同類型像素點之間局部統(tǒng)計信息的差異，然后利用Ostu算法和模糊最小誤差閾值算法求出強度像和距離像的局部統(tǒng)計信息的全局閾值和最佳閾值，最后將這些閾值作為融合參數(shù)，按照一定的融合規(guī)則，將強度像與距離像進行融合。仿真實驗表明：與單純的濾波算法相比，該融合算法在控制激光散斑噪聲的同時，通過融合不同源圖像的互補信息，達到提高激光強度圖像的各方面性能的目的。

圖像融合；全局閾值；最佳閾值；互補信息

0 引言

與紅外、可見光等成像方式相比，激光成像的一個顯著優(yōu)勢就是能夠一次性獲取到目標的強度像、距離像、速度、距離等多種信息[1]。但是與那些發(fā)展比較成熟的成像方式相比，激光主動成像自身也有很多不足。其中，成像質量不高，易受散斑噪聲的影響是抑制其實際應用的兩個主要因素。激光圖像的噪聲抑制已經(jīng)有很多比較成熟的濾波算法。

對于如何改進激光成像圖像的質量，一般而言有兩條途徑。一是改善激光成像系統(tǒng)的硬件條件。從21世紀初，王琪院士帶頭研制的CO2激光相干成像雷達系統(tǒng)，到近幾年孫秀東等以YAG激光器為光源研制的激光成像雷達系統(tǒng)，經(jīng)過幾十年的發(fā)展，激光成像系統(tǒng)的硬件條件已經(jīng)有了很大的改善。二是從激光主動成像的理論方面進行了深入研究。就目前而言，圖像融合是改善激光圖像質量的一種比較好的方法。而現(xiàn)在比較成熟的圖像融合算法一般都是像素級的融合。本文提出了一種基于激光圖像局部統(tǒng)計信息的圖像融合算法。實驗結果表明，該算法能不僅夠有效控制激光圖像的散斑噪聲，還能提高圖像的清晰度等圖像性能。

1 圖像融合

圖像融合是指將同一對象、不同來源的圖像進行空間配準，將其中的優(yōu)勢信息或者互補信息有機結合的一種圖像處理技術。融合后的圖像信息更豐富、誤差更小，能夠更充分利用不同信息源提供的信息。

1.1 融合等級

根據(jù)圖像融合水平的不同通常將圖像融合分為三種不同的等級：像素級、特征級、決策級，這三種融合方法水平逐漸遞增[2]。不同等級融合的特點及優(yōu)缺點如表1所示。

表1 不同等級圖像融合方法對比

從表1可以看出不同等級的融合有不同的側重點。像素級的融合更加注重對于信息的保留和融合的精度控制，這就勢必造成這種融合方法在容錯性、抗干擾性和實時性這些方面不夠理想；特征級融合是一種中等程度的融合，這種融合方法在各方面的表現(xiàn)比較均衡；決策級融合是最高等級的融合方法，它從圖像的屬性入手，對圖像的屬性進行融合，這種融合方法最大的優(yōu)勢在于容錯性、實時性好，開放程度高。

1.2 融合方法

對于不同等級的圖像融合，下面列舉一些常用的融合算法[3]，如表2所示。

表2 融合方法

2 融合算法基礎

2.1 局部標準差

局部標準差用于反映圖像局部對比度的變化。對于d×d大小的窗口，局部標準差公式如下所示

(1)

(2)

2.2 梯度圖像

圖像的梯度既包含方向又包含大小。一般用梯度的幅度就能表現(xiàn)出鄰域內灰度的變化。

Sobel梯度算子以像素點為中心的3×3鄰域做灰度加權運算，其定義為

(3)

其中，fx和fy分別是在水平方向和垂直方向上的梯度值。所有像素點的梯度值就組成了一個梯度圖像G。

2.3 Ostu算法求全局閾值[6-8]

首先應用式(3)和式(4)求取圖像的局部標準差和Sobel算子的梯度值，再應用Ostu算法求得整幅圖像的全局閾值T，根據(jù)全局閾值T可將整幅圖像分為灰度平坦區(qū)和灰度突變區(qū)。

Ostu算法的基本思想為：設閾值T將其對應原圖的灰度分為2組，一組對應灰度值變化不大的區(qū)域，一組對應灰度變化較大的區(qū)域。則這2組組內方差最小，組間方差最大。

組內方差為

(4)

組間方差為

(5)

(6)

Ostu算法考慮的是整幅圖像的灰度分布情況，正是分離圖像信息所需要的。

2.4 模糊最小誤差閾值算法[8-11]

把像素灰度突變點分離為邊緣點和噪聲點是本文算法實現(xiàn)的關鍵所在，這里提出一種模糊最小誤差閾值算法。把V2分成噪聲點區(qū)域V21和邊緣點區(qū)域V22。V21的隸屬函數(shù)μ21=(k;a,b)、V22的隸屬函數(shù)μ22=(k;a,b)，分別表示圖像局部統(tǒng)計參數(shù)k對V21和V22的隸屬程度，即是每個局部統(tǒng)計參數(shù)對應的像素點被劃為噪聲點和邊緣點的概率，分別為：P21和P22。μ12(k;a,b)為S型函數(shù)，μ22(k;a,b)為Z型函數(shù)，具體形式如下：

(7)

μ22(k;a,b)=1-μ12(k;a,b)

(8)

(9)

(10)

(11)

(12)

定義誤差函數(shù)J(a,b)定義為

J(a,b)= 1+2[Pe(a,b)logσe(a,b)+

Ps(a,b)logσs(a,b)]-

2[Pe(a,b)logPe(a,b)+

Ps(a,b)logPs(a,b)]

(13)

尋找參數(shù)(a,b)以得到圖像中最佳閾值，選擇最小分類誤差所對應的參數(shù)值，即

(14)

代入最小誤差公式，可以得到最優(yōu)的參數(shù)(aopt,bopt)，從而得到最佳的閾值

(15)

3 本文融合算法

3.1 圖像統(tǒng)計特性分析

激光強度圖像與距離圖像是不同傳感器所成的異源圖像，灰度級相差很多，灰度的表現(xiàn)形式也相差很大。對于像素級的圖像融合肯定是不適用的，所以要側重在特征級和決策級的圖形融合上考慮[4]。

激光圖像不論是強度像還是距離像都受散斑噪聲的影響，為了研究方便，假設經(jīng)過濾波處理的圖像具有較高的信噪比。

在假設噪聲分布符合均勻同概率和獨立分布的條件下，不同信噪比圖像在3×3鄰域內出現(xiàn)噪聲點的個數(shù)和概率如表3所示。

表3 不同信噪出現(xiàn)比噪聲點點數(shù)及其概率

從表3中可以看出在信噪比低于90%時出現(xiàn)2個噪聲的概率還是很大的。本文著重分析的是信噪比不是太低的情況。

在激光強度圖像中，如果某像素點為信號點，在其鄰域內肯定存在與此像素點像素值相近的點，那么該點的局部標準差就比較小。我們可以應用Ostu算法求取局部標準差的全局閾值T1，將整幅強度圖像分為灰度平坦區(qū)域和灰度突變區(qū)。

灰度突變區(qū)域一般指的是噪聲區(qū)域或者邊緣區(qū)域。這兩者的局部統(tǒng)計特征比較相近，但是也存在著一定的區(qū)別[5]。在噪聲區(qū)域，因為信噪比不是很低，噪聲點較少，所以其鄰域內少有與之像素值相似的點，所以局部標準差就很大；在邊緣區(qū)域，因為邊緣具有連續(xù)性，鄰域內肯定存在幾個相似的像素點，所以局部標準差就比噪聲點稍低。

局部標準差的稍大與稍小不好把握，在這里只把局部標準差大于模糊最小誤差閾值T2的點定為噪聲點。對于剩下的灰度突變區(qū)的點要結合距離圖像來判斷。

在強度像中一般只有均質區(qū)域會表現(xiàn)為灰度的連續(xù)性，與之不同的是在距離像中同一物體灰度值基本相同。所以在距離像中可以通過其梯度值的大小來判斷像素點屬于信號區(qū)域還是邊緣區(qū)域。

與強度像處理方式相同，再一次利用Ostu算法和模糊最小誤差閾值法求出距離梯度圖像的2個閾值T3和T4。當某點的梯度值很大時，那么該點肯定為邊緣點，而T4就作為判斷的閾值。如果某點梯度值很小，小于全局閾值T3，那么該點在距離像中為信號點，但是強度像中局部標準差比較大，綜合判斷其在強度像中為噪聲點。對于強度像中局部標準差在T1和T2之間，而且對應距離像中梯度值在T3和T4之間的點，結合強度梯度圖像判斷。

3.2 融合規(guī)則

從前文可知，通過選取不同的閾值可以將像素點劃分為不同的區(qū)域，對于信號點和邊緣點像素，不做任何處理地加以保留。而對于噪聲點用鄰域的8個像素均值代替[6]。融合規(guī)則如下：

(16)

對于中間點的規(guī)則是：T5是強度梯度圖的最佳閾值，當大于T5時是噪聲點，小于T5是邊緣點。

4 評價指標

圖像融合目的是通過融合不同源圖像之間的優(yōu)勢信息或者互補信息來改善圖像質量，增加圖像中包含的信息量。而客觀、準確的評價一個算法，對于改進算法或者提出新算法具有特別重要的意義。因此本文采用主、客觀評價相結合的方法對本文融合算法做出評價。

4.1 主觀評價

主觀評價一般指的就是從視覺效果上定性地評價圖像的質量。而在視覺效果中比較明顯的兩個方面是邊緣的展寬和弱邊緣的保護。邊緣的展寬和弱邊緣的保護對于圖像后期的應用具有很大的影響。

4.2 客觀評價

設圖像的大小為M×N，融合后的圖像為F(x,y)，下面列舉了一些常用的評價標準。

1)均值：灰度的算術平均值，直觀表現(xiàn)為圖像的亮度。

(17)

標準差：反映了灰度相對于灰度均值的離散情況。

(18)

2)熵：融合圖像熵值表示了圖像包含的信息量，熵值越大，說明融合的效果越好，熵的定義如下。

(19)

其中，p(i)表示灰度值為i的像素數(shù)目Ni與圖像總像素N之比，即：p(i)=Ni/N，其反映了圖像中灰度值為i的像素概率分布，類似于圖像的歸一化直方圖。

3)空間頻率：能夠反映一幅圖像空間域的總體活躍程度，空間頻率越大，說明融合效果越好，其定義如下：

(20)

(21)

(22)

其中，RF表示行頻率，CF表示列頻率。

4)清晰度：用來反映圖像質量的改進程度、圖像中微小細節(jié)反差和紋理變化特征。清晰度的提高往往表征圖像的質量、細節(jié)信息和紋理特征的提高和增強。公式表示為

(23)

其中，△xf(i,j)、△yf(i,j)分別是f(i,j)沿x、y方向的差分。

5)散斑指數(shù)：該指標用來評價散斑噪聲的抑制能力，圖像的散斑指數(shù)越小，算法抑制散斑噪聲的能力越好。

(24)

其中，M、N為圖像的維數(shù)，σ(i,j)、μ(i,j)為計算窗口中元素的標準差和均值。

以上列舉的評價指標是從圖像本身來衡量圖像質量的好壞。另外一種圖像評價方法是從融合后圖像和標準圖像之間的關系來評價圖像的質量。但是標準圖像往往很難獲取或者是根本不存在，這就極大地限制了這種方法的實際應用。本文用原圖替代標準圖像來獲取圖像的評價指標。常用的一些評價參數(shù)如下所示。

6)總體交叉熵：表示融合圖像從源圖像提取得到的信息量。

(25)

(26)

7)平均交叉熵MCE和均方根交叉熵RMSCE越小，說明融合圖像從源圖像中提取的信息越多，融合效果越好。

8)互信息：待融合圖像A、B與融合圖像F之間的互信息為：

(27)

(28)

其中，pA、pB、pF分別為圖像A、B與融合圖像F的歸一化灰度直方圖?；バ畔⒃酱?，說明融合圖像從源圖像中提取的信息越多，融合效果也越好。

9)聯(lián)合熵：可以作為3幅圖像之間相關性的量度，定義如下

(29)

聯(lián)合熵反映了3幅圖像之間的聯(lián)合信息，源圖像與融合圖像之間的聯(lián)合熵越大，融合效果越好。

10)偏差指數(shù)：可以反映融合圖像與源圖像在光譜信息上的匹配程度。如果待融合源圖像為高分辨率圖像A與低分辨率多光譜圖像B，融合圖像F，則融合圖像F與原始多光譜圖像B的偏差指數(shù)為

(30)

偏差指數(shù)越小，說明融合圖像在提高空間分辨率的同時較好地保留了原始光譜圖像的光譜信息。

5 實驗結果及分析

與單純的濾波不同，圖像融合技術在濾除噪聲的同時，還能結合不同源圖像之間的互補信息，保護、強化細節(jié)、邊緣等敏感信息[12-14]。例如：激光強度像在細節(jié)方面更加細致，距離圖像在目標的邊緣上更加突出，兩者的融合使得融合后的圖像在細節(jié)和邊緣這兩方面都能兼顧到。為了對比突出本文融合算法在這方面的優(yōu)勢，接下來將本文算法與單純的濾波算法進行比較，用主、客觀評價方法全面衡量本文融合算法。

在圖1中，(a)、(c)、(d)分別是某地區(qū)激光雷達下視強度圖像及其梯度像和標準差圖像，(b)、(e)是激光距離圖像和對應的距離梯度圖像。根據(jù)融合規(guī)則首先計算出強度梯度像的最佳閾值和強度標準差圖像、距離梯度的全局閾值和最佳閾值用于決策，分離參數(shù)如表4所示。

表4 分離參數(shù)

(a)激光雷達強度圖像(b)激光雷達距離圖像(c)強度圖像的梯度圖像(d)強度圖像的標準差圖像(e)距離圖像的梯度圖像

首先從主觀上對圖像進行評價。從圖2中可以明顯看到除了本文的融合算法，文中提供的幾種濾波算法在濾除散斑噪聲的時候或多或少都造成了圖像的模糊，導致圖像分辨率的下降，其中Lee濾波對圖像的模糊作用最為明顯。圖像模糊帶來的結果就是邊緣的展寬、移位和細節(jié)信息的丟失。所以從主觀上來判斷本文融合算法相對于其他幾種濾波算法具有絕對的優(yōu)勢。

(a)中值濾波(b)Lee濾波(c)加權平均融合濾波(d)小波融合濾波(e)本文融合算法

其次再對本文融合算法做出一個客觀的評價。從表5所列的圖像清晰度參數(shù)中可以看出，本文提出的圖像融合算法能夠小幅提升原圖像的清晰度。從空間頻率上來看，本文算法是幾種算法中對圖像的空間閾活躍程度保持最好的，融合的效果相比另外兩種更加出色。

表5 性能參數(shù)比較

但僅從圖像的本身參數(shù)不能完全說明融合算法的優(yōu)劣，還需要將融合后的圖像與理想圖像進行對比[15]，由于理想圖像很難獲取或者說根本不存在，所以就將融合后圖像與原圖像進行比對，來評價本文算法，如表6所示。

表6 融合圖像與原圖之間性能參數(shù)

從表6中可以再次發(fā)現(xiàn)本文算法是一個表現(xiàn)十分全面的融合算法，不僅濾波效果明顯，而且從原圖中繼承了大部分有用的熵值，較好地保留了原始光譜圖像的光譜信息。

6 結論

本文提出了一種基于圖像局部統(tǒng)計特性的激光圖像融合方法。該算法首先分析了激光強度像、距離像中的信息點、噪聲點和邊緣點的局部統(tǒng)計特性，然后根據(jù)不同類型像素點局部統(tǒng)計特性之間的區(qū)別，選取合適的閾值作為融合參數(shù)，按照一定的融合規(guī)則將激光強度像與距離像進行融合。從實驗結果可知，該融合算法不僅能有效濾除散斑噪聲，還能有效繼承原始圖像的信息熵，保留原始光譜信息，全面提高激光強度圖像的質量。

[1] 張騰飛, 張合新, 孟飛,等. 一種級聯(lián)的激光主動成像圖像融合降噪算法[J].激光與紅外, 2015, 45(9):1133-1137.

[2] 楊桄, 童濤, 陸松巖,等. 基于多特征的紅外與可見光圖像融合[J].光學精密工程, 2014, 22(2):489-496.

[3] 朱煉, 孫楓, 夏芳莉,等. 圖像融合研究綜述[J].傳感器與微系統(tǒng), 2014, 33(2):14-18.

[4] 孟飛.激光成像制導圖像處理與匹配算法研究[D].西安：第二炮兵工程大學，2011.

[5] Jiang Y, Wang M. Image fusion with morphological component analysis[J].Information Fusion,2014, 18(1):107-118.

[6] Zhang J, Zhang Q. Image fusion algorithm based on wavelet transform[C]//International Conference on Advanced Information Technology and Sensor Application. IEEE Computer Society, 2015:47-50.

[7] 鄧江洪, 趙領. 基于小波變換的激光雷達圖像融合研究[J].激光雜志, 2015， 36(12)：31-34.

[8] 張小利, 李雄飛, 李軍. 融合圖像質量評價指標的相關性分析及性能評估[J].自動化學報, 2014, 40(2):306-315.

[9] 袁衛(wèi). 多傳感器圖像融合系統(tǒng)設計[J].激光雜志, 2014,1(10):40-42.

[10] 敬忠良. 圖像融合[M].北京： 高等教育出版社, 2007.

[12] 李奕, 吳小俊. 基于監(jiān)督學習的Takagi Sugeno Kang模糊系統(tǒng)圖像融合方法研究[J].電子與信息學報, 2014,36(5):1126-1132.

[13] Balasubramaniam P, Ananthi V P. Image fusion using intuitionistic fuzzy sets[J].Information Fusion, 2014, 20(1):36-47.

[14] 陳磊, 楊風暴, 王志社,等. 特征級與像素級相混合的SAR與可見光圖像融合[J].光電工程, 2014,41(3):55-60.

[15] 于坤林, 謝志宇, 原振文. 改進的小波圖像融合算法及應用研究[J].計算機與數(shù)字工程, 2014, 42(4):592-595.

[16] 張蕾, 金龍旭, 韓雙麗,等. 采用非采樣Contourlet變換與區(qū)域分類的紅外和可見光圖像融合[J].光學精密工程, 2015, 23(3):810-818.

Laser Image Fusion Algorithm

ZHANG He-xin, WANG Qiang, SONG Rui

(Department of Automation , Rocket Force University of Engineering, Xi’an 710025, China)

In order to improve the quality of the laser intensity image effectively, to match with other multi-source images better. A laser intensity image and distance image fusion method is proposed. The method begins with an analysis of the local statistical information differences between the different types of pixels of the laser intensity image and distance image, and then calculate the local statistical information global threshold and the optimal threshold value of the intensity image and distance image by Ostu algorithm and fuzzy minimum error thresholding algorithm, and these thresholds will as image fusion parameters.Finally, according to some designated fusion rules, the intensity image and range image are fusioned. Simulation results show that compared with filtering algorithms , the fusion algorithm not only control of the laser speckle noise effectivly, but also can be to improve laser intensity image performance.

Image fusion； Global threshold；Optimal threshold value；Complementary information

10.19306/j.cnki.2095-8110.2016.06.010

2016-06-13；

2016-07-18。

國家自然科學基金(61203189)

張合新(1967 - )，男，教授，博士生導師，主要從事控制科學與工程方面的研究。

TN751

A

2095-8110(2016)06-0050-07