基于變換域邊緣檢測的雙源交通圖像融合方法研究

樊東燕，蔡 宇

?

基于變換域邊緣檢測的雙源交通圖像融合方法研究

樊東燕1，蔡 宇2

（1. 山西大學(xué) 商務(wù)學(xué)院信息學(xué)院，太原 030031；2. 山西大學(xué) 物理電子工程學(xué)院，太原 030006）

針對交通圖像在惡劣天氣及夜間成像質(zhì)量較差的問題，通過研究紅外傳感器和可見光傳感器的成像原理，設(shè)計了一種基于變換域邊緣檢測的雙源交通圖像融合方法。首先將紅外源圖像與可見光源圖像利用小波變換分別進行分解，再對所得結(jié)果中的高頻成分邊緣檢測，通過設(shè)計不同的融合規(guī)則對變換域不同頻率子圖像分別進行融合處理，然后通過逆變換得到特征信息豐富的融合圖像。

雙源交通圖像；融合規(guī)則；邊緣檢測；小波變換；圖像融合

0 引言

隨著經(jīng)濟的發(fā)展，道路上的車輛數(shù)量與日俱增，行駛速度也越來越快，交通監(jiān)控技術(shù)亟待改進，智能交通系統(tǒng)（intelligent traffic system，ITS）技術(shù)應(yīng)運而生。ITS主要基于視頻圖像實現(xiàn)目標(biāo)檢測，其中涉及到的視頻車輛檢測技術(shù)是以攝像機作為檢測裝置，基于計算機視覺技術(shù)從視頻序列中提取運動的車輛對象，從而進行車輛信息檢測[1]。近年來，隨著模式識別技術(shù)的快速發(fā)展，基于計算機圖像處理技術(shù)的ITS視頻車輛檢測系統(tǒng)成為了研究熱點[2]。在ITS的視頻檢測系統(tǒng)中，可以利用數(shù)字圖像處理技術(shù)，把來源于不同傳感器采集的多路圖像信號通過融合處理，進而消除冗余、增加互補、降低不確定性、提高信息的可靠度[3]。

多源圖像融合（multi-source image fusion）是近些年新興的圖像處理研究方向，主要針對多聚焦圖像或多傳感器獲得的圖像進行融合[4]。利用設(shè)計融合算法提取多源圖像的特征信息，通過對不同的特征信息進行有機合成后得到信息全面、準(zhǔn)確的融合圖像[5]。在多源圖像融合技術(shù)的研究中，嘗試將圖像分解到具有多尺度性質(zhì)的變換域中進行融合處理是國內(nèi)外相關(guān)學(xué)者的研究熱點[6]。隨著小波變換（wavelet transform，WT）數(shù)學(xué)理論在信號處理領(lǐng)域的興起，其在多源圖像融合中作為一種多尺度分解算法扮演著重要的角色[7]。

可見光成像傳感器和紅外成像傳感器是ITS中較常用的成像設(shè)備[8]，其中可見光成像傳感器的工作波長范圍是380～780nm，與人眼可識別的波段相同，能夠獲取場景中的反射信息，其圖像的特點是能夠提供清晰的細(xì)節(jié)，含有豐富的顏色，圖像含有大量信息，具有較高的時空分辨率，有利于人眼對整個場景及重要目標(biāo)的認(rèn)知[9]。但這種傳感器抗干擾性差，在惡劣天氣及夜間成像能力較差。紅外成像傳感器將物體輻射的熱紅外功率信號形成的紅外輻射圖樣轉(zhuǎn)換成人眼可識別的熱像圖[10]。由于紅外線具有穿透性，因而傳感器可發(fā)現(xiàn)煙霧遮擋的目標(biāo)或在樹木后的車輛等。因此在夜間，人眼不能很好地辨別場景中的目標(biāo)時，利用不同景物之間存在著一定的溫度差，可以利用紅外傳感器來進行探測。但這樣所成的圖像不利于人眼判讀[11]。因此在原來的道路監(jiān)控攝像機旁新增一個紅外攝像機，調(diào)整其拍攝角度與CCD攝像機保持一致，這樣就可同時獲得拍攝目標(biāo)相同的紅外與可見光源圖像[12]。然后將兩路源圖像進行融合，可以有效地提高系統(tǒng)的工作效率?；谏鲜鲅芯勘疚脑O(shè)計了一種基于邊緣檢測與小波變換相結(jié)合的雙路傳感器交通圖像融合方法。

1 雙路傳感器交通圖像融合方法設(shè)計

1.1 小波圖像融合的處理流程

二維小波變換是一種圖像的多尺度分解，而且小波分解是非冗余的。圖1通過圖示描述了小波圖像融合的處理流程[13]。

1.2 源圖像的轉(zhuǎn)換

在不影響圖像識別的前提下，為了減少圖像處理的運算量，通常在小波分解之前需要先將源圖像轉(zhuǎn)換為灰度圖像[14]。首先計算源圖像中每個像素點的亮度值，然后把亮度值進行量化，表示成0～255的灰度等級，通過匹配像素亮度值將源圖像轉(zhuǎn)換為灰度圖像。

1.3 設(shè)計圖像融合規(guī)則

源圖像經(jīng)過小波分解后得到一系列不同分辨率（頻率）的子圖像。其中高頻子圖像反應(yīng)的是諸如圖像的邊緣、區(qū)域邊界等細(xì)節(jié)特性；低頻子圖像是能量集中的主要部分，表現(xiàn)的是圖像的概貌和平均特性[15]。因此對于低頻子圖像的融合通常應(yīng)用加權(quán)平均法，即低頻融合小波系數(shù)可由所有低頻系數(shù)進行加權(quán)平均后得到。由于邊緣是圖像很重要的部分，雖然邊緣像素很少卻包含著很多信息，因此先對圖像的高頻部分進行邊緣檢測，然后再融合[16]。

圖像邊緣的檢測一直是圖像融合的研究熱點，Canny算子被認(rèn)為是比較好的邊緣檢測方法[17]。這種方法不僅能夠檢測出圖像中真正的弱邊緣，而且抗噪聲干擾能力較強，因此可以在圖像處理過程中在檢測邊緣與抑制噪聲之間的此消彼長中取得最佳平衡狀態(tài)，檢測得到較完整的邊緣，減少模板檢測中邊緣出現(xiàn)中斷的情況[18]。所以本文對高頻子圖像的邊緣檢測采用最佳邊緣檢測算子Canny算子進行邊緣檢測[19]。算法設(shè)計流程為：

第1步：設(shè)A、B分別為可見光圖像和已配準(zhǔn)的紅外圖像，對其分別進行小波變換，得到各自的分解結(jié)構(gòu)：低頻成分AL、BL；高頻成分AHh1、AHv1、AHd1、BHh1、BHv1、BHd1。

第2步：對分解后得到的A、B圖像的低頻近似分量AL、BL，取加權(quán)平均值后作為融合圖像的低頻分量。融合結(jié)果為：

(,)＝1×AL(,)＋2×BL(,) (1)

式中：1、2為權(quán)值，且1＋2＝1。由于傳感器位置相近且針對同一目標(biāo)，所以兩幅圖像低頻部分所含信息量相差不是很多，因此本文中取1、2都為0.5。即：

(,)＝0.5×[AL(,)＋BL(,)] (2)

第3步：對高頻子圖像在對應(yīng)的垂直、水平、對角線方向上分別進行邊緣檢測，得到對應(yīng)方向高頻子圖像的邊緣圖像，用AHh2、AHv2、AHd2、BHh2、BHv2、BHd2表示。

第4步：設(shè)計高頻子圖像的融合算法：由于傳統(tǒng)的高頻子圖像的融合規(guī)則是采用系數(shù)絕對值取大的方法，其算法為：

從式(3)可以看出：這種基于單獨像素點度量細(xì)節(jié)信息強度的方法是不穩(wěn)定的，特別是當(dāng)多尺度變換缺乏平移不變性時，由于源圖像的平移、旋轉(zhuǎn)等規(guī)則變化會導(dǎo)致分解系數(shù)的能量發(fā)生劇烈的不規(guī)則變化，使得融合后的圖像缺乏一致性。而且在融合過程中會傳遞并放大源圖像中的噪聲和死點。

Fig.1 The process of image fusion based on wavelet

因此本文設(shè)計了一種采用基于局部方差的方法來得到融合系數(shù)，以(,)點為中心，取大小為×的鄰域，文中具體設(shè)置為3×3的方陣區(qū)域。定義點(,)的局部方差：

式中：為點為中心時各點對應(yīng)權(quán)值，權(quán)值可通過行和列的高斯分布加權(quán)相加而得。離點越近，其對應(yīng)權(quán)值越大。

定義兩幅高頻子圖對應(yīng)區(qū)域匹配度1,2(,)：

設(shè)閾值為0.5，當(dāng)匹配度小于閾值時，融合圖像的分解系數(shù)取區(qū)域方差大的相應(yīng)點的分解系數(shù)：當(dāng)圖A區(qū)域方差大于圖B區(qū)域方差時，(,)＝AH(,)；否則，當(dāng)圖A區(qū)域方差小于圖B區(qū)域方差時，(,)＝BH(,)。

若匹配度大于閾值，則采取加權(quán)平均方法得出相應(yīng)的分解系數(shù)：當(dāng)圖A區(qū)域方差大于圖B區(qū)域方差時：

(,)＝×AH(,)＋×BH(,)

否則，當(dāng)圖A區(qū)域方差小于圖B區(qū)域方差時：

(,)＝×AH(,)＋×BH(,)

第5步：對通過上述步驟得到的低頻子圖像和3個方向的高頻子圖像實施小波逆變換，具體流程如圖1所示，即可獲得理想的融合圖像F。

2 仿真實驗

為了驗證該算法的融合效果，本文以MATLAB為平臺，選取小波函數(shù)bd6進行小波分解，分別對3對不同尺寸已經(jīng)配準(zhǔn)的可見光圖像和紅外圖像進行了測試。

測試1：圖2為第1對圖像融合測試結(jié)果。其中(a)圖為可見光圖像，(b)圖為紅外圖像。應(yīng)用算法融合后的圖像如(c)圖所示?？梢?，圖2中(a)圖環(huán)境光線較暗，肉眼看不清楚人站的具體位置。(b)圖由于人體熱量高，人能很清楚地成像。融合圖像(c)圖綜合了(a)圖、(b)圖的特點，能比較全面的看到整幅圖像。

測試2：圖3為第2對圖像融合測試結(jié)果。其中(a)圖為可見光圖像，(b)圖為紅外圖像；應(yīng)用算法融合后的圖像如(c)圖所示?？梢姡瑘D3中(a)圖中飛機的大部分輪廓清晰可見，但周圍的樹木卻看不清。(b)圖恰恰相反。(c)圖所示的融合圖像綜合了(a)圖、(b)圖的特點，既能基本看清飛機，又能看到旁邊的樹木，具有很好的融合效果。

測試3：圖4為第3對圖像融合測試結(jié)果。其中(a)圖為可見光圖像，(b)圖為紅外圖像；應(yīng)用算法融合后的圖像如(c)圖所示。

圖2 圖像融合測試1

圖3 圖像融合測試2

Fig.3 Image fusion test 2

圖4 圖像融合測試3

Fig.4 Image fusion test 3

可見，圖4(a)中可見光圖像中道路標(biāo)線清晰可見，但部分車輛看不清楚。圖4(b)圖紅外圖像中看不到路面標(biāo)線，車輛外形卻能大致看到。圖4(c)圖所示的融合圖像綜合了二者各自的特點，包含了兩幅圖像的信息量，達(dá)到了較好的融合效果。

3 融合圖像質(zhì)量的比較與評價

通常從主觀和客觀兩個角度分別對融合圖像評價，因此作者分別對圖像采用傳統(tǒng)的小波變換融合算法和本文設(shè)計的融合算法進行了對比。其仿真結(jié)果如圖5所示。

1）主觀評價

事先給予觀察者一定的評價尺度或者給出參考圖像，然后由觀察者直接來判斷融合圖像的品質(zhì)。圖6給出了國際上通用的五分制主觀評價體系。根據(jù)其評價尺度表，從圖5可以明顯看出，左側(cè)圖像（圖5(a)、圖5(c)、圖5(e)）得分明顯高于右側(cè)圖像（圖5(b)、圖5(d)、圖5(f)）。即本文設(shè)計的融合規(guī)則明顯優(yōu)于傳統(tǒng)的小波變換通和規(guī)則。但是主觀評價的結(jié)果帶有觀察者的主觀性和不確定性，因此，只采用主觀方法進行融合算法優(yōu)劣性能的比較是不合適的。

圖6 主觀評價體系

Fig.6 Subjective evaluation system

2）客觀評價

為了客觀、定量的評價融合圖像的效果，采用了目前通常采用的3類評價指標(biāo)即信息熵、平均梯度和標(biāo)準(zhǔn)差[20]。通過計算兩種融合圖像的不同的統(tǒng)計參數(shù)，比較來判斷融合算法的效果。表1給出了3個傳統(tǒng)客觀評價指標(biāo)得出的結(jié)果。

表1 客觀評價參數(shù)表

其中：

①信息熵()：反映了圖像攜帶信息量的多少，當(dāng)熵值越大時，則表示包含的信息就越多，融合效果就越好。

式中：p()為圖像中像素灰度值為的概率，通常取灰度為的像素數(shù)與總像素數(shù)之比；為圖像灰度級數(shù)。

式中：?(,)、?(,)分別為(,)分沿和方向的差分。

③標(biāo)準(zhǔn)差：是表征圖像各像素灰度值相對于平均灰度值的離散情況的參數(shù)，當(dāng)的值越大時圖像的灰度級分布越分散，則對應(yīng)的圖像融合效果越好。

表1中圖5(a)、圖5(c)和圖5(e)是采用本文算法，即小波變換結(jié)合邊緣檢測，高頻融合采用系數(shù)絕對值取大的方法得到的結(jié)果；圖5(b)、圖5(d)和圖5(f)為對應(yīng)圖像用小波變換得到的融合圖像。從表1可以看出本文所用圖像融合方法與傳統(tǒng)小波變換融合方法比較有一定優(yōu)勢，融合效果比較理想。

4 結(jié)論

通過上述實驗數(shù)據(jù)可以證明本文設(shè)計的融合算法對ITS視頻檢測系統(tǒng)中的紅外圖像與可見光圖像具有較好的融合效果，特別是光線較暗的可見光圖像和其對應(yīng)紅外圖像。此方法基于小波變換，對不同分辨率下的圖像的低頻和高頻分量分別進行融合。在進行高頻分量融合時，首先對高頻部分采用最佳邊緣檢測算子Canny算子進行邊緣檢測，然后采用基于局部方差的方法得到融合系數(shù)，因此最終應(yīng)用小波逆變換重構(gòu)獲得的融合圖像，不僅涵蓋了可見光和紅外圖像的有效特征信息，而且由于融合算法中對邊緣處理的改進，提高了圖像信息的表述和重構(gòu)質(zhì)量，使得融合圖像信息量增大，分辨效果增強，提升了ITS視頻檢測系統(tǒng)對交通車輛場景目標(biāo)的識別和處理能力。

[1] 程英蕾, 趙榮椿, 李衛(wèi)華, 等. 基于像素級的圖像融合方法研究[J]. 計算機應(yīng)用研究, 2004(5): 169-172.

[2] 劉建偉, 郭平. 一種基于邊緣檢測的圖像融合新方法[J]. 北京師范大學(xué)學(xué)報:自然科學(xué)版, 2007(5): 518-521.

[3] 李茜, 郭佳, 郭小云. 基于邊緣檢測小波變換的紅外與可見光圖像融合方法[J]. 光學(xué)儀器, 2013(1):18-21.

[4] 劉倩, 杜宏, 薛慶增. 一種基于小波變換的可見光與紅外圖像融合算法研究[J]. 車輛與動力技術(shù), 2011(3): 48-51.

[5] 李偉林. 結(jié)合方向邊緣檢測的紅外與可見光圖像融合算法[J]. 激光與紅外, 2014(6): 682-686.

[6] Sumeet Dua, U.Rajendra Acharya, Pradeep Chowriappa, et al. Wavelet- based energy features for glaucomatous image classification[J]., 2012, 16(1): 80-87.

[7] 李洋. 紅外圖像與可見光圖像融合研究[D]. 哈爾濱: 哈爾濱工程大學(xué), 2013: 19-23.

[8] 李佳奇. 圖像融合在視頻交通信息檢測中的應(yīng)用研究[D]. 天津: 天津大學(xué), 2009: 36-43.

[9] 孔韋韋, 雷英杰, 雷陽, 等. 基于改進型NSCT變換的灰度可見光與紅外圖像融合方法[J]. 控制與決策, 2010(11): 1607-1612.

[10] 陳木生. 基于Contourlet變換和模糊理論的圖像融合算法[J]. 激光與紅外, 2012(6): 695-698.

[11] NannanYu, TianshuangQiu, FengBi, et al. Image features extraction and fusion based on joint sparse representation[J]., 2011(5): 1074-1082.

[12] YANG B, LI S. Multifocus image fusion and restoration with sparse representation[J]., 2010, 59(4): 884-892.

[13] 艾超. 基于方向小波變換的圖像邊緣檢測算子研究[D]. 西安: 西安電子科技大學(xué), 2013: 47-5 8.

[14] 趙青, 何建華, 溫鵬. 基于平均梯度和方向?qū)Ρ榷鹊膱D像融合方法[J]. 計算機工程與應(yīng)用, 2012, 48(24): 165-168.

[15] 徐萌萌. 基于小波變換的圖像融合算法研究[D]. 哈爾濱: 哈爾濱理工大學(xué), 2014: 1-17.

[16] Li Shu-tao, Yang Bin, Hu Jian-wen. Performance comparison of different multi-resolution transforms for image fusion[J]., 2011, 12(2): 74-84.

[17] 許宏科, 秦嚴(yán)嚴(yán), 陳會茹. 一種基于改進Canny的邊緣檢測算法[J].紅外技術(shù), 2014, 36(3): 210-214.

[18] 徐萌兮. 紅外與可見光數(shù)字圖像融合技術(shù)研究[D]. 南京: 南京理工大學(xué), 2014: 1-27.

[19] Li Shutao, Yin Haitao, Fang Leyuan. Remote sensing image fusion via sparse representations over learned dictionaries[J]., 2013, 51(9): 4779-4789.

[20] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評價[J]. 中國光學(xué), 2014, 7(3): 396-401.

Research on the Fusion of Dual-source Traffic Image Based on Transform Domain and Edge Detection

FAN Dong-yan1，CAI Yu2

(1.,030031,; 2.;030006,)

The paper puts forward a kind of image fusion method of infrared image and visible light image based on wavelet transform and edge detection, which is through study the imaging principle of infrared sensor and visible light sensors to solve the traffic image quality problems which get in bad weather or at night. First the image is decomposed by wavelet transform, and then high frequency components are edge detected, and the low frequency and high frequency parts are fused through the different image fusion rules respectively. Finally, the fused image is obtained through inverse wavelet transform.

dual-source traffic image，fuse rules，edge detection，wavelet transform，image fusion

TN911.73

A

1001-8891(2015)09-0740-06

2015-03-02；

2015-04-17.

樊東燕（1965-），女，山西太原人，教授，主要研究方向為圖像處理。

山西省科技廳基礎(chǔ)研究項目，編號：2014011018-1；山西大學(xué)商務(wù)學(xué)院科研基金項目，編號：2012013。