面向圖像分類的SAR與可見(jiàn)光圖像融合

陳 磊，楊風(fēng)暴，王志社，紀(jì)利娥

(中北大學(xué)信息與通信工程學(xué)院，山西太原030051)

1 引言

近年來(lái)，隨著航天技術(shù)的迅猛發(fā)展，SAR(合成孔徑雷達(dá))越來(lái)越受到人們的關(guān)注，SAR能夠穿透云層和雨區(qū)，具有全天時(shí)、全天候的工作特性，而且SAR還可以深入地表、穿透植被，改變 SAR的波長(zhǎng)可以得到植被上層甚至地下的圖像信息［1］。SAR通過(guò)物體的幾何特性和介電特性得到圖像信息，由于不同目標(biāo)的微波反射特性受頻率、反射角和極化方式的影響而不同，使得在SAR圖像上呈現(xiàn)較多的地物紋理特征［2］。而可見(jiàn)光圖像對(duì)目標(biāo)的物理和化學(xué)屬性更為敏感，所以圖像主要反映不同地物的輪廓和光譜信息。因此將SAR圖像與可見(jiàn)光圖像進(jìn)行融合，充分利用兩者的互補(bǔ)信息，在保持圖像紋理信息的同時(shí)，盡可能地增加光譜信息，以便于后續(xù)的目標(biāo)識(shí)別等。

SAR與可見(jiàn)光圖像融合算法，目前主要是基于灰度調(diào)制和多分辨率融合框架的。文獻(xiàn)［3］提出基于灰度調(diào)制的融合方法，將可見(jiàn)光圖像經(jīng)IHS變換提取的I分量與SAR低頻信息的比率進(jìn)行調(diào)制，以加入SAR圖像的紋理細(xì)節(jié)信息。該方法在比率調(diào)制時(shí)有可能會(huì)使計(jì)算值超出顯示的動(dòng)態(tài)范圍，引起失真。文獻(xiàn)［4］、［5］通過(guò)小波變換對(duì)SAR和可見(jiàn)光圖像進(jìn)行融合，對(duì)分解后的低頻成分簡(jiǎn)單的加權(quán)平均或直接取SAR圖像的低頻。該方法充分利用了SAR圖像紋理信息和可見(jiàn)光的光譜信息的互補(bǔ)性，但低頻加權(quán)系數(shù)的選取過(guò)于隨機(jī)。文獻(xiàn)［6］、［7］提出鄰域特征自適應(yīng)加權(quán)對(duì)低頻進(jìn)行融合，從一定程度上克服了低頻加權(quán)系數(shù)的隨機(jī)選擇，但是由于統(tǒng)計(jì)特性各自具有不同的取值范圍，可能導(dǎo)致某個(gè)統(tǒng)計(jì)特性完全掩蓋了其他特性的特征。而且上述方法獲得的融合圖像往往是在某些特性上強(qiáng)于單一圖像，不能保證在圖像的目標(biāo)分類和識(shí)別上取得良好的效果。因此，本文面向圖像分類，在NSCT融合框架下利用遺傳算法搜索最優(yōu)的低頻加權(quán)系數(shù)對(duì)SAR和可見(jiàn)光圖像進(jìn)行融合，這樣既避免了低頻加權(quán)系數(shù)選擇的隨機(jī)性，且通過(guò)遺傳算法對(duì)足夠多的樣本進(jìn)行訓(xùn)練又使融合圖像具有良好的分類效果。為方便起見(jiàn)，本文所用可見(jiàn)光圖像為灰度可見(jiàn)光圖像，SAR圖像經(jīng)過(guò)相干斑噪聲抑制，并與可見(jiàn)光圖像嚴(yán)格配準(zhǔn)。

2 SAR圖像分類

目前，SAR圖像處理的研究熱點(diǎn)主要集中在提高圖像質(zhì)量、特征提取、目標(biāo)分類和識(shí)別等，其中目標(biāo)分類對(duì)于目標(biāo)的解譯起了至關(guān)重要的作用［8］。SAR圖像的分類特征包括灰度特征和紋理特征，從SAR圖像的成像特性上來(lái)看，具有相同或相近后向散射特性的不同目標(biāo)在SAR圖像上表現(xiàn)為相同或相近的灰度值，這就使得僅利用灰度值對(duì)SAR圖像進(jìn)行分類不可能取得良好的效果。本文結(jié)合文獻(xiàn)［9］～［12］、［15］提出一種結(jié)合局域灰度均值和四種紋理特征的分類方法，實(shí)驗(yàn)結(jié)果證明，能夠取得較好的分類效果。

2.1 基于灰度共生矩陣的紋理特征提取

灰度共生矩陣反映圖像灰度關(guān)于方向、相鄰間隔、變化幅度等綜合信息，是分析圖像局部特征和排列規(guī)律的基礎(chǔ)?；叶裙采仃嚨慕⒎椒ㄊ?設(shè)圖像某一區(qū)域有N個(gè)灰度值，則對(duì)應(yīng)該區(qū)域的灰度共生矩陣是一個(gè) N×N階矩陣，在矩陣中位置(i，j)(1，…i，N;1…j，N)處元素是從灰度i的像元離開(kāi)某個(gè)固定位置δ=(DX，DY)像元為j這種現(xiàn)象出現(xiàn)的概率［11］。

Haralick［12－14］提出了由灰度共生矩陣計(jì)算出的14個(gè)統(tǒng)計(jì)量來(lái)表征圖像的紋理特征，隨后Baraldi［13］通過(guò)大量實(shí)驗(yàn)驗(yàn)證，對(duì)于SAR圖像來(lái)說(shuō)，這14中統(tǒng)計(jì)量中的熵、同質(zhì)區(qū)、非相似度和角二階矩對(duì)圖像分類效果最好，其計(jì)算方法如下:

式中，P( i，j)表示灰度共生矩陣在(i，j)處的值，本文計(jì)算每一像元在其鄰域內(nèi)的4個(gè)灰度共生矩陣，并取這四個(gè)灰度共生矩陣的平均值作為局部圖像該像元位置的灰度共生矩陣，通過(guò)式(1)～(4)計(jì)算其紋理特征。

2.2 圖像分類算法

設(shè) f( i，j)為圖像在(i，j)處的灰度值，w 為一個(gè)n×n的窗口，則在窗口w內(nèi)圖像灰度區(qū)域均值為:

本文結(jié)合每一像元處的四個(gè)紋理特征即熵、同質(zhì)區(qū)、非相似度、角二階矩和灰度特征局域灰度均值，組成一個(gè)新的特征向量，利用K均值聚類算法對(duì)圖像進(jìn)行分類，具體算法如下:

(1)以每個(gè)像元為中心，取5×5的窗口，計(jì)算這個(gè)窗口圖像的四個(gè)方向灰度共生矩陣的均值作為該像元的灰度共生矩陣，根據(jù)公式(1)～(4)計(jì)算紋理特征。

(2)利用公式(5)，計(jì)算以每個(gè)像元為中心的5×5窗口內(nèi)的灰度局域均值作為圖像的灰度特征。

(3)將步驟(1)和(2)中計(jì)算的紋理特征和灰度特征組合成像元的特征向量。

(4)對(duì)所有像元的特征向量進(jìn)行K均值聚類，得到最終的分類結(jié)果。

為驗(yàn)證分類算法的有效性，采用文獻(xiàn)［11］中的SAR圖像進(jìn)行仿真，結(jié)果如圖1所示。

可以看出本文SAR圖像分類算法能夠取得良好的效果。

圖1 SAR圖像分類實(shí)驗(yàn)

3 圖像融合

3.1 NSCT 變換

目前基于多尺度變換的融合算法成為圖像融合的研究熱點(diǎn)，常用的多尺度變換方法有小波變換，曲波變換，輪廓波變換和NSCT等。NSCT作為最近發(fā)展起來(lái)的一種多尺度變換方法，其不僅具有小波變換的多尺度和時(shí)頻局部特性，同時(shí)也具有高度的方向性和各向異性，能很好的“捕捉”二維圖像的幾何結(jié)構(gòu)，而且NSCT還避免了輪廓波變換的上采樣和下采樣操作，使得NSCT分解得到的子帶圖像與源圖像大小相同，從而容易找到各子帶圖像間的對(duì)應(yīng)關(guān)系，有利于制定融合規(guī)則，因此這里采用NSCT對(duì)SAR和可見(jiàn)光圖像進(jìn)行融合。

3.2 遺傳算法

遺傳算法是通過(guò)模擬生物進(jìn)化過(guò)程來(lái)探索最優(yōu)解，即通過(guò)選擇與與染色體之間的交叉變異來(lái)完成，本文中采用遺傳算法獲得最優(yōu)的低頻加權(quán)融合系數(shù)。

設(shè)用NSCT對(duì)已配準(zhǔn)的SAR和可見(jiàn)光圖像進(jìn)行分解，分解層數(shù)為j且每層的分解方向?yàn)閗，則得到各自的分解系數(shù)和，其中 LS表示SAR圖像分解后的低頻系數(shù)，表示 SAR 圖像分解后第j層第k方向的高頻系數(shù)。則融合后的低頻系數(shù)為:

式中，LF表示融合后的低頻系數(shù);α為加權(quán)系數(shù)，遺傳算法的主要任務(wù)就在［0，1］區(qū)間內(nèi)搜索最優(yōu)的α使得融合后的圖像分類效果最好。圖2是遺傳算法流程圖。

圖2 遺傳算法流程圖

確定適應(yīng)度函數(shù)是遺傳算法最優(yōu)化搜索的核心，適應(yīng)度函數(shù)是根據(jù)待解決問(wèn)題的目標(biāo)函數(shù)確定的，用于區(qū)分群體中個(gè)體好壞的標(biāo)準(zhǔn)，是算法演化過(guò)程的驅(qū)動(dòng)力，也是進(jìn)行自然選擇的唯一依據(jù)。這里以圖像的分類精度K作為適應(yīng)度函數(shù)，K的計(jì)算為:在圖像中隨機(jī)選取N個(gè)點(diǎn)，查閱資料和相關(guān)數(shù)據(jù)確定其所屬類別，通過(guò)上面的分類算法對(duì)圖像進(jìn)行分類，得到這N個(gè)樣本點(diǎn)中被正確分類的點(diǎn)數(shù)n，則分類精度為:

所以用遺傳算法搜尋最優(yōu)α的具體實(shí)現(xiàn)步驟為:

第一步生成初始種群，這里采用實(shí)數(shù)編碼，染色體長(zhǎng)度設(shè)為16位，在［0，1］范圍內(nèi)隨機(jī)均勻分布的種群 {α1，α2，…，αN}，N為種群規(guī)模，本文采用N=60，選擇優(yōu)化的過(guò)程就是從這N個(gè)染色體中選擇出1個(gè)，使得融合后的圖像分類精度最大化。

第二步確定遺傳算子，遺傳算子主要包括選擇算子、交叉算子和變異算子。選擇是一個(gè)復(fù)制的過(guò)程，它根據(jù)每一個(gè)個(gè)體的適應(yīng)度即融合后圖像的分類精度，按照從大到小的順序選擇出M個(gè)(M＜N)作為母體進(jìn)行交叉操作。交叉是模擬有性繁殖的基因重組操作，它對(duì)選擇出的每一個(gè)個(gè)體，以一定的交叉概率Pc交換它們之間的部分基因。變異是模擬基因突變的操作，它以一定的變異概率Pm改變某一個(gè)或某一些基因位上的基因值。本文中M=40，Pc=0.8，Pm=0.03。

第三步終止檢驗(yàn)，當(dāng)適應(yīng)度達(dá)到最大值或設(shè)定的循環(huán)次數(shù)T到達(dá)時(shí)，滿足終止準(zhǔn)則，則輸出種群中具有最大適應(yīng)度的個(gè)體作為最優(yōu)解，終止計(jì)算，否則返回第二步。

3.3 融合算法

圖像融合算法的具體步驟如下:

(1)分別對(duì)SAR和可見(jiàn)光圖像進(jìn)行NSCT分解，分別得到各自的低頻系數(shù)圖像和高頻系數(shù)圖像。

(2)采用一定的融合規(guī)則融合SAR和可見(jiàn)光圖像的低頻系數(shù)和高頻系數(shù)，得到融合的低頻和高頻系數(shù)圖像。

(3)NSCT逆變換，得到最終的融合圖像。

其中(2)融合規(guī)則的確定是算法的核心，低頻系數(shù)的融合規(guī)則采用如式(6)的加權(quán)平均，利用上面的遺傳算法來(lái)確定加權(quán)系數(shù)。

由于空間頻率能反應(yīng)窗口內(nèi)灰度變化的趨勢(shì)，空間頻率較大者對(duì)應(yīng)著一些突變，如圖像的邊緣、紋理等重要信息，因此高頻系數(shù)選擇以空間頻率為度量標(biāo)準(zhǔn)，選擇兩個(gè)窗口內(nèi)空間頻率較大的作為融合圖像的高頻信息:

式中，SFS表示SAR圖像高頻系數(shù)中以(m，n)為中心的窗口內(nèi)的空間頻率;表示 SAR 圖像分解的第j層第k方向在點(diǎn)(m，n)處的高頻系數(shù)。圖像區(qū)域F的空間頻率SF的計(jì)算為:

式中，RF表示行頻率，定義為:

CF表示列頻率，定義為:

M是圖像區(qū)域F的行數(shù)，N是圖像區(qū)域F的列數(shù)。

4 融合實(shí)驗(yàn)及其分析

這里與文獻(xiàn)［6］所用方法得到的融合圖像進(jìn)行分類效果對(duì)比，圖3為圖像融合試驗(yàn)結(jié)果。圖3(a)是分辨率為3 m的可見(jiàn)光源圖像，含有豐富的光譜信息。圖3(b)是分辨率為10m的SAR圖像，兩幅圖像經(jīng)過(guò)配準(zhǔn)后尺寸大小為292×278。圖3(c)是文獻(xiàn)［6］方法得到的SAR與可見(jiàn)光融合圖。圖3(d)為本文方法得到的融合圖像。在圖像中每類隨機(jī)選取50個(gè)樣本共計(jì)150個(gè)，通過(guò)與土地利用現(xiàn)狀及部分現(xiàn)有資料進(jìn)行分析，確定樣本的所屬類別，并通過(guò)公式(7)得到圖像的分類精度，表1為計(jì)算結(jié)果。

圖3 圖像融合試驗(yàn)結(jié)果

由表1可以看出，使用本文算法得到融合圖像的分類精度達(dá)到84%，比文獻(xiàn)［6］算法有了很大的提高。由此可見(jiàn)，本文算法能夠取得較好的融合分類效果。

表1 融合圖像分類精度

5 結(jié)論

由于SAR和可見(jiàn)光圖像反映的地物特征不同，將其進(jìn)行融合不僅有利于人的視覺(jué)觀察，對(duì)于后續(xù)的圖像識(shí)別等也具有重要作用。本文基于NSCT變換，利用遺傳算法選取低頻圖像的加權(quán)系數(shù)，直接面向圖像分類，使得融合圖像能夠具有良好的分類效果，更加有利于后續(xù)的圖像識(shí)別等。在本文方法中，分類算法的選取至關(guān)重要，如何得到一種更加快速、有效的分類算法，進(jìn)一步提高融合效果還有待深入研究。

［1］ Cheng Jian.Research on the algorithm of SAR and optimal image fusion［D］.Nanjing:Nanjing University of Aeronautics and Astronautics，2008.(in Chinese)程堅(jiān).SAR與可見(jiàn)光圖像融合算法研究［D］.南京:南京航空航天大學(xué)，2008.

［2］ Jin Xing，Li Huihui，Shi Pili.SAR and multispectral image fusion algorithm based on pulse coupled neural networks and non-subsampled Contourlet transform［J］.Journal of Image and Graphics，2012，17(9):1188 －1195.(in Chinese)金星，李暉暉，時(shí)丕麗.非下采樣 Contourlet變換與脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的SAR與多光譜圖像融合［J］.中國(guó)圖象圖形學(xué)報(bào)，2012，17(9):1188 －1195.

［3］ AIParone L，F(xiàn)aeheris L，Baronti S，et al.Fusion of multispectral and SAR images by intensity modulation［C］.The 7th International Conference on Information Fusion，2004:637－643.

［4］ Lu YaNing，Guo Lei，Li Huihui.Remote sensing image fusion using edge information and features of SAR image based on curvelet transform［J］.Acta Photonica Sinica，2012，41(9):1118 －1123.(in Chinese)路雅寧，郭雷，李暉暉.結(jié)合邊緣信息和圖像特征信息的曲波域遙感圖像融合［J］.光子學(xué)報(bào)，2012，41(9):1118－1123.

［5］ Dipti Patra，Bagadi Kala Praveen.A new method for multi sensor image fusion of remotely sensed images［C］.2010 International Conference on Industrial Electronics，Control and Robotics，2010:206 －210.

［6］ Zhai Juntao，Na Yan.Fusion algorithm of multispectral and panchromatic images based on Un-subsampled contourlet transform［J］.Laser ＆ Infrared，2008，38(3):282 －284.(in Chinese)翟軍濤，那彥.基于NSCT的多光譜和全色圖像的融合［J］.激光與紅外，2008，38(3):282 －284.

［7］ Liu Zhenhua，Zhang Bing，Yu Wenzhen.Image fusion algorithm of SAR image and other source images［J］.Modern Radar，2007，29(2):56 －59.(in Chinese)劉振華，張冰，于文震.SAR圖像與其他源圖像融合算法［J］.現(xiàn)代雷達(dá)，2007，29(2):56 －59.

［8］ Liu Songtao，Shen Tongshen，Yang Shaoqin.Evaluation methods on effect of image fusion for target recognition［J］.Laser＆ Infrared，2007，37(7):593 －597.(in Chinese)劉松濤，沈同圣，楊紹清.面向目標(biāo)識(shí)別的圖像融合效果評(píng)價(jià)方法［J］.激光與紅外，2007，37(7):593 －597.

［9］ Yuan Lihai，Song Jianshe，Xue Wentong.SAR image classification using grey and texture features［J］.Electronics Optics ＆ Control，2007，14(4):58 －62.(in Chinese)袁禮海，宋建社，薛文通.利用灰度和紋理特征的SAR圖像分類研究［J］.電光與控制，2007，14(4):58 －62.

［10］ Krzysztof Kulpa，Mateusz Malanowski，et al.Radar and optical images fusion using stripmap SAR data with multilook processing［J］.Intl Journal of Electronics And Telecommunications ，2011，57(1):37 －42.

［11］ Hu Zhaoling，Li Haiquan，Du Peijun.Study on the extraction of texture features and its application in classifying SAR images［J］.Journal of China University of Mining ＆Technology，2009，38(3):422 －427.(in Chinese)胡召玲，李海權(quán)，杜培軍.SAR圖像紋理特征提取與分類研究［J］.中國(guó)礦業(yè)大學(xué)學(xué)報(bào)，2009，38(3):422－427.

［12］ Wang Shixi.Research on the key technologies for target classification in SAR imagery［D］.Changsha:National U-niversity of Defense Technology，2008.(in Chinese)王世晞.面向SAR圖像目標(biāo)分類的關(guān)鍵技術(shù)研究［D］.長(zhǎng)沙:國(guó)防科技大學(xué)，2008.

［13］ Xue Xiaorong，Zeng Qiming，Zhao Rongchun.A fast method of SAR image classification［J］.Computer Science，2007，34(5):222 －224.(in Chinese)薛笑榮，曾琪明，趙榮椿.一種快速的SAR圖像分類方法［J］.計(jì)算機(jī)科學(xué)，2007，34(5):222 －224.

［14］ HARALICK R，SHANMU G K，DINSTEIN I.Texture features for image classification［J］.IEEE Transactions on Systems Man Cybernet，1973，3(6):610 －621.

［15］ Baraldi A，Parmiggian F.An investigation of the texture characteristics associated with gray level Co-occurrence matrix statistical parameters［J］.IEEE Transaction on Geoscienceand RemoteSensing，1995，33(2):293－303.