利用紋理特征的SAR與光學(xué)圖像融合方法研究

卜麗靜，吳 暢，何志博，張正鵬

（遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院，遼寧 阜新123000）

合成孔徑雷達（Synthetic Aperture Radar，SAR）是一種具有全天候作業(yè)、識別偽裝和穿透掩蓋物等優(yōu)點的主動式微波對地觀測系統(tǒng)，能夠提供高分辨率的SAR圖像。光學(xué)圖像具有地物光譜信息豐富的特點，但云霧雨雪天氣成像困難。遙感圖像融合，能夠?qū)我换蚨鄠€傳感器的數(shù)據(jù)和信息進行關(guān)聯(lián)、相關(guān)和合成，得到更精確的位置和特征估計，提高遙感數(shù)據(jù)在地物提取中的識別能力，擴大應(yīng)用范圍［1］。光學(xué)圖像之間融合研究較多［2－3］，近幾年，SAR與光學(xué)圖像的融合也逐漸成為研究熱點，如，經(jīng)典的 PCA，I HS［4］，BT，HPF，WT 等融合方法［5－6］，小 波 融 合 方 法［7－11］；非 下 采 樣 Contourlet變換和HIS變換相結(jié)合融合算法［12］等。這些方法具有各自的特點，如PCA方法能很好的保持多光譜信息，但SAR圖像紋理結(jié)構(gòu)信息保持相對較少；HPF和WT、小波、Contourlet變換方法紋理結(jié)構(gòu)信息保持較好，但也存在損失SAR圖像高頻信息或空間細節(jié)信息的情況 I HS和BT方法視覺效果較好，色彩及光譜失真現(xiàn)象嚴重［6］。這些方法主要關(guān)注紋理或光譜特征，但存在某一特征保留較好，另一特征有不同程度損失的情況。而且，從SAR圖像的散射特性角度考慮紋理特征較少，噪聲抑制效果也較差。針對以上問題，本文提出基于紋理特征的SAR與光學(xué)圖像融合方法。分析SAR的散射特性和圖像特點，在考慮光譜特征和SAR的紋理特征基礎(chǔ)上，達到盡量多的融合兩種圖像優(yōu)點的目的。

1 基于紋理特征的SAR與光學(xué)圖像融合算法

1．1 SAR圖像特性分析

SAR圖像與光學(xué)圖像比較，具有以下特性：①存在相干斑噪聲，地物細節(jié)信息不豐富，灰度相似的地物間區(qū)分困難，但紋理特征明顯。SAR圖像中含有豐富的紋理，不同的地表粗糙度呈現(xiàn)出不同的紋理特征；紋理對圖像區(qū)域和表面的感知、描述的獨特作用可以區(qū)分某些目標(biāo)，作為一種有力的邊緣檢測手段［13］，可以提高分類精度［14］。它是雷達識別地物的一項關(guān)鍵技術(shù)［15］；②圖像中金屬物體和建筑物等具有強散特性的地物回波較強，在圖像中較亮，特征明顯。由于建筑物后向散射由特殊反射與漫反射的后向散射組成，前者一般要強得多，建筑物的特殊反射可以分為來自傾斜屋頂?shù)膯畏瓷?、來自墻－地結(jié)構(gòu)的二次反射、來自墻－墻－地結(jié)構(gòu)的三次反射三種機制，一般來說反射次數(shù)越多，后向散射回波越弱，對于建筑物來說前兩種反射機制占主導(dǎo)地位，因此，建筑物后向散射強，在圖像中較亮［16］。光學(xué)圖像中沒有這些特性。因此，可以充分利用SAR圖像中的這些信息，與光學(xué)圖像融合，達到改善圖像質(zhì)量，增加信息的目的。

1．2 SAR圖像重要紋理特征提取

高分辨率SAR圖像的紋理特性和強散射特性優(yōu)于光學(xué)圖像。因此，融合過程中盡量保留利用這些優(yōu)勢特性。首先，利用灰度共生矩陣方法，提取SAR 的 均 值 （Mean）、方 差 （Variance）、協(xié) 同 性（Ho mogeneity）、對比 度（Contrast）、相異 性（Dissi milarity）、信息熵（Entropy）、二階矩（Second Moment）和相關(guān)性（Correlation）8種常用紋理統(tǒng)計量。這些紋理特征值經(jīng)歸一化后能夠組合成類似于多光譜圖像的多波段圖像。由于各紋理特征之間具有一定的相關(guān)性，所以當(dāng)紋理特征的數(shù)目增加時，圖像的復(fù)雜性也隨之增加，并不一定得到良好的組合效果［17］。因此，通過分析各個紋理特征之間的相關(guān)性矩陣，選擇可分離性和重要的紋理，并要求強散射特征也被很好保留。通過上述分析，本文選擇均值、方差、相異性、二階矩四種紋理生成主要紋理特征圖，該圖像由式（1）計算。

式中：（i，j）表示圖像行列值；SARTexture表示求得的綜合紋 理 特 征 圖 像；SARMean、SARVariance、SARDissimilarity、SARSecondMoment表示提取出來的均值、方差、相異性、二階矩四種紋理特征；a1，a2，a3，a4表示計算重要紋理特征圖時的閾值。Otsu［17］方法是一種全局化的灰度圖像動態(tài)二值化方法。該算法的基本思想是：設(shè)使用某一個閾值，將灰度圖像根據(jù)灰度值大小，分成目標(biāo)部分和背景部分兩類，在這兩類的類內(nèi)方差最小和類間方差最大的時候，得到的閾值是最優(yōu)的二值化閾值。因此，該方法能夠按圖像的灰度特性將圖像分成背景和目標(biāo)兩個部分。本文在處理各個紋理特征圖像時，需要保留的就是紋理特征中的主要信息，即目標(biāo)信息，該方法得到的閾值能夠很好的分離出這一信息，因此采用該方法計算式（1）中的閾值。計算過程中，對四種紋理特征像素值與相應(yīng)閾值逐一判斷，只要滿足式（1）中的情況，就保留這一位置對應(yīng)的SAR圖像像素值，否則這一位置值為0。通過上述計算，既能夠保留SAR圖像中主要紋理特征信息，又可以去除相對不重要的特征信息和噪聲，為下一步的融合提供最佳信息。

1．3 本文圖像融合算法

與高分辨率SAR圖像相比，低分辨率多光譜圖像的色調(diào)、飽和度信息豐富，但V分量分辨率低、紋理信息較少。因此，可以充分利用光學(xué)的光譜信息和SAR的高分辨率信息改善融合效果。在HSV（Hue Saturation Value）彩色空間可以將色調(diào)、飽和度、亮度信息分離［17］。因此，對光學(xué)圖像進行HSV變換，分離出H，S，V分量。通過改善V分量可以達到改善圖像質(zhì)量的效果。由于Contourlet變換作為一種“真正”的圖像二維表示方法，能捕捉到圖像信息內(nèi)在的幾何結(jié)構(gòu)特征［8］，具有高度方向性和各向各異性，對圖像紋理細節(jié)信息表達具有很好的效果。因此，利用Contourlet多尺度變換，對SAR和光學(xué)圖像的高低頻信息進行融合是目前研究的重要方法之一。但以往方法中，存在多光譜圖像色彩信息保留好，SAR圖像信息處理單一的問題，如全部保留低頻分量，舍棄高頻分量［8］；由于SAR的低頻和高頻分量中均含有紋理和強散射特征，這樣做容易造成SAR信息損失。因此，綜合考慮SAR和多光譜圖像中的優(yōu)勢信息，本文提出改進Contourlet融合方法計算新的低頻和高頻信息方法，用主要信息占優(yōu)原則計算融合后的低頻和高頻信息。新低頻信息計算時，首先將光學(xué)和SAR圖像的每一個像素值和先驗閾值進行判斷，如果紋理特征圖像的灰度值小于閾值，新低頻計算完全采用光學(xué)圖像，如果大于閾值，則采用改進的加權(quán)平均法，算式如式（2）所示［12］。此處改進的目的是達到控制融合過程中SAR和光學(xué)信息的目的，融合時盡量保留最占優(yōu)信息。

式中：Ca，j和Cb，j分別表示SAR和光學(xué)圖像分解后的低頻分量系數(shù)；Cc，j表示融合圖像的低頻分量系數(shù)；a，b為加權(quán)因子；（Ca，j＋Cb，j）×a表示兩幅圖像的加權(quán)均值，對圖像的亮度起著決定性的作用；（Ca，j－Cb，j）×b表示兩幅圖像的 加 權(quán) 差值的絕對值，包含兩幅圖像的邊緣信息。新高頻信息的計算采用絕對值較大法，如式（3）所示。

式中：i＝1，2，…；DiA，JDiB，JDiF，J分別為各分解層上對應(yīng)非下采樣Contourlet變換系數(shù)［12］。

最后，將計算出最優(yōu)的高頻信息與低頻信息進行Contourlet逆變換，得到新的強度分量V′。用原光學(xué)圖像的H，S和新的亮度分量V′進行HSV逆變換，得到融合后的圖像。算法流程如圖1所示。

圖1 融合方法流程

2 本文算法融合實驗及分析

實驗采用Cos mo－Sky Med高分辨率SAR圖像和Landsat8光學(xué)圖像，圖像參數(shù)如表1所示。實驗區(qū)域中包括公路、鐵路、建筑物、植被、金屬管線、水池等地物。SAR圖像中鐵路、管線、建筑物等地物具有強散射特征，強度值較高，復(fù)墾區(qū)、植被區(qū)、建筑物等的紋理特征明顯。相比之下，光學(xué)圖像分辨率低，這些信息稍弱，但光譜信息豐富。原始SAR和光學(xué)圖像如圖2所示。

實驗過程是首先對SAR圖像用Frost濾波去噪，為兼顧圖像中地物的平滑效果，選擇3×3的濾波窗口進行噪聲抑制。然后，用灰度共生矩陣方法計算紋理特征，選擇7×7窗口，64級的灰度量化級。分析紋理特征間相關(guān)性，選擇均值、方差、相異性、二階矩四種紋理，并按式（1）計算出重要紋理特征圖像。實驗中閾值的設(shè)置原則是盡量保持SAR圖像中的重要紋理特征，閾值選擇過大，會導(dǎo)致保留的紋理特征過少，下一步融合用到的紋理特征就會減少，導(dǎo)致融合結(jié)果中SAR的紋理特征少；但閾值設(shè)置過小又會導(dǎo)致保留的特征過多，主要特征不突出，影響后期Contourlet變換高低頻信息選擇結(jié)果，使最后的融合結(jié)果與直接Contourlet變換相比改善不大。實驗中設(shè)置的閾值分別為a1＝0．2，a2＝0．1，a3＝0．4，a4＝0．1，得到主要紋理特征圖像如圖3（a）所示。并將光學(xué)圖像進行HSV變換，亮度分量V如圖3（b）所示，V中包含光學(xué)圖像的灰度信息。對比圖3中的（a）和（b），鐵路、建筑物、復(fù)墾區(qū)、金屬管線等地物在光學(xué)圖像中表現(xiàn)不明顯或邊緣信息對比度差，SAR重要紋理圖像中這些信息豐富。然后，對SAR重要紋理和光學(xué)V分量進行Contourlet分解。利用分解后的高低頻信息計算新低頻和新高頻信息，為體現(xiàn)本文的主要信息占優(yōu)原則對結(jié)果的影響，本文方法做了兩組實驗。實驗1中，歸一化SAR和光學(xué)的低頻信息圖，閾值設(shè)為0．7，綜合利用SAR和光學(xué)的信息，按式（2）計算，新低頻信息計算的權(quán)值a＝0．7，b＝0．3，高頻計算使用式（3）。實驗2中，以SAR信息占優(yōu)為主，閾值設(shè)為0．3。最后，將H，S，V′分量進行 HSV逆變換，轉(zhuǎn)換到RGB彩色空間，得到本文算法融合結(jié)果，如圖3中（g h 所示。為了與其它方法進行對比，將濾波去噪后的SAR圖像與光學(xué)圖像進行小波融合、HSV融合、Br ovey融合、直接Contourlet變換融合。其中，小波融合中融合方法使用I HS方法。結(jié)果如圖3中的（c）、（d）、（e）所示。本文將處理前后圖像均歸一化到0～255之間，選取均值、均方根誤差（RMSE）、標(biāo)準(zhǔn)差、平均梯度、邊緣保持指數(shù)（EKI）5個指標(biāo)對融合后的圖像做定量評價，評價結(jié)果見表2。

表1 SAR與光學(xué)圖像數(shù)據(jù)參數(shù)

圖2

均值表達圖像平均亮度值。如果亮度值適中，則視覺效果良好。其值越大圖像越亮，其值越小圖像越暗。RMSE和標(biāo)準(zhǔn)差的計算見式（4）、式（5）。

式中：M，N 表示圖像的長和寬；f（xi，yj）表示標(biāo)準(zhǔn)圖像像素值；f′（xi，yj）表示處理后圖像像素值；σ表示圖像灰度的標(biāo)準(zhǔn)差；μ表示處理后圖像灰度的統(tǒng)計均值。兩幅圖像的RMSE是以一幅圖像為標(biāo)準(zhǔn)，另一幅圖像與它之間的差值來計算。它反映處理后圖像像元點偏離標(biāo)準(zhǔn)圖像的程度，防止圖像偏差過大失去原有信息過多，值越小說明處理效果越好。本文計算時以光學(xué)為標(biāo)準(zhǔn)圖像。從表2中可以看出本文方法2的RMSE最小，說明融合后圖像保留了光學(xué)圖像的主要信息，與光學(xué)圖像偏差不大。標(biāo)準(zhǔn)差表示處理后圖像各個像素點處的灰度與灰度均值之間的離散情況。如果該值較大，圖像灰度級的分布越為離散，圖像的反差大，從圖像上能夠看出更多的信息。其值較小圖像反差則較小，對比度不大，色調(diào)單一均勻，看不出太多的信息。本文方法的標(biāo)準(zhǔn)差最大，說明融合后圖像能夠看出更多信息。平均梯度能夠很敏感地反映圖像對微小細節(jié)反差表達的能力，可用來評判圖像的清晰程度，同時還反映出圖像中微小細節(jié)反差和紋理變換特征。平均梯度值越大，說明圖像越清晰。EKI表示圖像邊緣的保持程度，在原圖像上EKI值為1，EKI小于1表示邊緣被模糊，EKI大于1表示邊緣被增強。平均梯度和EKI值兩個指標(biāo)中Contourlet和本文方法2較好，這是因為它們保留了較多的SAR的信息。因此，從評價指標(biāo)來看本文方法最好。

圖3 實驗結(jié)果

表2 融合效果評價指標(biāo)

從主觀評價角度對比實驗結(jié)果，HSV和Br ovey融合后的圖像基本上保留所有SAR圖像的信息，但多光譜圖像的紋理信息基本沒有體現(xiàn)，僅保留一些色彩信息，整體效果類似與SAR圖像上簡單賦予光學(xué)的顏色，而且顏色信息與光學(xué)圖像中的光譜信息有差異，沒有達到綜合兩種數(shù)據(jù)源優(yōu)勢的目的。小波變換融合則是更多的保留了光學(xué)的紋理和色彩，對SAR的信息保留非常少，圖像仍模糊不清，沒有達到提高圖像分辨率、增加地物細節(jié)的目的。對比原光學(xué)圖像（圖2中（a））、SAR圖像（圖2中（b））和本文融合結(jié)果圖3中（f），可以看出，圖2中（a）的1和2區(qū)域，實地地物為輸煤鐵路，SAR圖像中信息明顯，本文方法信息被很好地保留，3，4，5的復(fù)墾區(qū)階梯紋理也都被保留，6和7對應(yīng)的建筑物區(qū)域，強散射信息被保留，而且光學(xué)的色彩信息也被很好的保留。對比圖3中的（f）、（g）、（h），可以看出上述的幾個對比區(qū)域均比原圖像和其它融合方法好，但三者之間又有區(qū)別。直接Contourlet融合的圖像由于沒有主要特征判斷，導(dǎo)致兩幅圖像的信息都有，但結(jié)果并不一定有利于解譯識別。如6區(qū)域的房屋信息，光學(xué)的信息更好些，圖3中的（g）結(jié)果更好些。4，5區(qū)域中，SAR的信息更好些，邊緣特征體現(xiàn)明顯，圖3中的（h）最好。因此，總的來說，從定量指標(biāo)分析和融合后圖像可以看出，本文融合方法能夠根據(jù)關(guān)注的主要特征，更好地綜合兩種數(shù)據(jù)的優(yōu)勢，增加地物細節(jié)信息，提高圖像的分辨率。

3 結(jié)束語

針對SAR與光學(xué)圖像的融合問題，在分析SAR與光學(xué)圖像特點基礎(chǔ)上，提出一種基于SAR圖像中紋理和強散射信息的融合方法。通過對紋理特征相關(guān)性分析得到重要紋理特征，并利用改進Contourlet變換融合方法綜合光學(xué)和SAR的高低頻信息，進而融合兩種圖像的優(yōu)勢。并將本文方法與小波、HSV、Br ovey融合方法對比分析，實驗表明本文方法能夠較好的保持高分辨率SAR圖像強散射、紋理細節(jié)信息和光學(xué)圖像的光譜特征，具有較好的融合效果，能夠提高圖像的解譯能力?？偟膩碚f，SAR和光學(xué)融合是一個非常復(fù)雜的問題，本文方法還有一些問題，如實驗中3 m SAR和30 m的光學(xué)圖像分辨率差異有些大，如果融合數(shù)據(jù)源分辨率相差小些效果會進一步改善。而且，融合圖像實質(zhì)上是光學(xué)和SAR哪個信息占優(yōu)的問題，如何能夠自適應(yīng)的選擇需要保留的信息，也需進一步研究。同時，Contourlet分解的級數(shù)和最佳權(quán)重中的確定問題，低分辨率光學(xué)圖像的光譜信息是否全部保留問題，還有待于更進一步的研究。

［1］ 李軍，林宗堅．基于特征的遙感影像數(shù)據(jù)融合方法［J］．中國圖像圖形學(xué)報，1997（Z1）：103－107．

［2］ 姜蕓，王軍．多源遙感影像融合在哈大齊土地利用分類中的應(yīng)用［J］．測繪工程，2010，19（4）：34－38．

［3］ 朱蕊，邱茂，胡英男．面向空間數(shù)據(jù)更新的多源數(shù)據(jù)融合關(guān)鍵技術(shù)研究［J］．測繪工程，2013，22（4）：22－25．

［4］ 賈永紅，李德仁，劉繼林．四種HIS變換用于SAR與T M 影像復(fù)合的比較［J］．遙感學(xué)報，1997，2（2）：103－106．

［5］ 楊智翔，何秀鳳，危來龍，等．一種多極化SAR圖像融合方法研究［J］．測繪科學(xué)，2014，39（2）：14－18．

［6］ 鄒麗麗，崔海山，李穎，等．SAR與SPOT數(shù)據(jù)融合方法研究［J］．遙感技術(shù)與應(yīng)用，2010，25（6）：836－841．

［7］ 高文濤，汪小欽，凌飛龍．雷達與光學(xué)圖像小波融合方法研究［J］．地球信息科學(xué)，2007，9（4）：129－132．

［8］ HONG Gang，ZHANG Yun，MERCER Bryan．A wavelet and I HS integration method to f use high resolution SAR with moderate resolution multispectral i mages［J］．Journal of the American Society for Photogrammetr y and Remote Sensing，2009，75（10）：1213－1223．

［9］ CHIBANI Y．Additive integration of SAR features into multispectral SPOT i mages by means of the a’trous wavelet decomposition［J］．ISPRS Journal of Photogrammetr y and Remote Sensing，2006，60（5）：306－314．

［10］ALPARONE L，BARONTI S，GARZELLI A，et al．Landsat ET M＋and SAR i mage f usion based on generalized intensity modulation［J］．IEEE Transactions on geoscience and remote sensing，2004，42（12）：2832－2839．

［11］黃登山，楊敏華，姚學(xué)恒，等．基于a’trous小波與廣義HIS變換的SAR與多光譜影像融合［J］．遙感信息，2011（1）：9－13．

［12］蘇志淵，張蕾，普杰信，等．NSCT變換的SAR和可見光圖像融合［J］．計算機工程與應(yīng)用，2011，47（5）：166－168．

［13］CHEN Shu－peng，TONG Qing－xi，GUO Hua－dong．Study of Mechanism on Remote Sensing Infor mation［M］．Beijing：Science Press，1998．（in Chinese）．

［14］胡召玲，李海權(quán)，杜培軍．SAR圖像紋理特征提取與分類研究［J］．中國礦業(yè)大學(xué)學(xué)報，2009，38（3）：422－427．

［15］SHAO Yun，GUO Hua－dong，WEI Xiu－ping．Macroscopi－cal Texture Analysis and Geology Application Effect of Radar Image［A］．Airborne Radar Remote Sensing and．

［16］郭華東．雷達對地觀測理論與應(yīng)用［M］．北京：科學(xué)出版社，2000．

［17］R．C．岡薩雷斯，R．E．伍茲，著，數(shù)字圖像處理［M］．阮秋琦，阮宇智，譯．北京：電子工業(yè)出版社，2007：229－235．