陳世偉, 夏 海, 楊小岡, 李小鋒
(火箭軍工程大學(xué)導(dǎo)彈工程學(xué)院, 陜西 西安 710025)
衛(wèi)星遙感是人類對(duì)地球環(huán)境觀測(cè)的有效手段,隨著衛(wèi)星遙感技術(shù)的發(fā)展,基于多傳感器成像的異源圖像配準(zhǔn)變得越來越重要。實(shí)際工程應(yīng)用中,由于合成孔徑雷達(dá)(synthetic aperture radar,SAR)圖像的特定成像原理,其視覺解釋是一項(xiàng)具有挑戰(zhàn)性的任務(wù),但SAR成像具有全天時(shí)、全天候、不受光照和天氣等條件影響等諸多優(yōu)點(diǎn)。相反,光學(xué)傳感器測(cè)量地面物體反射的太陽輻射,圖像的解釋更容易,但又存在受光照、云霧、季節(jié)、陰影等條件影響較大等缺點(diǎn)。通過以上分析對(duì)比可以發(fā)現(xiàn),在某些方面SAR 圖像可以與光學(xué)圖像形成優(yōu)勢(shì)互補(bǔ),因此實(shí)現(xiàn)兩類圖像之間的有效配準(zhǔn)對(duì)多種信息融合具有重要的意義。SAR與光學(xué)圖像匹配的常用方法可分為基于強(qiáng)度和基于不變特征的匹配兩類?;趶?qiáng)度的方法通常利用相似性度量,如歸一化互相關(guān)(normalized cross correlation,NCC)、互信息或交叉累積剩余熵。另一方面,諸如點(diǎn)、線條、輪廓或區(qū)域等特征被廣泛用于基于不變特征的匹配方法,常用的不變特征有尺度不變特征變換算法(scale-invariant feature transform,SIFT)、最大穩(wěn)定極值區(qū)域(maximally stable extremal regions,MSER)等。但是,不同的成像機(jī)理使得SAR與光學(xué)圖像之間存在很大的風(fēng)格差異,這造成不變特征很難提取。如果能在異源圖像之間進(jìn)行風(fēng)格遷移,將使異源圖像匹配轉(zhuǎn)化為同源圖像匹配,將大大降低匹配難度,這種方法隨著深度學(xué)習(xí)的興起,越來越受到關(guān)注。Merkle等通過訓(xùn)練一個(gè)圖像風(fēng)格遷移網(wǎng)絡(luò),將光學(xué)衛(wèi)星進(jìn)行圖像風(fēng)格遷移生成逼真度很高的人工SAR圖像,然后采用常見匹配方法(NCC、SIFT等)進(jìn)行人工SAR圖像與SAR圖像的配準(zhǔn),取得了較高的準(zhǔn)確性和精度。但是,該方法需要大量的訓(xùn)練樣本來保證生成人工SAR圖像的逼真度,如果訓(xùn)練樣本量較少,生成人工SAR圖像的逼真度就會(huì)下降,采用常見匹配方法很難保證配準(zhǔn)的精度。
本文在文獻(xiàn)[9]的基礎(chǔ)上,重點(diǎn)解決訓(xùn)練樣本不足的情況下SAR與光學(xué)圖像的配準(zhǔn)問題。盡管SAR與光學(xué)圖像在視覺上差異很大,但仍然存在一些穩(wěn)定不變的邊緣特征,如果能提取這些穩(wěn)定邊緣特征,就可以實(shí)現(xiàn)SAR與光學(xué)圖像的精確配準(zhǔn)。因此,提出一種基于圖像風(fēng)格遷移不變邊緣特征的SAR與光學(xué)圖像配準(zhǔn)算法。文獻(xiàn)[9]指出SAR圖像轉(zhuǎn)換為人工光學(xué)圖像雖然更利于視覺理解(強(qiáng)化邊緣特征),但會(huì)損失一些像素特征不利于后期的精確匹配,因此考慮將光學(xué)圖像轉(zhuǎn)換為人工SAR圖像進(jìn)行匹配。本文采用圖像邊緣作為匹配特征,考慮到SAR圖像的固有相干斑噪聲會(huì)影響邊緣特征,因此將SAR圖像風(fēng)格遷移為人工光學(xué)圖像,減小噪聲干擾,增強(qiáng)邊緣特征,有利于后期圖像匹配。算法原理:首先利用圖像風(fēng)格遷移網(wǎng)絡(luò)將原始SAR圖像轉(zhuǎn)換為人工光學(xué)圖像;然后由人工光學(xué)圖像和原始SAR圖像生成差異圖,并基于小波多尺度邊緣增強(qiáng)與Canny算子提取穩(wěn)定邊緣特征;最后通過常規(guī)匹配算法實(shí)現(xiàn)人工光學(xué)圖像與光學(xué)基準(zhǔn)圖像的精確匹配。實(shí)驗(yàn)結(jié)果表明:本文方法能夠在訓(xùn)練樣本較少的情況下,基于圖像風(fēng)格遷移技術(shù)與邊緣不變特征實(shí)現(xiàn)SAR與光學(xué)圖像的精確匹配。
隨著深度學(xué)習(xí)的興起,Gatys等開創(chuàng)性地提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移,相對(duì)傳統(tǒng)非參數(shù)的圖像風(fēng)格遷移方法只能提取圖像底層特征,可以將圖像內(nèi)容特征和風(fēng)格特征進(jìn)行分離提取,并獨(dú)立處理這些高層抽象特征。2014年Goodfellow等提出生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN),此后基于GAN研究人員又提出了Pix2Pix、CycleGAN、StarGAN等多種圖像風(fēng)格遷移網(wǎng)絡(luò),在人臉置換、圖像修復(fù)、圖像轉(zhuǎn)換等應(yīng)用場景下生成的圖像,能夠達(dá)到以假亂真的效果。
GAN是一種深度學(xué)習(xí)模型,是近年來復(fù)雜分布中無監(jiān)督學(xué)習(xí)最具前景的方法之一。從圖像生成角度而言,GAN是生成模型,其目標(biāo)是訓(xùn)練一個(gè)生成器(生成網(wǎng)絡(luò))來映射隨機(jī)噪聲以輸出圖像()。訓(xùn)練是通過一個(gè)對(duì)抗性過程來實(shí)現(xiàn)的,同時(shí)訓(xùn)練一個(gè)判別器(判別網(wǎng)絡(luò)),的任務(wù)是盡可能地區(qū)分真實(shí)圖像和生成的圖像(),而試圖盡可能多地產(chǎn)生更真實(shí)的()來“欺騙”,在反復(fù)博弈后達(dá)到一個(gè)平衡。GAN的損失函數(shù)為
(1)
條件GAN(conditional GAN, CGAN)是在GAN的基礎(chǔ)上,通過添加限制條件,來控制GAN生成數(shù)據(jù)的類別。其原理為:訓(xùn)練時(shí)將控制生成類別的分類標(biāo)簽連同噪聲一起送進(jìn)生成器的輸入端,這樣在預(yù)測(cè)時(shí),生成器就會(huì)同樣根據(jù)輸入的標(biāo)簽生成指定類別的圖片了。判別器的處理也是一樣,僅僅在輸入加上類別標(biāo)簽就可以了。CGAN的損失函數(shù)為
(2)
Isola等提出一種將CGAN應(yīng)用于有監(jiān)督圖像風(fēng)格遷移的經(jīng)典模型——Pix2Pix模型。參照Pix2Pix模型,將輸入生成器的控制條件由“分類標(biāo)簽”變成SAR圖像,目的是生成具有SAR圖像幾何特性和光學(xué)圖像輻射特性的人工光學(xué)圖像。同理,輸入判別器的控制條件也要由“分類標(biāo)簽”變成SAR圖像,并作為“條件”和真的光學(xué)圖像或生成的人工光學(xué)圖像拼接在一起送入判別器。因此,本文異源圖像風(fēng)格遷移算法的本質(zhì)是:SAR圖像作為“約束條件”輸入訓(xùn)練模型,模型擬合訓(xùn)練樣本中光學(xué)圖像的像素概率分布,模型訓(xùn)練好后,輸入SAR圖像輸出人工光學(xué)圖像。異源圖像風(fēng)格遷移網(wǎng)絡(luò)的損失函數(shù)為
(3)
其中,損失函數(shù)由兩部分構(gòu)成。第一部分是CGAN損失,和普通CGAN損失函數(shù)一樣,參見式(2);第二部分是損失,計(jì)算方法為真實(shí)光學(xué)圖像與生成器生成的人工光學(xué)圖像()逐像素求差的絕對(duì)值再求平均,如下所示:
(4)
其中,CGAN損失主要表征圖像內(nèi)容特征,損失主要表征圖像風(fēng)格特征,將兩種損失結(jié)合起來能使人工圖像具有更高的逼真度。另外,在利用Pix2Pix模型進(jìn)行圖像風(fēng)格轉(zhuǎn)換時(shí),需要大量的訓(xùn)練樣本來訓(xùn)練模型,如果訓(xùn)練樣本不足,生成人工圖像的逼真度會(huì)下降。
本文采用兩個(gè)訓(xùn)練好的圖像風(fēng)格遷移網(wǎng)絡(luò)模型:(訓(xùn)練集大小30對(duì))和(訓(xùn)練集大小300對(duì)),其生成的人工光學(xué)圖像如圖1(b)和圖1(c)所示??梢钥闯?隨著訓(xùn)練樣本集數(shù)量的增加,人工圖像越來越接近原始圖像(目標(biāo)圖像)。但是,受限于訓(xùn)練集最大為300,即使全部參與訓(xùn)練,生成的人工圖像仍然和目標(biāo)圖像有一定視覺差距。圖1(e)和圖1(f)為文獻(xiàn)[9]提供的圖像轉(zhuǎn)換結(jié)果(設(shè)其訓(xùn)練模型為),訓(xùn)練集采用69 900對(duì)SAR與光學(xué)圖像,可以看出生成的人工光學(xué)圖像在視覺上已經(jīng)和目標(biāo)圖像基本沒有區(qū)別了。這也充分證明訓(xùn)練集大小對(duì)人工圖像逼真度具有重要影響。現(xiàn)實(shí)情況中很多匹配應(yīng)用場景很難有足夠大的訓(xùn)練樣本集,從而制約了基于風(fēng)格遷移異源圖像匹配方法的推廣應(yīng)用。
圖1 訓(xùn)練集大小對(duì)生成人工圖像的影響Fig.1 Influence of training set size on generation of artificial image
邊緣特征由于包含豐富的圖像信息,在遙感圖像匹配中具有更好的適應(yīng)性。但是,對(duì)于SAR與光學(xué)圖像這種異源遙感圖像匹配,邊緣特征會(huì)出現(xiàn)較大的變化,使得匹配難度極大。從視覺的角度可以發(fā)現(xiàn)SAR與光學(xué)圖像仍然存在一些邊緣不變特征,如果能夠提取這些邊緣特征,對(duì)于異源匹配是非常有益的。
前面通過圖像風(fēng)格遷移網(wǎng)絡(luò)生成的人工光學(xué)圖像,可以看作原始SAR圖像與目標(biāo)光學(xué)圖像之間的一個(gè)中間狀態(tài),模型訓(xùn)練越充分,則越趨近于目標(biāo)光學(xué)圖像。但是,即使原始SAR圖像完全轉(zhuǎn)換為人工光學(xué)圖像后,仍會(huì)保留一些不變特征,特別是邊緣不變特征,如圖2所示。圖像風(fēng)格遷移網(wǎng)絡(luò)將SAR圖像轉(zhuǎn)換為人工光學(xué)圖像的過程,本質(zhì)上是對(duì)部分區(qū)域進(jìn)行平滑,對(duì)部分邊緣區(qū)域進(jìn)行強(qiáng)化,從而使人工光學(xué)圖像在視覺上更清晰。這些被強(qiáng)化的邊緣區(qū)域在人工光學(xué)圖像上只是灰度值整體增強(qiáng)了,但特征是相對(duì)不變的,因此這里將被強(qiáng)化的邊緣區(qū)域稱為未變化區(qū)域穩(wěn)定邊緣特征。如果將轉(zhuǎn)換前后的兩幅圖像進(jìn)行逐像素比較生成差異圖,即可凸顯未變化區(qū)域中的穩(wěn)定邊緣特征。為了抑制噪聲,這里采用對(duì)數(shù)比(log-ratio,LR)算子獲取差異圖,如圖2(a)所示。
圖2 小波多尺度圖像邊緣增強(qiáng)結(jié)果Fig.2 Wavelet multiscale image edge enhancement results
LR差異圖對(duì)比度較弱,視覺上偏暗,直接對(duì)其進(jìn)行二值分割難度很大,需要先進(jìn)行圖像增強(qiáng)。圖像增強(qiáng)的算法很多,考慮到LR差異圖依然會(huì)受原始SAR圖像的遺留噪聲影響,這里采用小波多尺度圖像邊緣增強(qiáng)算法。其原理為:首先用B樣條小波對(duì)LR差異圖進(jìn)行多尺度分解;然后利用模極大值邊緣檢測(cè)方法,在大尺度下抑制噪聲識(shí)別邊緣,在小尺度下準(zhǔn)確定位邊緣;最后綜合不同尺度下的邊緣信息得到差異圖邊緣增強(qiáng)圖像,如圖2(b)所示。小波模極大值多尺度邊緣檢測(cè)原理如下:
設(shè)二維平滑函數(shù)為(,),對(duì)平滑函數(shù)分別求、方向的偏導(dǎo)數(shù),作為基本小波則有
(5)
其中,兩個(gè)函數(shù)分別為、處的水平小波函數(shù)和豎直小波函數(shù)。則圖像(,)在尺度為時(shí)的小波變換兩個(gè)方向的尺度函數(shù)記為
(6)
從上述的推導(dǎo)可以得出二維圖像(,)的小波變換表達(dá)式為
(7)
式中:(·)(,)表示(,)經(jīng)(,)平滑后的圖像。從式(7)可以看出,(·)(,)的梯度與小波變換的兩個(gè)分量成正比。因此,在尺度為時(shí),梯度的模和相位角為
(8)
模值大小反映了圖像在像素點(diǎn)上的灰度變化程度,模值在沿著梯度方向上取局部極大值的點(diǎn)對(duì)應(yīng)著圖像灰度的突變點(diǎn),即圖像的邊緣點(diǎn)。但是,人工光學(xué)圖像含有原始SAR圖像遺留的噪聲,部分噪聲也會(huì)存在小波模極大值點(diǎn),因此檢測(cè)出的灰度突變點(diǎn)并不一定是邊緣特征點(diǎn)。單一尺度檢測(cè)出的邊緣含有很多噪聲,而小波變換具有多尺度性,噪聲信號(hào)的模極大值由于具有隨機(jī)性,一般會(huì)隨著尺度的增加而減小,而邊緣信號(hào)的模極大值一般會(huì)隨尺度的增加而增加。因此,在小尺度下可以進(jìn)行精確定位,準(zhǔn)確地識(shí)別邊緣位置,如圖2(c)所示;在大尺度下可以很好地抑制噪聲識(shí)別邊緣,但會(huì)損失細(xì)節(jié)信息,如圖2(d)所示。
LR差異圖經(jīng)過小波多尺度邊緣增強(qiáng)后,采用最大類間差法進(jìn)行二值分割可得到二值差異邊緣圖像。但是,二值差異邊緣圖像的分辨率較低,對(duì)于變化與未變化區(qū)域的區(qū)分并不明顯。因此,需要綜合二值差異邊緣圖像與人工光學(xué)邊緣圖像進(jìn)行再分割,即可得到未變化區(qū)域二值圖像,其中白色區(qū)域代表未變化區(qū)域,如圖3(a)所示。未變化區(qū)域二值圖像是人工光學(xué)圖像經(jīng)過邊緣增強(qiáng)和二值化區(qū)域分割的結(jié)果,會(huì)損失很多細(xì)節(jié)信息,并不能直接提取穩(wěn)定邊緣特征。這里采用Canny算子先提取人工光學(xué)圖像的邊緣特征,然后根據(jù)未變化區(qū)域二值圖像分離出穩(wěn)定邊緣特征,如圖3(b)和圖3(c)所示。從圖3(b)~圖3(d)也可以看出,人工光學(xué)圖像的穩(wěn)定邊緣特征大部分與光學(xué)基準(zhǔn)圖像的邊緣特征是重疊的,這就為特征匹配奠定了良好基礎(chǔ)。
圖3 穩(wěn)定邊緣特征提取結(jié)果Fig.3 Stable edge feature extraction results
鑒于穩(wěn)定邊緣特征與光學(xué)基準(zhǔn)圖像的邊緣特征有很強(qiáng)的相關(guān)性,這里采用一種常規(guī)的歸一化互相關(guān)性指標(biāo)Ncc作為匹配量度,也就是NCC算法。兩個(gè)特征區(qū)域之間的互相關(guān)性指標(biāo)如下所示:
(9)
式中:′(,)代表大小為×的穩(wěn)定邊緣特征圖像中任意點(diǎn)的像素值;′(,)代表光學(xué)基準(zhǔn)圖像中某個(gè)大小為×的邊緣特征區(qū)域中任意點(diǎn)的像素值。
基于風(fēng)格遷移不變特征的SAR與光學(xué)圖像配準(zhǔn)算法步驟如下。
基于訓(xùn)練樣本集訓(xùn)練圖像風(fēng)格遷移網(wǎng)絡(luò)模型;
將原始SAR圖像輸入風(fēng)格遷移網(wǎng)絡(luò)模型生成人工光學(xué)圖像;
基于原始SAR圖像與人工光學(xué)圖像生成LR差異圖;
對(duì)LR差異圖和人工光學(xué)圖像進(jìn)行小波多尺度增強(qiáng);
采用特定閾值分割得到未變化區(qū)域二值圖像;
采用Canny算子提取人工光學(xué)圖像的邊緣特征,結(jié)合步驟5的結(jié)果提取邊緣不變特征;
采用Canny算子提取光學(xué)基準(zhǔn)圖像的邊緣特征;
將邊緣不變特征模板在光學(xué)基準(zhǔn)邊緣特征圖像中滑動(dòng),同時(shí)計(jì)算互相關(guān)性指標(biāo),Ncc最大的區(qū)域中心即為異源圖像匹配中心位置。
為了全面衡量算法性能,實(shí)驗(yàn)選用了3類場景的SAR與光學(xué)遙感圖像數(shù)據(jù)集:第一個(gè)數(shù)據(jù)集場景為城市,有300對(duì)訓(xùn)練圖像;第二個(gè)數(shù)據(jù)集場景為港口,有100對(duì)訓(xùn)練圖像;第三個(gè)數(shù)據(jù)集場景為山區(qū),有50對(duì)訓(xùn)練圖像。這些圖像對(duì)事先經(jīng)過預(yù)處理消除畸變誤差。匹配實(shí)驗(yàn)之前首先進(jìn)行圖像風(fēng)格遷移網(wǎng)絡(luò)訓(xùn)練,實(shí)驗(yàn)環(huán)境為:硬件平臺(tái)GPU為NVIDIA Tesla P40 24 GB,內(nèi)存為128 GB;采用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)具體卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練。針對(duì)同一類型數(shù)據(jù)集采用不同大小的數(shù)據(jù)樣本量進(jìn)行訓(xùn)練得到不同的圖像風(fēng)格遷移網(wǎng)絡(luò)模型,訓(xùn)練結(jié)果如表1所示。
表1 圖像風(fēng)格遷移網(wǎng)絡(luò)訓(xùn)練結(jié)果
實(shí)驗(yàn)環(huán)境為因特爾酷睿2.4 G處理器,8G內(nèi)存,Windows 10操作系統(tǒng),Matlab R2014a計(jì)算平臺(tái)。實(shí)驗(yàn)數(shù)據(jù)選取3組不同場景類型的SAR與光學(xué)圖像對(duì):第一組為城市場景,有50對(duì)圖像;第二組為港口場景,有30對(duì)圖像;第三組為山區(qū)場景,有20對(duì)圖像,其中光學(xué)基準(zhǔn)圖像圖幅為800×800,SAR 圖像圖幅為512×512,圖像格式為TIF。首先針對(duì)3組不同場景的圖像對(duì)采用基于邊緣特征的匹配算法進(jìn)行異源圖像匹配實(shí)驗(yàn);然后采用相應(yīng)訓(xùn)練模型進(jìn)行人工光學(xué)圖像生成,并參照文獻(xiàn)[9],用常規(guī)匹配算法(NCC、SIFT)進(jìn)行匹配實(shí)驗(yàn);最后采用本文算法進(jìn)行匹配實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。采用匹配成功率(matching success rate,MSR)、匹配精度(matching precision,MP)和匹配平均精度(matching average precision,MAP)3個(gè)指標(biāo)來評(píng)價(jià)匹配效果。MP為匹配中心位置與提前標(biāo)注中心位置的距離(單位:像素)。MP小于5個(gè)像素,則認(rèn)定匹配成功;MSR=匹配成功圖像對(duì)數(shù)目/匹配圖像對(duì)總數(shù);MAP=匹配成功圖像對(duì)MP的和/配成功圖像對(duì)總數(shù)。
表2 匹配對(duì)比實(shí)驗(yàn)結(jié)果
實(shí)驗(yàn)結(jié)果分析:① 從總體匹配結(jié)果看,針對(duì)3組場景,本文算法相對(duì)比其他算法有較高的匹配成功率;② 從匹配成功率上看,采用基于深度學(xué)習(xí)的圖像遷移轉(zhuǎn)換后匹配要優(yōu)于基于邊緣特征直接進(jìn)行異源圖像匹配;③ 從第4~12組數(shù)據(jù)可以看出,訓(xùn)練數(shù)據(jù)越多,模型訓(xùn)練得越充分,匹配的成功率越高;④ 從3類場景的匹配結(jié)果可以看出,本文算法更適合港口和城市場景,因?yàn)檫@兩類場景會(huì)存在大量穩(wěn)定的邊緣特征;⑤ 從匹配平均精度結(jié)果可以看出,SIFT算法的精度最高,NCC算法最低,本文算法居中,這是因?yàn)镾IFT算法是基于單個(gè)像素點(diǎn)進(jìn)行匹配的,而本文算法和NCC是基于線和區(qū)域上的像素點(diǎn)統(tǒng)計(jì)信息進(jìn)行匹配的。圖4給出了一組本文算法針對(duì)3種場景的匹配實(shí)驗(yàn)結(jié)果,圖4(a)~圖4(c)為SAR圖像,圖4(d)~圖4(f)為光學(xué)基準(zhǔn)圖像,紅色矩形框代表匹配位置。其中,圖4(a)和圖4(d)城市場景MP為2.3,圖4(b)和圖4(e)港口場景MP為1.2,圖4(c)、圖4(f)山區(qū)場景MP為4.5。很明顯相對(duì)其他兩個(gè)場景,山區(qū)場景的匹配誤差要大一些,這也對(duì)應(yīng)了實(shí)驗(yàn)分析結(jié)果。
圖4 SAR與光學(xué)圖像匹配結(jié)果Fig.4 SAR and optical image matching results
驗(yàn)證了在訓(xùn)練樣本不足的情況下,基于圖像風(fēng)格遷移進(jìn)行異源圖像匹配的局限性;提出了基于風(fēng)格遷移前后圖像生成差異圖的方法;提出了基于風(fēng)格遷移差異圖提取人工光學(xué)圖像未變化區(qū)域的方法;總結(jié)了利用小波多尺度邊緣增強(qiáng)與Canny算子精確提取SAR與光學(xué)圖像在風(fēng)格遷移中邊緣不變特征的方法;實(shí)現(xiàn)了訓(xùn)練樣本不足條件下的SAR與光學(xué)圖像的精確配準(zhǔn)。從實(shí)驗(yàn)結(jié)果看,本文算法在訓(xùn)練樣本遠(yuǎn)低于文獻(xiàn)[9]的情況下,同樣用常規(guī)匹配算法使SAR與光學(xué)圖像的匹配精度達(dá)到相同水平,拓展了基于圖像風(fēng)格遷移的異源圖像匹配算法的適用范圍。但是,本文實(shí)驗(yàn)采用的SAR與光學(xué)圖像對(duì)都事先經(jīng)過了預(yù)處理,消除了異源圖像之間的畸變誤差,因此本文算法有待進(jìn)一步驗(yàn)證在匹配圖像存在視角差異、畸變等情況下的適應(yīng)性,這將是下一步研究的重點(diǎn)方向。