基于超分辨率重建技術(shù)的遙感圖像小目標(biāo)檢測(cè)

張子茜，熊再立，張 彪，楊琰鑫，付恩康

(東南大學(xué)能源與環(huán)境學(xué)院 火電機(jī)組振動(dòng)國(guó)家工程研究中心，江蘇 南京 210096)

近年來，隨著航空航天技術(shù)的迅速發(fā)展，目標(biāo)識(shí)別技術(shù)在氣象預(yù)報(bào)/資源普查等領(lǐng)域的應(yīng)用逐漸得到重視.該技術(shù)具有遠(yuǎn)距離、多角度監(jiān)測(cè)等優(yōu)勢(shì)，適用于海洋監(jiān)測(cè)領(lǐng)域，具有廣闊的應(yīng)用前景.目前，遙感圖像主要包括合成孔徑雷達(dá)圖像和光學(xué)遙感圖像兩類.其中，合成孔徑雷達(dá)圖像由于具有主動(dòng)成像的工作特點(diǎn)，通常不受云層、天氣等外界因素的干擾，能夠全天時(shí)、全天候地進(jìn)行監(jiān)測(cè)；光學(xué)遙感圖像則能夠反映被測(cè)物體的真實(shí)特征，較好地呈現(xiàn)圖像的顏色信息和細(xì)節(jié)紋理，具有對(duì)比度高和噪聲低等優(yōu)點(diǎn).這兩類遙感圖像對(duì)于海洋監(jiān)測(cè)均具有獨(dú)特優(yōu)勢(shì)，尤其是針對(duì)艦船目標(biāo)的識(shí)別，可以為監(jiān)測(cè)水面艦艇、開發(fā)海洋資源和維護(hù)領(lǐng)海安全提供有力保障，從而有效提高我國(guó)軍事偵察和海上預(yù)警能力.同時(shí)，隨著航天信息技術(shù)的發(fā)展，遙感監(jiān)測(cè)設(shè)備的數(shù)量迅速增加，因此研究遙感目標(biāo)識(shí)別具有重要意義.

超分辨率重建(Super Resolution，SR)技術(shù)可以將低分辨率圖像經(jīng)過特定的運(yùn)算轉(zhuǎn)化為高分辨率圖像，從而為圖像填充更多信息，對(duì)于遙感圖像中的艦船小目標(biāo)檢測(cè)意義重大.目前，超分辨率重建技術(shù)主要包括插值、重建、學(xué)習(xí)等三種算法.基于插值的算法[1]通過對(duì)周圍像素點(diǎn)取均值來描述中心像素點(diǎn)的估值.該算法在計(jì)算過程中用時(shí)較少、復(fù)雜度低，但是重建后的圖像存在細(xì)節(jié)信息缺失和過于平滑等缺點(diǎn)[2].基于重建的算法[3]指引入先驗(yàn)信息建立圖像變換模型，利用低分辨率圖像對(duì)模型提供約束，通過模型的計(jì)算和檢驗(yàn)來恢復(fù)圖像分辨率.該方法雖然可以較好地恢復(fù)圖像的細(xì)節(jié)信息，但是其重建效果不穩(wěn)定，計(jì)算過程復(fù)雜、效率較低，難以滿足數(shù)量龐大的樣本重建需求.基于學(xué)習(xí)的算法是目前學(xué)者們研究的重點(diǎn)，首先利用已有的高分辨率圖像和低分辨率圖像建立大樣本學(xué)習(xí)集，然后通過學(xué)習(xí)得到高分辨率圖像與低分辨率圖像之間的非線性關(guān)系，建立具有強(qiáng)魯棒性的重建模型.自2014年，Dong[4]提出基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的單幅圖像超分辨率重建方法(Single Image Super Resolution，SISR)后，深度學(xué)習(xí)(Deep Learning，DL)已逐漸成為超分辨率重建的重要方法.Kim[5]和Tai[6]分別對(duì)CNN進(jìn)行改進(jìn)，在保證學(xué)習(xí)速度的基礎(chǔ)上增加了CNN的網(wǎng)絡(luò)深度，通過改變不同的卷積層數(shù)提高模型學(xué)習(xí)能力.但是，這類方法重建后的圖片通常與人眼直觀感受相悖，容易出現(xiàn)紋理?yè)p失和過于平滑等問題.針對(duì)這些問題，LEDIG等[7]提出一種生成性對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)，該網(wǎng)絡(luò)在生成器G與判別器D不斷對(duì)抗的過程中進(jìn)行對(duì)抗訓(xùn)練，有助于還原真實(shí)自然的目標(biāo)信息.

目前，針對(duì)深度學(xué)習(xí)背景的遙感圖像艦船目標(biāo)檢測(cè)算法正在快速發(fā)展.與傳統(tǒng)檢測(cè)算法不同，深度學(xué)習(xí)算法無需對(duì)圖像特征進(jìn)行人工提取，識(shí)別過程的適應(yīng)性和一般性得到提升[8，9]，成為艦船識(shí)別領(lǐng)域中的主要算法[10].GIRSHICK[11]于2015年對(duì)R-CNN網(wǎng)絡(luò)的分割和定位方式進(jìn)行改進(jìn)，在VOC 2012上的檢測(cè)結(jié)果顯示，平均精度相比之前提高50%以上.2017年，Krizhevsky等[12]嘗試建立一個(gè)由5個(gè)卷積層的R-CNN網(wǎng)絡(luò)，有效減少連接層的過度擬合，數(shù)據(jù)集的測(cè)試錯(cuò)誤率明顯降低.在R-CNN基礎(chǔ)上，F(xiàn)ast R-CNN[13]和Faster R-CNN[14]陸續(xù)被應(yīng)用于艦船檢測(cè)中，尤其是Faster R-CNN，在選取候選區(qū)域(Regions of Interest，RoIs)方面提出區(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)，有效提升了網(wǎng)絡(luò)運(yùn)行速度，成為當(dāng)前研究的熱門方向.

但是，基于深度學(xué)習(xí)的艦船目標(biāo)檢測(cè)算法仍有一些問題需要解決.首先，艦船遙感圖像中目標(biāo)的背景通常較為復(fù)雜，易受海岸線、天氣和云霧等外界因素干擾；其次，艦船目標(biāo)在圖像中的尺寸較小，單純依靠卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)容易導(dǎo)致目標(biāo)的位置信息丟失；最后，當(dāng)前的檢測(cè)算法對(duì)目標(biāo)的類型和色彩魯棒性差，難以同時(shí)識(shí)別合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)圖像和光學(xué)遙感圖像.

針對(duì)以上問題，我們提出一種基于超分辨率重建的艦船遙感圖像小目標(biāo)檢測(cè)算法，首先將目標(biāo)恢復(fù)為高分辨率圖像，然后運(yùn)用Faster R-CNN對(duì)復(fù)雜背景下的艦船小目標(biāo)進(jìn)行檢測(cè).在AIR-SAR Ship和HRSC2016數(shù)據(jù)集上進(jìn)行訓(xùn)練，結(jié)果顯示改進(jìn)后算法的綜合效率達(dá)到65.5%，相比傳統(tǒng)檢測(cè)算法提高12.9%，可以有效完成復(fù)雜背景下的艦船小目標(biāo)檢測(cè)任務(wù)，且算法的魯棒性和準(zhǔn)確率均明顯提高.

圖1 艦船檢測(cè)算法的整體結(jié)構(gòu)

圖2 GAN網(wǎng)絡(luò)的具體過程

1 算法研究

本研究所提出的基于超分辨率重建的艦船遙感圖像小目標(biāo)檢測(cè)算法結(jié)構(gòu)如圖1所示.首先通過超分辨率重建為低分辨率圖像恢復(fù)更多的內(nèi)容信息，克服艦船目標(biāo)過小帶來的紋理細(xì)節(jié)不足問題，同時(shí)彌補(bǔ)后續(xù)檢測(cè)算法中CNN網(wǎng)絡(luò)導(dǎo)致的高頻細(xì)節(jié)損失.然后，采用Faster R-CNN網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測(cè)，該網(wǎng)絡(luò)引入RPN網(wǎng)絡(luò)對(duì)目標(biāo)的候選區(qū)域選取過程進(jìn)行加速，能夠快速準(zhǔn)確地識(shí)別出復(fù)雜背景下的艦船小目標(biāo).

1.1 超分辨率重建

本研究采用基于生成性對(duì)抗網(wǎng)絡(luò)的超分辨率重建技術(shù)(Super-Resolution GAN，SRGAN)，與傳統(tǒng)的SRCNN相比，該算法有效抑制重建過程中的梯度變化較小和圖像紋理?yè)p失等問題.重建后的高分辨率圖像具有更豐富的紋理細(xì)節(jié)和像素信息，從而提高復(fù)雜背景下小目標(biāo)檢測(cè)過程的檢出率.

GAN是一種運(yùn)用博弈思想訓(xùn)練的重建模型方法，主要由生成器G和判別器D構(gòu)成，具體過程如圖2所示.它通過構(gòu)建生成器G來不斷形成逼真的圖像，并使用判別器D來判別輸入圖像真?zhèn)?在該過程中生成器G形成的圖像逐漸接近真實(shí)的高分辨率圖像，并且最終達(dá)到判別器D難以準(zhǔn)確區(qū)分水平.經(jīng)過多次迭代優(yōu)化后的生成器G可以使判別器D無法判別圖像的真?zhèn)涡?，可以認(rèn)為生成的圖像近似于真實(shí)圖像.

GAN的目標(biāo)函數(shù)表示為

ξ(G，D)=Ex～pdata(x)[lnD(x)]+Ez～pz(z)[ln(1-D(G(z)))]

.

(1)

其中，真實(shí)樣本和任意變量分別被記為x和z；生成器所生成的樣本滿足的數(shù)據(jù)分布記為G(z)；D(x)為判別生成樣本真?zhèn)蔚暮瘮?shù)，若輸入為真則輸出1，反之則為0.當(dāng)生成樣本足以欺騙判別器D時(shí)，判別函數(shù)D(G(z))的數(shù)值需要盡可能大.經(jīng)過生成器G和判別器D的不斷博弈訓(xùn)練，最終達(dá)到納什平衡，此時(shí)的生成器即具有最優(yōu)效果.

SRGAN網(wǎng)絡(luò)中的生成器主要由深度殘差區(qū)域和子像素卷積區(qū)域兩部分組成，具體結(jié)構(gòu)如圖3所示，其中顏色相同的方框代表所在部分執(zhí)行同一功能.可以看出，每一個(gè)深度殘差塊均從卷積層開始，之后依次通過批歸一化層和PReLU層，最終提取出輸入樣本的特征.生成器網(wǎng)絡(luò)的后端設(shè)置子像素卷積區(qū)域，通過卷積變換從而放大輸入樣本的尺寸.該網(wǎng)絡(luò)多次采用跳鏈技術(shù)，引入輸入樣本x作為設(shè)定值，使深層次網(wǎng)絡(luò)與淺層輸入直接聯(lián)系，避免卷積深度過大時(shí)造成的誤差增加和梯度發(fā)散等問題.

圖3 SRGAN網(wǎng)絡(luò)的生成器結(jié)構(gòu)

判別器是SRGAN網(wǎng)絡(luò)中用來判斷圖像真?zhèn)蔚哪K，輸出只能為0或1.判別器網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖4所示，其中包含多個(gè)串聯(lián)的卷積層，且越深程度的卷積層所包含的卷積核數(shù)目越多，不斷降低圖像的分辨率以提取樣本的本質(zhì)特征.判別器網(wǎng)絡(luò)的開始部分未設(shè)置BN層，從而防止卷積過程中出現(xiàn)梯度變化過緩的問題.通過對(duì)判別器網(wǎng)絡(luò)進(jìn)行同步訓(xùn)練和優(yōu)化，不斷增加SRGAN網(wǎng)絡(luò)的過程鑒別能力，進(jìn)而提高生成器的圖像重建精度.

圖4 SRGAN網(wǎng)絡(luò)的判別器結(jié)構(gòu)

圖5 RPN網(wǎng)絡(luò)結(jié)構(gòu)

1.2 目標(biāo)檢測(cè)算法

本研究采用Faster R-CNN[15]網(wǎng)絡(luò)對(duì)超分辨率重建后的高分辨率圖像進(jìn)行檢測(cè)，并且提出基于Faster R-CNN的艦船遙感圖像小目標(biāo)檢測(cè)框架.Faster R-CNN網(wǎng)絡(luò)是在Fast R-CNN網(wǎng)絡(luò)的基礎(chǔ)上發(fā)展形成的，它繼承了Fast R-CNN網(wǎng)絡(luò)的候選區(qū)域池化算法(RoI Pooling)，有效提高網(wǎng)絡(luò)的運(yùn)算速度；同時(shí)，它采用RPN網(wǎng)絡(luò)對(duì)提取RoIs過程進(jìn)行優(yōu)化，克服了傳統(tǒng)select search算法的效率低下問題[16].

RPN網(wǎng)絡(luò)是整個(gè)Faster R-CNN網(wǎng)絡(luò)中最核心的部分，它解決了目標(biāo)檢測(cè)中的最復(fù)雜的標(biāo)定候選區(qū)域問題.在深度學(xué)習(xí)過程中，進(jìn)行目標(biāo)檢測(cè)和分類之前需要為圖像標(biāo)定邊界框，然而由于目標(biāo)存在復(fù)雜性，因此邊界框的大小和位置難以確定.針對(duì)這一問題，RPN網(wǎng)絡(luò)引入錨點(diǎn)進(jìn)行歸一化處理，通過在圖像中設(shè)置大小一致的邊界框，將復(fù)雜問題統(tǒng)一代入到邊界框中進(jìn)行解決.如圖5所示，RPN網(wǎng)絡(luò)在邊界框中產(chǎn)生一定數(shù)量的錨點(diǎn)，將錨點(diǎn)捕捉到的圖像信息進(jìn)行分析，進(jìn)而判斷邊界框中是否存在目標(biāo)對(duì)象，同時(shí)優(yōu)化錨點(diǎn)位置以確定目標(biāo)的最佳位置.

Faster R-CNN網(wǎng)絡(luò)通過采用RPN網(wǎng)絡(luò)提高了對(duì)候選區(qū)域的感知能力，克服了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)設(shè)置邊界的固有缺點(diǎn).錨點(diǎn)的引入增強(qiáng)了候選區(qū)域提取的時(shí)效性和準(zhǔn)確性，進(jìn)一步緩解了后續(xù)目標(biāo)分類和標(biāo)定的壓力.本文中采用的Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示，其將卷積神經(jīng)網(wǎng)絡(luò)、RPN網(wǎng)絡(luò)和RoI Pooling網(wǎng)絡(luò)融于一體，檢測(cè)速度和精度均較傳統(tǒng)網(wǎng)絡(luò)有了較大的提升[17].

圖6 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN網(wǎng)絡(luò)的工作流程可以概括為圖像特征提取、候選區(qū)域標(biāo)定和目標(biāo)分類回歸等三部分.首先，圖片在CNN網(wǎng)絡(luò)內(nèi)經(jīng)過處理轉(zhuǎn)化為特征圖(Feature Map)；然后，特征圖進(jìn)入RPN網(wǎng)絡(luò)中標(biāo)定目標(biāo)邊界框，利用Anchors準(zhǔn)確獲取目標(biāo)的具體位置；最后，將CNN網(wǎng)絡(luò)提取到的特征信息和RPN網(wǎng)絡(luò)標(biāo)定的候選區(qū)域一起輸入RoI Pooling網(wǎng)絡(luò)中進(jìn)行池化，從而獲得一個(gè)同時(shí)包含特征和位置信息的新向量.通過R-CNN網(wǎng)絡(luò)對(duì)該向量進(jìn)行處理，得到目標(biāo)的類別信息和置信度，同時(shí)在對(duì)邊界框位置進(jìn)行微調(diào)后最終獲得目標(biāo)的具體坐標(biāo).

2 實(shí)驗(yàn)過程及結(jié)果

2.1 訓(xùn)練集介紹及實(shí)驗(yàn)準(zhǔn)備

圖7 AIR-SAR Ship數(shù)據(jù)集示例

圖8 HRSC2016數(shù)據(jù)集示例

本文針對(duì)SAR圖像和光學(xué)遙感圖像進(jìn)行無差別檢測(cè)，其中SAR圖像來自AIR-SAR Ship數(shù)據(jù)集，光學(xué)遙感圖像來自HRSC2016數(shù)據(jù)集[18].AIR-SAR Ship數(shù)據(jù)集由高分三號(hào)衛(wèi)星拍攝，示例圖像如圖7所示，它包含31景大圖，單幅圖像分辨率為1 m～3 m，尺寸一般為(3 000×3 000)像素，數(shù)據(jù)集包括訓(xùn)練集和測(cè)試集兩部分，其中訓(xùn)練集由1023張21景大圖組成，測(cè)試集由763張10景大圖組成.

HRSC2016數(shù)據(jù)集來源于谷歌地球系統(tǒng)，示例圖像如圖8所示，單幅圖像分辨率為0.2 m～2 m，尺寸為(200×300)像素到(1 500×600)像素之間，其中訓(xùn)練集有783張圖片組成，測(cè)試集由569張圖片組成.兩種測(cè)試集均為復(fù)雜背景下的艦船小目標(biāo)圖像，且圖片中包含港口、海岸、島嶼及其他交通工具.

實(shí)驗(yàn)在64 G內(nèi)存、NVIDIA GeForce 1080Ti GPU和Intel Core i7 8550U CPU的操作平臺(tái)上進(jìn)行，采用基于python的編程環(huán)境，操作系統(tǒng)為L(zhǎng)unix，編譯軟件選用VS Code.

2.2 實(shí)驗(yàn)結(jié)果及分析

本研究采用基于超分辨率重建的小目標(biāo)檢測(cè)算法對(duì)AIR-SAR Ship和HRSC2016數(shù)據(jù)集中的圖像進(jìn)行訓(xùn)練和檢測(cè)，并且引入不同的指標(biāo)對(duì)超分辨率重建效果和整體的目標(biāo)檢測(cè)效果進(jìn)行評(píng)估.

首先，引入峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)和結(jié)構(gòu)相似比(Structural SIMilarity，SSIM)對(duì)圖像重建效果進(jìn)行評(píng)價(jià).同時(shí)，因?yàn)楹?jiǎn)單使用上述指標(biāo)會(huì)導(dǎo)致重建圖像過于平滑，且PSNR和SSIM兩項(xiàng)指標(biāo)無法較好地體現(xiàn)出SRGAN網(wǎng)絡(luò)的重建優(yōu)勢(shì)，因此采用主觀質(zhì)量指標(biāo)進(jìn)行補(bǔ)充評(píng)價(jià).

其中，PSNR可以衡量重建后圖像的可信度高低，PSNR越大說明圖像重建效果越好，具體公式為

(2)

公式中：n為每個(gè)采樣值的比特?cái)?shù)；i、j分別為圖像橫縱坐標(biāo)編號(hào)；I、J分別為兩幅圖像的灰度值；M、N分別為圖像橫縱坐標(biāo)的總像素?cái)?shù).SSIM通過向量法對(duì)高低分辨率圖像之間的對(duì)比度、亮度等方面進(jìn)行比較，從而反映出圖像重建前后的相似程度，具體公式為

(3)

(4)

公式中：i為得分編號(hào)；k為總的得分?jǐn)?shù)；ni為每種得分的評(píng)分人數(shù)；ci為得分.

SSIM在0到1之間變化，其值越大則代表相似程度越高，當(dāng)兩張圖像相同時(shí)值為1.主觀質(zhì)量指標(biāo)MOS主要用來衡量圖像的直觀視覺效果，MOS評(píng)分在0到5之間，0分最差，5分最好，MOS值越大，表明對(duì)應(yīng)圖像的主觀質(zhì)量越好.我們采用雙插值方法(Bicubic)、SRCNN和本文方法進(jìn)行實(shí)驗(yàn)，測(cè)得的各項(xiàng)指標(biāo)如表1所示.可以看出，本研究采用的超分辨率重建方法較傳統(tǒng)方法有明顯的提高，尤其在人眼視覺感受方面格外突出，重建后的圖片具有更豐富的細(xì)節(jié)紋理.圖9為采用本研究方法分別對(duì)SAR圖像和光學(xué)遙感圖像進(jìn)行超分辨率重建前后的效果對(duì)比，可見重建后的圖像在色彩、紋理和分辨率方面均獲得明顯改善，這也進(jìn)一步提高了對(duì)復(fù)雜背景下小目標(biāo)識(shí)別的檢測(cè)水平.

表1 不同方法的超分辨率重建結(jié)果比較

采用識(shí)別模型對(duì)Faster R-CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過不斷增加迭代次數(shù)來增強(qiáng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)準(zhǔn)確率.損失值隨迭代次數(shù)的變化關(guān)系如圖10所示，可以看出，當(dāng)?shù)螖?shù)發(fā)生較大梯度的增加時(shí)，損失值出現(xiàn)明顯的下降趨勢(shì)，目標(biāo)檢測(cè)網(wǎng)絡(luò)的可信度也隨之增加.

圖9 超分辨率重建前后的效果對(duì)比圖10 損失值隨迭代次數(shù)的變化關(guān)系

圖11 艦船圖像檢測(cè)結(jié)果

通過Faster R-CNN檢測(cè)網(wǎng)絡(luò)對(duì)超分辨率重建后的SAR圖像和光學(xué)遙感圖像進(jìn)行檢測(cè)，檢測(cè)結(jié)果如圖11所示，其中每個(gè)例圖中的(a)均為待檢測(cè)的低分辨率圖片；(b)為未結(jié)合超分辨率重建算法的檢測(cè)結(jié)果；(c)為超分辨率重建后的高分辨率圖片；(d)為結(jié)合超分辨率重建算法的檢測(cè)結(jié)果.

圖11(a)和圖11(c)分別為SAR圖像和光學(xué)遙感圖像中的艦船小目標(biāo)檢測(cè)結(jié)果.這類圖片通常具有目標(biāo)模糊、面積較小等特點(diǎn)，而且圖片中可能具有多個(gè)大小不同的被測(cè)對(duì)象，相鄰對(duì)象之間存在相互干擾現(xiàn)象，傳統(tǒng)算法針對(duì)毗鄰對(duì)象的檢測(cè)結(jié)果漏檢率較高.結(jié)合超分辨率重建的檢測(cè)算法可以提高艦船檢測(cè)的魯棒性，對(duì)不同大小的被測(cè)對(duì)象具有較好的適應(yīng)能力，有效降低對(duì)于小目標(biāo)艦船對(duì)象的漏檢率.

圖11(b)和圖11(d)分別為復(fù)雜背景下的SAR圖像和光學(xué)遙感圖像中的艦船目標(biāo)檢測(cè)結(jié)果.這類圖像中一般具有海岸線、云霧以及其他的交通工具等干擾因素，因此艦船目標(biāo)的檢出率低、錯(cuò)檢率高.而且由于傳統(tǒng)算法中存在非極大值抑制現(xiàn)象，目標(biāo)錯(cuò)檢后通常會(huì)影響相鄰正確目標(biāo)的檢測(cè)，因此檢測(cè)效果較差.采用改進(jìn)后的檢測(cè)算法可以為艦船目標(biāo)的紋理細(xì)節(jié)，從而抑制周圍復(fù)雜環(huán)境對(duì)目標(biāo)檢測(cè)的影響，進(jìn)一步提高目標(biāo)的檢出率.

本研究引入準(zhǔn)確率P、召回率R和綜合效率M等三項(xiàng)指標(biāo)對(duì)整個(gè)檢測(cè)過程的結(jié)果進(jìn)行評(píng)價(jià)，具體公式為

(5)

(6)

(7)

公式中：Np為檢測(cè)正確的樣本數(shù)量；Fp為檢測(cè)錯(cuò)誤的樣本數(shù)量，F(xiàn)n為檢測(cè)遺漏的樣本數(shù)量.在此基礎(chǔ)上，采用綜合效率M來衡量算法在檢測(cè)過程中的綜合性能.由于在小目標(biāo)檢測(cè)中增加了超分辨率重建過程，除去訓(xùn)練時(shí)間外，每張圖片(1 500×600)像素超分辨率重建時(shí)間大約花費(fèi)300 ms.

結(jié)合超分辨率技術(shù)前后的檢測(cè)效果對(duì)比如表2所示，可以看出，改進(jìn)后的算法綜合效率提高了12.9%.這是因?yàn)椴捎贸直媛手亟ǖ臋z測(cè)算法可以為輸入樣本恢復(fù)更多的紋理特征和高頻細(xì)節(jié)，并且在深層特征中保存了原始圖像的更多位置信息，因此有效提高了過程的魯棒性.

表2 應(yīng)用超分辨率技術(shù)的前后效果比較(%)

3 結(jié) 論

本文提出了一種基于超分辨率重建技術(shù)的艦船圖像小目標(biāo)檢測(cè)算法，并在AIR-SAR Ship和HRSC 2016數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證研究.本方法可以有效克服目標(biāo)尺寸小和背景復(fù)雜等問題，通過超分辨率重建算法為低分辨率圖像提高像素等級(jí)，同時(shí)抑制卷積過程中目標(biāo)位置信息損失，提高艦船檢測(cè)的魯棒性.本研究首先檢驗(yàn)了超分辨率重建后的圖像質(zhì)量，證明了重建后的圖像具有更豐富的紋理細(xì)節(jié)和視覺特征.同時(shí)，基于超分辨率重建的檢測(cè)算法可以緩解單幅圖像中毗鄰對(duì)象之間的相互干擾現(xiàn)象，提高對(duì)不同尺寸艦船目標(biāo)的適應(yīng)能力，從而降低對(duì)于小目標(biāo)艦船對(duì)象的漏檢率.將本研究所提出的算法應(yīng)用在AIR-SAR Ship和HRSC2016數(shù)據(jù)集上，綜合效率相比傳統(tǒng)檢測(cè)算法提高12.9%，且對(duì)于復(fù)雜背景下的小目標(biāo)檢測(cè)效果獲得明顯提升.隨著遙感圖像的廣泛應(yīng)用，實(shí)現(xiàn)小目標(biāo)的高精度檢測(cè)具有重要實(shí)踐意義，基于超分辨率重建技術(shù)的檢測(cè)方法有望成為該領(lǐng)域重要輔助工具.