基于圖像超分辨率的遙感圖像樹冠目標(biāo)檢測

陳 振，趙亞鳳，張志超

基于圖像超分辨率的遙感圖像樹冠目標(biāo)檢測

陳 振，趙亞鳳，張志超

（東北林業(yè)大學(xué) 信息與計算機(jī)工程學(xué)院，黑龍江 哈爾濱 150040）

針對目前遙感圖像質(zhì)量較差導(dǎo)致對其中物體檢測效果低下的問題，本文提出一種基于生成式對抗網(wǎng)絡(luò)（GAN）的圖像超分辨率方法來提升遙感圖像整體質(zhì)量，并對現(xiàn)有常用目標(biāo)檢測算法YOLO進(jìn)行研究。針對遙感圖像中樹冠不容易檢測的特點(diǎn)，將超分辨率運(yùn)用于檢測遙感圖像中的樹冠，對特定區(qū)域內(nèi)樹冠數(shù)量及定位進(jìn)行統(tǒng)計。實驗結(jié)果表明超分辨率方法對目標(biāo)檢測起到積極作用，檢測精度提升約為8%，有利于對特定地區(qū)樹木種植數(shù)量的統(tǒng)計工作。

生成式對抗網(wǎng)絡(luò)；超分辨率；目標(biāo)檢測；樹冠；遙感圖像

由于拍攝因素的影響，遙感圖像往往質(zhì)量不佳，需要通過預(yù)處理后投入研究使用，傳統(tǒng)預(yù)處理包括校正、配準(zhǔn)、去噪等步驟，耗時耗力且需要較高的專業(yè)知識。因此，如何高效獲取高質(zhì)量的遙感圖像成為一項研究內(nèi)容。隨著超分辨率生成式對抗網(wǎng)絡(luò)的問世，可以在原有低分辨率遙感圖像基礎(chǔ)上訓(xùn)練出高分辨率遙感圖像。另外，目標(biāo)檢測技術(shù)是一項重要的研究，如對遙感圖像中樹冠進(jìn)行目標(biāo)檢測，有利于土地規(guī)劃、植樹造林工作的統(tǒng)計。

利用圖像超分辨率技術(shù)可以獲取圖像中目標(biāo)的深度信息，目標(biāo)檢測技術(shù)可以識別圖像中關(guān)鍵目標(biāo)的類別和位置。在本文研究應(yīng)用中，將兩者相結(jié)合，實現(xiàn)對樹冠的精準(zhǔn)檢測，繼而評估林業(yè)資源、植樹造林程度，為林業(yè)智能化提供新的思路。

1 超分辨率理論基礎(chǔ)

作為目前在圖像生成和圖像復(fù)原領(lǐng)域最為優(yōu)秀的深度學(xué)習(xí)算法，生成對抗網(wǎng)絡(luò)作為一個極其高效的框架，能夠生成具有欺詐性的圖像以模擬真實圖像，將這類算法應(yīng)用在圖像超分辨領(lǐng)域是一個值得一試的想法，本節(jié)主要對一種基于感知損失的生成對抗網(wǎng)絡(luò)（GAN）圖像超分辨率方法進(jìn)行研究，首先介紹生成對抗網(wǎng)絡(luò)的基本原理，繼而定義感知損失函數(shù)，最后研究生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)的詳細(xì)構(gòu)造。

1.1 生成式對抗網(wǎng)絡(luò)基本原理

GAN框架中包含兩個主要神經(jīng)網(wǎng)絡(luò)模塊：生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)的基本思想是輸入一個訓(xùn)練集數(shù)據(jù)，訓(xùn)練網(wǎng)絡(luò)來對這些樣本的概率分布進(jìn)行推理，最終實現(xiàn)輸入一個隨機(jī)的噪聲信號，如均勻分布或高斯分布來輸出一個與輸入樣本極其相似的結(jié)果；而判別器網(wǎng)絡(luò)的作用則是區(qū)分自然樣本和生成器網(wǎng)絡(luò)生成的樣本，判斷生成器網(wǎng)絡(luò)生成的樣本圖像是否是真實圖像，該網(wǎng)絡(luò)最后會輸出一個概率以表示樣本的真實度。在訓(xùn)練過程中，兩個網(wǎng)絡(luò)相互促進(jìn)競爭，同時參與訓(xùn)練，生成器網(wǎng)絡(luò)的目的是生成足夠真實的圖像以使判別器網(wǎng)絡(luò)認(rèn)為它是真實圖像，而判別器網(wǎng)絡(luò)的目標(biāo)是盡量區(qū)分真實樣本與生成樣本，二者構(gòu)成了一個納什均衡，最終希望生成圖像達(dá)到以假亂真的目的。GAN網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖1所示：

圖1 GAN網(wǎng)絡(luò)原理圖

1.2 感知損失函數(shù)

該公式旨在同時訓(xùn)練生成器G來欺騙判別器D；訓(xùn)練判別器D的作用是判斷輸入的虛假圖像是否是真實的圖像。并不斷迭代訓(xùn)練，反作用于生成器，使其不斷優(yōu)化生成的虛假圖像，最終使判別器難以辨別。

因此本文在其基礎(chǔ)上結(jié)合上文的分析對將損失函數(shù)改為如下公式：

1.3 網(wǎng)絡(luò)整體結(jié)構(gòu)

（1）生成器網(wǎng)絡(luò)

生成器網(wǎng)絡(luò)G的總體框架基于Resnet網(wǎng)絡(luò)，主要采用多個相同的殘差塊組成，每個塊的結(jié)構(gòu)具體如圖2所示，每個卷積層的卷積核大小為3*3，每個殘差塊輸出的特征圖維度都是64，并且在卷積過程中通過填充等操方式來保證特征圖的尺寸分辨率不變。在網(wǎng)絡(luò)的輸出部分，使用兩個步長為0.5的反卷積層來提升輸出圖像的分辨率。

圖2 生成器網(wǎng)絡(luò)G

（2）判別器網(wǎng)絡(luò)

判別器網(wǎng)絡(luò)D的主體結(jié)構(gòu)為VGG網(wǎng)絡(luò)，并在卷積神經(jīng)網(wǎng)絡(luò)的每一層的最后加上一個LeakyReLU層以進(jìn)行激活，在特征圖輸出之前用BN層進(jìn)行歸一化操作。網(wǎng)絡(luò)整體采用多個相同的卷積塊組成，每個卷積塊的結(jié)構(gòu)具體如圖3 所示，卷積核步長和濾波器個數(shù)隨層次的升高而不斷增加，特征圖的分辨率不斷降低而其維數(shù)不斷增大，最后一個卷積層輸出一個維度為512的低分辨率特征圖。在網(wǎng)絡(luò)最終輸出部分，使用兩個全連接層將特征圖輸出成一個概率，該值代表判別器能否能鑒別出超分辨率圖像和真實圖像的置信度得分，分?jǐn)?shù)越高表示判別器認(rèn)為輸入圖像是真實圖像的可能性越大。

圖3 判別器網(wǎng)絡(luò)D

生成器網(wǎng)絡(luò)G和鑒別器網(wǎng)絡(luò)D具有不同的網(wǎng)絡(luò)結(jié)構(gòu)，但二者實質(zhì)上屬于同一個網(wǎng)絡(luò)結(jié)構(gòu)。因此在反向傳播梯度時，二者的參數(shù)是互相共享的，并且共同進(jìn)行訓(xùn)練和更新。

1.4 模型復(fù)雜度與小批次處理

在硬件設(shè)備上進(jìn)行深度學(xué)習(xí)算法運(yùn)算時，需要考慮硬件設(shè)備是否滿足算法所需要的內(nèi)存及計算機(jī)算力的要求，我們可以采用模型復(fù)雜度分析的方法來估量。主要的衡量指標(biāo)是模型計算量（floating point operations）和參數(shù)（parameters）數(shù)量。

其中，深度學(xué)習(xí)的模型主要計算量是在卷積層，卷積層的計算方式為滑動窗口計算，每層計算量為：

為卷積核的大小。主要的參數(shù)量則位于全連接層中，其計算公式為：

和分別為輸入和輸出的特征向量大小。最終，結(jié)合自身實驗硬件內(nèi)存及計算機(jī)算力得出能否運(yùn)行該算法，當(dāng)不滿足條件時需要采取方法減少模型復(fù)雜度。在本文中，由于直接采用原始遙感圖像進(jìn)行超分辨率實驗時出現(xiàn)內(nèi)存不足的情況，這是由于單次卷積運(yùn)算復(fù)雜度太大而造成的，因此提出了一種“小批量處理”的方法，先將一張圖像切分成若干張小圖像進(jìn)行超分辨率，超分辨率完成后再將它們合并得到一張完整的超分辨率圖像，這種方法能夠大幅降低單次運(yùn)算時的模型復(fù)雜度。

如一張512*512的圖像經(jīng)過1*1大小卷積核后的單層卷積計算量為=2*512*512*4*3 =6291456，而一張128*128的圖像在同樣大小卷積核中的作用下單層卷積計算量縮小16倍變?yōu)?393216。因此將一張512*512的圖像分割成16張128*128的圖像能夠大幅減少模型單次運(yùn)算時的算法復(fù)雜度。通過實驗驗證，這種“小批量處理”的方法能避免內(nèi)存不足的情況，在當(dāng)前實驗硬件條件下亦可完成實驗。

2 遙感圖像超分辨率

2.1 數(shù)據(jù)集構(gòu)建

本文超分辨率及后續(xù)目標(biāo)檢測實驗所用數(shù)據(jù)集為NWPU VHR-10 dataset。包含800張光學(xué)遙感圖像，作為原始未處理數(shù)據(jù)集。由于遙感圖像中往往包含較多的樹冠，如圖4所示。我們將其中包含樹冠的圖像挑選出來作為一個樹冠圖像數(shù)據(jù)集，挑選出包含獨(dú)立樹冠的遙感圖像233張。針對樹冠在遙感圖像中尺寸小、特征不明顯、易與草地混淆以及易成群造成標(biāo)注困難的特點(diǎn)采用超分辨率方法緩解問題，繼而采用目前主流的目標(biāo)檢測YOLO算法[5]進(jìn)行實驗檢測獨(dú)立樹冠，證明對于一些如樹冠這樣直接檢測難以取得較好效果的目標(biāo)，可以結(jié)合超分辨率方法實現(xiàn)檢測精度提升。

圖4 包含獨(dú)立樹冠的遙感圖像

對其中的獨(dú)立樹冠進(jìn)行像素上的精確定位，檢測其數(shù)量及方位，便能對統(tǒng)計特定地區(qū)綠化程度，樹木種植數(shù)量的統(tǒng)計工作上提供一定程度的便利，并結(jié)合相應(yīng)綠化指標(biāo)如特定面積應(yīng)該種植多少樹木，得出該地區(qū)是否達(dá)到綠化標(biāo)準(zhǔn)。因此，如何能準(zhǔn)確的對遙感圖像中的獨(dú)立樹冠進(jìn)行精確的目標(biāo)檢測具有其實際效用。

本文將采用基于生成式對抗網(wǎng)絡(luò)的圖像超分辨率方法，并基于NWPU VHR-10 dataset數(shù)據(jù)集構(gòu)建自己的樹冠遙感圖像數(shù)據(jù)集，提高樹冠數(shù)據(jù)集的分辨率并采用YOLO目標(biāo)檢測算法分別對分辨率提升前后數(shù)據(jù)集進(jìn)行測試，對比樹冠的檢測精度，以期實現(xiàn)通過超分辨率來提高對樹冠的檢測精度。

2.2 超分辨率實驗

本節(jié)將基于前文理論搭建出一個超分辨率生成式對抗網(wǎng)絡(luò)（SRGAN）模型。對基于NWPU VHR-10 dataset構(gòu)建的樹冠遙感圖像數(shù)據(jù)集進(jìn)行超分辨率實驗。首先，需要構(gòu)建一個圖像分辨率相同的待超分辨率數(shù)據(jù)集（即低分辨率數(shù)據(jù)集）。因此首先需要將所有圖像統(tǒng)一下采樣（subsampled）到128*128的尺寸大小，即得到了低分辨率數(shù)據(jù)集，隨后通過遷移學(xué)習(xí)的思想引入預(yù)訓(xùn)練權(quán)重訓(xùn)練出一個實現(xiàn)分辨率提升4倍的超分辨率模型。

其具體步驟如下所示：

（1）首先將樹冠遙感數(shù)據(jù)集中的圖像進(jìn)行裁剪處理得到一個長寬相同的圖像后進(jìn)行縮放使其所有圖像尺寸大小為512*512，在這個過程中需要盡可能的保留所有待檢測樹冠，剔除一些不必要的背景信息。將這個處理后的數(shù)據(jù)集作為真實的高分辨率圖像數(shù)據(jù)集（HR數(shù)據(jù)集）。其對應(yīng)的低分辨率圖像（LR圖像）由其下采樣獲得：當(dāng)HR數(shù)據(jù)集進(jìn)入超分辨率網(wǎng)絡(luò)時，算法首先會將其隨機(jī)切割為16個尺寸為128*128大小的LR圖像，如下圖5所示。

圖5 小批量處理前后的圖像

（3）訓(xùn)練時設(shè)置上采樣因子為4（即將低分辨率輸入圖像的分辨率提高四倍），則切割后的每一個128*128的圖像分辨率提高到512*512。即實現(xiàn)一張512*512圖像擴(kuò)充為16張512*512圖像。若將這16個圖像再拼到一起就能得到一個2048*2048大小的超分辨率圖像，也就實現(xiàn)了4倍的分辨率提升。

將這233張包含獨(dú)立樹冠的圖像按上述方法處理，最終得到圖像數(shù)量為3728的超分辨率獨(dú)立樹冠遙感圖像。作為對比，將每張圖像切割后得到的128*128圖像不進(jìn)行任何處理得到3728張普通獨(dú)立樹冠遙感圖像。其中切割后的部分圖像不再包含樹冠，這些圖像中總計包含獨(dú)立樹冠數(shù)為5489棵。

對數(shù)據(jù)集中3728張獨(dú)立樹冠圖像進(jìn)行4倍分辨率提升。訓(xùn)練測試集比例9:1?？梢钥闯觯直媛蕡D像的質(zhì)量較原始圖像有較大提升，如下圖所示：

圖6 獨(dú)立樹冠圖像超分辨率

3 遙感圖像目標(biāo)檢測

3.1 YOLO目標(biāo)檢測網(wǎng)絡(luò)

YOLO算法（you only look once），是標(biāo)準(zhǔn)的one-stage算法，即同時完成對待檢測物體的位置檢測和類別檢測，具有運(yùn)算精度高以及運(yùn)算速度快等優(yōu)勢。從2016年提出YOLO V1至今通過原作者的不斷完善，已經(jīng)成為目標(biāo)檢測領(lǐng)域綜合性能最強(qiáng)的算法之一。其最新一代YOLO V4目標(biāo)檢測的整體框架如下圖7所示：

圖7 YOLO V4整體框架圖

YOLO算法能直接在輸出層預(yù)測出目標(biāo)類別與位置，從而實現(xiàn)單步檢測。通過這種方法提高運(yùn)算速度，達(dá)到實時性要求[3]。圖中BackBone為YOLO V4的主干特征提取網(wǎng)絡(luò)，其重要特點(diǎn)是使用了殘差網(wǎng)絡(luò)resblock_body模塊并結(jié)合CSPnet結(jié)構(gòu)，該主干網(wǎng)絡(luò)由resblock_body模塊組合而成，這樣做的好處是利于網(wǎng)絡(luò)優(yōu)化，且極大程度上增加了模型深度，提高檢測精度。此外，YOLO V4中采用跳躍連接的方法以解決梯度消失或梯度爆炸。

3.2目標(biāo)檢測評價指標(biāo)

下述指標(biāo)為一些常用于衡量圖像目標(biāo)檢測質(zhì)量的指標(biāo)：交并比（intersection over union，IOU）[1]、精度、總體的平均精度（mean average precision，mAP）[3]以及召回率[5]。IOU是模型生成的預(yù)測邊界框和真實邊界框的重疊率。如下圖8所示，圖中綠色框為人工標(biāo)注的真實框，紅色框為預(yù)測框。

圖8 交并比計算示意圖

IOU的計算公式如下：

精度和召回率的計算公式如下：

其中 TP（True Positive）表示正確檢測到的目標(biāo)數(shù)量；FN（False Positive）表示未被發(fā)現(xiàn)或錯過的目標(biāo)數(shù)量；FP（假陽性或假警報）代表錯誤檢測的目標(biāo)數(shù)量。

對于目標(biāo)檢測，類的平均精度（mAP）可以定義為：

3.3 目標(biāo)檢測實驗

本文中，我們采用多組超參數(shù)設(shè)置來對比超分辨率前后效果。每組實驗中采用的超參數(shù)設(shè)置如下表所示。其中主要的影響因素為學(xué)習(xí)率，選擇三種常用的學(xué)習(xí)率大?。?.01、0.001和0.0001：設(shè)定不同的訓(xùn)練epochs數(shù)進(jìn)行實驗，如下表所示：

表1 參數(shù)設(shè)置

該實驗分別對超分辨率前后數(shù)據(jù)集進(jìn)行目標(biāo)檢測，數(shù)據(jù)集分別包含3728張圖像，含待檢測獨(dú)立樹冠數(shù)為5489，圖像分辨率分別為128*128和512*512。其中訓(xùn)練測試集比例為9:1。分別按照表1的參數(shù)設(shè)置，經(jīng)過30、50及100個epochs后，網(wǎng)絡(luò)對測試集的檢測效果展示如圖9所示：

其中超分辨率前后分辨率分別為128*128和512*512。如圖9所示，其中圖（a）表示標(biāo)注的樹冠數(shù)量及坐標(biāo)，樹冠數(shù)量為6。從（b）、（d）、（f）中我們發(fā)現(xiàn)，使用超分辨率前數(shù)據(jù)集時，無論訓(xùn)練多少個epochs都沒能檢測出圖中最左邊的兩顆獨(dú)立樹冠；作為對比，（c）、（e）、（g）中即使訓(xùn)練30個epochs，超分辨率后數(shù)據(jù)集也能檢測出這兩顆獨(dú)立樹冠。

此外，分別對比圖（b）、（c）；（d）、（e）以及（f）、（g）可以發(fā)現(xiàn)無論訓(xùn)練多少個epochs，超分辨率后數(shù)據(jù)集對于每棵獨(dú)立樹冠的檢測IOU值均大于或等于超分辨率前數(shù)據(jù)集。測試集其他圖像中，超分辨率后數(shù)據(jù)集檢測效果也均優(yōu)于超分辨率前數(shù)據(jù)集。此外，繪制每次實驗的mAP圖以量化檢測結(jié)果：

如圖10所示，隨著三種實驗中epochs數(shù)的不斷增加，超分辨率前數(shù)據(jù)集檢測mAP值不斷上升，為0.751、0.763和0.774；這種mAP增長的趨勢同樣體現(xiàn)在超分辨率后數(shù)據(jù)集，分別為0.832、0.843和0.850。實驗結(jié)果表明，采用4倍超分辨率提升的方法進(jìn)行獨(dú)立樹冠目標(biāo)檢測，能夠使檢測精度提升約8%。

最后進(jìn)行的是整幅遙感圖像的目標(biāo)檢測，代入目標(biāo)檢測實驗中模型訓(xùn)練得到的最優(yōu)檢測權(quán)重best.pt，分別對整張超分辨率前遙感圖像和“小批量處理”中合并后的整張超分辨率遙感圖像進(jìn)行測試，檢測效果展示如下圖11所示：

圖11 整圖測試

如上圖11（a）所示，超分辨率前圖像中將田徑場中的草地誤判為樹冠（左上角），且沒有檢測出最右下角的樹冠；而在圖（b）中，不僅IOU值更高，并且沒有出現(xiàn)誤檢、漏檢的情況。對比11（c）和（d）也能發(fā)現(xiàn)超分辨率后圖像檢測出更多的樹冠，尤其是（d）圖檢測出更多的小樹冠，如中間部分在草地上零散的小樹冠。但是超分辨率前后的圖像中都沒能檢測出圖中左上角和底部的樹冠群。實驗結(jié)果表明，使用圖像超分辨率對模型訓(xùn)練以及最終的檢測均有正面效果，但目標(biāo)檢測效果還有提升空間，主要體現(xiàn)在超分辨率圖像與原始。

4 結(jié)論

本文結(jié)合超分辨率與目標(biāo)檢測兩種方法，對遙感圖像內(nèi)的樹冠進(jìn)行檢測統(tǒng)計，可推廣到林業(yè)智能化用于統(tǒng)計特定地區(qū)植樹造林程度。通過實驗對比，在保證其他實驗環(huán)境一致的情況下超分辨率后的樹冠檢測精度相較于超分辨率前分別從0.751、0.763和0.774增長到0.832、0.843和0.850，提升幅度約為8%，已具有極高的檢測效果，能夠?qū)崿F(xiàn)本文林業(yè)智能化的研究目的。本文方法仍具有提升空間，比如針對YOLO目標(biāo)檢測網(wǎng)絡(luò)缺陷可以提出進(jìn)一步的優(yōu)化方案以提升檢測精度。

[1]Cheng G,Han J. A survey on object detection in optical remote sensing images[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2016(117): 11-28.

[2]鄭遠(yuǎn)攀,李廣陽,李曄.深度學(xué)習(xí)在圖像識別中的應(yīng)用研究綜述[J].計算機(jī)工程與應(yīng)用,2019, 55(12):20-36.

[3]Ship detection based on fused features and rebuilt YOLOv3 networks in optical remote-sensing images[J]. International Journal of Remote Sensing, 2021,42(2).

[4]張宗軍.基于深度學(xué)習(xí)的遙感圖像地面目標(biāo)檢測算法研究[D].中北大學(xué),2020.

[5]Gong Cheng, Junwei Han. A survey on object detection in optical remote sensing images. ISPRS Journal of Photogrammetry and Remote Sensing, 2016(117): 11-28.

Tree Crown Detection in Remote Sensing Image based on Image Super Resolution

Chen Zhen, Zhao Yafeng, Zhang Zhichao

（Northeast Forestry University, Harbin 150040 Heilongjiang）

Aiming at the problem that the poor quality of remote sensing image leads to the low effect of object detection, this paper proposes an image super-resolution method based on generative countermeasure network (GAN) to improve the overall quality of remote sensing image, and studies the existing common target detection algorithm Yolo. In view of the characteristics that it is not easy to detect the crown in remote sensing image, super-resolution is applied to detect the crown in remote sensing image, and the number and location of crown in a specific area are counted. The experimental results show that the super-resolution method plays a positive role in target detection, and the detection accuracy is improved by about 8%, which is conducive to the statistical work of the number of trees planted in specific areas.

Generative countermeasure network; Super resolution; Target detection; Tree crown; Remote sensing image

2021-05-02

陳振，男，湖北黃州人，電子與通信工程碩士研究生。研究方向：計算機(jī)視覺。

TP757

A

1672-1047（2021）03-0085-09

10.3969/j.issn.1672-1047.2021.03.23

[責(zé)任編輯：宋武]