針對(duì)遙感影像的MSA-YOLO 儲(chǔ)油罐目標(biāo)檢測(cè)*

李想，特日根，趙宇恒，陳文韜，徐國(guó)成

(1.長(zhǎng)光衛(wèi)星技術(shù)股份有限公司，吉林 長(zhǎng)春 130000；2.吉林省衛(wèi)星遙感應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，吉林 長(zhǎng)春 130000；3.吉林大學(xué) 材料科學(xué)與工程學(xué)院，吉林 長(zhǎng)春 130000)

0 引言

近年來(lái)，隨著高分辨率光學(xué)衛(wèi)星遙感影像處理技術(shù)的快速發(fā)展，基于遙感影像的目標(biāo)識(shí)別取得了大量成果。其中，對(duì)地表自然形成或人造物體進(jìn)行識(shí)別一直是從業(yè)人員的關(guān)注重點(diǎn)之一。儲(chǔ)油罐是在石油、天然氣等石化行業(yè)中使用的設(shè)備，用于儲(chǔ)存在環(huán)境溫度下為液態(tài)的原油或者其他化工產(chǎn)品度下為液態(tài)的原油或者其他化工產(chǎn)品。按照儲(chǔ)油罐的不同用途，分為固定頂型和外浮頂型。利用遙感影像的太陽(yáng)高度角和內(nèi)外陰影參數(shù)，可以對(duì)外浮頂儲(chǔ)油罐的滿油率進(jìn)行估算，通過(guò)滿油率數(shù)據(jù)在能源期貨價(jià)格的預(yù)測(cè)模型中進(jìn)行回歸分析，不但可以為能源期貨交易機(jī)構(gòu)提供參考，還能對(duì)我國(guó)原油的采購(gòu)及存儲(chǔ)等起到指導(dǎo)作用。而在上述工作中，首要任務(wù)是在高分辨率遙感影像中實(shí)現(xiàn)固定頂和外浮頂儲(chǔ)油罐的高效識(shí)別與分類。

對(duì)于儲(chǔ)油罐檢測(cè)算法，國(guó)內(nèi)外研究人員在傳統(tǒng)圖像處理領(lǐng)域已經(jīng)取得很多成果。早在2013年，Kushwaha等提出了一種基于形態(tài)學(xué)方法和圖像拆分/合并的分割技術(shù)，對(duì)明亮的固定頂圓形儲(chǔ)油罐進(jìn)行檢測(cè)[1]。在2018年，Jing 等提出了一種基于形狀導(dǎo)向的顯著性的儲(chǔ)油罐檢測(cè)框架，提取輪廓形狀提示作為目標(biāo)信息來(lái)指導(dǎo)選擇性顯著值的計(jì)算，消除高對(duì)比度背景的干擾，準(zhǔn)確地定位到儲(chǔ)油罐[2]。隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和機(jī)器學(xué)習(xí)技術(shù)的迅速發(fā)展[3]，許多基于卷積神經(jīng)網(wǎng)絡(luò)的模型在儲(chǔ)油罐檢測(cè)中表現(xiàn)出較好的結(jié)果。2015 年Zhang 等人提出一種將卷積神經(jīng)網(wǎng)絡(luò)與方向梯度直方圖特征相結(jié)合的方法，使用方向梯度直方圖提取局部區(qū)域的形狀信息，并使用卷積神經(jīng)網(wǎng)絡(luò)提取儲(chǔ)油罐的周圍特征[4]。Girshick 等提出基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[5](Region-based Convolutional Neural Networks，R-CNN)和升級(jí)版本Fast R-CNN[6]，取得了較高的檢測(cè)精度。Ren 和Girshick 等人又提出了Faster R-CNN 算法[7]，進(jìn)一步提高了目標(biāo)檢測(cè)效果，但仍存在檢測(cè)速度緩慢的弊端。針對(duì)此類問(wèn)題Joseph Redmon 等在2015 年提出了YOLO 算法[8]，該算法將對(duì)象檢測(cè)框架劃為空間分隔邊界框的回歸問(wèn)題，僅需要一步操作就可以完成目標(biāo)檢測(cè)任務(wù)。在之后的2016 年和2018 年又推出YOLO9000[9]和YOLOv3[10]兩次升級(jí)版本，在檢測(cè)的速度和準(zhǔn)確率上都取得較好效果[11-13]。在此基礎(chǔ)上Bochkovskiy 等人于2020年發(fā)布的YOLOv4 對(duì)YOLOv3 提出了五種改進(jìn)方式和二十余個(gè)改進(jìn)技巧，在平均精度和速度上也遠(yuǎn)超YOLOv3版本[14]，但由于高分辨率的遙感影像尺寸過(guò)大，同時(shí)YOLOv4 模型復(fù)雜，推理時(shí)間仍比較慢，因此在儲(chǔ)油罐檢測(cè)工程化應(yīng)用中存在適用性不足的問(wèn)題。

針對(duì)傳統(tǒng)的儲(chǔ)油罐檢測(cè)算法效率低下且達(dá)不到工程化標(biāo)準(zhǔn)，以及深度學(xué)習(xí)算法在使用場(chǎng)景上有欠缺的問(wèn)題，本文提出了一種儲(chǔ)油罐檢測(cè)算法MSA-YOLO，該算法基于YOLOv4 算法進(jìn)行改進(jìn)：對(duì)YOLOv4 算法的網(wǎng)絡(luò)層進(jìn)行修剪，降低網(wǎng)絡(luò)復(fù)雜度，在保證識(shí)別準(zhǔn)確率的情況下提升推理速度；同時(shí)通過(guò)自適應(yīng)錨框和優(yōu)化NMS的方式，進(jìn)一步提升模型收斂速度和識(shí)別準(zhǔn)確率。

1 算法模型

1.1 YOLOv4 算法

Bochkovskiy 等人在2020 年4 月發(fā)布的YOLOv4 算法，其Backbone 使用了CSPDarknet53 結(jié)構(gòu)，該結(jié)構(gòu)取消了算力消耗較高的計(jì)算瓶頸結(jié)構(gòu)，同時(shí)減少了參數(shù)使之更容易訓(xùn)練。Neck 部分主要采用了空間金字塔池化[15]和路徑聚合網(wǎng)絡(luò)[16]的方式，可以更好地提取融合特征。Head 部分將網(wǎng)絡(luò)的輸出數(shù)據(jù)與真實(shí)標(biāo)注數(shù)據(jù)對(duì)接，進(jìn)行損失值的計(jì)算，同時(shí)重新組織數(shù)據(jù)格式，對(duì)特征圖進(jìn)行解碼，并對(duì)原始網(wǎng)格單元中的(x，y，w，h)值分別做相應(yīng)的激活等。

YOLOv4 中的多尺度檢測(cè)策略通過(guò)上采樣生成三個(gè)尺度的融合特征圖，分別用來(lái)識(shí)別大、中、小三類物體，如表1 所示，輸入圖像通過(guò)下采樣生成13×13 的大尺度特征圖、26×26 的中尺度特征圖和52×52 的小尺度特征圖。以COCO 數(shù)據(jù)集[17]為例，大尺度特征圖對(duì)應(yīng)的錨框?yàn)?142，110)、(192，243)和(459，401)，中尺度特征圖對(duì)應(yīng)的錨框?yàn)?36，75)、(76，55)和(72，146)，小尺度特征圖對(duì)應(yīng)的錨框?yàn)?12，16)、(19，36)和(40，28)。

如圖1 所示，9 個(gè)默認(rèn)錨框分別以藍(lán)色邊框(大)、綠色邊框(中)和紅色邊框(小)進(jìn)行區(qū)分，藍(lán)色邊框和紅色邊框的尺寸與真實(shí)儲(chǔ)油罐尺寸差距較大，綠色邊框的尺寸與真實(shí)儲(chǔ)油罐尺寸較為一致。因此對(duì)于尺寸較為固定的儲(chǔ)油罐檢測(cè)中，默認(rèn)錨框與目標(biāo)的尺寸相差較大，不利于模型的加速收斂。與此同時(shí)，隨著錨框數(shù)量的增加，預(yù)測(cè)濾波器中的卷積濾波器數(shù)量線性增加，這將導(dǎo)致網(wǎng)絡(luò)規(guī)模變大，并增加訓(xùn)練時(shí)間。

圖1 YOLOv4 默認(rèn)錨框

在目標(biāo)檢測(cè)算法中，IoU(Intersection over Union)和NMS(Non-Maximum Suppression)具有重要的意義。IoU 代表的是“預(yù)測(cè)邊框”和“真實(shí)邊框”的交集和并集的比值[18]。在YOLOv4 優(yōu)化損失函數(shù)的過(guò)程中使用邊界框回歸的方式，IoU 損失公式如式(1)所示：

NMS 用于確保出現(xiàn)在多個(gè)候選框中的物體僅被計(jì)算一次，濾出其他可預(yù)測(cè)同一對(duì)象的邊界框，保留最高的置信度[19]。NMS 算法的步驟如下：

(1)將所有邊界框進(jìn)行置信度大小排序；

(2)保留置信度最高的邊界框，移除與該邊界框IoU 大于閾值的邊界框；

(3)對(duì)于剩下的所有邊界框執(zhí)行步驟(2)，直到無(wú)法繼續(xù)移除邊界框?yàn)橹梗惴ńY(jié)束。

在本文所述的高分辨率大尺寸遙感影像檢測(cè)中，有兩個(gè)步驟均使用到了NMS：

(1)在預(yù)測(cè)過(guò)程中，使用NMS 過(guò)濾檢測(cè)框；

(2)在將檢測(cè)框融合到大尺寸原始圖片上時(shí)，使用NMS 過(guò)濾相鄰小尺寸圖片重疊部分的檢測(cè)框。

基于IoU 的NMS 在過(guò)濾檢測(cè)框的過(guò)程中存在著明顯的缺點(diǎn)，即當(dāng)兩個(gè)檢測(cè)框不相交時(shí)，LIoU的值始終為1，無(wú)法給出優(yōu)化的方向，回歸速度慢。

1.2 遙感影像的目標(biāo)識(shí)別

現(xiàn)階段，在高分辨率大尺寸遙感影像中檢測(cè)較小物體仍是一個(gè)重大挑戰(zhàn)，以吉林一號(hào)光學(xué)遙感衛(wèi)星拍攝的2021 年6 月的美國(guó)庫(kù)欣區(qū)遙感影像為例，其尺寸為14 166 像素×10 742 像素，分辨率為0.75 m。該影像覆蓋范圍超過(guò)100 平方公里，包含1.5 億個(gè)像素，而其中的待檢測(cè)儲(chǔ)油罐對(duì)象尺寸僅為幾十像素。YOLOv4 網(wǎng)絡(luò)可識(shí)別的圖像輸入像素大小多為416×416、608×608等，與遙感影像的尺寸差距過(guò)大，無(wú)法直接進(jìn)行高分辨率大尺寸遙感影像的識(shí)別。

2 算法優(yōu)化

2.1 MSA-YOLO 網(wǎng)絡(luò)結(jié)構(gòu)

在YOLOv4 的檢測(cè)過(guò)程中，對(duì)于尺寸不同的目標(biāo)采取多尺度檢測(cè)的方式。對(duì)于標(biāo)準(zhǔn)大小的儲(chǔ)油罐，直徑從6.1 m 到91.5 m 不等，直徑超過(guò)61 m 的儲(chǔ)油罐被稱為中大型儲(chǔ)油罐[20]。經(jīng)調(diào)查研究，監(jiān)控區(qū)域的儲(chǔ)油罐大小直徑從20 m 到70 m 不等，以中大型儲(chǔ)油罐為主。在尺寸為416×416、分辨率為0.75 m 的圖片上，儲(chǔ)油罐罐頂尺寸為26.67 像素至93.3 像素，通過(guò)計(jì)算真實(shí)標(biāo)注框數(shù)據(jù)，帶有陰影的儲(chǔ)油罐尺寸所在區(qū)間為54 像素至133像素，該區(qū)域基本符合中尺度特征圖的預(yù)測(cè)區(qū)間。由于儲(chǔ)油罐的尺寸相對(duì)固定，因此為了降低模型的復(fù)雜度，減少計(jì)算量，加快推理速度，以適應(yīng)對(duì)大尺寸遙感影像的快速檢測(cè)，需對(duì)YOLOv4 的網(wǎng)絡(luò)層執(zhí)行剪枝操作[21]。

為了適合儲(chǔ)油罐尺寸特性，可將YOLOv4 頭部多尺度檢測(cè)中用來(lái)識(shí)別大尺度和小尺度的分支進(jìn)行剪枝，僅保留識(shí)別中尺度的分支，并將路徑聚合網(wǎng)絡(luò)的上采樣模塊與高層語(yǔ)義信息進(jìn)行結(jié)合，建立儲(chǔ)油罐的特征檢測(cè)層。如圖2 所示，在MAS-YOLO 算法的網(wǎng)絡(luò)結(jié)構(gòu)圖中，訓(xùn)練數(shù)據(jù)經(jīng)過(guò)CSPDarknet53 骨干網(wǎng)絡(luò)，提取目標(biāo)特征；通過(guò)基于剪枝的YOLOv4 頭部模塊，在中尺度特征圖上訓(xùn)練出儲(chǔ)油罐識(shí)別模型。

圖2 MSA-YOLO 算法網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 自適應(yīng)錨框

為了降低模型的復(fù)雜度，同時(shí)適應(yīng)儲(chǔ)油罐的尺寸特性，MAS-YOLO 算法僅需保留中尺度特征圖對(duì)應(yīng)的3 個(gè)錨框。在校正錨框尺寸的過(guò)程中，使用k-means++聚類算法[22]。未使用k-means 算法[23]，主要是因?yàn)閮烧邔?duì)于聚類中心初始化的方式不同。其中k-means 算法中隨機(jī)初始化k 個(gè)聚類中心，而k-means++算法生成k 個(gè)相互距離更遠(yuǎn)的聚類中心點(diǎn)，最大程度地避免了聚類中心初始化敏感度的問(wèn)題。聚類中心數(shù)量(下文用k 表示)與IoU 和IoU 變化率的對(duì)應(yīng)關(guān)系如圖3 所示。

圖3 不同聚類中心數(shù)量的平均IoU 與平均IoU 變化率

(1)IoU 與k 值呈 正相關(guān)，k 值越大，IoU越大。

(2)當(dāng)k<3時(shí)，IoU 值較小且變化幅度較大；當(dāng)k≥3時(shí)，平均IoU 大且變化幅度較小。

(3)當(dāng)k<3時(shí)，IoU 變化率大且變化幅度較大；當(dāng)k≥3時(shí)，平均IoU 變化率小且變化幅度區(qū)域穩(wěn)定。

由于隨著k 的增加，錨框尺寸趨于接近，因此取k=3時(shí)，既可以減少錨框帶來(lái)的誤差，也可以加快訓(xùn)練的收斂速度。如表2 所示，在初始錨框選擇的應(yīng)用中，當(dāng)k=3時(shí)，k-means 算法的IoU 為78.72%，k-means++算法的IoU 為79.13%；k 為1至9時(shí)，k-means算法的平均IoU 為78.74%，k-means++算法的平均IoU 為79.74%。綜上所述，k-means++平均IoU 更大，精確度更高。

表2 聚類算法比較 (%)

因此，對(duì)數(shù)據(jù)集進(jìn)行聚類中心為3 的聚類分析，得到3 個(gè)自適應(yīng)錨框，尺寸分別為(60，32)、(42，67)和(72，91)，在圖4(a)中分別用紅色邊框表示；同時(shí)對(duì)數(shù)據(jù)集內(nèi)全部對(duì)象尺寸進(jìn)行統(tǒng)計(jì)，得到儲(chǔ)油罐對(duì)象的平均尺寸為(68.2，68.3)，在圖4(a)中用綠色邊框表示。如圖4(a)所示，3 個(gè)尺寸的自適應(yīng)錨框均有寬(或高)度與平均尺寸保持一致，同時(shí)還保留自身的另一個(gè)高(或?qū)?度的獨(dú)立性，以適應(yīng)各種尺寸的儲(chǔ)油罐對(duì)象。如圖4(b)所示，三個(gè)自適應(yīng)錨框基本可以分別覆蓋大、中、小三種尺寸的儲(chǔ)油罐，錨框的形狀非常接近儲(chǔ)油罐的真實(shí)形狀，較默認(rèn)錨框相比更為準(zhǔn)確，以便MSA-YOLO 網(wǎng)絡(luò)更容易地學(xué)習(xí)對(duì)錨框的小幅調(diào)整，創(chuàng)建更準(zhǔn)確的邊界框。

圖4 自適應(yīng)錨框示意圖

2.3 CIoU-NMS

2.3.1 CIoU-NMS 算法

針對(duì)兩個(gè)檢測(cè)框不相交時(shí)，傳統(tǒng)IoU 回歸速度慢的缺點(diǎn)，GIoU[24](Generalized Intersection over Union)對(duì)此進(jìn)行了優(yōu)化，如式(2)所示：

其中C 表示包含兩個(gè)框的最小矩形，可以對(duì)兩框不相交的情況進(jìn)行優(yōu)化。而當(dāng)兩個(gè)候選框完全相交時(shí)，GIoU 損失則退化到IoU 損失，收斂速度同樣會(huì)減慢。DIoU[25](Distance Intersection over Union)在GIoU 的基礎(chǔ)上，對(duì)于不同距離、方向、面積和比例的預(yù)選框都能做到較好的回歸，如式(3)所示：

其中b 和bgt分別代表預(yù)選框和目標(biāo)框的中心點(diǎn)，ρ2(b，bgt)代表兩個(gè)中心點(diǎn)的歐式距離，c 代表能同時(shí)覆蓋兩框的最小矩形的對(duì)角線距離。DIoU 可以在預(yù)選框與目標(biāo)框不重疊時(shí)，為預(yù)選框提供移動(dòng)方向，也可以最小化兩個(gè)目標(biāo)框的距離。但當(dāng)兩個(gè)框中心點(diǎn)重合時(shí)，ρ2(b，bgt)和c 值都不變，DIoU 此時(shí)需引入框的寬高比，即CIoU（Complete Intersection over Union），寬高比所占的比例與IoU 呈正相關(guān)，最終，CIoU 如式(4)所示：

其中α 是權(quán)重函數(shù)，ν 用來(lái)度量寬高比的一致性，如式(5)和式(6)。

圖5 為同一儲(chǔ)油罐對(duì)象的真實(shí)邊框與多種情況的預(yù)測(cè)邊框示意圖，其中G 為真實(shí)邊框，其余為預(yù)測(cè)邊框，對(duì)每一種情況分別計(jì)算不同的IoU 損失如表3 所示。

表3 不同的IoU 方式與結(jié)果

結(jié)論如下：

(3)對(duì)于圖5(c)、5(d)和5(e)，真實(shí)邊框與預(yù)測(cè)邊框完全相交，GIoU(C，G)=GIoU(D，G)=GIoU(E，G)，DIoU(C，G)≠DIoU(D，G)≠DIoU(E，G)，GIoU 無(wú)法提供優(yōu)化方向；

(4)對(duì)于圖5(e)和5(f)，兩框中心點(diǎn)重合但預(yù)測(cè)邊框?qū)捀弑炔煌?，CIoU(F，G)≠DIoU(F，G)≠GIoU(F，G)≠IoU(F，G)，DIoU 無(wú)法提供優(yōu)化方向，此時(shí)僅CIoU 可以提供優(yōu)化方向。

圖5 同一儲(chǔ)油罐對(duì)象的真實(shí)邊框與多種預(yù)測(cè)邊框

與其他幾種方法相比，CIoU 更符合目標(biāo)框回歸的機(jī)制，將目標(biāo)與錨框之間的距離、重疊度和尺度都涵蓋在內(nèi)，使得目標(biāo)框回歸更加穩(wěn)定，最大程度地避免了訓(xùn)練過(guò)程中的發(fā)散問(wèn)題。

2.3.2 CIoU-NMS 在預(yù)測(cè)過(guò)程中的使用

對(duì)于尺寸為416×416 的輸入圖像，經(jīng)過(guò)目標(biāo)識(shí)別算法網(wǎng)絡(luò)，最終生成26×26×2=1 352 個(gè)邊界框。通過(guò)NMS，從多個(gè)預(yù)測(cè)的邊界框中保留最佳邊界框。如圖6 所示，以測(cè)試圖片中的兩個(gè)儲(chǔ)油罐為例，使用CIoU-NMS，得到置信度最高的檢測(cè)結(jié)果。

圖6 CIoU-NMS 在預(yù)測(cè)過(guò)程中的應(yīng)用

2.3.3 CIoU-NMS 在融合過(guò)程中的使用

在遙感影像識(shí)別過(guò)程中，需將全部416×416 尺寸的小圖檢測(cè)到的邊界框融合到原始圖像上，如圖7 所示，尺寸較大的矩形框代表三張相鄰的416×416 尺寸的檢測(cè)圖像，尺寸較小的多個(gè)矩形框分別代表每張檢測(cè)圖像上的儲(chǔ)油罐檢測(cè)結(jié)果。在20%尺寸的重疊區(qū)域中，三個(gè)儲(chǔ)油罐分別被三張檢測(cè)圖像檢測(cè)了7次，生成7 個(gè)預(yù)測(cè)框，此時(shí)需要使用CIoU-NMS，保留置信度最高的三個(gè)邊界框，得到最終的識(shí)別結(jié)果。

圖7 CIoU-NMS 在融合過(guò)程中的應(yīng)用

2.4 高分辨率大尺寸遙感影像的處理

針對(duì)儲(chǔ)油罐檢測(cè)的過(guò)程中無(wú)法直接把高分辨率大尺寸遙感影像輸入網(wǎng)絡(luò)進(jìn)行識(shí)別的問(wèn)題，本文基于SIMRDWN[26]項(xiàng)目編寫(xiě)識(shí)別程序，對(duì)遙感影像進(jìn)行處理，步驟如下：

(1)程序讀取原始尺寸的遙感影像。

(2)程序使用scikit-image[27]對(duì)原始影像通過(guò)滑動(dòng)窗口的方式進(jìn)行切割。如圖8 所示，為了不遺漏待檢測(cè)對(duì)象，相鄰圖片帶有20%尺寸的重疊部分，最終將原始圖像生成多幅尺寸為416×416 的圖像。

圖8 通過(guò)滑動(dòng)窗口進(jìn)行圖像切割

(3)將全部圖像輸入MSA-YOLO 網(wǎng)絡(luò)進(jìn)行目標(biāo)識(shí)別，輸出每一幅圖像對(duì)應(yīng)的儲(chǔ)油罐識(shí)別結(jié)果文本文件。

(4)將全部識(shí)別結(jié)果文本文件作為輸入，執(zhí)行坐標(biāo)轉(zhuǎn)換函數(shù)，輸出為每個(gè)儲(chǔ)油罐在原始圖像大小的真實(shí)坐標(biāo)值(x，y，w，h)。

(5)將全部?jī)?chǔ)油罐的坐標(biāo)值使用OpenCV-Python 的cv2.imwrite()方法繪制到原始圖像上，識(shí)別程序結(jié)束。

通過(guò)該程序的處理，解決了深度學(xué)習(xí)算法對(duì)高分辨率大尺寸遙感影像的識(shí)別問(wèn)題，具有現(xiàn)實(shí)意義。

3 數(shù)據(jù)集

3.1 MSA-YOLO 數(shù)據(jù)集

在MSA-YOLO 數(shù)據(jù)集的制作中，主要使用了吉林一號(hào)光學(xué)遙感影像數(shù)據(jù)，同時(shí)也包括了開(kāi)源遙感數(shù)據(jù)集，如NWPU VHR-10 數(shù)據(jù)集[28-30]、DOTA 數(shù)據(jù)集[31-32]、RSOD數(shù) 據(jù)集[33-34]、AID 數(shù)據(jù)集[35]等。數(shù)據(jù)集中共包含2 025 幅原始遙感圖像，通過(guò)順時(shí)針旋轉(zhuǎn)60°、90°、180°和270°擴(kuò)充至10 125幅，其中20%(2 025 幅)作為測(cè)試集，20%(2 025 幅)作為驗(yàn)證集，其余60%(6 075 幅)作為訓(xùn)練集，共包含60 760 個(gè)固定頂儲(chǔ)油罐和137 320 個(gè)外浮頂儲(chǔ)油罐，共計(jì)198 080 個(gè)儲(chǔ)油罐。

3.2 高分辨率大尺寸遙感影像數(shù)據(jù)集

高分辨率大尺寸遙感影像數(shù)據(jù)集包含從2020 年8月至2021 年6 月吉林一號(hào)衛(wèi)星星座系列拍攝的美國(guó)庫(kù)欣區(qū)156 幅遙感影像。單幅影像尺寸均在10 000×10 000像素以上。該數(shù)據(jù)集均作為測(cè)試集，用以驗(yàn)證MSA-YOLO模型在高分辨率大尺寸遙感影像上的識(shí)別效果。

4 實(shí)驗(yàn)配置與結(jié)果分析

4.1 實(shí)驗(yàn)配置與評(píng)價(jià)標(biāo)準(zhǔn)

本研究實(shí)驗(yàn)配置的CPU 為Intel Xeon，GPU 為T(mén)esla V100 SXM2，內(nèi)存為26 GB，操作系統(tǒng)為Ubuntu 18.04。優(yōu)化算法訓(xùn)練參數(shù)設(shè)置如表4 所示。

表4 MSA-YOLO 算法訓(xùn)練參數(shù)設(shè)置

為了驗(yàn)證模型的性能，本文采用精確率、召回率、mAP@.5 和F1-score 四個(gè)技術(shù)指標(biāo)和模型大小、推理速度和訓(xùn)練速度三個(gè)性能指標(biāo)進(jìn)行評(píng)價(jià)，如式(7)～式(10)所示。

其中，TP、FP 和FN 分別代表真陽(yáng)性(True Positive，TP)、假陽(yáng)性(False Positive，F(xiàn)P)和假陰性(False Negative，F(xiàn)N)；N 代表檢測(cè)類別的數(shù)量，由于檢測(cè)類別分別為固定頂儲(chǔ)油罐(類別序號(hào)為0，標(biāo)簽為“Fixed_Roof_Tanks”)和外浮頂儲(chǔ)油罐(類別序號(hào)為1，標(biāo)簽為“Floating_Roof_Tanks”)，因此在本文中N=2。Model-size 即為模型生成的最優(yōu)權(quán)重文件，主要存放訓(xùn)練過(guò)程中需要學(xué)習(xí)的權(quán)重和系數(shù)，以及包括訓(xùn)練次數(shù)、訓(xùn)練超參數(shù)等在內(nèi)的其他參數(shù)信息，一般來(lái)說(shuō)，在同樣的網(wǎng)絡(luò)結(jié)構(gòu)下，Model-size 與模型復(fù)雜度成正比，Model-size 越大，模型越復(fù)雜。

4.2 實(shí)驗(yàn)結(jié)果與分析

4.2.1 MSA-YOLO

為了驗(yàn)證MSA-YOLO 算法的有效性，對(duì)MSA-YOLO數(shù)據(jù)集中2 025 幅測(cè)試圖像中的儲(chǔ)油罐進(jìn)行了測(cè)試，結(jié)果如表5 所示。MSA-YOLO 算法的Precision 和Recall分別為89.25%和95.20%，mAP@.5 為95.65%，F(xiàn)1-score 為92.13%，Model-size 為153 MB，Detection-speed 為420.17 F/s，Training-speed 為47 s/epoch。與YOLOv4相比，mAP@.5低0.1%，F(xiàn)1-score 高0.28%，指標(biāo)基本持平；而Modelsize 減少了62.13%，Detection -speed提升15.76 F/s，Training-speed 減少了6.1 s/epoch。實(shí)驗(yàn)結(jié)果表明，與YOLOv4 算法相比，經(jīng)過(guò)剪枝操作的MSA-YOLO 算法在保證了準(zhǔn)確率的前提下，模型的推理速度和訓(xùn)練速度更快，模型更小。

表5 MSA-YOLO 與YOLOv4 算法檢測(cè)結(jié)果

為了驗(yàn)證MSA-YOLO 方法的有效性，本研究比較了四種目標(biāo)檢測(cè)算法，包括YOLOv3、YOLOv4、YOLOv5 和EfficientDet-D0[36]。在相同環(huán)境和數(shù)據(jù)集的情況下，五種算法的測(cè)試結(jié)果如表6 所示。

表6 不同的目標(biāo)檢測(cè)算法檢測(cè)結(jié)果

測(cè)試結(jié)果表明，這五種檢測(cè)算法的mAP@.5 分別為94.10%、95.75%、94.25%、81.50%和95.65%；Model-size分別為117 MB、404 MB、170 MB、15 MB 和153 MB；Detection -speed分別為434.78 F/s、404.41 F/s、294.12 F/s、268.72 F/s 和420.17 F/s；Training-speed 分別為58.9 s/epoch、53.1 s/epoch、68.9 s/epoch、184.8 s/epoch 和47.0 s/epoch。

從測(cè)試結(jié)果分析中可以看出，MSA-YOLO 算法的檢測(cè)精度較高，mAP@.5 僅較YOLOv4 低0.10%，比其他三種算法分別高1.55%、1.45%和14.15%；F1-score 僅低于YOLOv5 算法0.77%，比其他三種算法分別高1.56%、0.28%和10.68%。在Detection-speed 方面，MSA-YOLO 算法僅慢于YOLOv3 算法14.61 F/s，比其他三種算法分別快15.76 F/s、126.05 F/s 和151.45 F/s；在Training-speed方面，MSA-YOLO 算法比其他四種算法分別快11.90 s/epoch、6.10 s/epoch、21.90 s/epoch 和137.80 s/epoch；在Modelsize 方面，MSA-YOLO 算法的模型比YOLOv3 算法的模型大36 MB，比EfficientDet-D0 算法的模型大138 MB，小于其他兩種算法模型251 MB 和17 MB。但EfficientDet-D0算法比MSA-YOLO 算法mAP@.5 低14.15%，Detectionspeed 慢151.45 F/s；YOLOv3雖然Detection-speed仍比MSA-YOLO 算法快13.61 F/s，但mAP@.5 比MSA-YOLO算法低1.45%，從成本效益的綜合角度來(lái)看，MSA-YOLO算法仍更為高效。

結(jié)合實(shí)驗(yàn)數(shù)據(jù)，可得到結(jié)論：

(1)MSA-YOLO 算法在與其他四種算法的比較中，mAP@.5 與YOLOv4 和YOLOv5 算法基本持平，而在Modelsize、Detection-speed 和Training-speed 上均占優(yōu)；

(2)YOLOv3 與MSA-YOLO 算法相比，雖然Model-size和Detection-speed 均占優(yōu)，但mAP@.5 和Training-speed差距較大；

(3)MSA-YOLO 算法各項(xiàng)指標(biāo)均優(yōu)于EfficientDet-D0。

綜上所述，從成本效益的綜合角度來(lái)看，MSA-YOLO算法更為高效。本文提出了一種基于YOLOv4 算法的其他算法進(jìn)行剪枝算法的原因是其原本的mAP@.5 低于MSA-YOLO 算法，而剪枝算法通常不能提高模型的準(zhǔn)確性[37]。五種算法的檢測(cè)結(jié)果示例如圖9 所示。

圖9 5 種算法的檢測(cè)結(jié)果

本文提出的MSA-YOLO 算法在保證了檢測(cè)精度的前提下，改善了模型參數(shù)過(guò)多、體積過(guò)大的問(wèn)題，同時(shí)大幅縮短了模型訓(xùn)練時(shí)間，提升了檢測(cè)速度，具有一定的現(xiàn)實(shí)意義。

4.2.2 自適應(yīng)錨框檢測(cè)結(jié)果

如圖10 所示，以訓(xùn)練過(guò)程中的前200 批次為例，使用默認(rèn)錨框與使用自適應(yīng)錨框的兩次模型訓(xùn)練的平均損失均從初始的1 902 開(kāi)始減少，在100 批次附近基本達(dá)到一致。在1 至100 批次的訓(xùn)練過(guò)程中，使用自適應(yīng)錨框的模型訓(xùn)練，其平均損失收斂速度更快，更有助于模型的加速收斂。

圖10 默認(rèn)錨框與自適應(yīng)錨框的目標(biāo)檢測(cè)結(jié)果

4.2.3 使用CIoU-NMS 對(duì)MSA-YOLO 進(jìn)行預(yù)測(cè)框優(yōu)化結(jié)果

在實(shí)驗(yàn)中，通過(guò)設(shè)置nms_kind 參數(shù)，將NMS 方式從GreedyNMS 調(diào)整為CIoU-NMS，將兩種配置分別進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如表7 所示，使用CIoU-NMS 的Precision 和Recall 分別為91.35%和94.40%，比使用IoU 方式的Greedy-NMS 算法均提高1%，同時(shí)mAP@.5 提升0.42%，F(xiàn)1-score提升1%。實(shí)驗(yàn)結(jié)果表明，與基于IoU 的GreedyNMS 相比，基于CIoU 的NMS 具有更高的精度，有利于生成效果更好的模型。

表7 使用IoU 與使用CIoU 的NMS 算法檢測(cè)結(jié)果(%)

4.2.4 高分辨率大尺寸遙感影像的目標(biāo)檢測(cè)

本文對(duì)高分辨率大尺寸遙感影像數(shù)據(jù)集進(jìn)行檢測(cè)與統(tǒng)計(jì)，生成檢測(cè)結(jié)果圖片，如圖11 所示。圖11 為吉林一號(hào)高分03 號(hào)衛(wèi)星拍攝的具有0.75 m 分辨率的美國(guó)庫(kù)欣區(qū)遙感影像(局部)，在該圖中共有儲(chǔ)油罐349個(gè)，用藍(lán)色邊框表示；其中TP 為344個(gè)，用綠色邊框表示；FP為4個(gè)，用紅色邊框表示；FN 為1個(gè)，用黃色邊框表示。該圖Precision 為98.85%，Recall 為99.71%。

圖11 高分辨率大尺寸遙感影像的目標(biāo)檢測(cè)結(jié)果

對(duì)于全部156 幅測(cè)試影像的總體識(shí)別結(jié)果如圖12所示，其中滿足Precision ≥95%的圖片占60.31%；滿足95%>Precision≥90%的圖片占17.56%；滿足90%>Precision≥80%的圖片占9.92%；滿足Precision≤80%的圖片占12.21%。滿足Recall ≥95%的圖片占81.34%；滿足95%>Recall ≥90%的圖片占7.46%；滿足90%>Recall≥80%的圖片占10.45%；滿足Recall≤80%的圖片占0.75%。識(shí)別每幅影像的平均耗時(shí)為59.05 s，對(duì)每幅影像的預(yù)處理及后處理平均耗時(shí)為17.37 s，每幅影像平均總耗時(shí)為76.42 s。結(jié)合識(shí)別準(zhǔn)確率與識(shí)別時(shí)間，該算法具有可行性。

圖12 高分辨率大尺寸遙感影像的目標(biāo)檢測(cè)結(jié)果統(tǒng)計(jì)

5 結(jié)論

為了實(shí)現(xiàn)對(duì)美國(guó)庫(kù)欣區(qū)遙感影像中儲(chǔ)油罐的準(zhǔn)確、實(shí)時(shí)地智能檢測(cè)，本研究提出了基于優(yōu)化YOLOv4 算法的儲(chǔ)油罐檢測(cè)方法MSA-YOLO 算法，并對(duì)其進(jìn)行實(shí)驗(yàn)。主要結(jié)論如下：

(1)MSA-YOLO 算法通過(guò)對(duì)監(jiān)控區(qū)域的環(huán)境調(diào)研，在保證模型檢測(cè)精度的前提下，將目標(biāo)識(shí)別模型的多尺度檢測(cè)Head 層進(jìn)行修剪，僅保留符合儲(chǔ)油罐真實(shí)尺寸的輸出尺度，同時(shí)使用k-means++算法對(duì)錨框進(jìn)行優(yōu)化，生成自適應(yīng)錨框；同時(shí)使用CIoU 進(jìn)行NMS 優(yōu)化。經(jīng)實(shí)驗(yàn)表明，MSA-YOLO 算法的平均精度為95.65%，檢測(cè)速度可達(dá)420.17 F/s。

(2)在對(duì)比實(shí)驗(yàn)中，將MSA-YOLO 算法與當(dāng)前主流目標(biāo)識(shí)別算法進(jìn)行對(duì)比，結(jié)果表明，MSA-YOLO 算法具有相對(duì)最高的準(zhǔn)確率，最快的訓(xùn)練速度和檢測(cè)速度，以及較小的模型尺寸，在能準(zhǔn)確檢測(cè)儲(chǔ)油罐的前提下，可以滿足實(shí)時(shí)性的要求。

(3)在對(duì)高分辨率大尺寸遙感影像的檢測(cè)中，將遙感影像經(jīng)過(guò)預(yù)處理后進(jìn)入MSA-YOLO 識(shí)別網(wǎng)絡(luò)，得到識(shí)別結(jié)果后，經(jīng)過(guò)后處理生成檢測(cè)結(jié)果，此過(guò)程準(zhǔn)確率高，識(shí)別時(shí)間短，可為基于高分辨率大尺寸的遙感衛(wèi)星影像中儲(chǔ)油罐檢測(cè)提供技術(shù)參考。

在快速準(zhǔn)確地識(shí)別美國(guó)庫(kù)欣區(qū)遙感影像中儲(chǔ)油罐的前提下，進(jìn)而通過(guò)區(qū)域內(nèi)原油儲(chǔ)量的計(jì)算和回歸分析，可以挖掘出遙感數(shù)據(jù)在能源期貨領(lǐng)域的巨大的應(yīng)用價(jià)值，更早做出合理投資決策，為交易者和策略制定者提供信息優(yōu)勢(shì)。