基于中心點(diǎn)和語(yǔ)義信息的多方向遙感艦船檢測(cè)

李潤(rùn)林, 鄒煥新, 曹 旭, 成 飛, 賀詩(shī)甜, 李美霖

(國(guó)防科技大學(xué)電子科學(xué)學(xué)院, 湖南 長(zhǎng)沙 410073)

0 引 言

隨著衛(wèi)星航天技術(shù)與遙感技術(shù)的不斷發(fā)展,高分辨率遙感影像被廣泛應(yīng)用于對(duì)地觀測(cè)、戰(zhàn)場(chǎng)偵查以及情報(bào)獲取等多種任務(wù)。從遙感影像中快速、精確地檢測(cè)艦船目標(biāo)是其中一項(xiàng)具有重要意義的研究?jī)?nèi)容。目前,在光學(xué)遙感影像中,艦船目標(biāo)檢測(cè)主要有以下3個(gè)難點(diǎn):

(1) 排列密集。港口艦船目標(biāo)通常呈現(xiàn)密集排布,較大的長(zhǎng)寬比導(dǎo)致艦船目標(biāo)邊界框之間的交并比(intersection over union, IoU)對(duì)角度的變化更加敏感。

(2) 方向多變。遙感影像中的艦船目標(biāo)因?yàn)榕臄z角度的緣故,可能以任意方向出現(xiàn)。這要求檢測(cè)器具有精確的角度預(yù)測(cè)能力。

(3) 背景復(fù)雜。近岸艦船的檢測(cè)容易受到岸邊復(fù)雜背景的干擾,岸上的集裝箱區(qū)域容易與近岸的貨船混淆。

傳統(tǒng)的艦船檢測(cè)方法多依賴于手工設(shè)計(jì)的特征。Ma等人提出了一種基于目標(biāo)輪廓曲線及輪廓線凹凸程度約束的艦船檢測(cè)方法;儲(chǔ)昭亮等人提出了基于灰度值閾值分割的艦船目標(biāo)檢測(cè)方法,胡俊華等人分析圖像局部區(qū)域特征以檢測(cè)艦船。這些傳統(tǒng)算法雖然取得了不錯(cuò)的檢測(cè)結(jié)果,但是需要大量先驗(yàn)知識(shí)來(lái)設(shè)置算法中的許多參數(shù)。

隨著深度學(xué)習(xí)的發(fā)展與計(jì)算機(jī)性能的提升,眾多學(xué)者提出了許多高性能的基于深度學(xué)習(xí)的通用目標(biāo)檢測(cè)算法。當(dāng)前主流的目標(biāo)檢測(cè)算法主要分為兩種類型:單階段的目標(biāo)檢測(cè)器與雙階段的目標(biāo)檢測(cè)器。一般來(lái)說(shuō),單階段目標(biāo)檢測(cè)算法具有更快的檢測(cè)速度,而雙階段的目標(biāo)檢測(cè)算法則具有更高的檢測(cè)精度。但是這些目標(biāo)檢測(cè)算法多針對(duì)自然場(chǎng)景,包圍框?yàn)樗骄匦慰?直接遷移到艦船檢測(cè)領(lǐng)域效果較差。因此,研究人員提出了許多基于通用檢測(cè)器的旋轉(zhuǎn)檢測(cè)器以解決艦船檢測(cè)中的難點(diǎn)問(wèn)題。旋轉(zhuǎn)區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(rotational region convolutional neural networks, R2CNN)、基于旋轉(zhuǎn)區(qū)域的船舶檢測(cè)(rotated region based CNN, RR-CNN)、旋轉(zhuǎn)區(qū)域建議網(wǎng)絡(luò)(rotation region proposal networks,RRPN)以及感興趣區(qū)域變換網(wǎng)絡(luò)(region of inferest transformer, ROI transformer)等方法通過(guò)改進(jìn)更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region CNN,Faster RCNN)以實(shí)現(xiàn)旋轉(zhuǎn)目標(biāo)檢測(cè);孫嘉赤等人提出了一種級(jí)聯(lián)CNN和邊緣直線提取相結(jié)合的方法來(lái)預(yù)測(cè)目標(biāo)旋轉(zhuǎn)包圍框;旋轉(zhuǎn)視網(wǎng)膜網(wǎng)絡(luò)(RetinaNet-H)由單階段的視網(wǎng)膜網(wǎng)絡(luò)RetinaNet算法改進(jìn)而來(lái),而旋轉(zhuǎn)敏感目標(biāo)檢測(cè)器(rotation sensitive regression detector, RRD)則是在單階段的單視多盒檢測(cè)器(single shot multibox detector,SSD)基礎(chǔ)上改進(jìn)得到的旋轉(zhuǎn)檢測(cè)方法。除了上述方法，還有很多基于深度學(xué)習(xí)的方法在不同方向進(jìn)行改進(jìn)以完成遙感艦船檢測(cè)任務(wù)。然而,無(wú)論是基于單階段算法或雙階段算法的上述改進(jìn)算法,其本質(zhì)都是基于錨框的檢測(cè)算法?；阱^框的算法會(huì)產(chǎn)生大量的負(fù)樣本導(dǎo)致正負(fù)樣本不均衡,同時(shí),在計(jì)算錨框與真實(shí)標(biāo)注框之間的IoU時(shí)會(huì)耗費(fèi)大量運(yùn)算資源。針對(duì)這一問(wèn)題,很多研究者提出了無(wú)錨框的單階段旋轉(zhuǎn)目標(biāo)檢測(cè)算法,Chen等人提出的基于角點(diǎn)的艦船檢測(cè)算法改進(jìn)自角點(diǎn)網(wǎng)絡(luò)(CornerNet),通過(guò)檢測(cè)艦船的船頭、船尾以及艦船中心點(diǎn)來(lái)確定艦船的位置,但其并沒(méi)有檢測(cè)艦船的寬度,艦船寬度依賴于數(shù)據(jù)集中艦船的長(zhǎng)寬比分布,由艦船長(zhǎng)度確定艦船寬度,此方法得到的旋轉(zhuǎn)矩形框在艦船目標(biāo)長(zhǎng)寬比與通用艦船長(zhǎng)寬比差異較大時(shí),包圍框與真值差異較大;張?bào)汴系热颂岢龅幕谥行狞c(diǎn)的目標(biāo)檢測(cè)算法在CenterNet算法上進(jìn)行改進(jìn),在預(yù)測(cè)尺寸的同時(shí)預(yù)測(cè)目標(biāo)角度。文獻(xiàn)[28]中提出的旋轉(zhuǎn)目標(biāo)檢測(cè)算法用極坐標(biāo)系代替直角坐標(biāo)系,預(yù)測(cè)目標(biāo)中心點(diǎn)以及旋轉(zhuǎn)矩形框的頂點(diǎn)與中心點(diǎn)的距離以確定目標(biāo)包圍框。上文提到的無(wú)錨框旋轉(zhuǎn)目標(biāo)檢測(cè)算法都依賴于利用全卷積網(wǎng)絡(luò)確定目標(biāo)的中心點(diǎn),中心點(diǎn)位置越準(zhǔn)確則檢測(cè)準(zhǔn)確率越高。但是這些方法忽略了目標(biāo)的語(yǔ)義分割信息,圖像的語(yǔ)義分割信息可以對(duì)目標(biāo)所在區(qū)域的特征進(jìn)行加強(qiáng),更有利于尋找目標(biāo)的中心點(diǎn)。

CenterNet算法是一種無(wú)錨框的目標(biāo)檢測(cè)算法,由Zhou等人于2019年提出。CenterNet算法將預(yù)測(cè)目標(biāo)邊界框問(wèn)題轉(zhuǎn)換為預(yù)測(cè)目標(biāo)中心點(diǎn)問(wèn)題,然后再對(duì)中心點(diǎn)位置處的目標(biāo)類別、目標(biāo)尺寸以及由下采樣引起的關(guān)鍵點(diǎn)偏移量進(jìn)行關(guān)聯(lián),從而得到目標(biāo)的預(yù)測(cè)框結(jié)果。因此,為了解決基于錨框的檢測(cè)算法在目標(biāo)檢測(cè)中存在的問(wèn)題,本文采用無(wú)錨框的關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)CenterNet作為基礎(chǔ)網(wǎng)絡(luò),通過(guò)改進(jìn)實(shí)現(xiàn)遙感艦船目標(biāo)檢測(cè)。

具體來(lái)說(shuō),針對(duì)遙感影像艦船目標(biāo)檢測(cè)問(wèn)題,本文主要工作如下。首先,在CenterNet中添加了語(yǔ)義分支,使得網(wǎng)絡(luò)具有對(duì)前后背景的預(yù)測(cè)能力,并且將全局語(yǔ)義分割信息與檢測(cè)分支信息進(jìn)行融合以強(qiáng)化前景區(qū)域的特征,有利于排除復(fù)雜背景干擾以檢測(cè)目標(biāo)中心點(diǎn)。其次,本文在骨干網(wǎng)絡(luò)之后添加空間和通道注意力模塊。注意力模塊使得網(wǎng)絡(luò)關(guān)注特征中更有意義的通道與空間位置。最后,本文將添加了角度分支的CenterNet作為基線網(wǎng)絡(luò),基于HRSC2016數(shù)據(jù)集對(duì)本文提出的改進(jìn)方法開(kāi)展了多組艦船目標(biāo)檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,本文提出的改進(jìn)方法平均檢測(cè)精度(average precision, AP)為88.31%,檢測(cè)速度達(dá)到17.8 FPS。此外,本文算法還與其他多種先進(jìn)的目標(biāo)檢測(cè)算法進(jìn)行了對(duì)比評(píng)估,驗(yàn)證了本文算法的優(yōu)越性。

1 算法介紹

1.1 CenterNet算法原理

1.1.1 中心點(diǎn)熱力圖預(yù)測(cè)

(1)

式中：表示目標(biāo)尺寸自適應(yīng)偏差。

當(dāng)屬于同一個(gè)類別的兩個(gè)目標(biāo)的高斯分布重疊時(shí),取較大值作為熱力圖真值。熱力圖的損失函數(shù)設(shè)置為像素級(jí)的焦點(diǎn)損失:

(2)

式中:和表示焦點(diǎn)損失的超參數(shù);表示圖像中關(guān)鍵點(diǎn)的數(shù)目。在本文中,根據(jù)文獻(xiàn)[27]中的超參數(shù)設(shè)置方式,設(shè)置為2,設(shè)置為4。

112 偏移量預(yù)測(cè)

(3)

113 尺寸預(yù)測(cè)

(4)

綜上所述,在基于CenterNet的目標(biāo)檢測(cè)算法中,總的損失函數(shù)如下所示:

=++

(5)

式中：和分別為偏移量預(yù)測(cè)損失與尺寸預(yù)測(cè)損失的權(quán)重因子。權(quán)重因子遵循文獻(xiàn)[29]中的設(shè)置,設(shè)置為1,設(shè)置為01。

114 推理階段

1.2 基于CenterNet改進(jìn)的艦船目標(biāo)檢測(cè)

如前所述,在高分辨率遙感影像艦船目標(biāo)檢測(cè)中,艦船目標(biāo)具有排列密集、方向多變等特點(diǎn),且遙感影像近岸背景復(fù)雜。針對(duì)上述特點(diǎn)導(dǎo)致的艦船目標(biāo)檢測(cè)難點(diǎn),本文基于CenterNet的目標(biāo)檢測(cè)基本思路,結(jié)合高分辨率遙感影像中艦船目標(biāo)的特點(diǎn),提出了一種基于旋轉(zhuǎn)中心點(diǎn)網(wǎng)絡(luò)和語(yǔ)義信息(rotated CenterNet using semantic information, RSI-CenterNet)的多方向遙感艦船目標(biāo)檢測(cè)法。RSI-CenterNet目標(biāo)檢測(cè)算法對(duì)CenterNet的改進(jìn)主要體現(xiàn)在以下3個(gè)方面:首先,在檢測(cè)頭中添加角度分支以準(zhǔn)確預(yù)測(cè)目標(biāo)的方向(旋轉(zhuǎn)角度);其次,添加語(yǔ)義分割分支并將語(yǔ)義分割分支的特征與輸入檢測(cè)頭的特征進(jìn)行融合以強(qiáng)化前景區(qū)域的特征,同時(shí)抑制復(fù)雜背景的干擾;最后,添加空間和通道注意力模塊以使得網(wǎng)絡(luò)關(guān)注特征中更有意義的通道與空間位置。本文方法的整體流程如圖1所示。

圖1 本文方法的整體流程

121 角度預(yù)測(cè)分支

在原始的CenterNet中,物體的標(biāo)注方式采用水平邊界框標(biāo)注,這種標(biāo)注方式在近景圖像的目標(biāo)檢測(cè)中適用性更強(qiáng)。如圖2所示,在遙感影像中,影像的拍攝角度均為從頂至下拍攝,在艦船目標(biāo)排列密集的情況下,相鄰艦船的水平邊界框之間的區(qū)域IoU較大,在非極大值抑制(non-maximal suppression, NMS)后處理階段,需要設(shè)置合適的NMS閾值。若閾值設(shè)置過(guò)大,部分艦船出現(xiàn)漏檢;若閾值設(shè)置過(guò)小,則檢測(cè)結(jié)果出現(xiàn)冗余。因此,采用旋轉(zhuǎn)邊界框進(jìn)行標(biāo)注更適合于遙感影像中多種方向的艦船目標(biāo)檢測(cè)。

部分房地產(chǎn)估價(jià)機(jī)構(gòu)在信息化探索之路上已取得一定成果，但從行業(yè)角度來(lái)看，因缺少統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，現(xiàn)有信息系統(tǒng)和平臺(tái)的數(shù)據(jù)采集和管理的標(biāo)準(zhǔn)和方式各異，行業(yè)內(nèi)部的系統(tǒng)對(duì)接難以實(shí)施，與行業(yè)外部的數(shù)據(jù)交換更無(wú)從談起。故亟待建立房地產(chǎn)估價(jià)行業(yè)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，推進(jìn)數(shù)據(jù)的內(nèi)外部聯(lián)通，進(jìn)一步挖掘數(shù)據(jù)的應(yīng)用潛力［3］。

圖2 水平邊界框與旋轉(zhuǎn)邊界框

本文使用旋轉(zhuǎn)邊界框標(biāo)注的表示方法為(,,,,),其中(,)表示目標(biāo)中心點(diǎn)的坐標(biāo),表示目標(biāo)短邊的長(zhǎng)度,表示目標(biāo)長(zhǎng)邊的長(zhǎng)度,表示長(zhǎng)邊與軸正方向的夾角,∈[0,π],如圖3所示。

圖3 旋轉(zhuǎn)邊界框表示方法

如圖2整體流程圖中的檢測(cè)頭部分所示,本文在檢測(cè)頭中添加角度預(yù)測(cè)分支,并對(duì)特征圖中的每個(gè)點(diǎn)進(jìn)行角度預(yù)測(cè)。需要說(shuō)明的是,網(wǎng)絡(luò)只對(duì)真實(shí)中心點(diǎn)位置處的角度進(jìn)行損失的計(jì)算,損失函數(shù)如下所示：

(6)

=+++

(7)

式中:角度損失部分的權(quán)重為01,其余損失權(quán)重與CenterNet保持一致。

此外,由于本文采用旋轉(zhuǎn)邊界框進(jìn)行標(biāo)注,因此,在網(wǎng)絡(luò)的尺寸預(yù)測(cè)分支中,=(,),其中的與分別代表旋轉(zhuǎn)邊界框的寬與高,與原始的水平邊界框的尺寸定義并不完全相同。

122 語(yǔ)義分割分支

受混合任務(wù)級(jí)聯(lián)網(wǎng)絡(luò)(hybrid task cascade, HTC)啟發(fā),在本文提出的RSI-CenterNet中,添加與檢測(cè)并行的語(yǔ)義分割分支,并將語(yǔ)義分割分支的特征與骨干網(wǎng)絡(luò)提取的特征進(jìn)行融合以增強(qiáng)目標(biāo)區(qū)域的特征,從而提高艦船目標(biāo)檢測(cè)的性能。

在遙感影像中,目標(biāo)的掩膜具有豐富的語(yǔ)義信息。然而,獲取艦船目標(biāo)的精細(xì)掩膜是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程?？紤]到艦船目標(biāo)在遙感影像中通常呈現(xiàn)為長(zhǎng)條狀形狀,因此,為了在RSI-CenterNet中簡(jiǎn)便高效地利用艦船目標(biāo)的掩膜信息,在本文中,根據(jù)艦船目標(biāo)的基本物理形狀,為每個(gè)艦船目標(biāo)構(gòu)建五邊形的分割掩膜。構(gòu)建艦船目標(biāo)五邊形掩膜的具體方法如下,如圖4所示。

圖4 艦船目標(biāo)五邊形掩膜構(gòu)建示意圖

=′×+

(8)

語(yǔ)義分割真值圖生成過(guò)程如圖5所示。首先,生成與原圖尺寸一致的像素值均為0的單通道圖像;其次,利用五邊形掩膜生成方法獲得圖中每個(gè)目標(biāo)的掩膜位置;最后,將所有目標(biāo)掩膜對(duì)應(yīng)五邊形區(qū)域內(nèi)以像素值1進(jìn)行填充即獲得了掩膜真值圖。語(yǔ)義分割分支網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示,將骨干網(wǎng)絡(luò)最后一層輸出的特征圖進(jìn)行多次上采樣并與骨干網(wǎng)絡(luò)各個(gè)階段不同尺度的特征圖按元素相加融合。如圖1所示,語(yǔ)義分割分支最后一層的特征圖除了用于預(yù)測(cè)前景和背景區(qū)域,同時(shí)將其與輸入檢測(cè)分支的特征進(jìn)行融合。

圖5 語(yǔ)義分割圖生成過(guò)程

圖6 語(yǔ)義分割分支的網(wǎng)絡(luò)結(jié)構(gòu)

在本文中,采用掩膜真值圖與語(yǔ)義分割分支的輸出進(jìn)行分割損失的計(jì)算。在掩膜真值圖中,艦船區(qū)域像素在全圖像素中占比小,因此分割分支的損失函數(shù)與熱力圖分支相同,為像素級(jí)的焦點(diǎn)損失,焦點(diǎn)損失有利于解決前后背景樣本不均衡問(wèn)題,語(yǔ)義分割分支損失函數(shù)如下:

(9)

式中:和表示焦點(diǎn)損失的超參數(shù);表示分割真值圖中標(biāo)記為1的數(shù)目。在本文中,根據(jù)文獻(xiàn)[29]中的超參數(shù)設(shè)置方式,設(shè)置為2,設(shè)置為4。

添加語(yǔ)義分割分支后,總的損失函數(shù)為

=+

(10)

檢測(cè)分支與分割分支并行,因此檢測(cè)分支與分割分支損失函數(shù)的權(quán)重相同,均設(shè)置為1。

123 卷積注意力模塊

人類的眼睛在觀察時(shí),會(huì)自然地對(duì)具有顯著性特征的區(qū)域進(jìn)行關(guān)注而忽略其他區(qū)域,考慮到特征圖中并非所有通道和位置的元素都具有相同的重要性,若重點(diǎn)關(guān)注顯著性區(qū)域,可以有效提升網(wǎng)絡(luò)性能。因此,本文在網(wǎng)絡(luò)中添加卷積注意力模塊(convolutional block attention module, CBAM)。

CBAM模塊由空間注意力模塊與通道注意力模塊組成,CBAM模塊具體結(jié)構(gòu)如圖7所示。輸入特征圖先后經(jīng)過(guò)通道注意力模塊與空間注意力模塊后,輸出精煉特征圖。

圖7 卷積注意力模塊

圖8 通道注意力模塊

(11)

式中:MLP(·)表示多層感知網(wǎng)絡(luò);AvgPool(·)表示空間維度上的全局均值池化;MaxPool(·)表示空間維度上的全局最大值池化;(·)表示激活函數(shù),與表示共享全連接層的參數(shù)。

圖9 空間注意力模塊

(12)

式中:AvgPool(·)表示通道維度上的全局均值池化;MaxPool(·)表示通道維度上的全局最大值池化;(·)表示激活函數(shù);表示卷積層尺寸為3×3的卷積核。

整個(gè)注意力模塊的公式如下所示：

(13)

式中:?表示對(duì)應(yīng)元素相乘;′為經(jīng)過(guò)通道注意力模塊的特征;″為CBAM模塊輸出的特征。

骨干網(wǎng)絡(luò)深層提取的特征比起淺層提取的特征具備更強(qiáng)的特征表達(dá)能力。因此,在本文中CBAM模塊添加在骨干網(wǎng)絡(luò)提取特征之后,對(duì)不同通道與不同空間位置的特征進(jìn)行強(qiáng)化使得特征的表達(dá)能力進(jìn)一步增強(qiáng)。此外,輸入檢測(cè)頭的特征由骨干網(wǎng)最后一層輸出的特征經(jīng)過(guò)反卷積操作生成,將CBAM模塊添加在骨干網(wǎng)之后可以在更小的參數(shù)量代價(jià)下取得更明顯的檢測(cè)效果提升。

2 實(shí)驗(yàn)與結(jié)果分析

在本文的實(shí)驗(yàn)中,基于高分辨率船舶數(shù)據(jù)集(High Resolution Ship Collections 2016, HRSC2016)遙感艦船目標(biāo)數(shù)據(jù)集對(duì)本文所提方法的性能進(jìn)行評(píng)估、對(duì)比和分析。本實(shí)驗(yàn)采用的計(jì)算機(jī)配置如下:Intel Core i7 CPU,NVIDIA GTX-2080Ti GPU(11 GB顯存),32 GB內(nèi)存,操作系統(tǒng)為Ubuntu18.04。

2.1 數(shù)據(jù)集

HRSC2016數(shù)據(jù)集是具有挑戰(zhàn)性的高分辨率光學(xué)遙感圖像艦船目標(biāo)數(shù)據(jù)集,其包含兩種場(chǎng)景的圖像:近岸艦船與海上艦船。圖像分辨率在0.4～2 m之間,圖像大小在300×300～1 500×900像素之間,其中,訓(xùn)練集由436幅圖像組成,驗(yàn)證集由181幅圖像組成,測(cè)試集由444幅圖像組成,共有2 976個(gè)艦船目標(biāo)實(shí)例。

為了適應(yīng)網(wǎng)絡(luò)的輸入,將所有圖像裁剪為1 024×1 024像素的圖像。若原始圖像尺寸不足1 024像素,則以像素值0對(duì)邊緣進(jìn)行填充以保持圖像的長(zhǎng)寬比不變。此外,本文使用旋轉(zhuǎn)、添加噪聲、鏡像翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方法對(duì)訓(xùn)練集中的圖像進(jìn)行數(shù)據(jù)擴(kuò)充以提升模型訓(xùn)練的魯棒性。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

本文實(shí)驗(yàn)采用目標(biāo)檢測(cè)領(lǐng)域通用的AP評(píng)價(jià)指標(biāo)來(lái)評(píng)估RSI-CenterNet在艦船目標(biāo)檢測(cè)任務(wù)中的性能。AP的計(jì)算公式如下所示:

(14)

式中:(·)表示預(yù)測(cè)結(jié)果的準(zhǔn)確率;表示預(yù)測(cè)結(jié)果的召回率。

在本文實(shí)驗(yàn)中,當(dāng)預(yù)測(cè)框與真值框IoU大于等于設(shè)定的閾值時(shí),認(rèn)為該預(yù)測(cè)框?yàn)檎_預(yù)測(cè)樣本,本文IoU閾值設(shè)置為05。

2.3 對(duì)比實(shí)驗(yàn)

為了驗(yàn)證RSI-CenterNet的有效性與可行性,本文與其他多種旋轉(zhuǎn)目標(biāo)檢測(cè)算法進(jìn)行對(duì)比。這些對(duì)比算法主要包括:R2CNN、RR-CNN、RRPN、RetinaNet-H、RRD以及RoI-Transformer。各種艦船目標(biāo)檢測(cè)方法的對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。注: RNet-H表示RetinaNet-H, RoI-T表示RoI-Transformer, R101表示ResNet101網(wǎng)絡(luò), RSI-C為本文算法。

表1 在HRSC2016數(shù)據(jù)集上不同艦船目標(biāo)檢測(cè)方法的性能對(duì)比

R2CNN算法在感興趣區(qū)域提取階段中仍然提取水平邊界框,為了適應(yīng)長(zhǎng)寬比例較大的目標(biāo),感興趣區(qū)域池化時(shí)添加長(zhǎng)寬比較大的池化尺寸以提取不同方向的特征;RR-CNN算法在感興趣區(qū)域池化階段直接提取目標(biāo)旋轉(zhuǎn)邊界框內(nèi)的特征,減少了候選框區(qū)域內(nèi)復(fù)雜背景的影響;RRPN算法提出了旋轉(zhuǎn)區(qū)域提取網(wǎng)絡(luò)以代替Faster-RCNN原本的區(qū)域提取網(wǎng)絡(luò),并在感興趣區(qū)域池化階段采用旋轉(zhuǎn)池化的方法以保持感興趣區(qū)域內(nèi)特征的旋轉(zhuǎn)不變性;RoI-Transformer與RRPN不同的是,RRPN訓(xùn)練階段預(yù)設(shè)錨框時(shí)設(shè)置多個(gè)角度的錨框進(jìn)行預(yù)測(cè),而RoI-Transformer提出的RRoI Learner從提取到的水平感興趣區(qū)域中學(xué)習(xí)旋轉(zhuǎn)的感興趣區(qū)域,無(wú)需增設(shè)錨框,因此計(jì)算量比RRPN小。以上幾種算法都是以Faster-RCNN為基礎(chǔ),需要預(yù)設(shè)錨框,錨框設(shè)置過(guò)多會(huì)帶來(lái)檢測(cè)速度的下降,如RRPN算法預(yù)設(shè)多方向的錨框,其檢測(cè)速度為1.5 FPS,在對(duì)比算法中效率最低。

RetinaNet-H對(duì)單階段檢測(cè)算法RetinaNet進(jìn)行改進(jìn),添加了角度預(yù)測(cè)分支以完成對(duì)旋轉(zhuǎn)目標(biāo)的定位。但是RetinaNet-H與R2CNN采用相同水平錨框設(shè)置方式,錨框內(nèi)的候選目標(biāo)易受到復(fù)雜背景的干擾,引起檢測(cè)精度的下降。

RRD算法對(duì)單階段目標(biāo)檢測(cè)算法SSD進(jìn)行改進(jìn),添加了旋轉(zhuǎn)敏感回歸器(rotation-sensitive regression, RSR)模塊以保持對(duì)特征的旋轉(zhuǎn)敏感性,實(shí)現(xiàn)旋轉(zhuǎn)目標(biāo)檢測(cè)。但是RRD算法沿用SSD算法的錨框設(shè)置方式,在多個(gè)尺度的特征圖中設(shè)置錨框,每個(gè)特征點(diǎn)設(shè)置13個(gè)錨框。過(guò)多的錨框數(shù)量導(dǎo)致檢測(cè)效率的下降。

RSI-CenterNet在HRSC2016數(shù)據(jù)集中AP值達(dá)到88.31%,超過(guò)了以上6種對(duì)比算法,平均超出8.1%,比R2CNN高15.24%,比RoI-Transformer高2.11%。RSI-CenterNet檢測(cè)速度達(dá)到17.8 FPS,與對(duì)比算法中檢測(cè)速度最快的RetinaNet-H相比,高出3.8 FPS。

如圖10所示為本文方法檢測(cè)結(jié)果。第1行為原圖,第2行為預(yù)測(cè)的中心點(diǎn)熱力圖在原圖中的映射,第3行為語(yǔ)義分割預(yù)測(cè)結(jié)果,第4行為最終檢測(cè)結(jié)果。在熱力圖映射中,亮度越高,則說(shuō)明該點(diǎn)為目標(biāo)中心點(diǎn)的概率越大。從圖中可以看出,所有待檢測(cè)目標(biāo)的中心處亮度最高,被預(yù)測(cè)為目標(biāo)中心的概率最大,本文算法可以精確地預(yù)測(cè)出目標(biāo)中心點(diǎn)。為了將語(yǔ)義特征與輸入檢測(cè)頭的特征融合,語(yǔ)義分割輸出尺寸與熱力圖尺寸保持一致,其寬度和高度均為原圖的1/,其中為熱力圖相對(duì)于原圖的下采樣倍數(shù)。需要指出的是,當(dāng)下采樣倍數(shù)較大時(shí)(比如大于4時(shí)),本文算法中的語(yǔ)義分割分支無(wú)法對(duì)尺寸較小的目標(biāo)預(yù)測(cè)出準(zhǔn)確的掩膜。本文算法采用無(wú)錨框的設(shè)計(jì)避免了錨框冗余問(wèn)題,提升了檢測(cè)速度。同時(shí),本文算法將語(yǔ)義分割特征與輸入檢測(cè)頭的特征進(jìn)行融合,強(qiáng)化了目標(biāo)區(qū)域的特征,使得目標(biāo)的定位更加準(zhǔn)確,檢測(cè)精度更高。

圖10 本文方法檢測(cè)結(jié)果

圖11為本文算法與其他算法的檢測(cè)結(jié)果對(duì)比圖。第1列為目標(biāo)真實(shí)標(biāo)注,第2列為R2CNN算法檢測(cè)結(jié)果,第3列為單階段RRD算法檢測(cè)結(jié)果,第4列為RoI-Transformer算法檢測(cè)結(jié)果,最后一列為本文算法檢測(cè)結(jié)果。檢測(cè)結(jié)果可視化圖可以看出,對(duì)比算法與本文算法都可以檢測(cè)出目標(biāo)位置,其中R2CNN算法預(yù)測(cè)包圍框的4個(gè)頂點(diǎn)坐標(biāo),針對(duì)艦船目標(biāo),存在包圍框不貼合的問(wèn)題,RRD算法與RoI-Transformer算法在背景區(qū)域復(fù)雜的情況下,產(chǎn)生虛警。而本文提出的RSI-CenterNet可以準(zhǔn)確檢測(cè)出目標(biāo)位置,虛警更少且包圍框更加貼合目標(biāo)。

圖11 檢測(cè)結(jié)果對(duì)比圖

2.4 消融實(shí)驗(yàn)

為測(cè)試本文算法中的不同改進(jìn)對(duì)檢測(cè)性能的提升效果,本文在HRSC2016數(shù)據(jù)集上設(shè)計(jì)了3組消融實(shí)驗(yàn)。需要指出的是,本文將已經(jīng)添加了旋轉(zhuǎn)分支的R-CenterNet作為基線模型。消融實(shí)驗(yàn)1在基線模型中添加了注意力模塊;消融實(shí)驗(yàn)2在基線模型中添加了語(yǔ)義分支信息融合;消融實(shí)驗(yàn)3為消融實(shí)驗(yàn)1與消融實(shí)驗(yàn)2的組合,即RSI-CenterNet。在消融實(shí)驗(yàn)中,所采取的骨干網(wǎng)絡(luò)均為ResNet34,輸入圖像尺寸被縮放為512×512。實(shí)驗(yàn)采用AP作為評(píng)價(jià)指標(biāo),同時(shí)對(duì)檢測(cè)速度及參數(shù)量進(jìn)行對(duì)比。消融實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融實(shí)驗(yàn)結(jié)果

如表2所示,消融實(shí)驗(yàn)1的AP達(dá)到85.27%,相比基線方法提升了5.22%,注意力模塊使特征在通道和空間維度得到了不同程度的增強(qiáng),強(qiáng)化了特征的顯著區(qū)域,同時(shí)注意力模塊的添加使得消融實(shí)驗(yàn)1的參數(shù)量比起基線方法增長(zhǎng)了0.1 M,較小的參數(shù)量的增加使得檢測(cè)效果提升顯著。消融實(shí)驗(yàn)2的AP達(dá)到87.43%,相比基線方法提升了7.38%,語(yǔ)義信息的融合可以有效地減少目標(biāo)誤檢的概率,被語(yǔ)義分支判斷為前景的區(qū)域特征得到增強(qiáng),添加了語(yǔ)義分割模塊后參數(shù)量達(dá)到了129.1 M,比起基線方法增加了8.1 M。消融實(shí)驗(yàn)3的結(jié)果表明,注意力模塊與語(yǔ)義分割分支的信息融合彼此之間不沖突,組合使用后的AP達(dá)到87.81%,相比基線方法提升了7.76%。比起基線方法,消融實(shí)驗(yàn)3的參數(shù)量增長(zhǎng)了8.2 M,比起消融實(shí)驗(yàn)2的參數(shù)量增長(zhǎng)了0.1 M,這與消融實(shí)驗(yàn)1和基線方法的參數(shù)量變化是一致的。隨著改進(jìn)策略的增加,消融實(shí)驗(yàn)3的檢測(cè)速度相比基線方法下降了3.47 FPS,但是下降之后的速度仍然達(dá)到了21.16 FPS且檢測(cè)精度提升效果明顯。

圖12為不同改進(jìn)策略的檢測(cè)結(jié)果圖。第1行為基線方法的檢測(cè)結(jié)果;第2行為消融實(shí)驗(yàn)1的檢測(cè)結(jié)果;第3行為消融實(shí)驗(yàn)2的檢測(cè)結(jié)果;第4行為消融實(shí)驗(yàn)3的檢測(cè)結(jié)果。如圖12所示,基線方法檢測(cè)結(jié)果中出現(xiàn)了漏檢和誤檢的情況,而添加了語(yǔ)義分割分支信息融合與注意力模塊的實(shí)驗(yàn)3的檢測(cè)結(jié)果最好。由于添加了語(yǔ)義分割分支并將語(yǔ)義信息與原始特征融合,前景區(qū)域的特征得到了強(qiáng)化,背景區(qū)域被誤檢的概率有所下降。我們的改進(jìn)策略對(duì)密集排布的艦船檢測(cè)也有較大的提升,從圖12第4行可以看出,對(duì)密集排列的細(xì)長(zhǎng)艦船目標(biāo),本文提出的方法可以準(zhǔn)確區(qū)分出并列的兩個(gè)目標(biāo),這是因?yàn)楸疚姆椒ú会槍?duì)水平包圍框進(jìn)行非極大值抑制的篩選,即使兩個(gè)目標(biāo)預(yù)測(cè)框之間的IoU很大,也不會(huì)因此而抑制預(yù)測(cè)框?qū)е侣z。

圖12 消融實(shí)驗(yàn)檢測(cè)結(jié)果

3 結(jié) 論

本文提出了一種基于中心點(diǎn)和語(yǔ)義信息的多方向遙感艦船目標(biāo)檢測(cè)算法RSI-CenterNet,以解決遙感艦船檢測(cè)任務(wù)中目標(biāo)排列密集、方向任意及背景復(fù)雜的問(wèn)題。首先,在性能卓越的無(wú)錨框算法CenterNet中添加角度分支,以檢測(cè)任意方向的艦船目標(biāo);其次,添加了語(yǔ)義分割分支,并將語(yǔ)義分割分支的特征與輸入檢測(cè)頭的特征融合,以強(qiáng)化前景區(qū)域的特征,弱化背景區(qū)域的特征;最后,添加注意力模塊,以強(qiáng)化目標(biāo)顯著區(qū)域與通道的特征,提升檢測(cè)精度?；贖RSC2016數(shù)據(jù)集對(duì)本文算法進(jìn)行性能驗(yàn)證與速度測(cè)試,實(shí)驗(yàn)結(jié)果表明,與其他多種先進(jìn)方法相比,本文方法具有更高的檢測(cè)精度與檢測(cè)速度。