結(jié)合強(qiáng)化學(xué)習(xí)自適應(yīng)候選框挑選的SAR目標(biāo)檢測(cè)方法

杜 蘭 王梓霖 郭昱辰 杜宇昂 嚴(yán)俊坤

①(西安電子科技大學(xué)雷達(dá)信號(hào)處理國(guó)家重點(diǎn)實(shí)驗(yàn)室 西安 710071)

②(西安電子科技大學(xué)前沿交叉研究院 西安 710071)

1 引言

合成孔徑雷達(dá)(Synthetic Aperture Radar,SAR)可對(duì)地面區(qū)域進(jìn)行大面積的主動(dòng)微波成像，能夠?qū)崿F(xiàn)全天時(shí)、全天候?qū)Φ赜^測(cè)，在軍事領(lǐng)域和民用領(lǐng)域得到廣泛應(yīng)用。近年來(lái)，隨著SAR系統(tǒng)和成像算法逐漸成熟，越來(lái)越多高質(zhì)量的SAR圖像出現(xiàn)，如何對(duì)SAR圖像進(jìn)行準(zhǔn)確高效的目標(biāo)檢測(cè)是現(xiàn)在研究熱點(diǎn)之一。

目前傳統(tǒng)的SAR目標(biāo)檢測(cè)方法大都圍繞經(jīng)典的恒虛警率(Constant False Alarm Rate,CFAR)算法展開研究，這是一種基于灰度特征的傳統(tǒng)SAR目標(biāo)檢測(cè)方法。其中雙參數(shù)CFAR方法[1,2]是一種經(jīng)典的局部自適應(yīng)目標(biāo)檢測(cè)方法。該方法通過(guò)預(yù)設(shè)滑動(dòng)窗口遍歷SAR圖像實(shí)現(xiàn)目標(biāo)檢測(cè)，對(duì)窗口內(nèi)像素灰度與自適應(yīng)閾值進(jìn)行對(duì)比以區(qū)分目標(biāo)和雜波。自適應(yīng)閾值由預(yù)先設(shè)置的恒定虛警率和窗口中的雜波分布確定。文獻(xiàn)[3]提出了一種基于雙邊微調(diào)統(tǒng)計(jì)的CFAR檢測(cè)方法，該方法提出了一種基于雙邊閾值的策略，自動(dòng)裁剪窗口內(nèi)的樣本來(lái)剔除異常值，提高了在海洋場(chǎng)景下的檢測(cè)性能。此類方法需要SAR圖像中目標(biāo)與雜波具有較高對(duì)比度來(lái)擬合雜波的統(tǒng)計(jì)分布，因此只適用于簡(jiǎn)單場(chǎng)景，當(dāng)場(chǎng)景較為復(fù)雜時(shí)，會(huì)造成檢測(cè)性能的降低。

近年來(lái)，在光學(xué)領(lǐng)域，由于網(wǎng)絡(luò)深度的增加以及計(jì)算能力的不斷提高[4]，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法[5-9]開始占據(jù)主流，取得了不錯(cuò)的效果。鑒于深度學(xué)習(xí)在光學(xué)圖像目標(biāo)檢測(cè)領(lǐng)域的成功，研究者也將深度學(xué)習(xí)運(yùn)用在SAR目標(biāo)檢測(cè)當(dāng)中[10]?；谏疃葘W(xué)習(xí)的SAR檢測(cè)方法相較于淺層模型方法特征提取能力強(qiáng)、對(duì)于復(fù)雜SAR圖像場(chǎng)景的檢測(cè)效果好。文獻(xiàn)[11]將低層紋理、邊緣特征與高層深度特征進(jìn)行融合，提高了SAR艦船目標(biāo)的檢測(cè)性能。目前一些基于深度學(xué)習(xí)的SAR目標(biāo)檢測(cè)方法是由基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-CNN,R-CNN)結(jié)合候選區(qū)域來(lái)設(shè)計(jì)的兩階段檢測(cè)方法。文獻(xiàn)[12]使用多分辨率卷積特征，基于Faster R-CNN方法，對(duì)原有的卷積神經(jīng)網(wǎng)絡(luò)VGG-16的結(jié)構(gòu)進(jìn)行改進(jìn)，提升了對(duì)小型目標(biāo)的檢測(cè)效果。文獻(xiàn)[13]在Faster R-CNN算法基礎(chǔ)上，使用SAR分類數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練并擴(kuò)充訓(xùn)練數(shù)據(jù)，解決了SAR目標(biāo)檢測(cè)訓(xùn)練樣本不足的問(wèn)題。此類方法在對(duì)區(qū)域候選網(wǎng)絡(luò)(Region Proposal Network,RPN)產(chǎn)生的大量候選框進(jìn)行挑選時(shí)，往往采用非極大值抑制(Non-Maximum Suppression,NMS)方法。在大場(chǎng)景SAR圖像檢測(cè)中，由于目標(biāo)特征易受雜波影響，可鑒別性更差，并且單個(gè)目標(biāo)占據(jù)圖像比例更小，導(dǎo)致基于Faster R-CNN的目標(biāo)檢測(cè)方法在整張?zhí)卣鲌D上產(chǎn)生的候選框會(huì)包含大量雜波，而NMS方法無(wú)法在篩選候選框時(shí)有效去除雜波，導(dǎo)致目標(biāo)檢測(cè)產(chǎn)生大量虛警。

近幾年，在人工智能領(lǐng)域中，強(qiáng)化學(xué)習(xí)[14,15]得到了廣泛關(guān)注。強(qiáng)化學(xué)習(xí)根據(jù)當(dāng)前自身狀態(tài)(State)并結(jié)合策略(Policy)做出相應(yīng)的動(dòng)作(Action)，通過(guò)與外界的交互獲得不同的獎(jiǎng)勵(lì)(Reward)來(lái)不斷更新自身的狀態(tài)并調(diào)整策略，最終形成解決某一問(wèn)題的最優(yōu)策略。將具有解譯能力的深度學(xué)習(xí)與具有決策能力的強(qiáng)化學(xué)習(xí)結(jié)合而形成的深度強(qiáng)化學(xué)習(xí)，可以更好地與其他基于深度學(xué)習(xí)算法相結(jié)合，應(yīng)用在目標(biāo)檢測(cè)[16-18]中以提高檢測(cè)性能。在光學(xué)領(lǐng)域，文獻(xiàn)[16]根據(jù)當(dāng)前收集到的圖像信息，使用強(qiáng)化學(xué)習(xí)從5個(gè)預(yù)定義的固定形狀和尺寸的候選區(qū)域中選擇最有可能包含目標(biāo)的區(qū)域，并通過(guò)迭代不斷縮小候選區(qū)域，最終框定目標(biāo)。但由于預(yù)設(shè)的候選區(qū)域并不能完全覆蓋所有目標(biāo)，此方法精度較低。

受強(qiáng)化學(xué)習(xí)啟發(fā)，本文基于Faster R-CNN檢測(cè)模型[7]，設(shè)計(jì)了新的強(qiáng)化學(xué)習(xí)模型實(shí)現(xiàn)自適應(yīng)候選框挑選，有效減少冗余候選框數(shù)量。提出方法在RPN與感興趣區(qū)域(Regions-of-Interest,RoI)池化層之間加入深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，對(duì)于RPN產(chǎn)生的大量初始候選框，深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)綜合相關(guān)信息進(jìn)行迭代搜索，在特征圖上不斷找到可能含有目標(biāo)的搜索區(qū)域，并挑選搜索區(qū)域內(nèi)的候選框輸入后續(xù)的檢測(cè)器進(jìn)行分類、回歸，實(shí)現(xiàn)對(duì)搜索區(qū)域內(nèi)的目標(biāo)檢測(cè)。由于深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)是基于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)設(shè)計(jì)的，因此可以在迭代過(guò)程中捕捉到圖像的上下文信息并確定可能含有目標(biāo)的搜索區(qū)域的位置坐標(biāo)。并且，本方法在強(qiáng)化學(xué)習(xí)中對(duì)產(chǎn)生的搜索區(qū)域尺寸添加距離約束，使得搜索區(qū)域尺寸可以根據(jù)之前迭代過(guò)程中的搜索區(qū)域以及目標(biāo)檢測(cè)結(jié)果進(jìn)行自適應(yīng)調(diào)整。針對(duì)大場(chǎng)景SAR圖像中目標(biāo)數(shù)量較多，分布情況較為復(fù)雜且易受雜波影響的特點(diǎn)，提出方法通過(guò)使用強(qiáng)化學(xué)習(xí)自適應(yīng)確定搜索區(qū)域?qū)崿F(xiàn)了對(duì)初始候選框的自適應(yīng)挑選，提升了對(duì)背景雜波的鑒別能力并減少傳統(tǒng)強(qiáng)化學(xué)習(xí)應(yīng)用于檢測(cè)問(wèn)題的計(jì)算量。所提方法自適應(yīng)確定搜索區(qū)域的能力包括兩方面的自適應(yīng)，一是通過(guò)綜合利用圖像的特征信息和上下文信息自適應(yīng)確定搜索區(qū)域的位置坐標(biāo)；二是通過(guò)搜索區(qū)域尺寸約束自適應(yīng)調(diào)整下一次搜索區(qū)域的范圍尺寸?；趯?shí)測(cè)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，所提方法能夠有效減少SAR目標(biāo)檢測(cè)的虛警數(shù)量，提升傳統(tǒng)深度學(xué)習(xí)目標(biāo)檢測(cè)方法的檢測(cè)性能。

2 背景介紹

2.1 Faster R-CNN

Faster R-CNN[7]是目前比較常用的目標(biāo)檢測(cè)框架，用RPN來(lái)獲取區(qū)域候選。如圖1所示，F(xiàn)aster R-CNN的結(jié)構(gòu)可以分為4個(gè)主要部分：特征提取網(wǎng)絡(luò)、RPN、RoI池化層以及檢測(cè)器。其中，特征提取網(wǎng)絡(luò)由卷積層、激活函數(shù)和池化層組成，用于提取輸入圖像的特征映射作為輸出。后續(xù)的RPN和檢測(cè)器將使用輸出的特征映射完成候選框的生成以及分類、回歸，實(shí)現(xiàn)卷積共享。RPN在特征圖中每個(gè)點(diǎn)上設(shè)置k個(gè)錨框，對(duì)每個(gè)錨框進(jìn)行二分類和初步位置修正并使用NMS算法進(jìn)行候選框篩選作為初始的候選框；RoI池化層則負(fù)責(zé)收集原始的特征圖和候選框，將其整合后提取出候選框?qū)?yīng)位置的特征映射；最后輸入檢測(cè)器中進(jìn)行目標(biāo)分類和邊界框的位置修訂。

圖1 Faster R-CNN結(jié)構(gòu)Fig.1 Faster R-CNN structure

2.2 強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)的過(guò)程通?？梢杂脠D2中的馬爾可夫決策過(guò)程[14](Markov Decision Process,MDP)來(lái)描述：智能體(agent)在環(huán)境當(dāng)中，擁有其對(duì)當(dāng)前環(huán)境感知的狀態(tài)量S；通過(guò)策略π:S →A從動(dòng)作集A中選擇動(dòng)作a∈A，根據(jù)動(dòng)作的不同，環(huán)境出現(xiàn)基于一定概率的改變并更新狀態(tài)量S；在狀態(tài)發(fā)生變化的同時(shí)，環(huán)境會(huì)根據(jù)狀態(tài)變化通過(guò)獎(jiǎng)勵(lì)函數(shù)給予智能體相應(yīng)的獎(jiǎng)勵(lì)r。這樣智能體在與環(huán)境交換信息的過(guò)程中，依據(jù)得到的獎(jiǎng)勵(lì)來(lái)不斷調(diào)整策略，最終得到最優(yōu)策略。

圖2 強(qiáng)化學(xué)習(xí)原理Fig.2 Principles of reinforcement learning

智能體能夠與環(huán)境進(jìn)行交互，每個(gè)狀態(tài)是智能體對(duì)當(dāng)前環(huán)境的感知，并且智能體只能通過(guò)動(dòng)作來(lái)影響環(huán)境，而策略能夠指導(dǎo)智能體在當(dāng)前狀態(tài)下做出何種動(dòng)作，可以將其表示為一個(gè)由狀態(tài)到動(dòng)作的映射。獎(jiǎng)勵(lì)是在當(dāng)前環(huán)境狀態(tài)下，對(duì)智能體所進(jìn)行動(dòng)作的即時(shí)評(píng)價(jià)，這個(gè)評(píng)價(jià)也是策略優(yōu)化的主要依據(jù)，可以表示為獎(jiǎng)勵(lì)函數(shù)的形式。當(dāng)智能體做出一個(gè)帶來(lái)較低獎(jiǎng)勵(lì)的動(dòng)作時(shí)，當(dāng)下次遇到相同的環(huán)境狀態(tài)時(shí)，調(diào)整過(guò)的策略就可能會(huì)選擇其他的動(dòng)作來(lái)爭(zhēng)取獲得更高的獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的目標(biāo)可以確定為：學(xué)習(xí)一個(gè)最優(yōu)策略，來(lái)最大化期望累計(jì)獎(jiǎng)勵(lì)。因此，設(shè)置合適的狀態(tài)、動(dòng)作以及獎(jiǎng)勵(lì)函數(shù)，是強(qiáng)化學(xué)習(xí)獲得最優(yōu)策略的關(guān)鍵。

3 結(jié)合強(qiáng)化學(xué)習(xí)的SAR目標(biāo)檢測(cè)方法

3.1 總體框架

本方法基于傳統(tǒng)Faster R-CNN方法，整體框架如圖3所示。除深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)之外，其余各部分與Faster R-CNN模型相似。特征提取網(wǎng)絡(luò)采用VGG-16，尺寸為hori×wori×3的輸入SAR圖像在經(jīng)過(guò)特征提取后生成h×w×512的特征圖，h和w與輸入圖像的尺寸有關(guān)。在獲取特征圖后，RPN會(huì)在特征圖的每個(gè)像素點(diǎn)上生成k(本文設(shè)置k=9)個(gè)錨框，并通過(guò)softmax二分類器和回歸器獲得更精確的初始候選框，初始候選框?qū)?gòu)成深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)輸入的一部分。對(duì)于RPN生成的大量初始候選框，我們使用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行區(qū)域搜索實(shí)現(xiàn)對(duì)初始候選框的挑選，將可能含有目標(biāo)的候選框送入RoI池化層進(jìn)行整合。RoI池化層會(huì)將挑選出來(lái)的候選框?qū)?yīng)位置的特征映射劃分為7×7的網(wǎng)格，并對(duì)每一個(gè)網(wǎng)格進(jìn)行最大值池化處理，以輸出固定尺寸的特征向量。這些特征向量將被送入檢測(cè)器，通過(guò)全連接層和softmax計(jì)算候選框的具體類別，輸出類別概率預(yù)測(cè)向量，同時(shí)利用邊界框回歸，獲取更準(zhǔn)確的檢測(cè)目標(biāo)框。其中深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)采用循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，此網(wǎng)絡(luò)可以在特征圖上找到一個(gè)可能含有目標(biāo)的區(qū)域，并將該區(qū)域內(nèi)的候選框送入后續(xù)的檢測(cè)器進(jìn)行分類回歸，然后根據(jù)檢測(cè)結(jié)果再找到另一個(gè)可能含有目標(biāo)的區(qū)域，繼續(xù)將該區(qū)域內(nèi)的候選框送入檢測(cè)器，如此迭代，完成候選框的自適應(yīng)挑選。

圖3 結(jié)合強(qiáng)化學(xué)習(xí)的SAR目標(biāo)檢測(cè)方法整體框架Fig.3 Framework of SAR target detection method using reinforcement learning

深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)部分參考基于卷積門控循環(huán)單元[19](Convolutional Gated Recurrent Unit,Conv-GRU)進(jìn)行設(shè)計(jì)。Conv-GRU作為一種計(jì)算需求相對(duì)較低的循環(huán)神經(jīng)網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)輸入輸出具有記憶能力，能夠捕捉迭代過(guò)程中的依賴關(guān)系，是能夠?qū)崿F(xiàn)深度強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)之一。Conv-GRU智能體的方程式如下：

其中，*表示卷積乘法，☉表示Hadamard乘積，權(quán)重和偏差分別表示為W和b，所有輸入和輸出的空間尺寸是h×w。Ot為重置門，決定如何將新的輸入信息與之前的記憶信息相結(jié)合。Zt為更新門，用于控制記憶信息的保留程度。為候選隱藏狀態(tài)，包含了當(dāng)前時(shí)刻的輸入信息和上一時(shí)刻保留的信息。Ht為最終的隱藏狀態(tài)，通過(guò)更新門決定如何組合過(guò)去的隱藏狀態(tài)和當(dāng)前的候選隱藏狀態(tài)。在第t次迭代時(shí)到達(dá)Conv-GRU的輸入是強(qiáng)化學(xué)習(xí)的狀態(tài)量St和 上一次迭代輸出的隱藏狀態(tài)Ht-1，其中狀態(tài)量由圖像特征和RPN輸出組成，Conv-GRU可根據(jù)圖像信息來(lái)進(jìn)行候選區(qū)域搜索。輸出是對(duì)應(yīng)兩個(gè)動(dòng)作的動(dòng)作量At，分別決定是否進(jìn)行候選區(qū)域搜索以及搜索區(qū)域的位置和尺寸。深度強(qiáng)化學(xué)習(xí)可基于Conv-GRU調(diào)整策略，完成狀態(tài)到動(dòng)作的映射。

網(wǎng)絡(luò)可訓(xùn)練的參數(shù)部分包括特征提取網(wǎng)絡(luò)部分、RPN部分、檢測(cè)器部分以及深度強(qiáng)化學(xué)習(xí)部分。

3.2 結(jié)合強(qiáng)化學(xué)習(xí)的候選框挑選方法

下面詳細(xì)介紹如何利用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行區(qū)域搜索來(lái)實(shí)現(xiàn)候選框的自適應(yīng)挑選。在訓(xùn)練階段，第t次迭代時(shí)，智能體根據(jù)當(dāng)前狀態(tài)和策略決定是否終止搜索。如果搜索沒(méi)有停止，就執(zhí)行固定動(dòng)作自動(dòng)獲得新的搜索區(qū)域的位置zt和尺寸參數(shù)pt；RoI觀測(cè)量Rt在以zt為中心的搜索區(qū)域中被更新，搜索區(qū)域內(nèi)所有由RPN生成的初始候選框均被發(fā)送到ROI池化層，然后在檢測(cè)器中進(jìn)行分類和邊界框回歸預(yù)測(cè)。根據(jù)訓(xùn)練數(shù)據(jù)的標(biāo)注與預(yù)測(cè)結(jié)果計(jì)算獎(jiǎng)勵(lì)r及檢測(cè)結(jié)果更新強(qiáng)化學(xué)習(xí)基本狀態(tài)量St?；谛聽顟B(tài)，在第t+1次迭代時(shí)采取新操作，并重復(fù)該過(guò)程直到發(fā)出停止搜索動(dòng)作，然后收集整個(gè)搜索軌跡中的預(yù)測(cè)結(jié)果并計(jì)算總的累積獎(jiǎng)勵(lì)。訓(xùn)練的目標(biāo)即為累積獎(jiǎng)勵(lì)的最大化，并據(jù)此不斷優(yōu)化策略，最終得到最優(yōu)策略πθ(at|st)，具體優(yōu)化方法在3.2.3節(jié)中描述。而在測(cè)試過(guò)程中，搜索策略將被固定，在第t次迭代時(shí)，智能體根據(jù)當(dāng)前狀態(tài)st和已經(jīng)訓(xùn)練好的策略πθ(at|st)決定是否搜索以及搜索區(qū)域的位置及尺寸，然后選擇候選框送入后續(xù)檢測(cè)部分并更新相應(yīng)的狀態(tài)量。基于新狀態(tài)，在第t+1次迭代時(shí)采取新操作，并重復(fù)該過(guò)程直到發(fā)出停止搜索動(dòng)作，最后收集整個(gè)搜索軌跡中的預(yù)測(cè)結(jié)果。算法1展示了強(qiáng)化學(xué)習(xí)自適應(yīng)候選框挑選測(cè)試過(guò)程的偽代碼。下面分別介紹狀態(tài)、動(dòng)作以及獎(jiǎng)勵(lì)函數(shù)的具體設(shè)置。

算法 1 自適應(yīng)候選框挑選方法Alg.1 Adaptive region proposal selection

3.2.1 狀態(tài)

狀態(tài)量st是一個(gè)數(shù)組，包含3部分：st=(Rt,St,Ht)，其中Rt ∈{0,1}h×w×k是RoI 觀測(cè)量，St ∈Rh×w×(d+2k+N+1)是 基本狀態(tài)量，而Ht ∈Rh×w×300是Conv-GRU的隱藏狀態(tài)，d為VGG-16的輸出特征維度，N是要檢測(cè)對(duì)象類別的數(shù)量。

RoI觀測(cè)量Rt是一個(gè)大小為h×w×k的二元量，其中當(dāng)相應(yīng)候選框在搜索區(qū)域內(nèi)時(shí)，對(duì)應(yīng)的坐標(biāo) (i,j,l)值為1，然后轉(zhuǎn)入到網(wǎng)絡(luò)的RoI池化和檢測(cè)器部分進(jìn)行分類。Rt初始為全零量。在固定動(dòng)作之后，固定位置zt相鄰區(qū)域的一部分Rt將被更新，模型將在此區(qū)域內(nèi)使用RPN輸出的全部初始候選框進(jìn)行目標(biāo)檢測(cè)。這個(gè)相鄰區(qū)域設(shè)置為一個(gè)以zt為中心的矩形區(qū)域，區(qū)域的邊長(zhǎng)可以進(jìn)行自適應(yīng)的調(diào)整。將此矩形區(qū)域內(nèi)對(duì)應(yīng)的所有Rt項(xiàng)設(shè)置為1，表示此區(qū)域內(nèi)的候選框已經(jīng)被探測(cè)過(guò)了。

基礎(chǔ)狀態(tài)量St包括。將V01設(shè)置為與輸入RPN相同的基本特征映射，將設(shè)置為RPN的二分類量。RPN的回歸量被用于,設(shè)置為[0,1]歸一化偏移量[Δx1,Δy1,Δx2,Δy2]。和分別對(duì)應(yīng)著特征圖每個(gè)像素位置上預(yù)設(shè)的k個(gè)anchor的二分類和回歸結(jié)果。當(dāng)某一位置在之前的迭代過(guò)程中被訪問(wèn)后，使用Rt更新這些量，將,和中的對(duì)應(yīng)位置設(shè)置為-1，表示這些位置已被訪問(wèn)過(guò)，這樣有利于強(qiáng)化學(xué)習(xí)在下一次迭代過(guò)程中對(duì)輸入狀態(tài)量的分析，也有利于強(qiáng)化學(xué)習(xí)策略的訓(xùn)練，防止在重復(fù)的位置上多次進(jìn)行搜索。表示候選框檢測(cè)結(jié)果的歷史記錄，將設(shè)置為0。強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)執(zhí)行固定動(dòng)作獲得搜索區(qū)域后，將區(qū)域內(nèi)的所有候選框送入檢測(cè)器進(jìn)行分類預(yù)測(cè)，然后使用NMS對(duì)已分類的候選框進(jìn)行篩選。對(duì)篩選后的候選框進(jìn)行邊界框回歸預(yù)測(cè)，并將輸出結(jié)果即最終檢測(cè)框的中心坐標(biāo)和類別概率向量記錄在的相應(yīng)空間位置，作為下一次迭代過(guò)程的輸入狀態(tài)之一。這樣做可以為強(qiáng)化學(xué)習(xí)提供之前迭代過(guò)程中的檢測(cè)結(jié)果歷史信息，有利于強(qiáng)化學(xué)習(xí)的決策。

3.2.2 動(dòng)作

同時(shí)，為了確定搜索區(qū)域尺寸，我們?cè)O(shè)計(jì)了一種新的基于距離的約束。該約束能夠通過(guò)迭代過(guò)程中搜索區(qū)域位置的變化，自動(dòng)調(diào)整搜索區(qū)域的尺寸，在準(zhǔn)確搜索到含有目標(biāo)區(qū)域的同時(shí)減少傳統(tǒng)強(qiáng)化學(xué)習(xí)的計(jì)算量。具體來(lái)說(shuō)：模型利用本次迭代中選擇的中心坐標(biāo)z(t)與 上一次迭代選擇的中心坐標(biāo)z(t-1)對(duì)搜索區(qū)域尺寸進(jìn)行調(diào)整，形成參數(shù)pt來(lái)確定搜索區(qū)域尺寸。參數(shù)pt的取值區(qū)間為(0,1]，計(jì)算方法如下：

其中，Δ=|z(t)-z(t-1)|為兩次搜索區(qū)域中心之間的距離，h0和w0為 初始搜索區(qū)域尺寸(設(shè)h＜w)，與輸入圖像寬高比相同，ht-1和wt-1為t-1次迭代時(shí)的搜索區(qū)域尺寸。第t次迭代時(shí)的搜索區(qū)域尺寸計(jì)算方式如下：

此設(shè)置可實(shí)現(xiàn)在兩次迭代過(guò)程中，當(dāng)搜索區(qū)域之間距離較遠(yuǎn)時(shí)，搜索尺寸擴(kuò)大；當(dāng)搜索區(qū)域之間距離較近時(shí)，搜索尺寸縮小，減少搜索區(qū)域的重疊，提高搜索效率。

3.2.3 獎(jiǎng)勵(lì)

深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)產(chǎn)生的搜索策略在搜索候選框時(shí)，應(yīng)在保證較高交并比(Intersection over Union,IoU)的同時(shí)，盡量減少候選框的數(shù)量。這樣可以在減少虛警(false positive)數(shù)量的同時(shí)，節(jié)約處理時(shí)間。獎(jiǎng)勵(lì)函數(shù)以此為標(biāo)準(zhǔn)進(jìn)行設(shè)定。

將獎(jiǎng)勵(lì)函數(shù)分為固定動(dòng)作獎(jiǎng)勵(lì)和停止動(dòng)作獎(jiǎng)勵(lì)部分。其中，對(duì)于固定動(dòng)作，其獎(jiǎng)勵(lì)函數(shù)由兩部分組成：第1部分為每次執(zhí)行固定動(dòng)作都將獲得的較小的負(fù)獎(jiǎng)勵(lì)-β(經(jīng)過(guò)實(shí)驗(yàn)β設(shè)置為0.075)；第2部分為智能體執(zhí)行固定動(dòng)作時(shí)獲得的正獎(jiǎng)勵(lì)，這個(gè)正獎(jiǎng)勵(lì)與在當(dāng)前圖像的任何真實(shí)標(biāo)注數(shù)據(jù)(ground truth)gi的IoU相關(guān)，即如果固定動(dòng)作在當(dāng)前圖像與任何gi的IoU增加了，智能體都會(huì)獲得正向獎(jiǎng)勵(lì)。對(duì)于每個(gè)標(biāo)注數(shù)據(jù)gi，設(shè)置I oUi為在過(guò)去0,1,···,t-1次迭代過(guò)程中產(chǎn)生的最大的IoU值，并且在t=0時(shí)，I oUi=0 。當(dāng)t≥1 時(shí)，設(shè)置為在第t次迭代過(guò)程中，對(duì)于每個(gè)標(biāo)注數(shù)據(jù)gi所產(chǎn)生的最大IoU值。并檢查是否滿足。其中，依據(jù)數(shù)據(jù)集PASCAL VOC的正閾值設(shè)置τ=0.5。如果滿足上述情況，將對(duì)相應(yīng)的標(biāo)注數(shù)據(jù)gi給出正向獎(jiǎng)勵(lì)并在之后更新。此處，指的是對(duì)于第i個(gè)標(biāo)注數(shù)據(jù)gi，在所有可能區(qū)域內(nèi)獲得的最大IoU值(即最終預(yù)測(cè)的關(guān)于標(biāo)注數(shù)據(jù)gi的真實(shí)IoU值)。綜上所述，在第t次迭代時(shí)給出的固定動(dòng)作獎(jiǎng)勵(lì)為

其中，當(dāng)pt ＜1時(shí)，表示強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)認(rèn)為在上次迭代中搜索區(qū)域的附近目標(biāo)分布較密集，因此使用對(duì)多目標(biāo)獎(jiǎng)勵(lì)較高的函數(shù)形式；而當(dāng)pt=1，搜索區(qū)域距離較遠(yuǎn)時(shí)，則使用對(duì)單目標(biāo)獎(jiǎng)勵(lì)較高的函數(shù)形式。

對(duì)于停止動(dòng)作，在搜索終止后，智能體會(huì)受到一個(gè)能夠反映搜索軌跡質(zhì)量的最終獎(jiǎng)勵(lì)：

其中，I oUi經(jīng) 過(guò)更新，已經(jīng)成為關(guān)于標(biāo)注數(shù)據(jù)gi在整個(gè)搜索迭代過(guò)程中所產(chǎn)生的最大IoU值。如果gi沒(méi)有被最大限度覆蓋，則會(huì)給予智能體一個(gè)隨著IoUi減小而不斷增大的負(fù)的獎(jiǎng)勵(lì)值。并且，如果gi已經(jīng)被最大限度的覆蓋了，即I oUi=的時(shí)候，本次停止動(dòng)作的獎(jiǎng)勵(lì)值將變?yōu)?。

在訓(xùn)練過(guò)程中通過(guò)累積獎(jiǎng)勵(lì)最大化來(lái)優(yōu)化策略，結(jié)合REINFORCE[20]方法進(jìn)行梯度更新，使用50條搜索軌跡來(lái)逼近真實(shí)梯度，并使用Adam[21]優(yōu)化器來(lái)更新策略參數(shù)。

3.3 訓(xùn)練

整個(gè)模型需要訓(xùn)練的參數(shù)可分為兩部分：一部分是原始Faster R-CNN部分的參數(shù)，包括特征提取網(wǎng)絡(luò)、RPN和檢測(cè)器部分參數(shù)；另一部分是強(qiáng)化學(xué)習(xí)搜索策略部分的參數(shù)。兩部分參數(shù)采用交替訓(xùn)練的方式進(jìn)行優(yōu)化：當(dāng)強(qiáng)化學(xué)習(xí)部分參數(shù)進(jìn)行更新后(此時(shí)原始Faster R-CNN部分參數(shù)保持不變)，模型將固定強(qiáng)化學(xué)習(xí)部分參數(shù)并使用該強(qiáng)化學(xué)習(xí)策略進(jìn)行自適應(yīng)候選框挑選，挑選出的候選框?qū)⒈凰腿牒罄m(xù)檢測(cè)器進(jìn)行目標(biāo)分類和回歸，并以此來(lái)更新Faster R-CNN部分的參數(shù)。模型通過(guò)兩部分參數(shù)交替更新，反復(fù)迭代至收斂。

4 實(shí)驗(yàn)與分析

首先對(duì)實(shí)驗(yàn)所用數(shù)據(jù)集及評(píng)價(jià)準(zhǔn)則進(jìn)行介紹，然后與傳統(tǒng)Faster R-CNN及其相關(guān)改進(jìn)方法進(jìn)行對(duì)比分析，對(duì)提出的創(chuàng)新點(diǎn)進(jìn)行實(shí)驗(yàn)驗(yàn)證，證明所提方法的有效性。實(shí)驗(yàn)平臺(tái)為Ubuntu系統(tǒng)，代碼基于Tensorflow編寫。訓(xùn)練方面，本方法采用經(jīng)過(guò)預(yù)訓(xùn)練的VGG-16網(wǎng)絡(luò)對(duì)Faster R-CNN的共享卷積層部分進(jìn)行參數(shù)初始化；其他網(wǎng)絡(luò)層則使用零均值、標(biāo)準(zhǔn)差為0.01的高斯分布進(jìn)行參數(shù)隨機(jī)初始化。

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 實(shí)驗(yàn)數(shù)據(jù)集介紹

本文使用MiniSAR數(shù)據(jù)集[22]進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集是美國(guó)桑迪亞實(shí)驗(yàn)室在2006年公開的SAR圖像數(shù)據(jù)集，包含復(fù)雜場(chǎng)景的SAR實(shí)測(cè)圖像數(shù)據(jù)。在本文實(shí)驗(yàn)中，共使用9幅SAR圖像(7幅用于訓(xùn)練，2幅用于測(cè)試)，設(shè)置車輛為感興趣目標(biāo)。在此數(shù)據(jù)集中，由于圖像的尺寸過(guò)大，無(wú)法直接輸入網(wǎng)絡(luò)。因此，首先將數(shù)據(jù)集中的原始圖像裁剪成許多大小為300像素×300像素的子圖像，并使用這些子圖像進(jìn)行網(wǎng)絡(luò)訓(xùn)練。與訓(xùn)練類似，在測(cè)試過(guò)程中通過(guò)滑動(dòng)窗口，將原始的測(cè)試圖像也裁剪為大小為300像素×300像素的子圖像，滑動(dòng)窗口的步長(zhǎng)設(shè)置為200像素。對(duì)測(cè)試子圖像進(jìn)行檢測(cè)后，再將檢測(cè)結(jié)果恢復(fù)到原始大圖中。在恢復(fù)過(guò)程中，我們對(duì)子圖像中的檢測(cè)結(jié)果進(jìn)行NMS刪除重復(fù)數(shù)據(jù)，以獲得最終結(jié)果。

4.1.2 評(píng)價(jià)準(zhǔn)則

實(shí)驗(yàn)選擇F1-score和接收機(jī)性能(Receiver Operating Characteristic,ROC)曲線作為檢測(cè)性能的評(píng)價(jià)準(zhǔn)則。F1-score的計(jì)算公式如下：

其中，TP (True Positives)是檢測(cè)結(jié)果中正確的目標(biāo)個(gè)數(shù)，F(xiàn)P (False Positives)為虛警，是檢測(cè)結(jié)果中錯(cuò)誤的目標(biāo)個(gè)數(shù)，F(xiàn)N (False Negatives)是漏警，是未檢測(cè)到的目標(biāo)個(gè)數(shù)，P(Precision)是準(zhǔn)確率，R(Recall)是召回率。

ROC曲線的繪制參考文獻(xiàn)[23]，曲線描述了真陽(yáng)率(True Positive Rate,TPR)和假陽(yáng)率(False Positive Rate,FPR)之間的關(guān)系。TPR和FPR的計(jì)算公式如下：

ROC曲線和坐標(biāo)軸下的面積(Area Under Curve,AUC)用于輔助ROC評(píng)估。通常，AUC越大，性能越好。

4.2 檢測(cè)結(jié)果分析

表1對(duì)比了不同方法的實(shí)驗(yàn)結(jié)果，其中Gaussian-CFAR表示文獻(xiàn)[13]中的方法；Faster R-CNN方法基于文獻(xiàn)[7]；SSD方法使用文獻(xiàn)[24]；Faster R-CNN+CBAM在Faster R-CNN中加入通道注意力和空間注意力模塊[25]聚焦重要特征來(lái)輔助檢測(cè)；本文方法-尺寸固定表示只使用強(qiáng)化學(xué)習(xí)確定搜索區(qū)域位置，而搜索區(qū)域的尺寸不能自適應(yīng)變化，生成固定尺寸(h0×w0)的搜索區(qū)域來(lái)完成候選框挑選，本文中取h0=hori×0.25,w0=wori×0.25。

表1 不同方法實(shí)驗(yàn)結(jié)果Tab.1 Experimental results of different methods

從表1可以看出，Gaussian-CFAR的F1-score非常低，因?yàn)榇朔椒▋H使用SAR圖像本身的對(duì)比度等信息進(jìn)行檢測(cè)，需要擬合雜波分布，只適用于簡(jiǎn)單場(chǎng)景，當(dāng)場(chǎng)景較為復(fù)雜時(shí)，會(huì)產(chǎn)生大量虛警，造成檢測(cè)性能的降低。而傳統(tǒng)Faster R-CNN方法雖然檢測(cè)效果好于Gaussian-CFAR，但在深度學(xué)習(xí)相關(guān)方法中F1-score最低，主要原因?yàn)樘摼芏?，很多背景雜波被誤判為目標(biāo)，導(dǎo)致檢測(cè)的準(zhǔn)確率降低；SSD方法則通過(guò)使用多尺度特征進(jìn)行預(yù)測(cè)，相較于傳統(tǒng)Faster R-CNN方法虛警明顯減少，獲得了不錯(cuò)的性能；Faster R-CNN+CBAM方法在添加了注意力模塊之后，能夠讓網(wǎng)絡(luò)更加關(guān)注目標(biāo)區(qū)域，相較于傳統(tǒng)Faster R-CNN方法準(zhǔn)確率有所提升，虛警明顯減少；本文方法相較于其他方法，在準(zhǔn)確率和召回率上都有一定提升，尤其在減少虛警方面，相較于其他方法提升明顯；當(dāng)搜索區(qū)域尺寸固定時(shí)，本文方法則實(shí)現(xiàn)了與Faster R-CNN+CBAM相似的檢測(cè)結(jié)果，相較于傳統(tǒng)Faster R-CNN方法的F1-score有一定提升，但由于無(wú)法自適應(yīng)確定搜索區(qū)域尺寸，準(zhǔn)確率相比本文原始方法有所下降。本文方法的F1-score相較于傳統(tǒng)Faster R-CNN方法提升了0.0329，準(zhǔn)確率提升了0.0530。因此，本文方法通過(guò)強(qiáng)化學(xué)習(xí)進(jìn)行區(qū)域搜索來(lái)實(shí)現(xiàn)對(duì)候選框的自適應(yīng)挑選，可以有效減少虛警，提升檢測(cè)性能。

圖4展示了各種方法的ROC曲線和相應(yīng)的AUC值，由于CFAR檢測(cè)效果相比于深度學(xué)習(xí)方法差距較大，研究?jī)r(jià)值不高，因此只對(duì)深度學(xué)習(xí)相關(guān)方法進(jìn)行了ROC曲線刻畫。我們以檢測(cè)結(jié)果中的每一個(gè)邊界框?yàn)閷?duì)象，設(shè)置IoU閾值來(lái)判斷邊界框是否檢測(cè)到正確目標(biāo)，并根據(jù)其分類得分由高到低進(jìn)行排序，通過(guò)依次將每個(gè)邊界框劃分為正例，來(lái)計(jì)算不同的TPR和FPR值，最終得到完整的ROC曲線。從中可以發(fā)現(xiàn)本文所提方法可以在保持較低FPR的同時(shí)獲得較高的TPR，因此也獲得了最高的AUC值，檢測(cè)性能最好。

圖4 ROC曲線對(duì)比分析Fig.4 ROC curves comparative analysis

圖5分別展示了上述4種方法在MiniSAR數(shù)據(jù)集上兩張圖像的測(cè)試結(jié)果：圖中綠色框表示檢測(cè)正確的目標(biāo)，紅色框表示檢測(cè)錯(cuò)誤的目標(biāo)(虛警)，藍(lán)色框表示未檢測(cè)到的目標(biāo)(漏警)。由圖5可知，在復(fù)雜背景雜波的大場(chǎng)景SAR圖像中，傳統(tǒng)Faster R-CNN方法檢測(cè)結(jié)果虛警較多；本文方法的檢測(cè)結(jié)果中虛警最少，檢測(cè)效果最好，并且在目標(biāo)數(shù)量較多，排布較密集且有一定規(guī)律時(shí)，能實(shí)現(xiàn)目標(biāo)的精確檢測(cè)。

圖5 SAR圖像目標(biāo)檢測(cè)結(jié)果Fig.5 Detection results of SAR images

所提方法檢測(cè)效果較好的原因主要有兩方面：第一，采用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)確定搜索區(qū)域?qū)蜻x框進(jìn)行自適應(yīng)挑選，能夠?qū)PN生成的大量初始候選框進(jìn)行鑒別，剔除其中的大量虛警框；第二，實(shí)驗(yàn)所使用數(shù)據(jù)集中的部分車輛目標(biāo)分布和排列存在一定規(guī)律，本文方法能夠在強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程中學(xué)習(xí)這些規(guī)律，并在迭代搜索過(guò)程中保存這些上下文信息，獲得更好的檢測(cè)效果。我們計(jì)算了每張訓(xùn)練圖像在訓(xùn)練過(guò)程中pt=1所占比例來(lái)進(jìn)行實(shí)驗(yàn)驗(yàn)證。在使用強(qiáng)化學(xué)習(xí)確定搜索區(qū)域時(shí)，pt=1表示本次迭代確定的搜索區(qū)域與上一次迭代確定的搜索區(qū)域之間距離較遠(yuǎn)，pt ＜1則表示本次迭代確定的搜索區(qū)域在上一次迭代確定的搜索區(qū)域附近。因此，如果pt=1所占比例較小，則說(shuō)明搜索區(qū)域分布較為集中，圖像中的目標(biāo)數(shù)量較多且分布密集；如果pt=1所占比例較大，則說(shuō)明搜索區(qū)域較為分散，圖像中的目標(biāo)數(shù)量較少且分布稀疏。以圖6中兩張訓(xùn)練圖像樣本為例進(jìn)行分析，圖中白色框?yàn)楣潭▌?dòng)作所產(chǎn)生的搜索區(qū)域，左上角數(shù)字為區(qū)域的生成順序。圖6(a)中目標(biāo)較少，因此強(qiáng)化學(xué)習(xí)只執(zhí)行了3次搜索動(dòng)作，搜索區(qū)域較為分散，pt值全部為1；而圖6(b)中由于目標(biāo)數(shù)量較多、分布密集且排列整齊，因此強(qiáng)化學(xué)習(xí)共執(zhí)行了7次搜索動(dòng)作，且在目標(biāo)密集分布的區(qū)域多次生成搜索區(qū)域，pt=1所占比例為0.33，相比于圖6(a)pt=1所占比例明顯減小。這說(shuō)明，強(qiáng)化學(xué)習(xí)能夠?qū)W習(xí)到目標(biāo)分布的規(guī)律性并應(yīng)用于檢測(cè)：在檢測(cè)目標(biāo)較少、分布稀疏的圖像時(shí)，強(qiáng)化學(xué)習(xí)生成的搜索區(qū)域也較為分散，可以在較少搜索次數(shù)內(nèi)準(zhǔn)確找到目標(biāo)所在區(qū)域；而在檢測(cè)目標(biāo)密集分布的圖像時(shí)，強(qiáng)化學(xué)習(xí)則會(huì)在目標(biāo)密集分布的區(qū)域多次生成搜索區(qū)域來(lái)檢測(cè)出該區(qū)域內(nèi)的全部目標(biāo)。

圖6 訓(xùn)練圖像樣本示例(白色框?yàn)楣潭▌?dòng)作所產(chǎn)生的搜索區(qū)域)Fig.6 Training image example (The white box indicates the search area generated by fixed action)

4.3 搜索區(qū)域?qū)z測(cè)的影響

為了研究搜索區(qū)域?qū)z測(cè)的影響，我們對(duì)強(qiáng)化學(xué)習(xí)的搜索過(guò)程進(jìn)行了分析，并與不使用搜索區(qū)域的Faster R-CNN方法進(jìn)行了對(duì)比。

圖7展示了測(cè)試圖像的強(qiáng)化學(xué)習(xí)可視化搜索過(guò)程。圖7(a)為原始圖像，圖7(b)-圖7(e)展示了本文方法的迭代搜索過(guò)程。其中，白色邊框?yàn)楣潭▌?dòng)作所產(chǎn)生的搜索區(qū)域，左上角數(shù)字為區(qū)域的生成順序，其中心位置坐標(biāo)和尺寸確定方法與3.2節(jié)所述相同；綠色邊框則表示已檢測(cè)到目標(biāo)的邊界框。注意白色邊框表示所挑選初始候選框中心點(diǎn)的區(qū)域集合，而綠色邊框?yàn)榻?jīng)過(guò)回歸的最終目標(biāo)邊界框，因此白色邊框并不一定完全包裹目標(biāo)和綠色邊框。

圖7(b)表示在強(qiáng)化學(xué)習(xí)第1次迭代過(guò)程中，策略執(zhí)行固定動(dòng)作確定的搜索區(qū)域，之后中心點(diǎn)在搜索區(qū)域內(nèi)的候選框?qū)⒈惶暨x并送入后續(xù)的檢測(cè)器部分。圖7(c)展示了在搜索區(qū)域內(nèi)檢測(cè)到的兩個(gè)目標(biāo)。圖7(d)表示在強(qiáng)化學(xué)習(xí)第2次迭代過(guò)程中，策略執(zhí)行固定動(dòng)作確定的搜索區(qū)域，由于距離約束的作用，該次搜索區(qū)域尺寸進(jìn)行自適應(yīng)調(diào)整，較上次迭代有所減小，減少了區(qū)域內(nèi)初始候選框數(shù)量，在能夠檢測(cè)到目標(biāo)的同時(shí)，降低了強(qiáng)化學(xué)習(xí)部分的計(jì)算量。圖7(e)展示了在搜索區(qū)域內(nèi)檢測(cè)到的所有目標(biāo)。兩次迭代后，強(qiáng)化學(xué)習(xí)策略判斷SAR圖像內(nèi)全部目標(biāo)已經(jīng)檢測(cè)完成，停止迭代，完成檢測(cè)流程。

由圖7可視化搜索過(guò)程可知，強(qiáng)化學(xué)習(xí)通過(guò)訓(xùn)練得到的策略，能夠讓搜索區(qū)域更靠近待檢測(cè)目標(biāo)。在迭代搜索過(guò)程中，除了利用圖像的特征信息進(jìn)行決策外，深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)還能夠記錄之前迭代步驟中產(chǎn)生的上下文信息，通過(guò)上下文信息進(jìn)行不同搜索區(qū)域之間的信息交換，幫助決策，能夠有效減少雜波對(duì)檢測(cè)器的干擾，提高檢測(cè)的準(zhǔn)確性。

圖7 可視化搜索過(guò)程(白色框?yàn)楣潭▌?dòng)作所產(chǎn)生的搜索區(qū)域)Fig.7 Visualization of search (The white box indicates the search area generated by fixed action)

為了進(jìn)一步分析搜索區(qū)域?qū)z測(cè)的影響，我們分別對(duì)不使用搜索區(qū)域的Faster R-CNN方法和可以自適應(yīng)確定搜索區(qū)域的本文方法的RoI分布進(jìn)行了對(duì)比。圖8展示了兩種方法產(chǎn)生的RoI分布對(duì)比。圖8(a)為待檢測(cè)的原始圖像，圖8(b)為傳統(tǒng)Faster R-CNN產(chǎn)生的RoI分布，圖中高亮區(qū)域?yàn)镽oI的中心位置。圖8(c)為傳統(tǒng)Faster R-CNN的檢測(cè)結(jié)果，綠色框表示檢測(cè)正確的目標(biāo)，紅色框表示虛警。圖8(d)為本文方法產(chǎn)生的RoI分布，圖中白框?yàn)閺?qiáng)化學(xué)習(xí)產(chǎn)生的搜索區(qū)域，所生成RoI的中心位置均在白框之內(nèi)。圖8(e)為本文方法的檢測(cè)結(jié)果。結(jié)合圖8(b)和圖8(d)可以發(fā)現(xiàn)，相較于傳統(tǒng)的Faster R-CNN方法，經(jīng)過(guò)本文方法的處理，RoI會(huì)更集中地產(chǎn)生在目標(biāo)附近，因圖片邊緣和復(fù)雜背景雜波而產(chǎn)生的RoI大量減少。

圖8 RoI分布對(duì)比(白色框?yàn)楣潭▌?dòng)作所產(chǎn)生的搜索區(qū)域)Fig.8 Visualization of RoI (The white box indicates the search area generated by fixed action)

結(jié)合表1的檢測(cè)結(jié)果及RoI分布可以分析，F(xiàn)aster R-CNN方法由于采用NMS法對(duì)RPN在整張?zhí)卣鲌D上產(chǎn)生的大量初始候選框進(jìn)行處理，會(huì)導(dǎo)致SAR圖像的邊緣和難鑒別的背景雜波位置生成大量RoI，從而造成檢測(cè)結(jié)果中出現(xiàn)較多虛警。而所提方法則依靠強(qiáng)化學(xué)習(xí)策略及深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)積累的上下文信息來(lái)確定含有目標(biāo)的搜索區(qū)域，并且只在搜索區(qū)域內(nèi)生成RoI，能夠讓RoI盡可能集中在目標(biāo)周圍，有效減少圖片邊緣及復(fù)雜背景雜波導(dǎo)致的虛警，獲得較好的檢測(cè)效果。

4.4 運(yùn)行時(shí)間分析

運(yùn)算速度也是衡量目標(biāo)檢測(cè)算法性能的重要指標(biāo)之一，本節(jié)對(duì)Gaussian-CFAR,Faster R-CNN,Faster R-CNN+CBAM,SSD以及所提方法的運(yùn)行時(shí)間進(jìn)行比較分析，并分別對(duì)所提方法采用固定的搜索區(qū)域尺寸、自適應(yīng)搜索區(qū)域尺寸進(jìn)行實(shí)驗(yàn)，我們?nèi)∷袦y(cè)試圖像的平均測(cè)試時(shí)間作為單張圖片的測(cè)試時(shí)間，結(jié)果如圖9所示。

由圖9可知，Gaussian-CFAR無(wú)論在運(yùn)算速度還是準(zhǔn)確率方面與其他方法均具有較大差距。SSD和Faster R-CNN方法的檢測(cè)速度較快，但F1-score與其他基于深度學(xué)習(xí)方法相比較低；添加CBAM注意力模塊后，在檢測(cè)速度略有降低的同時(shí)，提升了檢測(cè)精度；對(duì)于本文方法，當(dāng)采用人工設(shè)置的固定的搜索區(qū)域尺寸(h0×w0)時(shí)，本文方法的檢測(cè)速度會(huì)降低，這是由于在兩次強(qiáng)化學(xué)習(xí)迭代過(guò)程中，當(dāng)搜索區(qū)域尺寸設(shè)置較大時(shí)，如果兩次搜索區(qū)域較近，會(huì)造成搜索區(qū)域的重疊，增加計(jì)算量；而當(dāng)搜索區(qū)域尺寸設(shè)置較小時(shí)，又會(huì)造成檢測(cè)區(qū)域過(guò)小，需要強(qiáng)化學(xué)習(xí)迭代更多輪次來(lái)找到所有目標(biāo)。并且，不合理的尺寸設(shè)定也會(huì)對(duì)檢測(cè)精度造成影響。因此，本文方法在強(qiáng)化學(xué)習(xí)迭代過(guò)程中通過(guò)自適應(yīng)調(diào)整搜索區(qū)域的尺寸，獲得了最高的F1-score，能夠在保證較高檢測(cè)精度的同時(shí)，提高檢測(cè)速度。

圖9 運(yùn)行時(shí)間與F1-score關(guān)系Fig.9 Runtime versus F1-score

5 結(jié)語(yǔ)

本文針對(duì)SAR目標(biāo)檢測(cè)任務(wù)，結(jié)合強(qiáng)化學(xué)習(xí)方法對(duì)Faster R-CNN模型進(jìn)行改進(jìn)，提出新的候選框挑選方法來(lái)解決傳統(tǒng)Faster R-CNN模型在檢測(cè)過(guò)程中易受SAR圖像復(fù)雜背景雜波影響而產(chǎn)生大量虛警的問(wèn)題。本文所提方法利用強(qiáng)化學(xué)習(xí)序列決策的特點(diǎn)，對(duì)大場(chǎng)景SAR圖像中可能含有目標(biāo)的區(qū)域進(jìn)行迭代搜索，通過(guò)強(qiáng)化學(xué)習(xí)策略確定搜索區(qū)域的位置坐標(biāo)和尺寸，最終實(shí)現(xiàn)對(duì)大量初始候選框的自適應(yīng)挑選。實(shí)驗(yàn)結(jié)果表明，所提方法能夠找到含有待檢測(cè)目標(biāo)的區(qū)域，提升對(duì)復(fù)雜背景雜波的鑒別能力，有效減少虛警。除此之外，通過(guò)在強(qiáng)化學(xué)習(xí)內(nèi)部添加距離約束，對(duì)搜索區(qū)域尺寸進(jìn)行自適應(yīng)調(diào)整，能夠在進(jìn)一步提高檢測(cè)性能的同時(shí)，提高運(yùn)算速度。與其他主流目標(biāo)檢測(cè)方法進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明本文方法能夠在增加較少運(yùn)算量的同時(shí)，大幅提升SAR目標(biāo)檢測(cè)精度。