基于空間相關(guān)性增強(qiáng)的無人機(jī)檢測算法

張會娟，李坤鵬，姬淼鑫，劉振江，劉建娟，張弛

(1.河南工業(yè)大學(xué) 電氣工程學(xué)院，河南 鄭州 450001；2.北京理工大學(xué) 自動化學(xué)院，北京 100081)

隨著無人機(jī)技術(shù)和功能的逐漸完善，各個領(lǐng)域都出現(xiàn)無人機(jī)的身影，這在豐富和便利人們?nèi)粘Ｉ畹耐瑫r，也帶來極大的安全隱患.管控不當(dāng)導(dǎo)致黑飛亂飛事件的日益增多，給公共安全和人民生活帶來極大的威脅[1].因此，須采用反無人機(jī)系統(tǒng)來防范非法無人機(jī)的侵入.在反無人機(jī)系統(tǒng)中，檢測被視為至關(guān)重要的環(huán)節(jié)，因?yàn)橹挥性跍?zhǔn)確檢測到無人機(jī)的存在之后，才能采取進(jìn)一步的反制措施.因此，對現(xiàn)實(shí)場景中低空飛行的無人機(jī)進(jìn)行快速準(zhǔn)確檢測具有重要的現(xiàn)實(shí)意義.

目標(biāo)檢測作為近年來計(jì)算機(jī)視覺領(lǐng)域的熱門研究方向之一，在視覺搜索、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、自動駕駛等場景應(yīng)用廣泛[2].隨著卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)[3]的不斷發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測算法發(fā)展迅猛.目前，基于深度學(xué)習(xí)的目標(biāo)檢測算法可以分為基于回歸的單階段目標(biāo)檢測算法和基于候選區(qū)域的兩階段目標(biāo)檢測算法[4].比較有代表性的兩階段算法有RCNN[5]、Fast-RCNN[6]、Faster-RCNN[7]、Mask R-CNN[8]等.這類算法須先從生成的多個候選區(qū)域中提取特征，然后進(jìn)行類標(biāo)簽和邊界框的輸出，檢測精度較高，但是復(fù)雜的結(jié)構(gòu)致使檢測速度較慢，難以滿足實(shí)時性的要求[9].以YOLO[10]、SSD[11]為代表的單階段算法通過提取的特征直接回歸目標(biāo)的坐標(biāo)和類別，具有檢測速度快的優(yōu)點(diǎn)，但檢測精度往往不如兩階段算法.這2類算法對大目標(biāo)和中目標(biāo)的檢測效果較好，但是在小目標(biāo)檢測方面效果并不理想.雖然兩階段算法具有較高的檢測精度，但是無法突破檢測速度的限制.對于一些實(shí)時性檢測任務(wù)，無法滿足速度要求.對于實(shí)際場景下的無人機(jī)目標(biāo)檢測須采用極高檢測速度的算法，因此更適合使用單階段算法來進(jìn)行研究.

無人機(jī)作為小目標(biāo)的一種，經(jīng)過多層特征提取網(wǎng)絡(luò)后，其分辨率降低，部分重要信息丟失.因此，實(shí)現(xiàn)無人機(jī)小目標(biāo)的快速精準(zhǔn)檢測絕非易事.目前，諸多學(xué)者針對小目標(biāo)檢測提出有效的改進(jìn)方法，檢測性能不斷提高.Wang等[12]將金字塔最頂層2個特征圖通過注意力編碼器進(jìn)行特征融合，以增強(qiáng)特征圖的局部特征和全局表征.Peng等[13]提出通道空間混合注意模塊，抑制無用特征信息.Min等[14]提出注意特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，過濾冗余信息突出小目標(biāo)，并通過前景相關(guān)上下文增強(qiáng)特征，抑制背景噪聲.上述文獻(xiàn)在特征融合時抑制冗余信息方面具有一定的效果，但是對于無人機(jī)此類微小目標(biāo)的檢測不能保證足夠的精度.Ju等[15]設(shè)計(jì)擴(kuò)張模塊減少信息損失，并設(shè)計(jì)穿透模塊來融合淺層細(xì)節(jié)信息和深層語義信息.Deng等[16]設(shè)計(jì)擴(kuò)張模塊減少信息損失，并設(shè)計(jì)穿透模塊來融合淺層細(xì)節(jié)信息和深層語義信息.He等[17]提出多尺度特征增強(qiáng)融合網(wǎng)絡(luò)，更好地融合提取的特征，同時提出SCSA模塊提高交通場景中小目標(biāo)的檢測精度.Ji等[18]提出擴(kuò)展的感知塊獲取更多的上下文特征，并在CIoU的權(quán)重函數(shù)中引入縱橫比權(quán)重因子增強(qiáng)網(wǎng)絡(luò)對小目標(biāo)的學(xué)習(xí)能力.張娜等[19]提出雙向加權(quán)特征金字塔網(wǎng)絡(luò)，對解碼后的位置信息進(jìn)行通道再分配，進(jìn)一步融合特征信息.謝譽(yù)等[20]提出深層次特征金字塔網(wǎng)絡(luò)，深層次融合多尺度特征層.上述文獻(xiàn)可以進(jìn)一步增強(qiáng)小目標(biāo)的特征信息，但是忽略了融合語義不一致特征時的沖突問題.

以上針對小目標(biāo)檢測提出的改進(jìn)在一定程度上適用于顏色、紋理、形狀等特征明顯的小目標(biāo).在實(shí)際場景中對無人機(jī)檢測時須對空拍攝，面臨天空背景下的相機(jī)逆光情況.這種情況下的圖像分辨率會大幅度降低，導(dǎo)致顏色、紋理、形狀等低級特征大量丟失，這就需要融合更多低級特征.其次，無人機(jī)有時會在復(fù)雜的背景環(huán)境下飛行，有時目標(biāo)的成像只有幾個像素，如果不減小信息沖突、增強(qiáng)目標(biāo)特征表達(dá)，無人機(jī)特征很有可能會淹沒在背景雜波中.

針對上述問題，在一階段檢測算法YOLOv5的基礎(chǔ)上，提出基于自適應(yīng)上采樣和空間相關(guān)性增強(qiáng)的無人機(jī)小目標(biāo)檢測算法.首先提出多尺度上下文信息和注意力特征融合增強(qiáng)(multi-scale context information and attention feature fusion enhancement,MCIAFFE)模塊，通過不同空洞率的空洞卷積擴(kuò)展多尺度的感受野，疊加多尺度的重要淺層特征，經(jīng)過通道注意力模塊 (channel attention module，CAM)提高目標(biāo)通道的有效性，隨后采用注意力特征融合模塊抑制特征沖突；其次，提出自適應(yīng)上采樣結(jié)構(gòu)，自適應(yīng)融合亞像素卷積和雙線性插值作為新的上采樣方式，平衡計(jì)算量并保留更多無人機(jī)特征信息；最后，提出空間相關(guān)性增強(qiáng)(spatial correlation enhancement,SCE)模塊，通過評估局部特征和全局特征的相似度，增強(qiáng)強(qiáng)相關(guān)的通道以提高目標(biāo)辨識度，抑制弱相關(guān)的通道以抑制背景噪聲，從而增強(qiáng)小目標(biāo)的敏感度.

1 YOLOv5算法模型

YOLOv5作為端到端的單階段檢測網(wǎng)絡(luò)，實(shí)現(xiàn)了檢測速度和精度兼顧，能以極快的速度對目標(biāo)完成分類和定位任務(wù)，被廣泛應(yīng)用于實(shí)時性要求高的目標(biāo)檢測任務(wù)中.YOLOv5整體結(jié)構(gòu)分為3部分：骨干網(wǎng)絡(luò)(Backbone)、特征融合網(wǎng)絡(luò)(Neck)和檢測頭(Head).輸入圖片在進(jìn)行訓(xùn)練之前采用和YOLOv4[21]一樣的Mosaic數(shù)據(jù)增強(qiáng)方式，將4張圖片經(jīng)過隨機(jī)剪裁、縮放變換后拼接在一起，不僅可以擴(kuò)充數(shù)據(jù)集，而且可以提高訓(xùn)練速度，使模型具有更好的魯棒性.

Backbone網(wǎng)絡(luò)的主要作用是提取圖像特征，將輸入的3維圖像轉(zhuǎn)化為多層特征圖.在網(wǎng)絡(luò)訓(xùn)練過程中，輸入圖像經(jīng)過Backbone結(jié)構(gòu)實(shí)現(xiàn)32倍下采樣提取特征.Neck網(wǎng)絡(luò)的主要作用是跨層融合多尺度的特征圖，整體采用PAN[22]結(jié)構(gòu)，該結(jié)構(gòu)通過上采樣和下采樣可以得到與Backbone中相同尺度、包含豐富語義信息的深層特征圖.通過融合多尺度的深層特征與淺層特征，得到更豐富的特征表示，最終輸出尺度為20×20、40×40、80×80的3個特征圖，分別負(fù)責(zé)對大、中、小目標(biāo)的檢測[23].Head網(wǎng)絡(luò)生成目標(biāo)的邊界框和類別概率，從而實(shí)現(xiàn)目標(biāo)定位和分類[24].

雖然YOLOv5具有一定的小目標(biāo)檢測能力，但是不滿足無人機(jī)此類對檢測要求極高的小目標(biāo)檢測，因此須對YOLOv5算法的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn).

2 改進(jìn)的YOLOv5算法

為了提高無人機(jī)小目標(biāo)的檢測性能，同時考慮算法實(shí)時性的問題，在YOLOv5算法上進(jìn)行改進(jìn)，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.首先，為了緩解多層特征提取網(wǎng)絡(luò)導(dǎo)致的特征損失，同時為了減少語義不同和尺度不一致導(dǎo)致的特征沖突問題，在金字塔最頂層嵌入多尺度上下文信息和注意力特征融合增強(qiáng)模塊MCIAFFE，使頂層特征圖有效融合淺層特征圖中豐富的小目標(biāo)位置和細(xì)節(jié)這些低級特征；其次，為了減少YOLOv5采用最近鄰插值法導(dǎo)致的上采樣結(jié)果中的特征損失，提出自適應(yīng)的上采樣方式，通過自適應(yīng)融合亞像素卷積和雙線性插值2種上采樣方式，在平衡計(jì)算量的同時還原更準(zhǔn)確的特征信息，得到包含更多無人機(jī)小目標(biāo)低級特征的特征圖；最后，為了提高特征相似的背景下無人機(jī)的辨識度，在Neck結(jié)構(gòu)中，對在自頂向下路徑上的特征圖進(jìn)行下采樣后，采用空間相關(guān)性增強(qiáng)SCE模塊，增強(qiáng)小目標(biāo)在復(fù)雜背景下的特征提取能力.

圖1 改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Improved YOLOv5 network structure

2.1 多尺度上下文信息和注意力特征融合增強(qiáng)

無人機(jī)小目標(biāo)的特征信息主要集中在擁有豐富位置信息和細(xì)節(jié)信息的淺層特征中，但高層特征圖中包含的豐富的語義信息也不可忽略.為了解決在特征提取過程中，高層特征圖中無人機(jī)小目標(biāo)的低級特征丟失導(dǎo)致檢測能力較弱的問題，須將淺層特征圖的上下文信息融入到高層特征圖中，即使得上下文信息能為小目標(biāo)檢測提供更有效的信息[25]，故對金字塔最頂層進(jìn)行特征融合增強(qiáng).設(shè)計(jì)多尺度上下文信息和注意力特征融合增強(qiáng)模塊MCIAFFE，該模塊結(jié)構(gòu)如圖2所示.

圖2 多尺度上下文信息和注意力特征融合增強(qiáng)模塊Fig.2 Multi-scale contextual information and attentional feature fusion enhancement module

具體步驟如下.

如圖2(a)所示為多尺度上下文信息和注意力特征融合增強(qiáng)模塊整體結(jié)構(gòu)圖.首先，使用2、3、5這3個空洞率不同的空洞卷積對輸入特征圖X分別進(jìn)行感受野擴(kuò)大處理，學(xué)習(xí)小目標(biāo)的局部上下文信息[26]，得到X1、X2、X3，可以表示為

式中：dconv(·) 表示空洞卷積，右上角角標(biāo)代表空洞率，右下角角標(biāo)代表卷積核的大??；conv1×1(·)表示1×1的標(biāo)準(zhǔn)卷積，用于縮放通道減少計(jì)算量.

將得到的3個特征圖進(jìn)行拼接得到特征圖F，之后經(jīng)過CAM調(diào)整每個通道的權(quán)重，CAM同時使用自適應(yīng)平均池化和自適應(yīng)最大池化2種池化操作.將池化后的向量經(jīng)過MLP操作和歸一化函數(shù)得到通道注意力權(quán)重，拆分得到3個對應(yīng)于X1、X2和X3的權(quán)重 α、β、γ，可以表示為

式中：split(·) 表示chunk函數(shù)，將注意力權(quán)重平均拆分為3份；S(·) 表示sigmoid函數(shù)，得到0～1.0的歸一化權(quán)值[27]；MLP(·) 表示輸入經(jīng)過卷積-Relu激活-卷積操作；Pa(·) 和Pm(·) 分別為平均池化和最大池化，用于對H×W×C的輸入進(jìn)行壓縮，得到1×1×C大小的向量.

將得到的權(quán)重分別與輸入相乘，調(diào)整不同輸入的重要性，增強(qiáng)重要信息抑制噪聲，則融合上下文信息的特征Y可以表示為

最后將語義特征不一致的輸入特征X′和Y經(jīng)過如圖2(b)所示的注意力特征融合模塊，得到分配給2個輸入特征圖的動態(tài)融合權(quán)重 δ 和(1-δ).將2個權(quán)重與輸入相乘得到融合特征Z，可以抑制不同語義特征融合導(dǎo)致的信息沖突問題，防止無人機(jī)小目標(biāo)信息被背景噪聲覆蓋，其中Z可以表示為

式中：δ(X′+Y) 表示輸入特征相加后經(jīng)過ICBAM得到的注意力權(quán)重矩陣.

ICBAM為改進(jìn)的CBAM[28]，ICBAM結(jié)構(gòu)如圖2(c)所示.首先經(jīng)過CAM得到權(quán)重 ωc，而后通過空間注意機(jī)制SAM得到注意力權(quán)重 ωs.無人機(jī)小目標(biāo)的重要特征是淺層的低級信息，而非高層的語義信息，輸入Z相較于經(jīng)過CAM得到的特征來說，語義信息更少.因此，將得到的 ωs與輸入Z相乘，再利用歸一化函數(shù)得到注意力權(quán)重矩陣Zo，可以表示為

式中：S(·) 為sigmoid歸一化函數(shù).

2.2 自適應(yīng)上采樣

YOLOv5算法采用最近鄰插值法作為上采樣方式，計(jì)算量小，運(yùn)算速度快，但是最近鄰插值法只考慮離采樣點(diǎn)最近的像素值，不考慮其他相鄰像素點(diǎn)造成的影響，導(dǎo)致插值結(jié)果不平滑，無人機(jī)小目標(biāo)特征損失較嚴(yán)重.為了緩解上采樣過程中，目標(biāo)特征丟失的問題，對上采樣方式進(jìn)行改進(jìn)，改進(jìn)后的上采樣方式如圖3所示.

該模塊使用亞像素卷和雙線性插值法作為新的上采樣方式.亞像素卷積對通道像素重新排列，得到高分辨率圖像，實(shí)現(xiàn)對特征圖放大的功能，可以保證完整的信息量，計(jì)算量小.由于放大特征圖尺寸會縮減通道數(shù)，且亞像素卷積的結(jié)果并不會改變上一層特征圖的特征信息，即上采樣后得到的特征圖與backbone網(wǎng)絡(luò)中同尺度特征圖相比，仍然損失一部分重要特征信息.雙線性插值考慮采樣點(diǎn)周圍4個相鄰點(diǎn)灰度值對它的影響，能更準(zhǔn)確還原出淺層的無人機(jī)特征信息，在一定程度上克服了采樣點(diǎn)不連續(xù)的問題，但是計(jì)算量更大一些.為了平衡計(jì)算量，盡可能還原更多重要特征信息，將亞像素卷積和雙線性插值法進(jìn)行融合輸出.

如圖3所示，首先對輸入特征X進(jìn)行通道縮放，減少計(jì)算量，得到特征圖X′.然后對X′分別進(jìn)行亞像素卷積和雙線性插值操作得到特征圖U和D，具體公式如下：

式中：conv(·) 表示卷積、批量歸一化以及SiLu激活函數(shù)的組合；SPconv(·) 表示亞像素卷積操作；Bilinear(·) 表示雙線性插值操作.之后將U和D融合得到特征圖F.

特征融合方式可以采用如圖3(a)所示的加權(quán)融合或如圖3(b)所示的拼接融合，即通道維度的相加或通道維度的拼接.

為了證明2種融合方式的優(yōu)劣，在公共數(shù)據(jù)集VisDrone2019[29]上進(jìn)行對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示.表中，P為準(zhǔn)確率，R為召回率，mAP0.5表示IoU為0.5時所有類別的平均精度；mAP0.5∶0.95表示IoU在0.50～0.95以0.05的步長變化求得的10個檢測精度的平均值；GFLOPs為10億次浮點(diǎn)運(yùn)算，用于表示模型的復(fù)雜度；基線模型為在YOLOv5算法模型的基礎(chǔ)上引入了MCIAFFE和SCE模塊.相比于拼接融合方式，加權(quán)融合模型復(fù)雜度較小，且其他指標(biāo)均有提升，因此本研究選擇加權(quán)融合方式對U和D進(jìn)行融合.

表1 特征融合方式對比實(shí)驗(yàn)Tab.1 Comparison experiments of feature fusion methods

由于亞像素卷積在進(jìn)行2倍上采樣時通道數(shù)會縮減4倍，須將雙線性插值的輸出通道通過卷積操作調(diào)整為與之相同的數(shù)量才能進(jìn)行加權(quán)操作.然后經(jīng)過自適應(yīng)平均池化、Softmax歸一化以及chunk分塊函數(shù)操作，得到自適應(yīng)權(quán)重 μ 和λ，得到的權(quán)重向量元素的和越大表示對應(yīng)的上采樣方式越重要，還原無人機(jī)小目標(biāo)信息的效果更好，更能達(dá)到增強(qiáng)有用信息抑制背景噪聲的目的.最后調(diào)整通道得到特征圖Y，具體公式如下：

2.3 空間相關(guān)性增強(qiáng)

無人機(jī)飛行時在真實(shí)成像設(shè)備中會呈現(xiàn)出只有幾個像素的極小目標(biāo)情況.當(dāng)處于顏色相似或形狀相似的復(fù)雜背景下時，由于受到背景噪聲的干擾，準(zhǔn)確提取前景小目標(biāo)的特征十分具有挑戰(zhàn)性.因此，增強(qiáng)背景和前景的辨識度和表達(dá)能力是非常有必要的.為了提高前景目標(biāo)的敏感度，提出空間相關(guān)性增強(qiáng)方法SCE.通過局部特征與全局特征的相關(guān)性分析，自適應(yīng)增強(qiáng)前景的特征識別能力.如圖4所示為SCE模塊的結(jié)構(gòu)圖.

圖4 空間相關(guān)性增強(qiáng)Fig.4 Spatial correlation enhancement

首先對輸入特征通道的重要性進(jìn)行評估，抑制背景噪聲.然后尋找輸入特征圖的空間局部特征，對空間局部特征進(jìn)行均值處理和重要性評估.隨后對局部特征與全局特征進(jìn)行相似度度量，根據(jù)相似關(guān)系對全局特征通道抑制或增強(qiáng)，提高目標(biāo)與背景的對比度，從而提高小目標(biāo)的識別能力.

如圖4所示，首先對輸入特征圖X利用自適應(yīng)平均池化和自適應(yīng)最大池化進(jìn)行處理，將特征映射到通道方向，然后利用歸一化函數(shù)對通道重要性進(jìn)行建模，得到描述全局特征的權(quán)重向量gi，則gi可以表示為

同時，對H×W×C的輸入特征圖沿空間方向遍歷，尋找對角線上的特征表示，并對得到的空間局部特征在W維度進(jìn)行對齊，得到C×1×W的特征表達(dá).隨后對其進(jìn)行一維卷積處理提取特征，得到空間局部特征表達(dá)H.

式中：?(·) 表示查找函數(shù)，用于在空間方向?qū)ふ揖植刻卣?；?·) 表示對齊函數(shù)，將尋找的局部特征在W維度對齊；conv1d3表示卷積核為3的一維卷積，用于提取特征.

為了保證局部特征與全局特征在維度上保持一致，將H上的特征沿W維度映射，采用沿W維度取均值操作，得到大小為C×1×1 的特征向量.然后對其進(jìn)行歸一化處理，得到描述空間局部特征的權(quán)重向量表達(dá)ki，表達(dá)式如下：

式中：Pmn(·) 表示取均值 函數(shù).

將全局特征的權(quán)重向量gi和局部特征的向量表達(dá)ki進(jìn)行相似度度量，得到描述局部特征和全局特征的相關(guān)性向量Pi：

將相關(guān)性向量疊加到全局特征向量表達(dá)gi，并作用到輸入特征圖X上，達(dá)到增強(qiáng)目標(biāo)抑制背景的目的，提高目標(biāo)區(qū)域的敏感度，更有利于從復(fù)雜背景中準(zhǔn)確提取目標(biāo)特征.

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境介紹

實(shí)驗(yàn)在自制無人機(jī)數(shù)據(jù)集和VisDrone2019數(shù)據(jù)集上進(jìn)行測試.自制無人機(jī)數(shù)據(jù)集制作如下：采用?？低晹z像頭拍攝DJIMINISE無人機(jī)在不同場景下不同背景的飛行視頻，對視頻圖像進(jìn)行剪裁處理，并從網(wǎng)上收集部分無人機(jī)圖片，隨后將所有圖像劃分為訓(xùn)練集、驗(yàn)證集和測試集，并進(jìn)行人工標(biāo)注.自建無人機(jī)數(shù)據(jù)集共有5 869張訓(xùn)練圖像、1 218張驗(yàn)證圖像和2 765張測試圖片.如圖5所示為自制無人機(jī)數(shù)據(jù)集中的樣本圖像.對數(shù)據(jù)集中的目標(biāo)邊界框尺度情況進(jìn)行統(tǒng)計(jì)，結(jié)果如表2所示.表中，Aa表示目標(biāo)框面積與圖像面積的比值區(qū)間，φn表示目標(biāo)框(或邊界框)處于Aa區(qū)間內(nèi)的數(shù)量百分比.

表2 不同尺度下的邊界框統(tǒng)計(jì)Tab.2 Statistics of bounding boxes at different scales

圖5 自制無人機(jī)數(shù)據(jù)集的樣本圖像Fig.5 Sample images from self-made UAV dataset

如圖6所示為自建數(shù)據(jù)集中所有無人機(jī)標(biāo)簽大小的分布圖.圖中，φH、φW分別表示無人機(jī)真實(shí)框的寬度和高度所占比例.可以看出，幾乎所有圖像中無人機(jī)的寬度和高度所占比例均小于0.1，符合實(shí)際場景下無人機(jī)飛行時成像比例的一般情況.

圖6 自制無人機(jī)數(shù)據(jù)集中無人機(jī)標(biāo)簽大小的分布圖Fig.6 Distribution of UAV label size of self-made UAV dataset

VisDrone2019數(shù)據(jù)集包含大量的密集小目標(biāo)對象，共有6 471張訓(xùn)練圖片，548張驗(yàn)證圖片和1 580張測試圖片，包含10個類別.如圖7所示為訓(xùn)練集和驗(yàn)證集中每個類別標(biāo)簽的分布情況.圖中，N為目標(biāo)框的數(shù)量.

圖7 VisDrone 2019數(shù)據(jù)集中訓(xùn)練集和驗(yàn)證集中每個類別的標(biāo)簽分布情況Fig.7 Distribution of labels of each category in train set and validation set of VisDrone 2019 dataset

采用Win10操作系統(tǒng)、基于pytorch框架的YOLOv5目標(biāo)檢測模型，在顯卡為NVIDIA Ge-Force RTX 3080、torch 1.11.0、內(nèi)存16 G、CUDA 11.5、顯存10 G的環(huán)境上進(jìn)行實(shí)驗(yàn).其中，batchsize設(shè)為12，輸入圖像尺寸為640×640，采用余弦退火學(xué)習(xí)率調(diào)整策略、Adam優(yōu)化器和mosaic數(shù)據(jù)增強(qiáng)策略，具體超參數(shù)采用算法默認(rèn)值.采用準(zhǔn)確率P、召回率R、mAP0.5、mAP0.5∶0.95、GFLOPs、FPS等指標(biāo)作為模型的評價指標(biāo).其中，F(xiàn)PS為幀率，衡量模型的實(shí)時性能.

3.2 消融實(shí)驗(yàn)

為了驗(yàn)證所提出的多尺度上下文信息和注意力特征融合增強(qiáng)模塊、自適應(yīng)上采樣方式和空間相關(guān)性增強(qiáng)模塊的有效性，在原始YOLOv5模型下依次加入各個模塊進(jìn)行消融實(shí)驗(yàn)，在自制數(shù)據(jù)集上訓(xùn)練并進(jìn)行驗(yàn)證，訓(xùn)練100個epoch的結(jié)果如表3所示，訓(xùn)練過程中各個模塊的mAP0.5變化如圖8所示.

表3 自制無人機(jī)數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Tab.3 Results of ablation experiments of self-made UAV dataset

圖8 訓(xùn)練過程中mAP0.5的變化過程Fig.8 Change process of mAP0.5 during training

消融實(shí)驗(yàn)結(jié)果表明，與原始YOLOv5模型在自制無人機(jī)數(shù)據(jù)集上的訓(xùn)練參數(shù)相比，所提出的算法可以顯著提高無人機(jī)目標(biāo)檢測性能.如表3所示，在原始YOLOv5中加入MCIAFFE后，算法各項(xiàng)指標(biāo)得到提升，其中P提高了0.8%，R提高了2.9%，mAP0.5和mAP0.5∶0.95分別提高了2.7%和2.2%，證明上下文信息中含有豐富的無人機(jī)小目標(biāo)信息；當(dāng)加入自適應(yīng)上采樣后，P提高了0.6%，R提高了1.3%，mAP0.5和mAP0.5∶0.95分別提高了0.1%和2.0%，表明新的上采樣方法可以還原更多的小目標(biāo)位置和細(xì)節(jié)信息；加入SCE模塊后，P和R分別提高了0.3%和1.2%，mAP0.5∶0.95提高了0.3%，由此可知，空間相關(guān)性增強(qiáng)模塊可以增強(qiáng)復(fù)雜背景中目標(biāo)與背景的辨識度，并提高特征識別能力.

由表3可知，所提出的算法相對于原始模型，P提高了1.6%，R提高了4.3%，mAP0.5和mAP0.5∶0.95分別提高了2.4%和2.7%，且檢測速度依然能夠達(dá)到58.5幀/s.由于實(shí)時檢測要求檢測幀率大于25幀/s，所提算法仍然滿足實(shí)時性的要求.由圖8可以看出，當(dāng)訓(xùn)練過程趨于穩(wěn)定后，所提算法的mAP0.5始終高于原始模型的.由此可見，所提算法能有效減少無人機(jī)目標(biāo)在特征提取過程中造成的信息丟失，融合淺層重要的細(xì)節(jié)和位置信息，同時增強(qiáng)目標(biāo)與背景的對比度，從而提高特征識別能力和無人機(jī)小目標(biāo)的檢測能力.

綜上所述，在無人機(jī)數(shù)據(jù)集上訓(xùn)練時，加入所提算法，可以顯著提高無人機(jī)檢測的性能指標(biāo)參數(shù).

為了更直觀地看出所提算法的檢測性能，從自制無人機(jī)數(shù)據(jù)集中選取多目標(biāo)和遮擋條件下的2幅圖像，并用原始YOLOv5算法和本研究改進(jìn)算法分別檢測，結(jié)果如圖9所示，圖中從上到下分別為原始圖像、原始YOLOv5算法的檢測圖、本研究改進(jìn)算法的檢測圖.

圖9 YOLOv5和本研究所提算法的檢測結(jié)果對比Fig.9 Comparison of detection results between YOLOv5 and proposed algorithm

由圖9(a)可以看出，原始YOLOv5算法對于極小尺寸的多無人機(jī)目標(biāo)存在漏檢的情況，且對于在特征相似的樹枝背景下的無人機(jī)目標(biāo)，準(zhǔn)確率只有56%，而所提算法不僅解決了極小目標(biāo)漏檢的情況，檢測準(zhǔn)確率也大大提高，尤其對于相似特征背景下的無人機(jī)檢測，準(zhǔn)確率達(dá)到了80%.如圖9(b)所示，在背景特征相似、目標(biāo)被遮擋的情況下，所提算法的檢測精度也高出原始YOLOv5算法6%.由圖9的檢測對比結(jié)果可知，所提算法提高了極小尺寸無人機(jī)目標(biāo)的檢測準(zhǔn)確率，同時提高了復(fù)雜背景下小目標(biāo)的特征提取能力.

3.3 對比實(shí)驗(yàn)

為了驗(yàn)證所提算法在無人機(jī)小目標(biāo)檢測方面具有良好的性能，在自制數(shù)據(jù)集上將所提算法與目前主流檢測算法進(jìn)行對比，結(jié)果如表4所示.可以看出，所提算法在幾種經(jīng)典的通用目標(biāo)檢測算法當(dāng)中具有良好的檢測性能，其中相比于SSD算法，mAP0.5提高27.5%；相比于Refinedet算法，mAP0.5提高了12.6%；相比于YOLOv4算法，mAP0.5和mAP0.5∶0.95分別提高了11.7%和13.7%；與YOLOv5相比，mAP0.5和mAP0.5∶0.95也有2.4%和2.7%的提高；與先進(jìn)的改進(jìn)通用目標(biāo)檢測算法相比，也表現(xiàn)出良好的性能，相比于Edgeyolo[31]，所提算法的mAP0.5和mAP0.5∶0.95分別提高了13%和8%；與ScaledYOLOv4[32]相比，本研究算法依然具有更好的檢測能力，其中P、R、mAP0.5和mAP0.5∶0.95分別提高了1.5%，1.6%，3.6%和1.8%.與其他小目標(biāo)檢測算法相比，所提算法也表現(xiàn)更好，如與MDSSD[33]相比，mAP0.5提高了16.8%，與SuperYOLO[34]相比，所提算法的P、R、mAP0.5和mAP0.5∶0.95分別提高了5.8%、2.9%、0.6%和0.9%.

表4 不同檢測方法在自制無人機(jī)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of different detection methods on self-made UAV dataset

為了進(jìn)一步驗(yàn)證本研究算法的有效性，在公共數(shù)據(jù)集VisDrone2019上進(jìn)行實(shí)驗(yàn)，并與原始YOLOv5目標(biāo)檢測模型進(jìn)行對比，實(shí)驗(yàn)結(jié)果如表5所示.表中，模型A為3.2節(jié)中提到的基線模型，即在YOLOv5算法上引入了MCIAFFE和SCE.可以看出，本研究提出的改進(jìn)算法在Vis-Drone2019數(shù)據(jù)集上依然具有良好的性能，具體表現(xiàn)為：mAP0.5比原始YOLOv5模型提高了4.6%，mAP0.5∶0.95提高了1.3%，P和R分別具有4.6%和4.3%的提升，其中相對于模型A來說，替換本研究提出的上采樣方式后，GFLOPs僅增加了1.6，且其他指標(biāo)均略有上升.

表5 VisDrone2019數(shù)據(jù)集上的檢測結(jié)果Tab.5 Detection results on VisDrone2019 dataset

如表6所示為所提算法與原始YOLOv5算法在VisDrone2019數(shù)據(jù)集上各個類別的mAP0.5.表中，Δ 為本研究算法相對于YOLOv5算法在mAP0.5上的提升.可以看出，所提算法對于所有類別均有不同程度的提升效果，其中對類別pedestrian、car和bus具有極為明顯的提升，說明所提算法不僅對于無人機(jī)小目標(biāo)具有良好的檢測效果，對于其他目標(biāo)依然具有較強(qiáng)的檢測能力.

表6 VisDrone2019數(shù)據(jù)集上各個類別的mAP0.5Tab.6 mAP0.5 of each category on VisDrone2019 dataset

為了驗(yàn)證本研究算法在復(fù)雜場景中對密集目標(biāo)的檢測效果，從VisDrone2019數(shù)據(jù)集中的挑戰(zhàn)性測試集中選取檢測困難的2張圖像進(jìn)行可視化檢測，結(jié)果如圖10所示.可以看出，所提算法對于密集遮擋小目標(biāo)依然具有良好的檢測能力，能準(zhǔn)確識別絕大多數(shù)目標(biāo).但是在模糊光線導(dǎo)致圖像分辨力下降的場景中所提算法發(fā)生了誤識別情況，如第1張圖片中將左側(cè)的pedestrian和中間的tricycle誤識別為bicycle，將右側(cè)的2個路障誤識別為pedestrian.在光線條件較好的場景下，如第2張圖片中，所提算法能夠準(zhǔn)確檢測到被遮擋的密集行人，具有良好的性能.對模糊場景下的密集小目標(biāo)的檢測不可避免的存在誤檢情況，如何進(jìn)一步優(yōu)化算法網(wǎng)絡(luò)是減小誤檢的關(guān)鍵.

圖10 挑戰(zhàn)性測試集檢測結(jié)果Fig.10 Detection results on challenge testset

4 結(jié)語

為了提高無人機(jī)的檢測效果，提出基于自適應(yīng)上采樣和空間相關(guān)性增強(qiáng)的無人機(jī)小目標(biāo)檢測算法.首先通過多尺度空洞卷積融合淺層重要特征，并采用改進(jìn)CBAM的注意力特征融合模塊抑制融合時的信息沖突；其次，提出基于自適應(yīng)融合的上采樣方式，更準(zhǔn)確地還原低級特征同時平衡計(jì)算量；最后，提出空間相關(guān)性增強(qiáng)模塊，通過局部特征和全局特征的相關(guān)性提高目標(biāo)與背景的對比度，增強(qiáng)復(fù)雜背景下小目標(biāo)特征提取的能力.在自制無人機(jī)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，所提算法的mAP0.5和mAP0.5∶0.95分別為76.1%和32.5%，檢測速度為58.5幀/s；在VisDrone2019數(shù)據(jù)集上，mAP0.5和mAP0.5∶0.95分別提高到35.5%和17.0%.實(shí)驗(yàn)結(jié)果表明，本研究所提算法在顯著提高檢測性能的同時保證了實(shí)時性.但是本研究算法仍有不足，未來將考慮對網(wǎng)絡(luò)進(jìn)一步優(yōu)化以降低模糊場景下目標(biāo)的誤檢率，同時引入剪枝操作對模型進(jìn)行輕量化處理，保證算法性能并減小模型大小.