目標(biāo)邊緣特征增強檢測算法

李雪萌，楊大偉，毛 琳

(大連民族大學(xué) 機電工程學(xué)院，遼寧 大連 116605)

目標(biāo)檢測算法因卷積特征表達能力不足，而致使檢測偏離真實值，常表現(xiàn)為對小目標(biāo)和同類多目標(biāo)檢測失效。基于深度學(xué)習(xí)的目標(biāo)檢測算法致力于不斷提高檢測精度，按兩階段和單階段目標(biāo)檢測算法進行分類。兩階段檢測算法的代表是基于區(qū)域生成的豐富特征層次結(jié)構(gòu)網(wǎng)絡(luò)(RCNN[1])系列算法，RCNN檢測算法通過對輸入的圖片生成候選區(qū)域，使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(AlexNet[2])主干網(wǎng)絡(luò)進行特征提取，并訓(xùn)練支持向量機(Support Vector Machine,SVM)對特征進行區(qū)域分類，取得比傳統(tǒng)檢測方法更好的結(jié)果。但其訓(xùn)練步驟繁瑣，重復(fù)計算多。兩階段算法較單階段算法擁有更高的檢測精度，但檢測效率較低。單階段檢測算法包含單次取樣計算(You only look once，YOLO[3])、單次多尺度檢測器(Single Shot MultiBox Detector，SSD[4])、分組角點檢測網(wǎng)絡(luò)(CornerNet)等。CornerNet具有可以與兩階段檢測器相媲美的檢測精度，該算法將對目標(biāo)的檢測轉(zhuǎn)換為對目標(biāo)關(guān)鍵點的檢測，使用沙漏特征提取網(wǎng)絡(luò)(Hourglass[5])作為骨干網(wǎng)絡(luò)，通過目標(biāo)左上角點與右下角點確定邊界框位置，省略生成錨框的步驟。

CornerNet檢測特征角點時，常常對目標(biāo)邊界定位不準(zhǔn)確，當(dāng)目標(biāo)尺寸過小或同類目標(biāo)距離過近時，容易出現(xiàn)漏檢或錯檢現(xiàn)象。針對誤撿漏檢等問題，提出基于多尺度特征融合的小目標(biāo)行人檢測[6]，結(jié)合反卷積與特征融合思想，實現(xiàn)深層特征與淺層特征結(jié)合使用，在一定程度上提高檢測精度，但網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，同時計算量增加。文獻[7]為解決復(fù)雜背景下全景視頻中運動小目標(biāo)檢測精度低的問題，提出了一種基于復(fù)雜背景下全景視頻運動小目標(biāo)檢測算法，通過分離前景背景信息，提取有效的前景信息并訓(xùn)練前景特征圖，實現(xiàn)小目標(biāo)的精準(zhǔn)檢測，但算法運算時間長，無法實現(xiàn)目標(biāo)實時檢測。

本文提出一種邊緣特征增強的CornerNet目標(biāo)檢測算法(Octconv Egle feature enhancement Cornernet，OEC)，通過增強圖像邊緣特征實現(xiàn)邊界框的精確定位。該算法加入OEC邊緣特征增強模塊獲取目標(biāo)的高低頻分量信息，經(jīng)融合兩種不同分量信息增強邊緣特征表達能力，改善CornerNet角點檢測漏檢、精度下降的情況，有效提升對小目標(biāo)的檢測，對空間距離較小的同類目標(biāo)區(qū)分能力顯著提升，進一步提高檢測精度。

1 OEC目標(biāo)邊緣特征增強檢測算法

CornerNet算法的核心思想，是通過一個沙漏主干神經(jīng)網(wǎng)絡(luò)分別對目標(biāo)的左上角和右下角進行卷積池化處理，獲取目標(biāo)邊框角點，利用熱圖(Heatmap)估計目標(biāo)所在的真實位置。預(yù)測邊框角點時，在沙漏網(wǎng)絡(luò)提取特征細節(jié)信息的過程中，一旦信息缺失或不完整，將直接影響熱圖對目標(biāo)位置的判斷，導(dǎo)致目標(biāo)范圍定位不準(zhǔn)確。

OEC目標(biāo)檢測算法運用圖像頻率域高低頻信息融合的思想，通過強調(diào)特征中高頻信息分量增強邊緣特征信息，有利于熱圖對角點位置的檢測，不僅解決低頻分量冗余問題，更可提高識別性能，能夠?qū)δ繕?biāo)進行有效區(qū)分和定位，改善對空間距離較小的同類目標(biāo)以及小目標(biāo)檢測精度較低的問題。OEC目標(biāo)檢測算法結(jié)構(gòu)框架如圖1。

圖1 OEC目標(biāo)檢測算法結(jié)構(gòu)

1.1 OEC模塊

OEC檢測算法由串聯(lián)型OEC邊緣特征增強模塊實現(xiàn)，目的為從沙漏網(wǎng)絡(luò)中分離出高頻、低頻不同的特征分量信息。在CornetNet網(wǎng)絡(luò)中，特征經(jīng)沙漏網(wǎng)絡(luò)輸出后直接進入角點處理層，即由A到A′點直接相連，在角點處理層中直接計算熱圖，確定目標(biāo)位置。由于熱圖計算對目標(biāo)邊緣信息極為敏感，OEC模塊在沙漏網(wǎng)絡(luò)后，即AA′之間插入OEC邊緣特征增強模塊，通過OEC模塊對特征進行邊緣增強處理，分解為不同頻率，融合輸出適當(dāng)?shù)母哳l特征信息，為熱圖計算目標(biāo)位置提供良好的預(yù)處理。

(1)特征通過沙漏網(wǎng)絡(luò)進入OEC模塊。經(jīng)過1×1×128的卷積Conv進行降維變換，調(diào)整特征圖尺度。

(2)引入八度卷積(Octave Convolution，OctConv[8])過濾特征信息，對輸入頻率張量中的低頻和高頻分量進行處理，輸出融合信息。

(3)輸出的高頻信息經(jīng)過1×1×128的反卷積DConv還原尺度，在角點處理層中生成熱圖，計算角點，得到目標(biāo)的邊框信息。

OEC模塊結(jié)構(gòu)如圖2。

圖2 OEC邊緣特征增強模塊結(jié)構(gòu)

1.2 邊緣特征增強

在卷積神經(jīng)網(wǎng)絡(luò)中，通過對特征圖進行頻率分離，可以充分提取圖像的相關(guān)特征信息。在邊緣特征增強模塊中，引入OctConv算法對輸入特征中的低頻和高頻分量進行分離-融合處理，通過融合部分低頻信息，輸出更多的高頻信息，增強目標(biāo)邊緣特征。

當(dāng)γ=0時，僅包含高頻分量，沒有低頻分量信息，此時OctConv退化為普通卷積；當(dāng)γ=1時，只輸出低頻信息而沒有高頻信息。

輸出的融合分量設(shè)為Y，則Y的構(gòu)建過程為

Y=[γYL+(1-γ)YH]]·D；

(1)

YL=(XL?M)+P(XH?M) ；

(2)

YH=(XH?M)+U(XL?M) 。

(3)

式中：D∈(0,1)為幅值系數(shù)；?為卷積計算；P為池化操作；U為上采樣操作。通過調(diào)節(jié)頻率分配系數(shù)γ控制融合分量的比率，最終輸出高低頻融合信息Y。

高低頻融合張量的計算過程為

(4)

OEC模塊通過融合高低頻信息，有效替代普通卷積，穩(wěn)定提高識別性能。

1.3 邊緣特征可視化

邊緣特征的增強有利于熱圖計算，從而更精確地確定目標(biāo)位置，通過計算OEC 高頻輸出后在熱圖中的類別得分，設(shè)計損失函數(shù)確定目標(biāo)類別和檢測的準(zhǔn)確性。計算得到高頻增強的熱圖得分：

(5)

由于高頻處理能夠突出特征的邊緣信息，利于特征邊緣信息的增強顯示，通過OEC模塊增強高頻信息，融合低頻信息，在實現(xiàn)高低頻分量特征有效通信的基礎(chǔ)上輸出更多的高頻分量。得到損失函數(shù)：

(6)

式中：pc為熱圖中類別c的得分；n是圖像中目標(biāo)的數(shù)量；α和β是控制角點的超參數(shù)；Sc為高頻輸出，(1-Sc)項增強了對真實值的約束。輸入到熱圖的特征經(jīng)OEC模塊增強后的可視化對比如圖3。

圖3 邊緣特征可視化對比

圖3中(1)行為原始圖像；(2)行為CornerNet原始算法中經(jīng)Conv卷積層的可視化表達；(3)行為OEC算法中經(jīng)OEC模塊的可視化表達；(4)行為原始卷積細節(jié)顯示效果；(5)行為經(jīng)OEC算法特征增強后細節(jié)顯示效果。OEC檢測算法增強目標(biāo)的邊緣特征信息，在一定程度上提高了邊緣特征的表達能力，利于目標(biāo)的檢測。

2 仿真分析

本算法運行環(huán)境硬件配置為NVIDIA 1080Ti顯卡，軟件系統(tǒng)為Ubuntu16.04，使用Pytorch0.4.0深度學(xué)習(xí)框架，訓(xùn)練使用語境中通用目標(biāo)(Common Objects in Context，COCO[9])2014數(shù)據(jù)集，共有123 287張圖片。將頻率分配系數(shù)設(shè)置為0，幅值系數(shù)D設(shè)為1，不改變特征圖輸入與輸出的大小，輸出融合信息，增強高頻特征。COCO 2014數(shù)據(jù)集提供的圖片包含80個類別，經(jīng)過與CornerNet仿真分析，設(shè)置批處理大小為2，在同樣迭代80 000次的情況下，學(xué)習(xí)率為0.000 25，以IOU=0.5為標(biāo)準(zhǔn)進行對比分析。仿真結(jié)果見表1。

表1 算法對比結(jié)果

測試結(jié)果顯示OEC檢測算法mAP為0.302高于CornerNet檢測算法(0.223)。在COCO數(shù)據(jù)集80個檢測類別中，OEC檢測算法的平均準(zhǔn)確率均優(yōu)于CornerNet，列舉20個類別對比見表3。

表2 在COCO2014數(shù)據(jù)集上的仿真結(jié)果

OEC檢測算法對人、交通工具、動物等類別檢測效果的提高尤其明顯，應(yīng)用于無人駕駛系統(tǒng)、智能機器人等領(lǐng)域時，可有效提高檢測精度，相比CornerNet存在較大優(yōu)勢。

選取OEC與CornerNet四組場景的測試結(jié)果如圖4。

第一組對比圖中由于目標(biāo)過小，且目標(biāo)與背景區(qū)分度不高，CornerNet不能檢測遠處場景中小目標(biāo)(右側(cè)的人)，而OEC能夠準(zhǔn)確檢測并分類；第二組對比圖中，同一類目標(biāo)過多且重疊度高，OEC相比CornerNet能夠檢測出更多的小目標(biāo)；第三組對比圖存在多個同一類目標(biāo)且位置相近，CornerNet出現(xiàn)漏檢的現(xiàn)象，OEC準(zhǔn)確檢測到CornerNet未檢測到的目標(biāo)(右數(shù)第四個人)；第四組對比圖中，CornerNet由于關(guān)鍵點定位錯誤，對于空間距離相近的同類目標(biāo)不能夠正確區(qū)分，OEC能夠正確區(qū)分同一目標(biāo)的不同位置，對目標(biāo)進行精確框定。

OEC目標(biāo)檢測算法在一定程度上提高檢測精度的同時，對于場景中存在多個目標(biāo)以及目標(biāo)與背景區(qū)分度過低情況下的檢測效果仍待提升，如圖5。

a)CornerNet測試結(jié)果 b)OEC測試結(jié)果

a)目標(biāo)密集場景 b)目標(biāo)區(qū)分度低場景

圖5a中由于目標(biāo)分布較密集，OEC算法不能檢測出場景中的所有目標(biāo)；圖5b中，目標(biāo)與背景區(qū)分度過低，目標(biāo)(右側(cè)的小鳥)沒有被檢測到。

對比CornerNet算法檢測結(jié)果，OEC算法的檢測精度提升幅度達0.9%，檢測效果提升明顯。雖然增加了卷積操作但訓(xùn)練時間并沒有較大差距，同時計算量減少。OEC檢測算法通過增強特征細節(jié)，能夠檢測到更多的特征信息，對小目標(biāo)和空間距離較小的同類目標(biāo)檢測效果較好，并適用于復(fù)雜場景，檢測精度有明顯的優(yōu)勢。

3 結(jié) 語

本文針對CornerNet檢測算法對角點檢測容易出現(xiàn)漏檢和檢測效果不佳的情況，加入邊緣特征增強模塊分離并輸出更多的高頻信息，提出OEC目標(biāo)邊緣特征增強檢測算法，通過增強邊緣特征信息，進一步提高檢測精度。與CornerNet算法相比，OEC算法進一步改善了目標(biāo)的框定效果，并得到較優(yōu)結(jié)果，提高對尺寸較小目標(biāo)的檢測精度，對空間距離較小的同類目標(biāo)區(qū)分能力提升，適用于無人駕駛及移動機器人等場景。后續(xù)工作中，希望進一步提高對復(fù)雜場景下存在多個目標(biāo)的檢測精度，提升目標(biāo)與背景的區(qū)分能力。