用于多尺度道路目標檢測的優(yōu)化定位置信度改進算法

劉 悅,張 璐,羅文廣,葉洪濤,石 英,林朝俊

1(武漢理工大學 自動化學院,武漢 430070)

2(國網(wǎng)電力科學研究院武漢南瑞有限責任公司,武漢 430070)

3(廣西汽車零部件與整車技術(shù)重點實驗室(廣西科技大學),廣西 柳州 545006)

1 引 言

基于計算機視覺的道路場景目標檢測是無人駕駛領(lǐng)域的研究基礎(chǔ),并被廣泛應用于輔助駕駛、視頻監(jiān)控、車輛行人跟蹤等任務(wù).道路目標檢測通過預測帶有類別標簽的包圍框(Bounding box,Bbox)來檢測城市道路上的車輛、行人等目標,算法的準確率和實時性直接影響到無人駕駛車輛的安全性能和反應速度,因此道路場景下的目標檢測仍然是無人駕駛領(lǐng)域的熱點問題.近年來,隨著人工智能技術(shù)的飛速發(fā)展,基于深度學習的道路場景目標檢測算法已經(jīng)成為主流[1],從設(shè)計原理來看可以分為雙階段、單階段以及1.5階段3類.

雙階段算法R-CNN[2]是深度學習在目標檢測領(lǐng)域的開山之作,在此基礎(chǔ)上,Fast-RCNN[3]采用選擇性搜索方法(Selective Search)[4]生成感興趣區(qū)域(Region of Interest,RoI),并通過ROI及其提取的特征進行檢測.Faster-RCNN[5]進一步提出改善區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)提取RoI來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),實現(xiàn)了端對端檢測,推動了道路場景目標檢測的發(fā)展.以上雙階段算法均通過Rol Pooling或RoI Align[6]實現(xiàn)特征對齊,算法結(jié)構(gòu)復雜、推理時間長,專注于提升準確率卻犧牲了實時性[7],難以直接應用于道路場景.

為了滿足道路場景的實時性要求,以YOLO系列[8-11]、SSD系列[12-14]為代表的單階段算法應運而生.YOLO系列算法將檢測問題轉(zhuǎn)化為回歸式問題,直接預測目標相應的包圍框以及其所屬類別的概率,從而縮短了推理時間.SSD系列算法通過多尺度特征圖進行預測,提高了城市道路上不同尺度目標的檢測精度.以上單階段算法通過逐像素預測結(jié)構(gòu)簡化了神經(jīng)網(wǎng)絡(luò),滿足了實時性要求,但檢測結(jié)果嚴重依賴于精細的訓練技巧,應用于復雜的道路場景時不夠準確.

1.5階段算法在檢測精度和實時性之間取得了平衡,適合用于道路場景目標檢測.這類算法不僅具有雙階段算法的特征對齊性質(zhì),而且采用了單階段算法的逐像素預測結(jié)構(gòu).AlignDet[15]通過對比RoI Align和卷積計算中的im2col發(fā)現(xiàn)兩者可以轉(zhuǎn)換,提出RoIConv根據(jù)計算得到的偏移量實現(xiàn)特征對齊.RepPoints[16]則直接預測偏移量作為可變形卷積(Deformable Convolutional)[17,18]的offset實現(xiàn)特征對齊,同時以上算法在輸出部分均采用逐像素預測結(jié)構(gòu).

然而道路場景視野寬闊、目標尺度跨度大,以上3類算法均未能解決多尺度道路目標檢測困難的問題.此外,這些算法在后處理階段均存在檢測質(zhì)量表征不合理問題.在非極大值抑制(Non-Maximum Suppression,NMS)[19]過程中,以上算法直接采用類別標簽的概率作為分類置信度來表征檢測質(zhì)量,然后對候選結(jié)果進行排序以剔除冗余包圍框.但分類置信度只能衡量分類質(zhì)量而沒有考慮定位質(zhì)量,用來表征檢測質(zhì)量顯然不合理.IoU-Net[20]基于特征對齊網(wǎng)絡(luò),預測包圍框及其對應真實框之間的交并比(Intersection over Union,IoU)作為定位置信度來衡量定位質(zhì)量,提高了檢測精度.文獻[21]基于IoU設(shè)計了一種非線性變換的定位置信度指標,提升了車輛行人的檢測效果.但IoU只有在特征對齊網(wǎng)絡(luò)中才能生效,難以應用于單階段算法.單階段acnhor-free算法FCOS[22]逐像素預測點到包圍框的中心度centerness作為定位置信度,應用于道路場景具有較好的精度和實時性.ATSS[23]對FCOS和RetinaNet[24]進行對比分析,證明了centerness的有效性.

定位置信度決定了NMS階段的結(jié)果走向,直接影響最終的檢測精度,其重要性不言而喻,但目前鮮有針對道路場景下定位置信度的研究,其原因在于研究框架的構(gòu)建較為困難.雙階段算法具有特征對齊的性質(zhì),但不滿足centerness所需的逐像素預測結(jié)構(gòu);單階段算法采用逐像素預測,但不滿足IoU所需的特征對齊性質(zhì),以上兩類算法均無法作為研究框架.而目前最新的1.5階段算法兼具特征對齊和逐像素預測雙重特性,道路場景目標檢測選用該網(wǎng)絡(luò)架構(gòu),對定位置信度進行研究與改進十分便利,且能兼顧精度和實時性.本文選擇1.5階段算法中最具代表性的RepPoints研究定位置信度對多尺度道路目標的敏感性,并根據(jù)研究結(jié)果提出優(yōu)化定位置信度改進算法,解決了檢測質(zhì)量表征不合理問題,提高了多尺度目標檢測精度.本文的主要貢獻有:

1)基于RepPoints構(gòu)建了定位置信度研究框架,研究定位置信度對多尺度道路目標的敏感性;

2)基于尺度敏感性研究結(jié)果提出了混合定位置信度,提高了檢測質(zhì)量表征方法的合理性;

3)提出了CIoU定位置信度進一步區(qū)分重疊程度相同的包圍框,提高了IoU的區(qū)分度;

4)結(jié)合混合定位置信度和CIoU定位置信度得到優(yōu)化定位置信度改進算法,解決了檢測質(zhì)量表征不合理問題,只需增加極少參數(shù),就能顯著提升多尺度目標的檢測精度.

2 道路目標的檢測質(zhì)量表征方法

常規(guī)的道路場景檢測算法采用輸出層預測的類別標簽概率作為分類置信度,來表征包圍框的檢測質(zhì)量.檢測質(zhì)量由分類質(zhì)量和定位質(zhì)量兩部分組成,分類質(zhì)量由分類置信度分數(shù)進行衡量,定位質(zhì)量由包圍框與真實框的IoU進行衡量,其計算公式為:

(1)

式(1)中,boxgt表示真實框,boxdet表示包圍框.

對于道路場景目標檢測,僅采用分類置信度表征檢測質(zhì)量、不考慮定位質(zhì)量顯然不合理.如圖1所示,包圍框1和包圍框2的分類結(jié)果均為行人,包圍框2的分類置信度為0.853,低于包圍框1的0.906,但包圍框2和真實框的IoU為0.738,明顯高于包圍框1.如果采用分類置信度表征檢測質(zhì)量,那么定位質(zhì)量較差但分類置信度最高的包圍框1在NMS階段被保留為檢測結(jié)果,但實際上包圍框2分類正確且定位更準.分類置信度與IoU相關(guān)性極低,所以分類置信度最高的包圍框往往檢測質(zhì)量不是最高,以上檢測質(zhì)量表征不合理問題直接導致了算法精度降低.

圖1 常規(guī)檢測質(zhì)量表征方法Fig.1 Conventional representation of detection quality

在網(wǎng)絡(luò)中增加一個定位置信度分支,預測一個衡量定位質(zhì)量的置信度分數(shù)可以使檢測質(zhì)量的表征更合理.將預測的定位置信度乘以分類置信度作為檢測質(zhì)量分數(shù),用作NMS階段的排序指標,能夠兼顧分類質(zhì)量和定位質(zhì)量.目前定位置信度主要有IoU和centerness兩種.IoU直接采用最終定位質(zhì)量的衡量指標作為定位置信度,需要在結(jié)構(gòu)復雜的特征對齊網(wǎng)絡(luò)中才能生效,其計算公式如式(1)所示.由公式可知IoU定位置信度沒有考慮中心點距離、長寬比等幾何因素,無法區(qū)分重疊程度相同的包圍框,對此本文將在4.2節(jié)進行改進.Centerness計算像素點到對應包圍框的中心度,間接采用位置信息表示定位質(zhì)量,只需在逐像素預測網(wǎng)絡(luò)中就能生效[23],其計算公式為:

(2)

其中,l*、r*、t*和b*表示預測像素點到包圍框4條邊的距離.

IoU和centerness都可以用來衡量定位質(zhì)量,但目前的道路場景檢測算法均對不同尺度的目標使用相同的定位置信度,沒有考慮到兩者對多尺度道路目標的敏感性不同.

3 定位置信度敏感性研究

本節(jié)研究常用的兩種定位置信度對多尺度道路目標的敏感性.首先構(gòu)建研究框架并介紹實驗設(shè)置,然后通過對比實驗考量IoU和centerness對多尺度目標的精度影響,并從計算原理出發(fā)分析對比實驗結(jié)果,最后統(tǒng)計標簽分布進一步驗證計算原理分析.

3.1 定位置信度研究框架構(gòu)建

本文基于1.5階段檢測算法RepPoints構(gòu)建定位置信度研究框架.RepPoints通過可變形卷積實現(xiàn)特征對齊,具體如圖2所示.首先在特征圖上逐像素學習N(N=9)個語義關(guān)鍵點坐標offsets,offsets經(jīng)過解碼和轉(zhuǎn)換得到包圍框,即可由真實框進行監(jiān)督.當可變形卷積計算到黑色像素點時,其對應的3*3卷積核加上網(wǎng)絡(luò)預測的offsets,形狀變成陰影部分的9個點.不同于原始卷積核對應區(qū)域僅包含部分特征,陰影部分的9個點組成的區(qū)域映射回原圖基本包含目標的完整信息.在網(wǎng)絡(luò)的輸出部分,RepPoints逐像素進行分類、回歸.因此RepPoints兼具特征對齊和逐像素預測雙重特性,對IoU和centerness均適用,適合作為定位置信度研究框架.

圖2 RepPoints中的特征對齊過程Fig.2 Feature alignment in RepPoints

研究框架總體結(jié)構(gòu)如圖3所示.輸入的道路場景圖像首先經(jīng)過ResNet提取特征、FPN融合特征,得到道路場景特征通過可變形卷積實現(xiàn)對齊,最后在網(wǎng)絡(luò)的輸出部分,基于對齊的特征圖逐像素進行檢測并額外預測一個定位置信度.定位置信度分支和回歸分支共享特征,通過一個1*1卷積輸出結(jié)果,能避免特征擴散,保證每個像素點上信息的獨立性.此外,該分支僅使用正樣本作為訓練樣本,避免大量負樣本影響訓練.在該框架下,只需改變該分支的標簽,即可在網(wǎng)絡(luò)中使用不同定位置信度.

圖3 定位置信度研究框架Fig.3 Research framework of localization confidence

3.2 實驗設(shè)置

運行環(huán)境.本文的實驗均在Python環(huán)境下進行,操作系統(tǒng)為64位的 Ubuntu 20.04,深度學習框架為Pytorch1.5;硬件配置為CPU Intel(R)i5-10400F;內(nèi)存16G;GPU NVIDIA GeForce RTX 3060.

數(shù)據(jù)集與評價指標.本文選擇主流的道路場景數(shù)據(jù)集Cityscapes[25]作為道路場景下目標檢測數(shù)據(jù)集,Cityscapes包含了50個不同城市的道路場景圖像,訓練集和測試集分別包含2975張和500張帶有標注的圖片.

本文使用全類平均準確度(Mean Average Precision,mAP)衡量算法性能[26],mAP值越高,表示檢測性能越強,s代表目標的面積,使用APS衡量道路場景中的小目標(096)檢測效果[27].使用FPS(每秒傳輸幀率)作為衡量算法實時性的指標.

實驗參數(shù)設(shè)置.本文使用ImageNet預訓練的ResNet-50作為骨干網(wǎng)絡(luò).在訓練過程中,將Cityscapes數(shù)據(jù)集中的圖片調(diào)整至適合道路場景實際應用的大小,使其短邊小于640,長邊小于1280.

此外,在訓練中使用了隨機梯度下降(SGD)優(yōu)化器.學習率設(shè)置為0.00125,權(quán)重更新的動量設(shè)置為0.9.將批處理大小設(shè)置為1,并訓練237200次迭代,并在第166041和第213481次迭代時將學習率下降為0.000125和0.0000125,每23720次迭代保存每個網(wǎng)絡(luò)臨時模型.

3.3 定位置信度對多尺度道路目標敏感性研究

對比實驗.首先通過定位置信度對比實驗,考量IoU和centerness對道路場景中多尺度目標的精度影響,實驗結(jié)果如表1所示.IoU作為定位置信度時總體效果優(yōu)于centerness,相比于baseline,mAP提升了1.1%,對各尺度目標檢測精度均有提升,尤其是中、小目標提升明顯,其中小目標精度APS提高了0.9%,中目標的精度APM提高了1.2%;Centerness對大目標作用明顯,APL提高1.6%,但檢測小目標時精度下降,總體作用效果不明顯.

表1 定位置信度對比實驗結(jié)果Table 1 Comparative experimental results of localization confidence

計算原理分析.從定位置信度的計算原理出發(fā)分析上述對比實驗結(jié)果.根據(jù)公式(1)和公式(2)可以分別計算IoU和centerness的標簽值,當應用于不同尺度的目標時,這兩種定位置信度的標簽由于計算原理的不同存在顯著差異,具體如圖4所示.

圖4 定位置信度計算原理示意圖Fig.4 Calculation principle of localization confidence

大目標中正樣本點較多,如圖4中的行人,其centerness的標簽值由物體中心向四周呈發(fā)散狀遞減趨勢,由于距離目標中心越近的像素點預測得到的包圍框檢測質(zhì)量越高[23],因此centerness中包含的位置信息能夠有效過濾遠離目標中心的包圍框,保留靠近目標中心且定位質(zhì)量高的包圍框,從而提升大目標精度.而當centerness應用于小目標時,這種通過位置信息過濾冗余包圍框的方式存在一定缺陷,圖4中的車輛僅包含一個正樣本,其對應的centerness標簽值非常小,導致其預測的包圍框在NMS階段被錯誤剔除.在道路場景中存在較多這樣的小目標,因此小目標精度APS降低.從計算原理分析可知,centerness僅對大目標敏感.

IoU標簽值由公式(1)計算得到,僅包含定位精度信息,而與目標的大小無關(guān),所以IoU標簽值始終較大.圖4中IoU作為定位置信度時,只要包圍框定位準,即使是僅有一個正樣本點的小目標,其IoU標簽值也可以很大.因此,IoU對各個尺度的目標檢測效果均有提升,尤其是對小目標和中目標更為敏感.

標簽分布統(tǒng)計.對定位置信度的標簽分布進行統(tǒng)計,以驗證計算原理分析.隨機抽取300張道路圖像,基于RepPoints統(tǒng)計每張圖片中IoU和centerness的標簽值,得到其分布如圖5所示.

圖5 IoU和centerness標簽值分布情況Fig.5 Distribution of IoU labels and centerness labels

由圖5可知,centerness的標簽值總體相對較小,甚至有部分標簽值集中在0.1和0.2之間.這些由極小標簽監(jiān)督的centerness對應于圖4中的小目標,降低了APS.和centerness不同,不論目標大小,大多數(shù)IoU的標簽值都大于0.7.以上標簽分布統(tǒng)計印證了表1中的對比實驗結(jié)果和圖4所示的計算原理.

綜上所述,定位置信度對道路場景下多尺度目標的敏感性研究結(jié)果如下:IoU作為定位置信度時整體效果優(yōu)于centerness,對于大目標,兩者都有助于提高檢測精度;對于中目標和小目標,IoU更為敏感,而centerness失效.根據(jù)以上結(jié)論即可對多尺度目標有針對性地使用定位置信度.

4 優(yōu)化定位置信度改進算法

本節(jié)基于RepPoints提出一種用于多尺度道路目標檢測的優(yōu)化定位置信度改進算法,首先根據(jù)敏感性研究結(jié)果提出混合定位置信度(Mixed localization confidence),然后針對IoU無法區(qū)分重疊程度相同的包圍框,提出基于回歸損失的CIoU定位置信度(CIoU localization confidence),最后將兩者結(jié)合,得到優(yōu)化定位置信度改進算法.

4.1 基于尺度敏感性的混合定位置信度

單一的定位置信度僅從一個指標出發(fā)衡量包圍框的定位質(zhì)量,對于多尺度道路場景不夠全面,因此考慮將兩種定位置信度融合,以結(jié)合兩者的優(yōu)勢.但IoU和centerness側(cè)重不同,盲目融合只會適得其反.因此本文提出基于尺度敏感性的混合定位置信度,根據(jù)敏感性研究結(jié)果對定位置信度進行融合.

混合定位置信度和一般定位置信度的區(qū)別在于監(jiān)督信息的不同,即標簽值不同.由定位置信度的敏感性研究可知,IoU對小目標和中目標更敏感,同時對大目標也能起到效果,而centerness僅對大目標敏感,對小目標和中目標檢測效果不佳,因此在確定定位置信度的標簽值時,小目標和中目標都只使用IoU作為標簽值,僅對大目標進行定位置信度融合,融合后的定位置信度不僅包含IoU反映的定位精度信息,同時通過centerness包含的位置信息進一步區(qū)分包圍框的定位質(zhì)量.混合定位置信度標簽值m的計算公式為:

(3)

式(3)中,γ為平衡因子,用于調(diào)整IoU和centerness的比重.混合定位置信度根據(jù)不同的目標尺度敏感性有選擇地融合定位置信度,提高了NMS階段檢測質(zhì)量表征方法的合理性.

4.2 基于回歸損失的CIoU定位置信度

定位置信度IoU的標簽值由真實框和回歸分支預測的包圍框計算得到,即定位置信度分支和回歸分支直接相關(guān).目前回歸分支的損失函數(shù)均直接基于IoU進行設(shè)計[28],但是僅用IoU無法區(qū)分重疊程度相同的包圍框,且包圍框和真實框不重疊時,該損失會出現(xiàn)梯度消失問題,導致收斂速度減慢.GIoU在IoU損失中引入懲罰項以緩解梯度消失問題[29],DIoU損失[30]在懲罰項中考慮了包圍框與真實框之間的中心點距離,在此基礎(chǔ)上,CIoU損失進一步考慮了框的寬高比[30],解決了IoU損失的梯度消失問題,并能進一步區(qū)分重疊程度相同的包圍框,其公式為:

(4)

式(4)中,ρ為包圍框和真實框中心點的歐氏距離,c為最小外接矩形的對角線距離,v是衡量長寬比一致性的參數(shù),其定義為:

(5)

其中,wgt和hgt為真實框?qū)捄透?wdet和hdet為包圍框的寬和高.

IoU用作定位置信度時存在和回歸損失函數(shù)相同的問題,因此本文提出基于回歸損失的CIoU定位置信度,首先在交并比的基礎(chǔ)上考慮中心點距離和寬高比,其計算公式為:

(6)

進一步考慮定位置信度和回歸損失函數(shù)的區(qū)別.回歸損失函數(shù)直接反映包圍框與真實框的檢測效果,而定位置信度還需在NMS階段和分類置信度共同作用才能表征檢測質(zhì)量,其值的大小直接決定了對于邊界框指導作用的強弱,而懲罰項的累加必然會導致定位置信度減小,進而減弱對檢測質(zhì)量的表征的影響.為了加強定位置信度的指導作用,對CIoU進行改進,將計算公式修改為:

(7)

改進后的CIoU定位置信度不僅綜合考慮了幾何因素,并且保持了較大的標簽值,在后處理階段衡量定位質(zhì)量時,能夠更好地反映包圍框和真實框的重疊方式,從而進一步區(qū)分重疊程度相同的包圍框.

最后,將混合定位置信度和CIoU定位置信度結(jié)合,將公式(3)中的IoU替換為公式(7)中的CIoU,得到優(yōu)化定位置信度,其標簽值n的計算公式為

(8)

式(8)中,α為調(diào)整CIoU和centerness比重的平衡因子.優(yōu)化定位置信度不僅根據(jù)目標尺度調(diào)整定位置信度,還進一步優(yōu)化IoU,使其考慮中心點距離和寬高比.在NMS階段,優(yōu)化定位置信度改進算法將預測的定位置信度乘以分類置信度作為排序得分,解決了RepPoints中包圍框的檢測質(zhì)量表征不合理問題,提高了多尺度目標的檢測精度.具體的算法實現(xiàn)如算法1所示.

算法1.優(yōu)化定位置信度改進算法.

初始化：包圍框集合B={b1,b2,…,bn},包圍框?qū)姆诸愔眯哦燃螩={c1,c2,…,cn}、優(yōu)化定位置信度集合L={l1,l2,…,ln},NMS閾值σ.

輸出：包圍框集合D以及對應的檢測質(zhì)量分數(shù)集合S

1.D←?

2.S←{ci*li|i=1,2,…,n}

3.whileB≠? do

4.m←argmaxS

5.M←bm

6.D←D∪M;B←B/M

7.forbj∈Bdo

8.if IOU{bm,bj}>σthen

9.B←B{bj}

10.S←S/{sj}

11.end if

12. end for

13.end while

14.returnD,S

5 實驗與分析

本節(jié)對改進算法進行實驗,實驗設(shè)置和2.2節(jié)相同.首先分別驗證混合定位置信度和CIoU定位置信度的有效性,然后對兩種策略進行消融實驗并進行結(jié)果分析,最后將本文算法與其它主流的道路場景檢測算法對比,本文算法具有最高的檢測精度.

5.1 有效性驗證實驗

1)混合定位置信度有效性驗證

為了驗證混合定位置信度的有效性,首先確定公式(3)中的平衡因子γ.由定位置信度敏感性研究結(jié)果可知,IoU總體作用效果優(yōu)于centerness,而centerness對大目標的精度提升更為明顯,因此平衡因子γ調(diào)整兩者的比重時,仍然以IoU作為混合定位置信度的主體,適當增加centerness以加入位置信息.依次取γ=0.1,0.2,0.3,0.4,0.5,結(jié)果如表2所示.隨著γ的增加,網(wǎng)絡(luò)的檢測精度先增大后減小,當γ=0.3時達到最優(yōu),后續(xù)實驗中γ均取0.3.可見適當增加位置信息確實能夠結(jié)合IoU和centerness的優(yōu)勢,使定位置信度更合理,符合定位置信度對多尺度道路目標的敏感性研究結(jié)果.

表2 平衡因子γ實驗結(jié)果Table 2 Experimental results of equilibrium factor γ

RepPoints應用混合定位置信度前后在道路場景下的檢測性能對比如表3所示,mAP較baseline提高了2.1%,較IoU定位置信度提高了1.0%,由于位置信息的加入顯著提升了大目標的檢測效果,APL提高了4.5%.多尺度目標檢測精度均得到了明顯提升,顯然混合定位置信度有效.

表3 混合定位置信度實驗結(jié)果Table 3 Experimental results of mixed localization confidence

2)CIoU定位置信度有效性驗證

本實驗對CIoU定位置信度的有效性進行驗證,實驗結(jié)果如表4所示,其mAP相比于IoU定位置信度進一步提升了0.5%.使用GIoU、DIoU以及公式(6)所示的標準CIoU作為定位置信度時,由于訓練初期包圍框定位精度較低,懲罰項過大導致部分標簽為負,模型無法正常收斂.而本文改進后的CIoU在考慮中心點距離和寬高比的同時保持了較大的標簽值,降低了模型訓練難度,顯然CIoU定位置信度有效.

表4 CIoU定位置信度實驗結(jié)果Table 4 Experimental results of CIoU localization confidence

5.2 消融實驗與結(jié)果分析

首先確定優(yōu)化定位置信度中的平衡因子α,得到混合定位置信度和CIoU定位置信度共同作用時最優(yōu)結(jié)果.同樣適當增加centerness,依次取α=0.1,0.2,0.3,0.4,0.5,結(jié)果如圖6所示,隨著α的增加,檢測精度先增大后減小,并在α=0.3時達到最優(yōu),因此公式(8)中的平衡因子同樣取0.3.

圖6 平衡因子α實驗結(jié)果Fig.6 Experimental results of equilibrium factor α

接著對本文提出的優(yōu)化定位置信度改進算法進行消融實驗,實驗結(jié)果如表5所示.在混合定位置信度和CIoU定位置信度單獨作用時,mAP分別提升2.1%和1.6%,兩者共同作用時精度提升了2.4%.多尺度目標檢測精度較原始算法均有明顯提升,其中APS提升1.5%,APM提升2.7%,APL提升4.3%,顯然兩者可以共同作用.此外,定位置信度分支只增加了極少的計算量,因此算法的實時性并沒有下降.優(yōu)化定位置信度用于多尺度道路目標檢測時,能夠在保持算法實時性的同時顯著提升檢測精度.

表5 改進算法消融實驗結(jié)果Table 5 Experimental results of improved strategy fusion

對優(yōu)化定位置信度在NMS過程中的實際作用效果進行可視化,如圖7所示,對于大目標,優(yōu)化定位置信度將CIoU和centerness融合作為標簽,和IoU作為定位置信度相比,將包圍框1的定位置信度從0.59抑制至0.57,將包圍框2的定位置信度從0.738提升至0.762,擴大了高質(zhì)量包圍框在NMS過程中的優(yōu)勢,最終保留了包圍框2;對于圈中的小目標,優(yōu)化定位置信度直接采用包圍框和真實框的CIoU作為標簽,相比于分類置信度更高的黃色框,網(wǎng)絡(luò)選擇了分類正確且優(yōu)化定位置信度得分更高的包圍框4.優(yōu)化定位置信度解決了多尺度道路目標檢測質(zhì)量的表征不合理問題,檢測結(jié)果更加合理.

圖7 優(yōu)化定位置信度效果可視化Fig.7 Visualization of optimized localization confidence

優(yōu)化定位置信度改進算法應用前后的檢測結(jié)果如圖8所示.城市道路場景中存在較多小目標,RepPoints算法應用于這些目標時容易出現(xiàn)誤檢情況,如圖8(a)將rider誤檢為person和bicycle,且包圍框質(zhì)量均較差.使用本文算法后誤檢情況得到顯著改善,將檢測質(zhì)量分數(shù)為0.65的高質(zhì)量包圍框保留為檢測結(jié)果.此外,本文算法有效提升了道路場景的檢測精度,圖8(b)中圈出部分實際上屬于背景,使用本文算法后包圍框更集中于有效目標,定位不夠準確的情況得到了很大改善.

圖8 優(yōu)化定位置信度改進算法檢測結(jié)果Fig.8 Detection results of optimized localization confidence

5.3 改進算法性能分析

將本文算法與其它主流的道路場景檢測算法進行對比,包括Cascade-RCNN、FCOS、ATSS等,在設(shè)置相同實驗參數(shù)的情況下,結(jié)果如表6所示.

表6 改進算法性能對比Table 6 Performance comparison of the improved algorithm

在主流的道路場景檢測算法中,Cascade-RCNN的檢測精度最高,FCOS的實時性最好.與這些算法相比,本文算法取得了最高的mAP(34.6%),超過了Cascade-RCNN,比FCOS高出2.8%,顯著提升了Reppoints的多尺度目標檢測精度,取得了最高的中目標檢測精度(35.9%)和最高的大目標檢測精度(57.7%).同時,本文算法保持了較好的實時性(12.3FPS),檢測速度高于多數(shù)主流檢測算法,比Cascade-RCNN高出2.6FPS,應用于道路場景時可以顯著提高目標檢測的性能.

6 結(jié) 論

本文從定位置信度出發(fā)研究和改進道路場景目標檢測算法.首先基于RepPoints構(gòu)建研究框架,并根據(jù)研究結(jié)果提出了基于尺度敏感性的混合定位置信度.接著提出了基于回歸損失的CIoU定位置信度,改善了IoU定位置信度無法區(qū)分重疊尺度相同的包圍框的缺陷.最后將以上兩者結(jié)合,得到優(yōu)化定位置信度改進算法.本文算法通過解決RepPoints在NMS階段的檢測質(zhì)量表征不合理問題,顯著提升了道路場景下多尺度目標的檢測精度.該算法的局限性在于目前僅適用于1.5階段算法,因此下一步工作擬將優(yōu)化定位置信度拓展至雙階段算法和單階段算法.