王殿偉,趙夢影,劉 穎,宋海軍,謝永軍
1.西安郵電大學(xué) 通信與信息工程學(xué)院,西安710121
2.中國科學(xué)院 西安光學(xué)精密機(jī)械研究所,西安710119
近年來,迅猛增加的機(jī)動車數(shù)目給交通監(jiān)管系統(tǒng)帶來了嚴(yán)峻的挑戰(zhàn),車輛目標(biāo)智能檢測作為自動駕駛、智能交通[1]研究領(lǐng)域的核心技術(shù),隨之受到相關(guān)研究學(xué)者的關(guān)注。因?yàn)閭鹘y(tǒng)視覺視野有限,存在檢測盲區(qū),缺乏獲取全局信息手段等不足,而全景視覺具有“成像一體化、360°大視場、旋轉(zhuǎn)不變性[2]”等優(yōu)點(diǎn),已被廣泛應(yīng)用于無人駕駛、機(jī)器人安全監(jiān)控、虛擬現(xiàn)實(shí)等諸多領(lǐng)域,在現(xiàn)實(shí)生活中具有重要意義。
圖1 SSD網(wǎng)絡(luò)框架圖
傳統(tǒng)的車輛目標(biāo)檢測算法首先判斷目標(biāo)車輛區(qū)域,然后用SIFT[3]、HOG[4]、LBP[5]等方法提取特征,最后經(jīng)過分類器得到目標(biāo)分類結(jié)果,其中目標(biāo)特征主要依靠手工提取,而待檢測的車輛種類繁雜、數(shù)量龐大、背景信息復(fù)雜多變,手工選取特征的方法很難適應(yīng)復(fù)雜環(huán)境下多種類別目標(biāo)的檢測需求,因此傳統(tǒng)車輛檢測算法已經(jīng)不能滿足要求[6]。近年來,基于深度學(xué)習(xí)的目標(biāo)檢測算法受到廣泛關(guān)注,深度神經(jīng)網(wǎng)絡(luò)能夠自主學(xué)習(xí)不同層級的特征,相比于傳統(tǒng)手工設(shè)計(jì)特征,學(xué)習(xí)的特征更豐富,特征表達(dá)能力更強(qiáng)[7]。
基于深度學(xué)習(xí)的目標(biāo)檢測算法具有較強(qiáng)的全面性、活動性,并具有檢測識別多種目標(biāo)類型的能力[8-10]。Girshick等[11]設(shè)計(jì)了R-CNN 框架,提出了區(qū)域選擇和使用深度學(xué)習(xí)分類的方法,在目標(biāo)檢測方面突破巨大,但特征提取復(fù)雜,檢測速度很慢。隨后He 等[12]提出了SPP-Net,該算法使得檢測速度得到了很大提升,但無法實(shí)現(xiàn)端到端的檢測[13]。Ren 等[14]提出了Fast R-CNN,采用了多任務(wù)訓(xùn)練的模式,減少硬件緩存。此后Faster R-CNN[15]算法提出區(qū)域生成網(wǎng)絡(luò)(RPN),雖然檢測在速度與精度上都有巨大提升,但是還尚未達(dá)到實(shí)時檢測的效果。Redmon 等[16]基于Google-Net 圖像分類模型[17]提出了基于回歸的YOLO算法,真正意義上實(shí)現(xiàn)了端到端檢測目標(biāo)。Liu 等[18]提出了SSD 算法,該算法結(jié)合了YOLO 的回歸思想及Faster R-CNN 的anchor 機(jī)制,同時保證了檢測的速度和精度。但是目前的深度學(xué)習(xí)檢測算法大多在普通圖像上檢測性能越來越佳,應(yīng)用于全景視頻圖像中檢測效果還達(dá)不到預(yù)期要求。
原始的SSD算法是在特征圖上直接分類和回歸,最后經(jīng)過非極大值抑制的方法得出預(yù)測框,這樣的過程會導(dǎo)致高低層特征信息相差過大,小目標(biāo)檢測效果差,或是在剔除冗余檢測框時出錯,導(dǎo)致目標(biāo)漏檢[19],由于全景圖像本身包含的信息較多,車輛目標(biāo)絕大多呈現(xiàn)為小目標(biāo),更加降低算法適應(yīng)度。
為了提高SSD算法在全景圖像檢測中的準(zhǔn)確率,本文提出了一種特征融合方法,在原SSD網(wǎng)絡(luò)前加入類似于Faster RCNN 算法中的RPN 網(wǎng)絡(luò)的部分,再使用多個傳輸轉(zhuǎn)換模塊將RPN*網(wǎng)絡(luò)特征層和SSD*網(wǎng)絡(luò)特征層相連接,將高低層特征融合,增加低層特征信息,從而提高目標(biāo)的檢測效果。同時結(jié)合了RPN*網(wǎng)絡(luò)和SSD*網(wǎng)絡(luò)的損失函數(shù),提出了新的損失函數(shù),應(yīng)用二分類和多分類的方法,使后續(xù)的回歸操作更加精確,進(jìn)一步提高了檢測精度。
SSD 是一種典型的單次目標(biāo)檢測算法,其在原始VGG-16 網(wǎng)絡(luò)[20]后增加三個卷積層和一個池化層,這些卷積層分別獲取不同尺度的特征圖用于目標(biāo)檢測,類似于Faster R-CNN 的anchors 機(jī)制,目的在于提高檢測的準(zhǔn)確率;同時SSD 算法結(jié)合了YOLO 的回歸思想,降低了原網(wǎng)絡(luò)的復(fù)雜度,達(dá)到實(shí)時監(jiān)測效果?;镜腟SD網(wǎng)絡(luò)框架如圖1所示。
SSD 算法首先對所用數(shù)據(jù)集采用3∶1 比例進(jìn)行正負(fù)樣本劃分后,送入模型訓(xùn)練,接下來利用CNN提取特征后直接進(jìn)行分類和回歸,最后應(yīng)用非極大值抑制的方法對冗余的檢測框進(jìn)行剔除,所剩余的即為最終的目標(biāo)檢測框。圖2是SSD目標(biāo)檢測算法流程圖。
圖2 SSD目標(biāo)檢測流程
傳統(tǒng)的SSD算法采用一步式檢測方法,直接使用卷積對不同的特征圖來進(jìn)行提取檢測結(jié)果,具有可以達(dá)到實(shí)時監(jiān)測的能力。但是這種均勻的密集采樣的一個重要缺點(diǎn)是訓(xùn)練比較困難,這主要是因?yàn)檎龢颖九c負(fù)樣本(背景)極其不均衡,導(dǎo)致降低了模型的準(zhǔn)確度。為了提高目標(biāo)檢測的精度,本文將RPN網(wǎng)絡(luò)引入進(jìn)SSD網(wǎng)絡(luò),應(yīng)用傳輸轉(zhuǎn)換模塊將兩個網(wǎng)絡(luò)相連接,提出了一種新的RPN-SSD(簡稱為R-SSD)目標(biāo)檢測網(wǎng)絡(luò)框架,同時繼承一步式和兩步式檢測方法的優(yōu)點(diǎn),可以更好地提取特征,顯著地提高了目標(biāo)檢測的精度。這種R-SSD的網(wǎng)絡(luò)體系結(jié)構(gòu)如圖3所示。
圖3 R-SSD體系結(jié)構(gòu)圖
圖3右側(cè)虛線框內(nèi)是原SSD網(wǎng)絡(luò)(這里只顯示特征提取層(此部分稱為SSD*)的網(wǎng)絡(luò)結(jié)構(gòu),其主要作用是獲取最終的目標(biāo)檢測框;左側(cè)虛線框內(nèi)是新構(gòu)建的類似Faster RCNN 算法中的RPN 網(wǎng)絡(luò)的部分(此部分稱為RPN*),其主要作用是提取先驗(yàn)框并粗略調(diào)整其大小和位置;下方四個實(shí)線框?yàn)閭鬏斵D(zhuǎn)換模塊,它的主要作用是在RPN*和SSD*之間建立連接,進(jìn)行特征融合。
(1)RPN*
原始的SSD是一種單步檢測算法,在提取的特征圖上直接進(jìn)行回歸和分類,容易造成目標(biāo)的分類或定位錯誤,進(jìn)而降低了檢測的準(zhǔn)確率。本文將RPN*網(wǎng)絡(luò)引入到SSD 結(jié)構(gòu)中,構(gòu)建了一種新的改進(jìn)SSD 網(wǎng)絡(luò),稱為“R-SSD”,提出了基于R-SSD的全景視頻圖像車輛目標(biāo)檢測算法。這里引入的RPN*結(jié)構(gòu)的作用是識別并刪除一些負(fù)樣本先驗(yàn)框,減小分類器的搜索范圍,再粗略預(yù)測先驗(yàn)框的位置和大小,降低目標(biāo)分類或定位的錯誤率,為SSD*的回歸操作提供更好的前提條件,所用到的RPN*結(jié)構(gòu)如圖4所示。
由圖4 可知,RPN*結(jié)構(gòu)首先將n個先驗(yàn)框與特定特征圖上的每個規(guī)則劃分的單元相關(guān)聯(lián),每個先驗(yàn)框相對于其對應(yīng)單元的初始位置是固定的。每個特征圖首先經(jīng)過滑窗處理,得到256 維特征,然后通過兩次全連接得到2n個置信度分?jǐn)?shù)和4n個坐標(biāo)偏移量。因此,在每個特征圖中會生成n個經(jīng)過細(xì)化的先驗(yàn)框。
圖4 RPN*結(jié)構(gòu)圖
(2)SSD*
SSD*網(wǎng)絡(luò)以RPN*網(wǎng)絡(luò)生成的細(xì)化先驗(yàn)框作為輸入信息,融合了不同層的特征,進(jìn)一步生成準(zhǔn)確的目標(biāo)類別和坐標(biāo),且RPN*和SSD*中對應(yīng)的特征圖具有相同維度。與原始SSD 網(wǎng)絡(luò)不同的是,這里網(wǎng)絡(luò)輸入的是RPN*網(wǎng)絡(luò)經(jīng)過細(xì)化的先驗(yàn)框,淺層特征圖融合了高層特征圖的語義信息,將各層結(jié)果整合在一起,得到最終的目標(biāo)框。而原始SSD 網(wǎng)絡(luò)直接用淺層特征圖做小目標(biāo)檢測,并沒有融合高層信息。經(jīng)過這一步驟會使得目標(biāo)檢測結(jié)果更加準(zhǔn)確,特別是對小目標(biāo)的檢測。
(3)傳輸轉(zhuǎn)換塊(Conversion Block)
因?yàn)镾SD算法用低層特征圖檢測小目標(biāo),高層特征圖檢測大目標(biāo)。然而低層卷積層分辨率高但語義信息低、感受野較小,小目標(biāo)特征提取不充分;高層卷積層語義信息充分、感受野較大,可提取更多特征信息。受上述低層卷積層和高層卷積層的特性的啟發(fā),本文提出的R-SSD結(jié)構(gòu)中添加了傳輸轉(zhuǎn)換塊(Conversion Block),它的主要作用是在RPN*和SSD*之間建立連接,將RPN*上提取先驗(yàn)框的輸出轉(zhuǎn)化為SSD*的輸入,在RPN*經(jīng)過細(xì)化的先驗(yàn)框基礎(chǔ)上進(jìn)行回歸,做反卷積操作,使兩個網(wǎng)絡(luò)提取的特征相融合,集成大規(guī)模的上下文信息,增大感受野,增加低層網(wǎng)絡(luò)的語義信息,進(jìn)而提高檢測精度。圖5是傳輸轉(zhuǎn)換塊的主要架構(gòu)。
圖5 傳輸轉(zhuǎn)換塊架構(gòu)圖
由圖5知,本文添加的傳輸轉(zhuǎn)換模塊,首先將RPN*輸出的特征圖作為傳輸轉(zhuǎn)換模塊的輸入,經(jīng)過一個3×3的卷積核,一個Relu 激活函數(shù)和另一個3×3 的卷積核。其次經(jīng)過一個反卷積操作增大高層特征圖,從前一個傳輸轉(zhuǎn)換模塊輸出的特征經(jīng)過一個4×4的卷積核,并對上述兩個輸出對應(yīng)元素求和。在求和之后添加卷積層,以確保檢測特征的可辨性。輸出傳入SSD*模塊,完成RPN*與SSD*的特征融合過程。
本文提出的R-SSD 網(wǎng)絡(luò)架構(gòu)的損失函數(shù)由兩部分組成,即RPN*中的損失和SSD*中的損失。在RPN*部分包含二分類損失Lb和回歸損失Lr,表明是一個目標(biāo)或者不是一個目標(biāo),并且同時回歸它的位置和大小,以獲得細(xì)化的先驗(yàn)框,之后將具有小于閾值負(fù)置信度的細(xì)化后的先驗(yàn)框傳遞給SSD*以便進(jìn)一步預(yù)測目標(biāo)類別和準(zhǔn)確的目標(biāo)位置和大?。辉赟SD*部分包含多分類損失Lm和回歸損失Lr。將損失函數(shù)定義為:
其中,i代表第i個候選框是第i個先驗(yàn)框的真實(shí)標(biāo)簽,是第i個先驗(yàn)框的真實(shí)坐標(biāo),pi和xi分別是RPN*中候選框i預(yù)測目標(biāo)的置信度和坐標(biāo),ci和ti是SSD*中候選框預(yù)測目標(biāo)的類別和坐標(biāo),Nrpn和Nssd分別是RPN*和SSD*中的正樣本個數(shù)。二分類損失Lb為交叉熵?fù)p失函數(shù),并且多分類損失Lm是多類別置信度上的softmax損失。與Fast R-CNN類似,這里使用smoothL1損失作為回歸損失Lr。
本文程序均在深度學(xué)習(xí)服務(wù)器上進(jìn)行,服務(wù)器CPU為Intel E5 2673 V3×2,內(nèi)存128 GB,GPU 為TITAN Xp×4,操作系統(tǒng)為64位的Linux Ubuntu 16.04系統(tǒng),并行計(jì)算框架版本為CUDA 8.0,深度神經(jīng)網(wǎng)絡(luò)加速庫為CUDNN v7.0。利用Python 編程語言在深度學(xué)習(xí)框架上實(shí)現(xiàn)本文的R-SSD 目標(biāo)檢測算法模型并完成對模型的訓(xùn)練及驗(yàn)證。
由于目前沒有針對車輛目標(biāo)檢測的全景視頻圖像公用數(shù)據(jù)集,因此利用商用泰科易720pro VR全景相機(jī)自行采集數(shù)據(jù)。分別在不同場景下采集含有不同大小、顏色、外觀的車輛,使用Label Image標(biāo)簽工具對全景圖中的大小車輛進(jìn)行標(biāo)注,共計(jì)2 688 幅,均為VOC2007格式。將全景環(huán)境下的數(shù)據(jù)分為訓(xùn)練集(1 685 幅)、驗(yàn)證集(89幅)和測試集(914幅)。
參考SSD算法中的數(shù)據(jù)增強(qiáng)方法[21],本文對原始數(shù)據(jù)進(jìn)行隨機(jī)采集塊域(Randomly sample a patch)、隨機(jī)裁剪加顏色扭曲(random crop & color distortion)及水平翻轉(zhuǎn)(horizontal flip)等操作,可提升算法模型的檢測性能。
本文通過在測試集中分析模型改進(jìn)前后的檢測精度、檢測速度和參數(shù)量,對比模型的性能。首先把測試集圖像輸入訓(xùn)練好的網(wǎng)絡(luò),然后對車輛位置進(jìn)行檢測并記錄檢測結(jié)果,當(dāng)模型預(yù)測的目標(biāo)邊界與測試集對應(yīng)的標(biāo)注數(shù)據(jù)中的邊界框的交并集比(IOU)大于等于設(shè)定的閾值時,認(rèn)為檢測結(jié)果正確,否則視為檢測錯誤。檢測精度的評價(jià)指標(biāo)選取準(zhǔn)確率(Precision,P)指標(biāo),其定義為:
式中,Tp是正確檢測到車輛的數(shù)量,F(xiàn)p是錯分車輛目標(biāo)的數(shù)量。
本文的基礎(chǔ)網(wǎng)絡(luò)仍然為原SSD 的VGG16,首先在自行采集的全景數(shù)據(jù)集上,用1 685 幅訓(xùn)練集圖片對該網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到預(yù)訓(xùn)練網(wǎng)絡(luò)模型。訓(xùn)練模型的參數(shù)如下:設(shè)置初始學(xué)習(xí)率為0.000 1,在迭代40 000 次時學(xué)習(xí)率衰減為1E-05。訓(xùn)練批量大小為8,迭代60 000 次后檢測結(jié)果達(dá)到最優(yōu)值,可達(dá)90.78%。
為了驗(yàn)證本文提出的R-SSD網(wǎng)絡(luò)準(zhǔn)確性,將兩個網(wǎng)絡(luò)同時應(yīng)用在采集的2 688幅全景視頻數(shù)據(jù)集中。為了證明算法的適應(yīng)性,數(shù)據(jù)集包括校內(nèi)、公路旁、路口等不同場景下的不同大小、顏色、外觀的車輛目標(biāo)。實(shí)驗(yàn)對比標(biāo)準(zhǔn)的SSD網(wǎng)絡(luò),結(jié)果如圖6所示。
圖6 SSD與R-SSD準(zhǔn)確率對比
由圖6 可知,隨著迭代次數(shù)的增加,兩個算法的準(zhǔn)確率都在提升。迭代10 000次時,SSD算法的準(zhǔn)確率只有78.44%,本文算法準(zhǔn)確率可達(dá)到83.25%;迭代30 000次時兩種算法的準(zhǔn)確率都有明顯地上升,直至迭代60 000次逐漸趨于穩(wěn)定,但是本文算法準(zhǔn)確率始終高于SSD算法。
在測試集中分別對改進(jìn)前后的SSD 目標(biāo)檢測模型及YOLO V3模型進(jìn)行測試,并統(tǒng)計(jì)其檢測結(jié)果和檢測速度。實(shí)驗(yàn)結(jié)果如表1所示。
表1 相同數(shù)據(jù)集下各算法mAP對比
由表1 可以看出,本文的mAP 為90.78%,相比于Faster R-CNN模型,雖然檢測速度有所降低,但檢測精度提升了9.18 個百分點(diǎn),效果較為突出;相比于YOLO V3模型,不僅檢測精度提高了4.58個百分點(diǎn),而且檢測速度也提高了14.4 幀/s;相比于SSD模型,在檢測速度大致相同(僅僅降低了1.8 幀/s),檢測精度提高了5.04個百分點(diǎn),提升效果顯著??梢?,在全景車輛檢測中,本文提出的模型對目標(biāo)的識別效果較好,且檢測速度也較可觀。
圖7為網(wǎng)絡(luò)訓(xùn)練過程中損失值的收斂曲線,橫坐標(biāo)表示迭代次數(shù),最大迭代次數(shù)為60 000 次;縱坐標(biāo)代表損失值。當(dāng)網(wǎng)絡(luò)迭代超過50 000次時,損失值變化趨于穩(wěn)定,從圖中可以看出,最終損失值下降到約1.18。在此算法中參數(shù)的收斂情況較好,因此網(wǎng)絡(luò)的訓(xùn)練結(jié)果也較為理想。
圖7 損失函數(shù)數(shù)值曲線圖
圖8~圖10 為部分實(shí)驗(yàn)結(jié)果圖,紅色矩形框?yàn)镾SD網(wǎng)絡(luò)預(yù)測的目標(biāo)位置,藍(lán)色框?yàn)楸疚奶岢龅腞-SSD網(wǎng)絡(luò)預(yù)測的目標(biāo)位置。
圖8 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)目標(biāo)漏檢結(jié)果對比圖
圖9 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)對小目標(biāo)檢測結(jié)果對比圖
圖10 SSD網(wǎng)絡(luò)與本文提出的R-SSD網(wǎng)絡(luò)對重疊目標(biāo)檢測結(jié)果對比圖
(1)目標(biāo)漏檢糾正
圖8(a)和圖8(c)是SSD 網(wǎng)絡(luò)的檢測結(jié)果,由圖可明顯看出兩幅圖中的中間白色車輛均存在漏檢現(xiàn)象,主要是由于SSD網(wǎng)絡(luò)使用單步檢測的方法,直接在特征圖上采用卷積核來預(yù)測邊界框類別和坐標(biāo)偏移,為了提高檢測速度而降低了檢測精度。圖8(b)和圖8(d)為本文網(wǎng)絡(luò)的檢測結(jié)果,由圖可看出,本文網(wǎng)絡(luò)成功識別了漏檢車輛,且每個目標(biāo)的類別置信度有很大提升,這是由于本文算法使用了兩步式的檢測方法:第一步,在RPN*網(wǎng)絡(luò)層過濾負(fù)樣本先驗(yàn)框,并粗略調(diào)整先驗(yàn)框的位置和大小,為后續(xù)SSD*中的回歸操作提供好的初始條件;第二步,SSD*網(wǎng)絡(luò)結(jié)合RPN*網(wǎng)絡(luò)提供的語義信息,進(jìn)行細(xì)致的分類和回歸,判斷目標(biāo)所在位置,以此大幅提高了檢測的精確度,可很好地說明本文算法在目標(biāo)漏檢糾正性能上的有效性。
(2)小目標(biāo)檢測糾正
圖9(a)和圖9(c)為SSD 網(wǎng)絡(luò)的檢測結(jié)果圖,盡管均對左側(cè)白色車輛的檢測結(jié)果良好,但對右側(cè)小目標(biāo)車輛檢測性能較差,主要是由于SSD使用conv4_3底層特征檢測小目標(biāo),但是底層特征卷積層數(shù)少,所含語義信息較少,存在特征提取不充分的問題,因而導(dǎo)致對小目標(biāo)出現(xiàn)漏檢現(xiàn)象。圖9(b)和圖9(d)為本文算法的檢測結(jié)果,由圖可知,本文提出的R-SSD 網(wǎng)絡(luò)對小目標(biāo)的檢測效果相對較好。這是因?yàn)楸疚奶岢龅腞-SSD 網(wǎng)絡(luò)添加了一個傳輸轉(zhuǎn)換模塊,將RPN*網(wǎng)絡(luò)和SSD*網(wǎng)絡(luò)的維度相匹配,使用反卷積操作增大高層特征圖,同時實(shí)現(xiàn)高低層特征融合,增加底層特征的語義信息,因此提高了小目標(biāo)檢測的準(zhǔn)確率。
(3)重疊目標(biāo)檢測糾正
圖10(a)和圖10(c)為SSD 網(wǎng)絡(luò)的檢測結(jié)果,由圖可知兩張圖中右側(cè)白色車輛有重疊,SSD網(wǎng)絡(luò)出現(xiàn)漏檢現(xiàn)象。主要是由于SSD 網(wǎng)絡(luò)檢測性能和特征提取有著密不可分的關(guān)系,該網(wǎng)絡(luò)在conv4_3、conv7、conv8_2、conv9_2、conv10_2、conv11_2 卷積層提取特征,然后分別在這些特征層上面每個點(diǎn)構(gòu)造六個不同尺度大小的先驗(yàn)框,直接進(jìn)行分類和檢測,最后將生成的先驗(yàn)框進(jìn)行非極大值抑制,確定最終檢測結(jié)果。其不足之處是可能存在劃分的先驗(yàn)框不精細(xì),與真實(shí)框的匹配度不高,從而導(dǎo)致過多的背景噪聲干擾,影響檢測結(jié)果。由于重疊的兩輛車有相似的特征,檢測時很容易被混淆,對檢測結(jié)果進(jìn)行非極大值抑制處理時,后面車輛預(yù)測框可能被前面車輛預(yù)測框所抑制,導(dǎo)致后面車輛漏檢。圖10(b)和圖10(d)為R-SSD 網(wǎng)絡(luò)的檢測結(jié)果,由圖知本文算法對被遮擋車輛有著良好的檢測性能,主要由于本文算法首先用RPN*網(wǎng)絡(luò)濾除一部分與真實(shí)框相差過大的先驗(yàn)框,縮小了分類器的搜索空間;然后將粗略預(yù)測和分類的先驗(yàn)框輸入到SSD*網(wǎng)絡(luò),再進(jìn)行分類和預(yù)測;最后經(jīng)過細(xì)化的先驗(yàn)框與真實(shí)框匹配度高,能夠減少背景噪聲的影響,從而提高檢測的準(zhǔn)確率。
如表2 所示,實(shí)驗(yàn)分為三組,分別在不同檢測難度下進(jìn)行,每組都有兩張圖各采用SSD和本文算法進(jìn)行結(jié)果對比,表中數(shù)字表示檢測出車輛目標(biāo)的準(zhǔn)確率,結(jié)果顯示未檢出的則說明算法沒有良好地檢測到圖中目標(biāo)。通過表中結(jié)果對比,本文算法可以更好地檢測出車輛目標(biāo),且對于SSD算法檢測到的目標(biāo)檢測的置信度也有較大的提升。
表2 SSD算法和本文算法實(shí)驗(yàn)結(jié)果對比
本文提出了一種基于改進(jìn)的SSD 網(wǎng)絡(luò)結(jié)構(gòu),稱為R-SSD,它由RPN*和SSD*兩個模塊相互連接組成。引入RPN*的目的是過濾掉閾值小于0.5的候選框,以減少分類器的搜索空間,并粗略得出候選框的位置和大小,為后續(xù)SSD*中的回歸提供更好的初始化,并回歸準(zhǔn)確的對象位置和大小并預(yù)測相應(yīng)的多類標(biāo)簽。整個網(wǎng)絡(luò)以端到端的方式進(jìn)行訓(xùn)練,使用多分類損失。本文使用R-SSD網(wǎng)絡(luò)在自行采集的全景數(shù)據(jù)上開展了多次實(shí)驗(yàn),結(jié)果表明本文算法改善了SSD對小目標(biāo)檢測精度較低,目標(biāo)錯檢、漏檢的不足,并實(shí)現(xiàn)了較高的檢測精度和效率。下一步工作可以考慮在網(wǎng)絡(luò)中引入注意力(attention)機(jī)制,進(jìn)一步改進(jìn)和優(yōu)化模型,使網(wǎng)絡(luò)對特定目標(biāo)有更高的檢測精度。