基于改進(jìn)RetinaNet的行人檢測算法

劉晉川，黎向鋒，葉磊，劉安旭，趙康，左敦穩(wěn)

(南京航空航天大學(xué)機(jī)電學(xué)院，南京 210016)

近年來，基于視覺的行人檢測技術(shù)逐漸引起關(guān)注，它是車輛輔助駕駛系統(tǒng)、智能監(jiān)控系統(tǒng)以及智能機(jī)器人等技術(shù)中的重要基礎(chǔ)[1-2]。其研究主要是將一張包含行人的圖片或視頻幀中的所有行人位置和大小檢測出來，屬于典型的目標(biāo)檢測問題。行人檢測的難點(diǎn)主要體現(xiàn)在：場景復(fù)雜、存在干擾因素(如光照、雨天、雪天以及霧天)；行人與環(huán)境、行人間的相互遮擋；遠(yuǎn)處行人在圖像中像素占比較小易造成漏檢等問題。

基于視覺的行人檢測研究經(jīng)歷了傳統(tǒng)行人檢測方法(其核心內(nèi)容就是特征的提取方法和分類器的設(shè)計(jì))和近年來研究火熱的基于深度學(xué)習(xí)的行人檢測方法?；谏疃葘W(xué)習(xí)的目標(biāo)檢測算法通常分為二階段目標(biāo)檢測算法和一階段目標(biāo)檢測算法。其中，二階段目標(biāo)檢測算法通過對卷積神經(jīng)網(wǎng)絡(luò)所生成的建議框進(jìn)行簡單的二分類，來判斷建議框內(nèi)的區(qū)域?yàn)榍熬盎虮尘?，被判斷為背景的建議框?qū)淮罅可釛墸瑥亩档土祟悇e的不平衡；而一階段目標(biāo)檢測算法則對生成的建議框不做任何處理直接統(tǒng)一進(jìn)行后期的分類以及回歸計(jì)算。因此，二階段目標(biāo)檢測算法的處理速度要比一階段的目標(biāo)檢測算法慢出許多。Girshick等[3]提出的二階段目標(biāo)檢測算法R-CNN(region with CNN features)對包括行人在內(nèi)的多種目標(biāo)進(jìn)行檢測，但存在算法運(yùn)算量過大、計(jì)算資源耗費(fèi)過大等問題，而后提出的Fast R-CNN[4]解決了原來R-CNN中因重復(fù)提取子窗口重疊區(qū)域特征而導(dǎo)致的運(yùn)算量過大問題，同年提出的Faster R-CNN[5]對Fast R-CNN中候選框的生成進(jìn)行了優(yōu)化以提升其檢測準(zhǔn)確率和檢測速度；Zhang等[6]提出的OR-CNN(occlusion-aware R-CNN)算法提高了有遮擋行人的檢測精度；Redmon等[7]提出的一階段目標(biāo)檢測算法YOLO(You Only LookOnce)直接在輸出層上進(jìn)行回歸和分類，有效提升了檢測速度；朱敏[8]提出了基于SSD(single short multibox detector)[9]的行人檢測方法，提高了小目標(biāo)行人的檢測精度；Lin等[10]提出了RetinaNet算法，通過設(shè)計(jì)損失函數(shù)Focal Loss解決了一階段目標(biāo)檢測算法中類別不平衡問題。

在實(shí)際應(yīng)用場景中，遠(yuǎn)處行人在圖片上的面積占比較小，易造成漏檢。針對小目標(biāo)檢測的問題，Sun等[11]提出了對小目標(biāo)物體特征更加敏感的卷積神經(jīng)網(wǎng)絡(luò)HRNet，經(jīng)此網(wǎng)絡(luò)可以輸出具有更強(qiáng)的位置信息和語義信息的特征圖，將其作為目標(biāo)檢測算法的特征提取網(wǎng)絡(luò)可以有效提高算法對于小目標(biāo)物體的檢測精度。

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法層出不窮，性能也在不斷提高。這些算法整體上可以分為兩類：基于錨點(diǎn)框架的目標(biāo)檢測算法以及基于無錨點(diǎn)框架的目標(biāo)檢測算法。其中基于錨點(diǎn)框架的目標(biāo)檢測算法得到了廣泛使用；而基于無錨點(diǎn)框架的目標(biāo)檢測算法目前沒有明顯的識別優(yōu)勢[12]。但基于錨點(diǎn)框架的目標(biāo)檢測也存在一定缺陷，如錨框的尺度和長寬比需要預(yù)先定義，這是對檢測器性能影響較大的超參數(shù)，且對于不同的數(shù)據(jù)集以及檢測方法需要單獨(dú)進(jìn)行調(diào)整；如果尺度和長寬比設(shè)置不合適，還可能導(dǎo)致召回率不夠高；同時錨框過多也會影響分類性能以及速度?；诖?，Wang等[13]提出了一種新的錨框生成方法——Guided Anchoring(GA)機(jī)制，即通過圖像的特征來指導(dǎo)錨框的生成，通過此種方法可以得到稀疏、形狀根據(jù)位置可變的錨框。

為解決通用算法對小目標(biāo)檢測率低，并設(shè)計(jì)出檢測精度和檢測速度均衡的行人檢測網(wǎng)絡(luò)，現(xiàn)對RetinaNet算法進(jìn)行改進(jìn)，提出引入高分辨率網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，通過在特征提取過程中保持目標(biāo)分辨率的方法，提高網(wǎng)絡(luò)整體對于小尺寸行人的敏感度，從而提升召回率；此外，針對RetinaNet算法中錨點(diǎn)機(jī)制的缺陷，引入GA機(jī)制來對其進(jìn)行優(yōu)化以進(jìn)一步提高算法的檢測精度，同時降低對計(jì)算資源的消耗；最后，使用改進(jìn)后的RetinaNet算法在Caltech數(shù)據(jù)集上進(jìn)行行人檢測實(shí)驗(yàn)。

1 Caltech行人數(shù)據(jù)集介紹

Caltech數(shù)據(jù)集[14]是目前規(guī)模比較大且應(yīng)用最為廣泛的行人數(shù)據(jù)集，數(shù)據(jù)集中的圖片來源于車載攝像頭以分辨率為640×480、30幀/s拍攝得到的視頻中截取的視頻幀，視頻約10 h。其不僅標(biāo)注了大約250 000幀(約137 min)圖片，350 000個矩形框，2 300個行人，還另外對矩形框之間的時間對應(yīng)關(guān)系及其遮擋情況進(jìn)行了標(biāo)注。該數(shù)據(jù)集中的部分樣本圖片如圖1所示。

圖1 Caltech數(shù)據(jù)集圖片

由于Caltech行人數(shù)據(jù)集是由安裝在行駛的汽車上的車載攝像頭連續(xù)拍攝得到的視頻而來，相比其他的公共行人數(shù)據(jù)集更加符合行人檢測算法的實(shí)際應(yīng)用場景，數(shù)據(jù)集中包含各類復(fù)雜場景下的行人目標(biāo)，如遮擋目標(biāo)、小目標(biāo)等困難樣本。

2 RetinaNet算法

行人檢測中，一張待檢測圖片上可能只有一個小目標(biāo)，大量的目標(biāo)框并不包含目標(biāo)，這會導(dǎo)致背景框和目標(biāo)框類別的不平衡。Lin等[10]提出了一階段目標(biāo)檢測算法RetinaNet，并針對一階段目標(biāo)檢測算法中由于類別不平衡造成檢測精度低的問題，提出了新的損失函數(shù)Focal Loss，該損失函數(shù)在傳統(tǒng)的二分類交叉熵?fù)p失函數(shù)上進(jìn)行改進(jìn)得來，標(biāo)準(zhǔn)交叉熵函數(shù)的計(jì)算公式為

(1)

式(1)中：CE為交叉熵函數(shù)；y為框所屬的標(biāo)簽類別；1表示前景類即目標(biāo)類別；-1表示結(jié)果為背景類別；p為模型對于標(biāo)簽類別y的預(yù)測概率。

為了方便計(jì)算，定義概率系數(shù)pt為

(2)

則原式可表達(dá)為CE(p,y)=CE(pt)=-lnpt。

背景(不包含行人)的分類對于模型而言屬于易分類的樣本，為了讓模型將關(guān)注點(diǎn)更多地集中在難分類的樣本上，在原來的損失函數(shù)上加上了一個權(quán)重參數(shù)來控制正負(fù)樣本對總損失的貢獻(xiàn)。綜合式(1)和式(2)，整合出Focal Loss的最終表達(dá)式為

FL(pt)=-(1-pt)γlnpt

(3)

式(3)中：γ為關(guān)注度參數(shù)，γ≥0。

圖2為γ取值為[0，5]時的損失曲線圖。由圖2可以看出，F(xiàn)ocal Loss使得易分類的樣本對總損失的貢獻(xiàn)有所降低，從而可以讓模型更加關(guān)注難分類的樣本。采用式(4)的表達(dá)式來進(jìn)行實(shí)踐，系數(shù)αt的作用是平衡正負(fù)樣本。經(jīng)實(shí)驗(yàn)，當(dāng)γ=2、αt=0.25時的表現(xiàn)最好。

loss總損失

FL(pt)=-αt(1-pt)γlnpt

(4)

RetinaNet算法的整個網(wǎng)絡(luò)結(jié)構(gòu)清晰且設(shè)計(jì)簡單，其檢測結(jié)構(gòu)如圖3所示，特征提取網(wǎng)絡(luò)由殘差網(wǎng)絡(luò)ResNet-101和特征金字塔網(wǎng)絡(luò)FPN構(gòu)成,使用該算法在COCO數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明：相較于經(jīng)典的二階段目標(biāo)檢測算法Faster R-CNN，RetinaNet算法具有更高的檢測精度。因此，主要在RetinaNet算法上來進(jìn)行后續(xù)的優(yōu)化。

圖3 RetinaNet算法結(jié)構(gòu)

3 改進(jìn)RetinaNet算法的行人檢測

雖然一階段目標(biāo)檢測算法RetinaNet具有更高的檢測精度，但是其仍然存在著一些問題：小尺寸行人的漏檢以及算法中錨點(diǎn)機(jī)制本身的缺陷。因此，將引入高分辨率特征提取網(wǎng)絡(luò)和Guided Anchoring機(jī)制對其進(jìn)行改進(jìn)優(yōu)化，使其性能表現(xiàn)更佳從而更加契合實(shí)際應(yīng)用的場景。

3.1 特征提取網(wǎng)絡(luò)優(yōu)化

實(shí)際上，在低分辨率的特征圖上是看不見小目標(biāo)物體的，這是因?yàn)楫?dāng)目標(biāo)物體的尺寸小于卷積神經(jīng)網(wǎng)絡(luò)的下采樣率時，該目標(biāo)在此特征圖上便會消失。比如32×32大小的目標(biāo)在采樣率為1/32時，該目標(biāo)在特征圖上就變成了一個點(diǎn)，而小于32×32大小的目標(biāo)則會消失，這便造成了高層的特征圖無法檢測到小目標(biāo)。標(biāo)準(zhǔn)的RetinaNet算法中主要是通過引入特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)來提高網(wǎng)絡(luò)對于小目標(biāo)物體的檢測精度，該網(wǎng)絡(luò)結(jié)構(gòu)主要是采用淺層的大尺寸特征圖來檢測小目標(biāo)，并且還將其與高層上采樣后的特征圖進(jìn)行融合來豐富特征；然而高層特征圖中的小目標(biāo)物體的語義信息在下采樣的過程中已經(jīng)丟失，于是便造成了融合后特征圖中來自淺層大尺寸特征圖的語義信息不足，從而導(dǎo)致類別識別能力較弱。

針對這個問題，引入高分辨率特征提取網(wǎng)絡(luò)HRNet，該網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示。

圖4 HRNet網(wǎng)絡(luò)結(jié)構(gòu)

由圖4可以看出，HRNet采用的是并行連接的方式，特征圖在網(wǎng)絡(luò)的傳遞過程中，通過下采樣操作分離出低尺寸的特征圖，隨后以此作為輸入分離出一條卷積神經(jīng)網(wǎng)絡(luò)，從而逐步的增加高分辨率到低分辨率的子網(wǎng)絡(luò)，形成更多的階段，并將多分辨率的子網(wǎng)絡(luò)并行連接，通過在并行的多分辨率子網(wǎng)絡(luò)上反復(fù)交換信息來進(jìn)行多尺度的重復(fù)融合，從而不斷地提高每一條子網(wǎng)絡(luò)的高分辨率特征。當(dāng)網(wǎng)絡(luò)傳遞到最后時，將所有網(wǎng)絡(luò)的特征圖進(jìn)行融合，于是便獲得了信息更加全面的高分辨率特征，使得特征圖上目標(biāo)的空間位置信息以及語義信息都變得更加完善。

3.2 錨點(diǎn)機(jī)制優(yōu)化

基于錨點(diǎn)機(jī)制的行人檢測算法在整體上可以分為兩個步驟，第一步是提取候選區(qū)域，第二步便是將提取出的候選區(qū)域送入后續(xù)的網(wǎng)絡(luò)中做進(jìn)一步的分類以及定位。錨框機(jī)制的引入使目標(biāo)檢測算法的性能有了較大的提高，但同時也帶來了一些問題。基于此，引入一種新的錨框生成方法——Guided Anchoring(GA)機(jī)制，即通過圖像的特征來指導(dǎo)錨框的生成。圖5為Guided Anchoring模塊的整個過程，共分為三個部分。

圖5 Guided Anchoring模塊

3.2.1 位置預(yù)測

位置預(yù)測的主要目的是預(yù)測哪些區(qū)域應(yīng)該作為中心點(diǎn)來生成錨框，屬于二分類問題。與區(qū)域建議網(wǎng)絡(luò)的工作不同，這里并不是預(yù)測每個點(diǎn)是前景還是背景，而是預(yù)測其是否為物體的中心。首先，整個特征圖的區(qū)域被分為物體中心區(qū)域、外圍區(qū)域和忽略區(qū)域，然后將真實(shí)框的中心一小塊對應(yīng)在特征圖上的區(qū)域標(biāo)記為物體中心區(qū)域，訓(xùn)練時將其作為正樣本，其余的區(qū)域按照離中心的距離標(biāo)為忽略樣本或者負(fù)樣本，最后通過選擇對應(yīng)概率值高于預(yù)定閾值的位置來確定可能存在對象活動的區(qū)域。對輸入尺寸為W×H×C(寬×高×通道數(shù))的特征圖FI使用1×1的卷積網(wǎng)絡(luò)NL，得到與FI具有相同分辨率、但是只有一個通道的輸出W×H×1，輸出的每個位置的值表示原圖上對應(yīng)位置出現(xiàn)物體的可能性，也就是概率圖，最后通過選擇對應(yīng)概率值高于預(yù)定閾值的位置來確定可能存在對象活動的區(qū)域。

通過位置預(yù)測，便可篩選出一小部分區(qū)域作為錨框的候選中心點(diǎn)位置，從而使得錨框數(shù)量大大降低，最后只需要針對有錨框的地方進(jìn)行計(jì)算即可。

3.2.2 形狀預(yù)測

形狀預(yù)測分支的主要目標(biāo)是根據(jù)給定錨框的中心點(diǎn)，預(yù)測出錨框最佳的長和寬，屬于回歸問題。將FI輸入1×1的卷積網(wǎng)絡(luò)NS，輸出與FI尺寸相同的雙通道的特征圖，兩個通道分別用dw和dh表示，表示每個位置可能的最好的錨框尺寸。雖然預(yù)測的目標(biāo)是w和h，但是直接預(yù)測這兩個數(shù)字不穩(wěn)定，因?yàn)榉秶鷷艽?，所以將空間[0，1 000]近似映射到了[-1，1]中，計(jì)算公式為

w=σsedw

h=σsedh

(5)

式(5)中：s為步幅；σ為經(jīng)驗(yàn)因子。

對于錨框和真實(shí)框匹配的問題，傳統(tǒng)的區(qū)域建議網(wǎng)絡(luò)是直接計(jì)算錨框和所有的真實(shí)框的交并比(intersection of union，IoU)，然后將錨框匹配給IoU最大的那個真實(shí)框，但是經(jīng)過改進(jìn)后錨框的寬(w)和高(h)都是不確定的，而是需要預(yù)測的變量，定義預(yù)測的錨框?yàn)閍wh，真實(shí)框?yàn)間t，IoU(·,·)表示預(yù)測框與真實(shí)框的交并比，于是將這個錨框和某個真實(shí)框的交并比定義為vIoU，計(jì)算公式為

(6)

由于不可能將所有可能的w和h遍歷一遍來求IoU的最大值，所以只采用了9組可能的w和h作為樣本，經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)近似效果已經(jīng)足夠。通過對錨框的位置預(yù)測和形狀預(yù)測，便可以生成最終的錨框了，此時生成的錨框即為稀疏且每個位置不一樣的。

3.3.3 特征精調(diào)模塊(feature adaption)

由于每個位置錨框的形狀是不同的，大的錨框?qū)?yīng)著較大的感受野，小的錨框則對應(yīng)小的感受野，所以不能像傳統(tǒng)的基于錨框的方法那樣直接對特征圖進(jìn)行卷積而進(jìn)行預(yù)測，而是需要對特征圖進(jìn)行精調(diào)。通過借鑒可變形卷積(deformable convolution)[15]的思想，根據(jù)形狀對各個位置單獨(dú)進(jìn)行轉(zhuǎn)換。

特征精調(diào)的方法就是將錨框的形狀信息直接融入特征圖中，從而得到新的特征圖來適應(yīng)每個位置錨框的形狀。主要通過3×3的可變形卷積NT對原特征圖進(jìn)行修正，其中可變形卷積的變化量是由錨框的w和h經(jīng)過一個1×1的卷積得到的。整個過程可以用式(7)來描述：

f′i=NT(fi,wi,hi)

(7)

式(7)中：i是對特征圖位置的枚舉；fi為第i個位置的特征；(wi，hi)為對應(yīng)的錨框的形狀；f′i為精調(diào)后的第i個位置的特征。

NT通過一個3×3的變形卷積來實(shí)現(xiàn)，首先通過形狀預(yù)測分支預(yù)測偏移字段offset field，然后對帶偏移的原始特征圖做變形卷積獲得自適應(yīng)特征F′I，之后再進(jìn)一步做分類和回歸。通過這樣的操作，達(dá)到了讓特征的有效范圍和錨框形狀更加接近的目的。

經(jīng)過上述三個步驟后，生成的錨框數(shù)量相對普通的錨框生成方法明顯減少，且與目標(biāo)的匹配度更高。通過對RetinaNet進(jìn)行上述改進(jìn)，得到了如圖6所示的算法結(jié)構(gòu)圖。

圖6 改進(jìn)后的RetinaNet算法結(jié)構(gòu)

4 實(shí)驗(yàn)與結(jié)論

4.1 模型訓(xùn)練

實(shí)驗(yàn)共設(shè)置三組，分別為標(biāo)準(zhǔn)Faster R-CNN、Faster R-CNN+ResNet-101+FPN、RetinaNet算法以及本章提出的改進(jìn)算法，對其分別進(jìn)行訓(xùn)練后測試，然后針對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

4.1.1 訓(xùn)練策略

按照1∶1比例劃分訓(xùn)練集和驗(yàn)證集，使用HRNet在ImageNet大型數(shù)據(jù)集上的模型的作為預(yù)訓(xùn)練模型，同時采用遞增的學(xué)習(xí)率預(yù)熱策略，即先使用較低的學(xué)習(xí)率來對模型進(jìn)行訓(xùn)練，在訓(xùn)練的過程中逐漸增加學(xué)習(xí)率，等模型逐漸穩(wěn)定后再增加到真正的初始學(xué)習(xí)率繼續(xù)進(jìn)行訓(xùn)練。

4.1.2 參數(shù)設(shè)置

算法采用的是隨機(jī)梯度下降(stochastic gradient descent，SGD)優(yōu)化算法來對模型進(jìn)行求解，初始的學(xué)習(xí)率設(shè)為0.002，權(quán)重衰減設(shè)置為0.000 1，同樣的設(shè)置訓(xùn)練學(xué)習(xí)的輪數(shù)為12輪，并在第8輪以及第11輪時調(diào)整學(xué)習(xí)率(分別在原有的學(xué)習(xí)率的基礎(chǔ)上下降0.1，也就是分別下降到0.000 2和0.000 02)，詳細(xì)的設(shè)置如表1所示。

表1 超參數(shù)的設(shè)置

4.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)過程中采用的硬件平臺以及軟件環(huán)境如表2所示。本文提出的算法在實(shí)驗(yàn)過程中的損失曲線圖如圖7所示。

iter為迭代次數(shù)；loss為每次迭代對應(yīng)的損失值

表2 硬件及軟件環(huán)境配置

本次評價的技術(shù)指標(biāo)為平均精度均值mAP。將本文的算法在Caltech行人數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，得到的結(jié)果如表3所示，同時與其他的三種算法進(jìn)行對比。從表3可見，本文提出的改進(jìn)后的算法的檢測精度表現(xiàn)最好。圖8為使用本文算法對圖片的檢測效果的示例。從圖8可以看出，很多小尺度、模糊以及遮擋的行人都可以通過本文算法檢出。當(dāng)場景同時存在大尺度行人和小尺度行人時，本文算法也可以很好地區(qū)分。

圖8 改進(jìn)后算法檢測結(jié)果示例

表3 不同算法在Caltech數(shù)據(jù)集上的mAP

由于本文研究的行人檢測算法最終是要應(yīng)用在輔助駕駛系統(tǒng)或自動駕駛系統(tǒng)中，因此對于算法的檢測速度即實(shí)時性有較高的要求。使用優(yōu)化后的算法模型對從行車記錄儀中截取的真實(shí)場景下的行車視頻片段進(jìn)行檢測，計(jì)算檢測速度，在輸入的視頻分辨率為1 280×720時，各算法的每秒檢測幀數(shù)(frames per second，F(xiàn)PS)結(jié)果如表4所示。根據(jù)表4中數(shù)據(jù)可以看出，本文提出的改進(jìn)后的算法在視頻檢測速度稍稍降低的條件下性能有所提升，實(shí)現(xiàn)了檢測速度與精度的均衡。

表4 視頻檢測結(jié)果

5 結(jié)論

通過對實(shí)際應(yīng)用場景中行人檢測的難點(diǎn)問題進(jìn)行分析，提出將原來的特征提取網(wǎng)絡(luò)替換為對小目標(biāo)物體更加敏感的高分辨率網(wǎng)絡(luò)，以提高低層特征圖的語義信息以及高層特征圖中的位置信息；同時，對目標(biāo)檢測算法中的anchor機(jī)制進(jìn)行分析，發(fā)現(xiàn)該機(jī)制中存在的一些缺陷，并基于此而引入Guided Anchoring機(jī)制，從而使得anchor的位置以及形狀與目標(biāo)更加接近，減少了anchor的數(shù)量，降低了計(jì)算量，使得模型的檢測精度得到提升；其次，將優(yōu)化后的算法在Caltech行人數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，最終得到mAP為0.905的檢測精度，相比于標(biāo)準(zhǔn)的RetinaNet算法提高約6%，證明了本文提出的優(yōu)化方案可以提高算法對行人的檢測能力；最后，將實(shí)驗(yàn)結(jié)果與不同的行人檢測算法進(jìn)行對比分析，證明了提出的改進(jìn)算法的檢測精度達(dá)到了領(lǐng)先水平；并對該算法進(jìn)行了符合應(yīng)用場景的視頻檢測實(shí)驗(yàn)，結(jié)果為19 FPS，證明了該算法在檢測速度上也有一定優(yōu)勢。