基于YOLO算法和RK3399平臺的行人檢測實(shí)時性研究

胡鵬 張光建

摘要：為了解決在固定背景下端到端的行人檢測難于達(dá)到實(shí)時性問題，并且結(jié)合實(shí)際開發(fā)板的特性與任務(wù)特點(diǎn)，提出了新的骨干特征提取網(wǎng)絡(luò)，采用YOLO作為檢測算法基礎(chǔ)結(jié)構(gòu)。所提出的方法以預(yù)測速度快為目標(biāo)，該方法取得了在RK3399開發(fā)板上運(yùn)行效率達(dá)11.842fps的良好結(jié)果，達(dá)到了實(shí)時性目的。在實(shí)驗(yàn)上從訓(xùn)練、預(yù)測兩個方面于YOLOv1、v2、v3的其它精簡版網(wǎng)絡(luò)進(jìn)行了對比。研究表明訓(xùn)練時損失值與網(wǎng)絡(luò)的復(fù)雜性并無明顯的相關(guān)性，同樣的與mAP也無明顯相關(guān)性，預(yù)測時新的特征提取骨干網(wǎng)絡(luò)能在單類別目標(biāo)檢測任務(wù)中在大幅度提高檢測速度的同時有較好的預(yù)測精度。

關(guān)鍵詞：YOLO;RK3399;實(shí)時性;固定背景;行人檢測

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2020）03-0078-04

0 引言

作為目標(biāo)檢測領(lǐng)域里的一個較為重要的一個分支，固定背景下的行人檢測在視頻監(jiān)控等方面得到廣泛的應(yīng)用。經(jīng)過幾十年的不斷發(fā)展，從人工特征工程到機(jī)器學(xué)習(xí)特征工程，從人工設(shè)計(jì)模板發(fā)展為端到端深度學(xué)習(xí)，在檢測精度上有了很大的提高。同時在當(dāng)前檢測精度尚可的情況下，研究更多的關(guān)注點(diǎn)是在有限的條件下?lián)碛懈俚挠?jì)算量，更快的預(yù)測速度。

YOLO[1]將檢測任務(wù)視為回歸任務(wù)進(jìn)行處理，在基礎(chǔ)骨干網(wǎng)絡(luò)相同的情況下，有著更快的預(yù)測速度。通過借鑒YOLO這一思想，保障了預(yù)測的Benchmark速度。但在部署到嵌入式端時（如RK3399平臺），發(fā)現(xiàn)如若不對骨干特征提取網(wǎng)絡(luò)進(jìn)行更改，依舊難于達(dá)到實(shí)時預(yù)測，由此引出本文。

1 行人檢測與網(wǎng)絡(luò)訓(xùn)練

1.1 改進(jìn)的網(wǎng)絡(luò)設(shè)計(jì)

為了能達(dá)到實(shí)時性目的，并結(jié)合實(shí)際數(shù)據(jù)目標(biāo)特征，對特征提取網(wǎng)絡(luò)進(jìn)行大幅度修改。相比于YOLO_v1/2/3的精簡版（Tiny）還要精簡。取消了上采樣層與疊加層，只保留了卷積層和最大池化層。骨干特征提取網(wǎng)絡(luò)層數(shù)縮減到只有8層，遠(yuǎn)小于YOLO_v1-Tiny的15層，YOLO_v2-Tiny的15層，YOLO_v3-Tiny的20層。

同時，為了衡量網(wǎng)絡(luò)模型復(fù)雜度，從計(jì)算量與參數(shù)量這兩個指標(biāo)進(jìn)行評價(jià)，如圖1所示，本文模型相比于YOLO_v2/3-Tiny分別是后者的～12.4%和～11.7%，甚至相比于YOLO_v1-Tiny而言分別是后者的9.66%和5.86%。骨干特征提取網(wǎng)絡(luò)的更簡單，為在開發(fā)板上達(dá)到實(shí)時性要求打下了良好的基礎(chǔ)。

在設(shè)計(jì)特征提取網(wǎng)絡(luò)時，考慮到計(jì)算量這一條件限制，并沒有使用小卷積核將網(wǎng)絡(luò)加深的方式來獲取更大的感受野與更少的參數(shù)量[2]，而是通過增大卷積核大小與步長的方式，這樣做的目的一方面是增加卷積核感受野。另一方面是將特征圖尺寸快速降下來，減少后續(xù)的計(jì)算量。同時，低層特征卷積核個數(shù)設(shè)計(jì)得并不多，原因是根據(jù)對數(shù)據(jù)集的觀察，發(fā)現(xiàn)小紋理并不豐富。豐富的是高層網(wǎng)絡(luò)的上下文。期望的是通過最后兩次的1x1卷積進(jìn)行維度整合與達(dá)到全鏈接層的目的[3]，使得網(wǎng)絡(luò)層頂部特征上下文能變得可分（圖2）。最后得到35×35×30大小的特征圖用于回歸預(yù)測。

1.2 訓(xùn)練數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)集圖片來源于固定的雙目網(wǎng)絡(luò)攝像頭，先拍攝成雙目視頻，然后解幀而成。單個攝像頭的分辨率為320×240。俯視角度或高角度下拍攝得到，標(biāo)注框標(biāo)定結(jié)果為頭與肩位置（人工篩選剔除有傘遮擋情況的目標(biāo)標(biāo)注框）。經(jīng)過標(biāo)注處理，得到最終的數(shù)據(jù)集共包含了6280張圖片（圖3），隨機(jī)劃分為訓(xùn)練集5000張，測試集1000張，驗(yàn)證集280張。在訓(xùn)練之前，先利用K-means對訓(xùn)練集里標(biāo)注對象框的寬高尺寸進(jìn)行聚類分析，得到標(biāo)注框?qū)捀呦鄬D片寬高比結(jié)果為：（0.7236，1.0382），（1.0214，1.1645），（0.9048，1.5255），（1.2038，1.3900），（1.1960，1.8314），作為Anchor參數(shù)輸入，Anchor與標(biāo)注框的平均IoU為85.03%。

1.3 訓(xùn)練過程

整個實(shí)驗(yàn)與對比試驗(yàn)訓(xùn)練過程在Intel Core i7-7700k+ NVIDIA RTX2080ti硬件條件下完成。由于完全自定義骨干特征提取網(wǎng)絡(luò)、預(yù)訓(xùn)練模型并不一定有明顯促進(jìn)效果[4]、以及對比試驗(yàn)公平性等原因，均沒有在ImageNet等數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練以及使用預(yù)訓(xùn)練模型。在訓(xùn)練策略上，為了防止過擬合，均啟用了飽和度、曝光、色調(diào)的隨機(jī)調(diào)整來進(jìn)行數(shù)據(jù)增強(qiáng)，權(quán)重衰減正則項(xiàng)值為0.0005。為了避免陷入局部最優(yōu)的情況，動量值為0.9。采用了多分布策略學(xué)習(xí)率。Batch大小均為64。

為了降低訓(xùn)練的偶然因素，本文將整個訓(xùn)練過程重復(fù)了5次，相同繪制節(jié)點(diǎn)數(shù)據(jù)值取的是5次訓(xùn)練算數(shù)平均值。所有網(wǎng)絡(luò)模型訓(xùn)練實(shí)驗(yàn)Loss在2000批之前迅速降低且之后趨于收斂。每個網(wǎng)絡(luò)模型最大訓(xùn)練次數(shù)為40000次終止，沒有設(shè)置提前終止條件。每1000個Batch保存一次模型，得到40個網(wǎng)絡(luò)模型，并在測試集內(nèi)進(jìn)行測試。在計(jì)算mAP時，選擇IoU的閾值為0.5，預(yù)測結(jié)果mAP值總體趨勢均為先快速上升，然后振蕩緩慢上升，在25000個Batch過后相對穩(wěn)定。在計(jì)算aIoU時，選取的置信度閾值為0.25，得到平均交并比預(yù)測結(jié)果，值在25000個Batch后相對穩(wěn)定，而前期均有不同程度的振蕩過程（圖4）。

設(shè)計(jì)的模型損失收斂值與YOLO_v1-Tiny，YOLO_v2-Tiny基本持平。值得注意的是YOLO_v3-Tiny的收斂值則有將近3倍之多，而在測試集上在25000批之后趨于穩(wěn)定的測試值來看，無論是IoU閾值為0.5時的mAP值還是置信度閾值為0.25時的aIoU值，YOLO_v3-Tiny均為最佳。并且從曲線圖也可以發(fā)現(xiàn)在25000批之后平均損失值最小的是YOLO_v1-Tiny，但mAP與aIoU表現(xiàn)均不是最優(yōu)?？梢钥闯鰮p失收斂值與測試集上得到的mAP與aIoU值沒有明顯的相關(guān)性。證明在目標(biāo)檢測任務(wù)中損失值并不一定是越小越好。