基于嵌入式終端的YOLOv3 算法優(yōu)化實(shí)現(xiàn)?

侯 勇 楊爭(zhēng)爭(zhēng) 薛少輝 翟二寧

（西北機(jī)電工程研究所 咸陽(yáng) 712000）

1 引言

目標(biāo)檢測(cè)技術(shù)是從特定復(fù)雜場(chǎng)景中提取并自動(dòng)識(shí)別出感興趣目標(biāo)的類別和位置坐標(biāo)信息，目前已經(jīng)被廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)跟蹤和軍事偵察等領(lǐng)域。鑒于傳統(tǒng)的目標(biāo)檢測(cè)算法均存在識(shí)別準(zhǔn)確率低、跨平臺(tái)移植性和魯棒性較差等問(wèn)題，在分類任務(wù)上大放異彩的深度學(xué)習(xí)技術(shù)已成為該研究任務(wù)的主要手段。目前基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)算法主要?jiǎng)潪閮深悾阂活愂窍忍崛『蜻x區(qū)域再進(jìn)行目標(biāo)檢測(cè)的雙步式（Two-stage）檢測(cè)，另一類是設(shè)計(jì)端到端網(wǎng)絡(luò)直接進(jìn)行回歸預(yù)測(cè)的單步式（One-stage）檢測(cè)［1］。

其中，雙步式目標(biāo)檢測(cè)方法分兩步進(jìn)行，第一步采用選擇性搜索算法大致檢測(cè)出目標(biāo)區(qū)域的所在位置，第二步對(duì)目標(biāo)區(qū)域位置采取精細(xì)化后再進(jìn)行全局整合。這類最具代表性的算法是RCNN［2］、Fast-RCNN［3］和Faster-RCNN［4］，也被稱為RCNN 系列檢測(cè)算法。

由于該類算法采取了較為精細(xì)化的目標(biāo)區(qū)域特征提取方式，相較于傳統(tǒng)使用滑窗遍歷提取特征進(jìn)行目標(biāo)識(shí)別的算法，其在檢測(cè)準(zhǔn)確度和速度上都有了較大的進(jìn)步。但由于其檢測(cè)過(guò)程需要兩個(gè)步驟，而導(dǎo)致計(jì)算量較大，耗時(shí)較長(zhǎng)，無(wú)法滿足實(shí)時(shí)性需求。隨后，相關(guān)研究者提出了基于回歸的單步式檢測(cè)方法。

單步式檢測(cè)方法采用端到端式網(wǎng)絡(luò)結(jié)構(gòu)僅需要一步就可以完成整個(gè)目標(biāo)檢測(cè)流程。單階段代表性檢測(cè)方法包括：SSD［5］、YOLO 系列［6～9］。該類算法不再預(yù)先進(jìn)行目標(biāo)候選區(qū)域的預(yù)測(cè)，而是直接通過(guò)網(wǎng)絡(luò)回歸的方式輸出待測(cè)目標(biāo)的類別與位置坐標(biāo)信息。相比較雙步式目標(biāo)檢測(cè)方法，該類算法采用的端到端式檢測(cè)流程大幅度地提高了檢測(cè)效率。同時(shí)，在該類以檢測(cè)速度著稱的算法中，YOLO算法取得了非常好的目標(biāo)檢測(cè)效果，并且在很多場(chǎng)景中已經(jīng)實(shí)現(xiàn)了工程化落地應(yīng)用［10～13］。并且提出團(tuán)隊(duì)對(duì)該算法進(jìn)行了系列優(yōu)化，本工作中使用已經(jīng)工程化應(yīng)用的YOLOv3 算法來(lái)進(jìn)行輕量化目標(biāo)檢測(cè)任務(wù)的訓(xùn)練學(xué)習(xí)，并將訓(xùn)練好的模型部署在百度EdgeBoard 計(jì)算盒上，實(shí)現(xiàn)輕量化檢測(cè)模型的嵌入式終端落地應(yīng)用。

2 嵌入式終端介紹

本文基于百度EdgeBoard-FZ9B 邊緣AI 計(jì)算盒進(jìn)行深度目標(biāo)檢測(cè)模型的部署，該計(jì)算盒基于Xilinx Zynq UltraScale 和MPSoCs開(kāi)發(fā)平臺(tái)打造，采用Xilinx FPGA 核心處理器將多核ARM Cortex-A53 和FPGA 可編程邏輯集成在一顆芯片上，并在此基礎(chǔ)上搭載了豐富的外部接口和設(shè)備［14］。

2.1 硬件環(huán)境

百度EdgeBoard 邊緣AI 計(jì)算盒中內(nèi)含嵌入式FPGA高性能計(jì)算卡和深度模型嵌入開(kāi)發(fā)工具包以及AI 模型加速工具包等，具有強(qiáng)悍的終端加速性能。Xilinx FPGA 高性能的加速引擎提供3.6Tops的強(qiáng)大AI 算力，經(jīng)典分類模型Resnet50 部署在計(jì)算盒上實(shí)測(cè)可達(dá)到60FPS處理速度，且用戶可以根據(jù)需要輸入百度大腦預(yù)置或自定制算法模型。EdgeBoard 邊緣AI 計(jì)算盒具有豐富的開(kāi)發(fā)資源：定制化圖像識(shí)別開(kāi)發(fā)平臺(tái)（EasyDL）、視頻監(jiān)控開(kāi)發(fā)平臺(tái)（EasyMonitor）和開(kāi)源深度學(xué)習(xí)平臺(tái)（Paddle-Paddle）。如圖1 展示了EdgeBoard AI 計(jì)算盒實(shí)物圖。

圖1 EdgeBoard AI計(jì)算盒實(shí)物圖

EdgeBoard 靈活的芯片架構(gòu)，可適配行業(yè)內(nèi)最前沿、效果最好的算法模型?；贓dgeBoard 打造的軟硬一體化產(chǎn)品，可應(yīng)用于安防、工業(yè)、教育、交通等各個(gè)場(chǎng)景。EdgeBoard 計(jì)算盒參數(shù)指標(biāo)如表1所示。

表1 EdgeBoard-FZ9B計(jì)算盒性能參數(shù)

2.2 軟件環(huán)境

EdgeBoard計(jì)算盒基于Linux系統(tǒng)，整個(gè)開(kāi)發(fā)過(guò)程就是一個(gè)Linux應(yīng)用程序的開(kāi)發(fā)。應(yīng)用程序獲取視頻輸入，調(diào)用預(yù)測(cè)庫(kù)加載模型，調(diào)度模型，驅(qū)動(dòng)加速模塊進(jìn)行計(jì)算，加速模型運(yùn)行，獲得運(yùn)行結(jié)果。EdgeBoard計(jì)算盒的軟件架構(gòu)如圖2所示。

圖2 EdgeBoard邊緣AI計(jì)算盒軟件架構(gòu)

典型圖像識(shí)別模型在EdgeBoard-FZ9B 計(jì)算盒上的性能數(shù)據(jù)如表2所示。

表2 典型識(shí)別模型在計(jì)算盒上的性能數(shù)據(jù)

3 YOLOv3模型優(yōu)化

3.1 YOLOv1

YOLOv1 網(wǎng)絡(luò)首先提取輸入待測(cè)圖像的特征圖并將其劃分成S*S 個(gè)網(wǎng)格，然后用每個(gè)格子來(lái)預(yù)測(cè)所含目標(biāo)物體的矩形邊界框、目標(biāo)所屬類別的概率和置信度。其中，目標(biāo)邊界框信息包含了五個(gè)預(yù)測(cè)信息，具體包括目標(biāo)物體的中心位置坐標(biāo)（x，y），目標(biāo)的寬w 和高h(yuǎn) 以及預(yù)測(cè)物體邊界框相對(duì)于真實(shí)目標(biāo)標(biāo)注框（Ground Truth）的重合百分比即IOU，也稱為目標(biāo)預(yù)測(cè)框的置信度。檢測(cè)時(shí)，將每個(gè)網(wǎng)格所預(yù)測(cè)目標(biāo)的類別概率和每一個(gè)目標(biāo)預(yù)測(cè)邊界框的置信度相乘，就得到了該目標(biāo)邊界框所屬類別的準(zhǔn)確度，如式（1）所示：

上式中，Pr（Class|Object）表示邊界框預(yù)測(cè)目標(biāo)類別的信息，Pr（Object）表示預(yù)測(cè)邊界框內(nèi)是否含有目標(biāo)，IOUp表示目標(biāo)預(yù)測(cè)邊界框坐標(biāo)的準(zhǔn)確度。YOLO 算法在實(shí)際訓(xùn)練模型時(shí)，會(huì)選擇網(wǎng)格上與目標(biāo)物體真實(shí)標(biāo)注框重合百分比即IOU 最大的邊界框來(lái)預(yù)測(cè)目標(biāo)物體位置信息。

隨著網(wǎng)絡(luò)模型的訓(xùn)練迭代次數(shù)增加，檢測(cè)精度也在不斷提升。但實(shí)際應(yīng)用中YOLOv1 也顯示出了弊端：

1）因?yàn)槊總€(gè)劃分的網(wǎng)格只能預(yù)測(cè)一個(gè)目標(biāo)類別和兩個(gè)矩形邊界框，當(dāng)存在多個(gè)目標(biāo)中心落入到一個(gè)格子的情況時(shí)，模型最終檢測(cè)的準(zhǔn)確度將無(wú)法保證。

2）v1 框架中沒(méi)有考慮到不同比例尺度大小的預(yù)測(cè)邊界框設(shè)計(jì)，需要借助大量數(shù)據(jù)來(lái)支撐模型訓(xùn)練，嚴(yán)重限制了算法模型的泛化能力。

3.2 YOLOv2

YOLOv2是v1模型的升級(jí)版本，v2在v1檢測(cè)網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，優(yōu)化使用了骨干網(wǎng)絡(luò)框架Darknet-19，并去掉了Dropout 機(jī)制從而使得整個(gè)網(wǎng)絡(luò)模型更容易得到充分訓(xùn)練和收斂。為了進(jìn)一步減小冗余的模型參數(shù)提高計(jì)算效率，舍棄了分類任務(wù)常使用的全連接層而改用效率更高的全卷積來(lái)進(jìn)行運(yùn)算。同時(shí)，相對(duì)于v1 網(wǎng)絡(luò)架構(gòu)，v2 中添加了高效率的anchors 多比例尺度預(yù)測(cè)框機(jī)制，更精細(xì)化地預(yù)測(cè)模型輸出邊界框相較于目標(biāo)真實(shí)標(biāo)注框的偏移量。在模型訓(xùn)練時(shí)，通過(guò)輸入不同尺度大小的圖像來(lái)進(jìn)一步提升模型泛化能力。同時(shí)使用了K-means 聚類算法在訓(xùn)練數(shù)據(jù)集的真實(shí)標(biāo)注框中產(chǎn)生目標(biāo)物體對(duì)應(yīng)的先驗(yàn)框。

3.3 YOLOv3

相較于v1、v2，YOLOv3 模型整體增加了整個(gè)網(wǎng)絡(luò)的深度，提出了Darknet53 的骨干網(wǎng)絡(luò)框架。其借鑒了ResNet［15］網(wǎng)絡(luò)的思想，多次使用了殘差的跳層連接方式，同時(shí)為了提取更豐富的高級(jí)語(yǔ)義特征信息，V3 網(wǎng)絡(luò)中去掉了池化層與全連接層，而是使用步長(zhǎng)為2 的卷積操作來(lái)替代傳統(tǒng)的池化層對(duì)較大特征圖進(jìn)行下采樣操作。同時(shí)結(jié)合多尺度預(yù)測(cè)機(jī)制，YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，分別在三種尺度上進(jìn)行目標(biāo)檢測(cè)，每種尺度的特征圖各產(chǎn)生三個(gè)預(yù)測(cè)框，每個(gè)目標(biāo)框返回四個(gè)坐標(biāo)參數(shù)。YOLOv3 使用邏輯回歸判定每個(gè)邊界框的目標(biāo)評(píng)分，如果預(yù)測(cè)框與真值框重疊超過(guò)某一閾值，則設(shè)置其目標(biāo)評(píng)分為1，最后根據(jù)目標(biāo)評(píng)分結(jié)果選擇對(duì)應(yīng)的預(yù)測(cè)框。

圖3 原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

3.4 YOLOv3網(wǎng)絡(luò)優(yōu)化

為了進(jìn)一步優(yōu)化模型參數(shù)，提升檢測(cè)模型的推理速度，本文將原始骨干網(wǎng)絡(luò)Darknet-53 替換為高效的輕量化網(wǎng)絡(luò)MobileNetv1［16］。Mobile-Netv1 網(wǎng)絡(luò)主要利用點(diǎn)卷積和分組卷積操作來(lái)替代原來(lái)的標(biāo)準(zhǔn)卷積操作，可以極大地消除網(wǎng)絡(luò)中卷積運(yùn)算部分，從而使得網(wǎng)絡(luò)整體計(jì)算量和復(fù)雜度大大減小。我們將該網(wǎng)絡(luò)模型命名為YOLOv3-MobileNetv1，詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 YOLOv3-MobileNetv1網(wǎng)絡(luò)結(jié)構(gòu)

4 YOLOv3模型優(yōu)化與部署

4.1 實(shí)驗(yàn)環(huán)境

本節(jié)對(duì)優(yōu)化后的YOLOv3-MobileNetv1 模型進(jìn)行訓(xùn)練和部署，實(shí)驗(yàn)中用到的軟硬件環(huán)境如表3 所示。

表3 實(shí)驗(yàn)軟硬件環(huán)境

4.2 實(shí)驗(yàn)數(shù)據(jù)集

在目標(biāo)檢測(cè)領(lǐng)域，PASCAL VOC 數(shù)據(jù)集是經(jīng)典且具有影響力的基準(zhǔn)數(shù)據(jù)集。PASCAL VOC 從2005 年開(kāi)始舉辦挑戰(zhàn)賽，數(shù)據(jù)集包含的樣本數(shù)量和類別也在不斷完善更新。PASCAL VOC 數(shù)據(jù)集的層級(jí)結(jié)構(gòu)如圖5所示。

圖5 PASCAL VOC數(shù)據(jù)集層級(jí)結(jié)構(gòu)

在本工作中，我們采用VOC2007 數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試優(yōu)化后的YOLOv3 網(wǎng)絡(luò)。該數(shù)據(jù)集的樣本統(tǒng)計(jì)信息如表4所示。

表4 PASCAL VOC2007數(shù)據(jù)集統(tǒng)計(jì)信息

4.3 目標(biāo)損失函數(shù)

YOLOv3-MobileNetv1 網(wǎng)絡(luò)的目標(biāo)損失函數(shù)如式（2）所示。共分為三部分：坐標(biāo)預(yù)測(cè)誤差，置信度預(yù)測(cè)誤差和類別預(yù)測(cè)誤差。網(wǎng)絡(luò)在預(yù)測(cè)目標(biāo)位置時(shí)將特征圖劃分為S*S 個(gè)網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)又分別產(chǎn)生B 個(gè)目標(biāo)候選框，每個(gè)候選框經(jīng)過(guò)迭代優(yōu)化會(huì)得到相應(yīng)的Bounding Box。

4.4 網(wǎng)絡(luò)訓(xùn)練配置文件

表5 分別定義了YOLOv3-MobileNetv1 網(wǎng)絡(luò)訓(xùn)練過(guò)程中的學(xué)習(xí)率Lr、優(yōu)化器Optimizer、迭代次數(shù)Iter和Batch Size等參數(shù)。

表5 網(wǎng)絡(luò)訓(xùn)練配置文件

4.5 檢測(cè)模型識(shí)別性能評(píng)估

通常，PASCAL VOC 數(shù)據(jù)集檢測(cè)性能的評(píng)價(jià)標(biāo)準(zhǔn)為MAP，即數(shù)據(jù)集中所有類別目標(biāo)的檢測(cè)準(zhǔn)確率平均值，本工作中沿用該評(píng)價(jià)標(biāo)準(zhǔn)。

4.6 實(shí)驗(yàn)結(jié)果分析

在PASCAL VOC2007 訓(xùn)練集上優(yōu)化好網(wǎng)絡(luò)模型后在相應(yīng)的測(cè)試集上進(jìn)行測(cè)試，得到的測(cè)試精度MAP為76.2%。

同時(shí)，在圖6（a）～6（b）中展示了訓(xùn)練收斂的模型在PASCAL VOC2007 測(cè)試數(shù)據(jù)集上得到的部分檢測(cè)結(jié)果。其中，上邊是原始測(cè)試圖像，下邊是訓(xùn)練收斂的YOLOv3-MobileNetv1 模型推理得到的目標(biāo)檢測(cè)結(jié)果，檢測(cè)結(jié)果圖包含了預(yù)測(cè)目標(biāo)的類別、置信度和位置坐標(biāo)等信息。

圖6 測(cè)試結(jié)果展示

從圖6（a）～6（b）展示的部分測(cè)試結(jié)果來(lái)看，優(yōu)化后的YOLOv3-MobileNetv1 模型對(duì)于行人、風(fēng)箏等小目標(biāo)均具有良好的檢測(cè)識(shí)別效果。

接下來(lái)將訓(xùn)練收斂好的檢測(cè)網(wǎng)絡(luò)模型部署到EdgeBoard-FZ9B 計(jì)算盒上，同時(shí)在互聯(lián)網(wǎng)上采集了一些飛機(jī)、坦克等典型軍事目標(biāo)圖像，并基于計(jì)算盒使用該模型進(jìn)行檢測(cè)，測(cè)試結(jié)果如圖7（a）～7（b）所示。其中，上邊是原始測(cè)試圖像，下邊是計(jì)算盒上部署模型推理的檢測(cè)結(jié)果。

圖7 計(jì)算盒部署模型測(cè)試結(jié)果展示

從圖7（a）～7（b）展示的測(cè)試結(jié)果來(lái)看，計(jì)算盒上部署的YOLOv3-MobileNetv1 模型對(duì)于飛機(jī)、坦克等典型軍事目標(biāo)圖像均具有良好的檢測(cè)識(shí)別效果。

5 結(jié)語(yǔ)

近年來(lái)，目標(biāo)檢測(cè)技術(shù)廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)動(dòng)態(tài)跟蹤和軍事偵察等多個(gè)領(lǐng)域。本文首先對(duì)先進(jìn)的YOLOv3 目標(biāo)檢測(cè)模型進(jìn)行了輕量型優(yōu)化，將骨干網(wǎng)絡(luò)Darknet-53 替換為更為高效的MobileNetv1網(wǎng)絡(luò)，極大地縮減了網(wǎng)絡(luò)模型的參數(shù)和計(jì)算量。之后基于經(jīng)典的PASCAL VOC2007 圖像目標(biāo)檢測(cè)數(shù)據(jù)集對(duì)YOLOv3-MobileNetv1 模型進(jìn)行了充分訓(xùn)練，并在相應(yīng)的測(cè)試集上取得了76.2%的高識(shí)別準(zhǔn)確度。之后將訓(xùn)練收斂的模型部署在百度EdgeBoard-FZ9B AI 計(jì)算盒上，并采集了部分互聯(lián)網(wǎng)上的圖像進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明優(yōu)化后的YOLOv3-MobileNetv1 檢測(cè)模型具有優(yōu)良的目標(biāo)識(shí)別性能，并可以高效地部署到嵌入式終端以實(shí)現(xiàn)目標(biāo)識(shí)別技術(shù)的落地應(yīng)用。但同時(shí)由于PASCAL VOC數(shù)據(jù)集的訓(xùn)練樣本有限，在一定程度上限制了模型的最終識(shí)別性能。在下一步研究工作中，可以進(jìn)一步采取一些手段來(lái)擴(kuò)充訓(xùn)練的數(shù)據(jù)樣本量，并通過(guò)充分訓(xùn)練來(lái)獲取準(zhǔn)確率更高的深度檢測(cè)模型，以更高效地部署到嵌入式終端。