基于FPGA 的雙源無軌電車的改進型YOLO-V3 模型*

董宜平，謝 達，鈕 震，彭湖灣，賈尚杰

（1.中國電子科技集團公司第五十八研究所，江蘇無錫 214072；2.無錫中微億芯有限公司，江蘇無錫 214072；3.凱博易控車輛科技（蘇州） 股份有限公司，江蘇蘇州 215200）

1 引言

當前，北京、上海、武漢、廣州、杭州等大城市保有大量的雙源無軌電車，該類電車有著靈活、經(jīng)濟、環(huán)保等特點。雙源無軌電車普遍采用傳統(tǒng)手動搭線方式將集電桿接入高壓電網(wǎng)，這樣的操作方式存在著效率低、容易誤操作以及增加操作員風(fēng)險等弊端。近年來，研究人員開始采用深度學(xué)習(xí)網(wǎng)絡(luò)對集電盒進行自動識別，從而實現(xiàn)搭載過程完全自動化。該方法可以減少搭載時間、提高搭載精度，做到停下即搭載，減少堵車風(fēng)險，在保護司機的同時可以減少其誤操作。第三版?zhèn)鹘y(tǒng)黑暗網(wǎng)絡(luò)的主干網(wǎng)絡(luò)單次檢測（YOLO-V3）是常用的基于深度學(xué)習(xí)網(wǎng)絡(luò)的目標識別模型，但是以YOLO-V3 網(wǎng)絡(luò)模型為基礎(chǔ)搭建試驗平臺進行測試時發(fā)現(xiàn)，由于集電盒在白天和夜晚的曝光效果不同，同時存在陰天、霧霾、雨雪等天氣干擾，多變背景、遮擋和陰影等環(huán)境干擾，以及集電盒的大小、高度、拍照角度不一致等原因，導(dǎo)致識別的集電盒出現(xiàn)異常形變，很難進行有效識別。同時，基于YOLO-V3 網(wǎng)絡(luò)的搭載模型運算速度有待提高，硬件開銷較大。

本文提出以輕量化移動網(wǎng)絡(luò)（MobileNet）為主干網(wǎng)絡(luò)的改進型YOLO-V3 網(wǎng)絡(luò)模型，取代傳統(tǒng)的以黑暗網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的模型，以減少訓(xùn)練時間、提高運算處理速度、降低硬件消耗和提高識別性能。

2 YOLO-V3 和改進模型建立

2.1 YOLO-V3 網(wǎng)絡(luò)

YOLO-V3 是一種可以全輸入的目標檢測算法，即不需要對輸入模型進行裁剪。該算法能快速將被測目標從復(fù)雜環(huán)境中分離出來，從而降低深層網(wǎng)絡(luò)的訓(xùn)練復(fù)雜度，減少深度學(xué)習(xí)過程中的硬件開銷。YOLO-V3 網(wǎng)絡(luò)模型如圖1 所示，圖中藍色虛線框中是黑暗網(wǎng)絡(luò)-53（Darknet-53），由53 個卷積層組成。卷積層包含如下幾部分：一個Darknet 的2 維卷積Conv2D 采用3×3 和1×1 的卷積核對圖片進行目標特征提??；一個批量歸一化層通過反向傳播對訓(xùn)練過程中的梯度參數(shù)進行更新，使訓(xùn)練最快得到最優(yōu)解；一個具有激活函數(shù)的層幫助參數(shù)進行更新。其中殘差網(wǎng)絡(luò)由兩級卷積網(wǎng)絡(luò)疊加和主分支輸出的同維度張量得到。同時，采用快捷鏈接可以有效解決卷積層訓(xùn)練過程中網(wǎng)絡(luò)模型梯度退化、網(wǎng)絡(luò)誤差不斷累積等問題，保障YOLO-V3 深度訓(xùn)練高擬合度。

圖1 YOLO-V3 網(wǎng)絡(luò)模型

YOLO-V3 模型的Darknet 主干網(wǎng)絡(luò)由5 組殘差層組成，數(shù)據(jù)處理流程如下：1）輸入分辨率為416×416×3 的圖片，經(jīng)過1 次選采樣傳遞給下一級殘差網(wǎng)絡(luò)；2）輸入分辨率為208×208×64 的選采樣圖像，經(jīng)過一級的殘差網(wǎng)絡(luò)處理，傳遞給下一級的2 次下采樣；3）輸入2 次下采樣的104×104×128 圖像，經(jīng)過2 級的殘差網(wǎng)絡(luò)處理，傳遞給下一級的3 次下采樣；4）輸入3 次下采樣的52×52×256 圖像，經(jīng)過8 級的殘差網(wǎng)絡(luò)處理，傳遞給下一級的4 次下采樣；5）輸入26×26×512的4 次下采樣圖像，經(jīng)過8 級的殘差網(wǎng)絡(luò)，傳遞給下一級的5 次下采樣；6）輸入13×13×1024 的5 次下采樣圖像，經(jīng)過4 級的殘差網(wǎng)絡(luò)，傳遞給下一級的32 次采樣，完成Darknet-53 的網(wǎng)絡(luò)處理。

經(jīng)過Darknet-53 的網(wǎng)絡(luò)處理后， 再通過YOLO-V3 的3 個特征對目標進行多尺度特征檢測。多尺度特征檢測1：輸入416×416 的圖像，經(jīng)過79 層的卷積網(wǎng)絡(luò)后，利用1×1 和3×3 的卷積運算，再經(jīng)過32 次下采樣得到輸出分辨率為13×13×255 的特征圖。較小的特征圖具有更大的感受視野，主要用于大的目標特征提取。多尺度特征檢測2：輸入416×416 的圖像，經(jīng)過91 層卷積網(wǎng)絡(luò)后的上采樣卷積與第61 層特征圖融合，得到91 層較細致的特征圖。再經(jīng)過16 次下采樣，輸出26×26×255 的特征圖。中等的特征圖有中等的感受視野，主要針對中等的目標特征提取。多尺度特征檢測3：輸入416×416 的圖像，經(jīng)過91 層的卷積網(wǎng)絡(luò)后的上采樣卷積與第36 層特征圖融合，得到91 層較細致的特征圖。再經(jīng)過8 次下采樣，輸出52×52×255 的特征圖。最大的特征圖有最小的感受視野，主要用于小型的目標特征提取。

YOLO-V3 模型過于龐大，該網(wǎng)絡(luò)的卷積層大概需要106 個。部署到FPGA 上需要轉(zhuǎn)換模型和優(yōu)化參數(shù)。由32 位的浮點運算轉(zhuǎn)換成16 位的定點運算以及權(quán)重參數(shù)模型都要占用FPGA 內(nèi)部大量的緩存，對硬件消耗較大。而且YOLO-V3 對復(fù)雜環(huán)境下的車載集電盒辨識度不高，特別是在夜晚、攝像頭采集邊緣等情況下無法有效識別。下面對YOLO-V3 模型進行改進從而解決上述問題。

2.2 改進型YOLO-V3 網(wǎng)絡(luò)

MobileNet 的深度可分離卷積在確保精度的前提下，可以滿足雙源無軌道電車集電盒的識別需求。MobileNet 主要由深度卷積和逐點卷積組成，其結(jié)構(gòu)如圖2 所示。圖像處理流程如下：深度卷積首先將輸入為416×416×3 的圖像分為3 個通道，每個通道只和一個卷積核進行卷積運算。產(chǎn)生的特征值的通道數(shù)和輸入的通道數(shù)一致，但是無法有效擴展特征向量，不能獲取不同空間上的特征值。采用1（輸入通道數(shù)）×1（輸出通道數(shù)）的卷積核進行逐點卷積，組成新的包含空間信息的特征值。

圖2 深度可分離卷積網(wǎng)絡(luò)模型

基于MobileNet 的深度可分離卷積模型的改進流程如圖3 所示。改進后的網(wǎng)絡(luò)可有效避免傳統(tǒng)網(wǎng)絡(luò)反饋過程中，梯度過大導(dǎo)致輸入為負值時經(jīng)過ReLU 激活函數(shù)后輸出為零，從而導(dǎo)致網(wǎng)絡(luò)崩潰的情況。采用線性輸出后的數(shù)據(jù)在有效保留了各個通道信息的同時，亦保留了MobileNet 卷積層數(shù)少的優(yōu)勢。改進結(jié)構(gòu)中MobileNet 將95%的計算時間用于有75%的參數(shù)的1×1 卷積。1×1 卷積在FPGA 部署過程中可以采用查找表的形式，不占用大量運算處理單元，經(jīng)過一級流水就能得到結(jié)果，效率提高明顯，同時減少了硬件開銷。

圖3 基于MobileNet 的深度可分離卷積模型的改進流程

用 改 進 的 MobileNet 代 替 YOLO-V3 中 的Darknet 架構(gòu)，改進的YOLO-V3 網(wǎng)絡(luò)架構(gòu)如圖4 所示。藍色方框內(nèi)為深度可分離卷積和標準卷積，深度和逐點卷積都跟隨一個激活函數(shù)。改進MobileNet 共28 層，具體圖像處理流程如下：1）輸入416×416×3 的圖像，經(jīng)過下采樣校準卷積3×3×32 轉(zhuǎn)換為208×208×32 的圖像輸出；2）經(jīng)過標準卷積變換后輸入13 層的深度可分離卷積，輸出13×13×1024 的數(shù)據(jù)；3）輸入13層的13×13×1024 深度可分離卷積輸出數(shù)據(jù)，經(jīng)過K值為7、步長為1 的平均池化，輸出7×7×1024 的圖像，防止過擬合；4）全鏈接層把輸入為7×7×1024 的池化特征值轉(zhuǎn)化為1×1×1024 的特征值，采用分布式表示；5）Softmax 層輸出1×1×1024 的特征值。

圖4 改進型YOLO-V3 網(wǎng)絡(luò)模型

改進型YOLO-V3 網(wǎng)絡(luò)相比于YOLO-V3 網(wǎng)絡(luò)，卷積層數(shù)從106 層減少至28 層，大大減少了所需要的參數(shù)。用深度卷積和逐點卷積代替原有標準卷積核，減少了卷積運算次數(shù)，實現(xiàn)了通道和區(qū)域的分離。

2.3 損失函數(shù)計算

為了更好地評估預(yù)測值與目標值的差距，有效指導(dǎo)下一步訓(xùn)練的權(quán)重值，本文引入損失函數(shù)進行評估。改進型YOLO-V3 網(wǎng)絡(luò)的損失函數(shù)主要由3 個部分組成。

2.3.1 置信度

置信度是為了預(yù)測目標是否存在預(yù)測框內(nèi)概率值，由二分類任務(wù)交叉熵損失函數(shù)構(gòu)成，其中正例和負例的概率和為1。

其中Lc代表置信度損失函數(shù)，o 為樣本標簽值，c 為模型預(yù)測樣本為正例的概率，k 為樣本個數(shù)。預(yù)測值通過sigmoid 函數(shù)激活，從而減少沒有目標值的部分權(quán)重的計算，減少計算量。

2.3.2 邊框準確度

邊框網(wǎng)絡(luò)模型如圖5 所示。在網(wǎng)絡(luò)架構(gòu)中，對偏移量進行了約束，防止邊框的中心在隨機位置，導(dǎo)致訓(xùn)練不能收斂。圖中cx和cy分別表示中心的xy 坐標值，Pw和Ph為錨點的寬度和高度，σ(tx)和σ(ty)代表預(yù)測框的中心點和坐標軸的距離，tw和th分別代表預(yù)測框的橫縱偏離度，最終得到bx、by、bw、bh4 個邊框相對特征圖的位置和大小參數(shù)[1]。

圖5 邊框網(wǎng)絡(luò)模型

均方誤差損失函數(shù)L1為：

2.3.3 對象分類誤差

當?shù)趇 個網(wǎng)格的第j 個錨點可以確定為所需要的目標時，這個錨點才去計算對象的分類損失函數(shù)。對象分類誤差同樣由二分類任務(wù)交叉熵損失函數(shù)構(gòu)成：

其中La為對象分類損失函數(shù)，C 代表網(wǎng)格內(nèi)的錨點。

3 訓(xùn)練和實測結(jié)果

3.1 訓(xùn)練模型

原始數(shù)據(jù)是雙源無軌電車在不同環(huán)境和路況下，通過集電盒下的攝像頭得到的。選取部分圖片作為訓(xùn)練集，首先用軟件進行圖片標定，然后對數(shù)據(jù)集進行模式轉(zhuǎn)換，將視覺目標分類格式轉(zhuǎn)換為YOLO 格式的文本文件。文件包含邊框中心點的x 坐標與圖片的寬度比值、邊框中心點的y 坐標與圖片的高度比值、邊框的寬度與圖片寬度比值以及邊框的高度與圖片高度比值。

搭建改進型YOLO 網(wǎng)絡(luò)的運行環(huán)境并編譯成功，分別創(chuàng)建訓(xùn)練和測試數(shù)據(jù)集。安裝英偉達的并行架構(gòu)計算軟件后，利用七彩虹RTX 3060 Ti 顯卡進行GPU訓(xùn)練。

3.2 運算結(jié)果

因為環(huán)境因素的影響，比如白天和夜晚的曝光效果不同、不同天氣、背景多變、遮擋和陰影等環(huán)境干擾，還有集電盒本身的大小、高度不一致，拍照角度不一致，都可能導(dǎo)致識別的集電盒出現(xiàn)異常形變和尺寸變化。將基于Darknet-53 主干網(wǎng)絡(luò)的YOLO-V3、基于Tiny 主干網(wǎng)絡(luò)的YOLO-V3-Tiny 和基于MobileNet 主干網(wǎng)絡(luò)的改進型YOLO-V3 的數(shù)據(jù)進行不同場景下的測試，對比結(jié)果如表1 所示。改進模型在準確性(F1 score)和交并比（IoU）上有明顯提升，平均精度也明顯優(yōu)于其他兩種網(wǎng)絡(luò)。權(quán)重大小僅為28 MB，可以較好地部署到移動設(shè)備等低功耗需求的設(shè)備中去，減少緩存和算力消耗。

表1 不同網(wǎng)絡(luò)模型測試結(jié)果對比

YOLO-V3 和改進型YOLO-V3 模型訓(xùn)練過程中的損失函數(shù)曲線如圖6 所示。從圖中可以看出，YOLO-V3 在迭代50000 次后趨于收斂，損失函數(shù)值為0.06%。改進型YOLO-V3 的損失函數(shù)值在500 次迭代后收斂較快，4000 次后趨于平均，損失函數(shù)為0.03%。改進后的YOLO-V3 模型比傳統(tǒng)網(wǎng)絡(luò)收斂速度加快90%，穩(wěn)定后損失函數(shù)值降低50%，識別精度更高。

圖6 YOLO-V3 和改進型YOLO-V3 訓(xùn)練過程中的損失函數(shù)曲線

3.3 硬件結(jié)構(gòu)

在改進型YOLO-V3 網(wǎng)絡(luò)的環(huán)境要求下，利用神經(jīng)網(wǎng)絡(luò)常用平臺建模，采用浮點網(wǎng)絡(luò)模型和校準數(shù)據(jù)集作為訓(xùn)練的輸入，基于Xilinx 軟件搭建硬件系統(tǒng)[2-8]，其硬件結(jié)構(gòu)如圖7 所示。硬件系統(tǒng)由攝像頭、H.264 編解碼、直接內(nèi)存控制器（DMA）、A53 控制器、深度學(xué)習(xí)處理單元（DPU）和DDR 存儲器組成。攝像頭采用1920×1080@30 ps 的車載網(wǎng)絡(luò)攝像頭，支持日夜模式，可以滿足不同場景下對圖像質(zhì)量、流暢度的要求；H.264 編解碼采用PL 邏輯單元，最大支持2K 的視頻編解碼，由網(wǎng)絡(luò)控制器和編解碼器組成；A53 為系統(tǒng)的應(yīng)用處理層，實現(xiàn)系統(tǒng)調(diào)度和實時顯示等功能；DPU主要作為改進型YOLO-V3 網(wǎng)絡(luò)的卷積計算單元，存儲器主要用于緩存圖像和權(quán)重值。

圖7 基于Xilinx 搭建的硬件結(jié)構(gòu)

3.4 實測結(jié)果

攝像頭和處理單元安裝在無軌電車的動力控制部分；實地對攝像頭進行標定，完成畸變矯正，使得圖像更趨于平滑；對集電盒的大小和高度進行校準和軟件調(diào)試。YOLO-V3 網(wǎng)絡(luò)和改進網(wǎng)絡(luò)調(diào)試結(jié)果如圖8所示。由于YOLO-V3 模型較大，處理單張圖片平均耗時1247 ms，對應(yīng)幀率0.8 幀/s，無法做到實時處理，對在黑夜曝光的集電盒無法識別。而改進模型規(guī)模較小，平均耗時89 ms，對應(yīng)幀率11 幀/s，可以滿足實時處理的需求，能夠準確處理各種復(fù)雜環(huán)境下的集電盒識別。由對比結(jié)果可知改進型YOLO-V3 模型識別精度和準確率有明顯優(yōu)勢，能有效識別傳統(tǒng)網(wǎng)絡(luò)無法識別的圖像。

圖8 實際測試結(jié)果對比

4 結(jié)論

為解決雙源無軌電車集電盒識別應(yīng)用上的技術(shù)難題，通過對傳統(tǒng)基于Darknet 主干網(wǎng)絡(luò)的YOLO-V3網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用的不足進行分析，提出了一種基于MobileNet 主干網(wǎng)絡(luò)的改進型YOLO-V3 網(wǎng)絡(luò)架構(gòu)。通過仿真訓(xùn)練和實地部署，對真實復(fù)雜環(huán)境下雙源無軌電車進行測試，試驗結(jié)果表明，改進的YOLO-V3 網(wǎng)絡(luò)識別精度和處理速度都優(yōu)于傳統(tǒng)網(wǎng)絡(luò)，可以在雙源無軌電車中大規(guī)模推廣應(yīng)用。