基于視覺(jué)的嵌入式路面標(biāo)識(shí)檢測(cè)算法研究

許大展，吳曉雨

（中國(guó)傳媒大學(xué)信息與通信工程學(xué)院，北京 100024）

1 引言

隨著人工智能的快速發(fā)展，傳統(tǒng)汽車(chē)行業(yè)與信息技術(shù)的結(jié)合，無(wú)人駕駛逐漸出現(xiàn)在人們的視野中。路面標(biāo)識(shí)作為無(wú)人駕駛和輔助駕駛的重要視覺(jué)信息，對(duì)它實(shí)時(shí)、正確的識(shí)別是行車(chē)安全的必要條件。

路面標(biāo)識(shí)檢測(cè)隸屬于目標(biāo)檢測(cè)技術(shù)范疇，傳統(tǒng)的目標(biāo)檢測(cè)方法[1][2]主要是基于目標(biāo)輪廓、目標(biāo)特征的檢測(cè)方法，需要人為設(shè)計(jì)特征，存在一定的局限性?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)方法[3][4][5]，避免了人為設(shè)計(jì)特征因素的影響，模型的泛化能力有較好的提升，但計(jì)算代價(jià)較高，收集的數(shù)據(jù)全部上傳到云端處理將會(huì)帶來(lái)較大時(shí)延，無(wú)法滿(mǎn)足低延時(shí)的應(yīng)用需求。嵌入式終端計(jì)算設(shè)備更接近數(shù)據(jù)來(lái)源處，可對(duì)數(shù)據(jù)進(jìn)行及時(shí)處理，減少云計(jì)算帶來(lái)較大時(shí)延的問(wèn)題，但是嵌入式終端計(jì)算能力有限，無(wú)法實(shí)時(shí)處理復(fù)雜模型。因此，研究既準(zhǔn)又快的路面標(biāo)識(shí)檢測(cè)算法，既能處理路面標(biāo)識(shí)受損、陰影、遮擋和天氣等因素，又能適應(yīng)車(chē)載終端硬件性能，是一項(xiàng)非常具有挑戰(zhàn)性且應(yīng)用性的工作。

針對(duì)以上問(wèn)題，本文提出了一種基于深度學(xué)習(xí)的路面標(biāo)識(shí)檢測(cè)模型，能夠在復(fù)雜場(chǎng)景下實(shí)現(xiàn)對(duì)路面標(biāo)識(shí)的正確定位和分類(lèi)，同時(shí)結(jié)合滿(mǎn)足實(shí)際應(yīng)用的需求，將模型部署在嵌入式AI 計(jì)算設(shè)備Jetson TX2 上，并基于NVIDIA 推出的TensorRT 對(duì)網(wǎng)絡(luò)模型設(shè)計(jì)了優(yōu)化加速和前向推理算法，以提高滿(mǎn)足模型在實(shí)際應(yīng)用中的計(jì)算速度。

2 相關(guān)工作

路面標(biāo)識(shí)檢測(cè)是實(shí)現(xiàn)無(wú)人駕駛技術(shù)的重要環(huán)節(jié)之一，受到了許多專(zhuān)家學(xué)者的關(guān)注和研究。Wei Liu等人[1]使用傳統(tǒng)的檢測(cè)方法實(shí)現(xiàn)了多類(lèi)別的路面標(biāo)識(shí)檢測(cè)，利用Haar-lik 特征Adaboost 分類(lèi)器將不存在標(biāo)識(shí)的區(qū)域剔除，并用BW-HOG 特征的極限學(xué)習(xí)機(jī)ELM(Extreme Learning Machine)分類(lèi)器進(jìn)行具體分類(lèi)。該方法可實(shí)現(xiàn)較好的檢測(cè)率，但不能滿(mǎn)足實(shí)時(shí)性的要求。Tairui Chen 等人[4]提出了一種二值化歸一梯度的路面標(biāo)識(shí)檢測(cè)方法，并使用PCANet 分類(lèi)器對(duì)檢測(cè)出的目標(biāo)進(jìn)行分類(lèi)。該方法首次使用了深度學(xué)習(xí)的檢測(cè)方法對(duì)路面標(biāo)識(shí)進(jìn)行識(shí)別，與傳統(tǒng)方法相比有較好的效果。Eduardo Romera等人[5]將目標(biāo)分割與檢測(cè)的方法用于路面標(biāo)識(shí)識(shí)別，該方法可實(shí)現(xiàn)端到端的訓(xùn)練，能學(xué)到圖像的關(guān)鍵信息，不僅可檢測(cè)出路面標(biāo)識(shí)，還可檢測(cè)出道路、車(chē)道線、車(chē)輛、行人，能實(shí)現(xiàn)像素級(jí)別的分割，但與此同時(shí)消耗了大量的計(jì)算時(shí)間，不能滿(mǎn)足實(shí)時(shí)性的要求。TT-CNN 方法[6]在OverFeat[7]的基礎(chǔ)上進(jìn)行改進(jìn)的對(duì)路上的交通標(biāo)識(shí)的識(shí)別網(wǎng)絡(luò)，但該算法較Faster RCNN[8]等方法計(jì)算耗時(shí)更長(zhǎng)?；诜指畹腟egNet[9]、Mask-RCNN[10]和RPM-Net[11]網(wǎng)絡(luò)雖可以得到較精確的分割結(jié)果，但是計(jì)算速度上無(wú)法滿(mǎn)足應(yīng)用場(chǎng)景的實(shí)時(shí)性要求。綜上，上述方法借助云端進(jìn)行路面標(biāo)識(shí)的檢測(cè)，將網(wǎng)絡(luò)模型直接部署到嵌入式終端平臺(tái)后因嵌入式平臺(tái)硬件資源有限，這些方法不能實(shí)現(xiàn)網(wǎng)絡(luò)的實(shí)時(shí)性推理，無(wú)法滿(mǎn)足實(shí)際應(yīng)用需求。

網(wǎng)絡(luò)模型被部署到嵌入式終端平臺(tái)前需要對(duì)網(wǎng)絡(luò)模型進(jìn)行壓縮和加速，以提高模型推理速度?，F(xiàn)有的深度學(xué)習(xí)模型壓縮方法主要分為四類(lèi)：參數(shù)修剪和共享[12]、低秩因子分解[13]、緊湊卷積濾波器[14]、知識(shí)蒸餾[15]?；趨?shù)修剪和共享的方法針對(duì)模型參數(shù)的冗余性，試圖去除冗余和不重要的項(xiàng)，可以從預(yù)訓(xùn)練模型或從頭開(kāi)始訓(xùn)練，較為靈活有效。基于低秩因子分解的技術(shù)使用矩陣/張量分解來(lái)估計(jì)深度學(xué)習(xí)模型的信息參數(shù)?；诰o湊卷積濾波器的方法設(shè)計(jì)了特殊的結(jié)構(gòu)卷積濾波器來(lái)降低存儲(chǔ)和計(jì)算復(fù)雜度。知識(shí)蒸餾方法通過(guò)學(xué)習(xí)一個(gè)蒸餾模型，訓(xùn)練一個(gè)更緊湊的神經(jīng)網(wǎng)絡(luò)來(lái)重現(xiàn)一個(gè)更大的網(wǎng)絡(luò)的輸出。以上方法大多在模型訓(xùn)練階段進(jìn)行，實(shí)現(xiàn)模型的壓縮和加速。本文重點(diǎn)研究嵌入式設(shè)備Jetson TX2 的路面標(biāo)識(shí)檢測(cè)算法，Jetson TX2 嵌入式設(shè)備是NVIDIA 公司推出的一款超好性能、低功耗的超級(jí)計(jì)算機(jī)[16]，適用于智能型尖端裝置，如機(jī)器人、無(wú)人機(jī)、可攜式醫(yī)療設(shè)置等，可為終端提供人工智能技術(shù)支持[17][18]，該平臺(tái)采用TensorRT推理引擎，以上提到的模型加速方法并不直接適用于該引擎。

綜上，目前已公開(kāi)的無(wú)論是傳統(tǒng)的檢測(cè)方法還是基于深度學(xué)習(xí)的檢測(cè)方法，不能同時(shí)滿(mǎn)足復(fù)雜道路環(huán)境下路面標(biāo)識(shí)的檢測(cè)精度以及嵌入式平臺(tái)下實(shí)時(shí)性要求。因此，針對(duì)當(dāng)前路面標(biāo)識(shí)識(shí)別方法存在的缺陷，本文重點(diǎn)研究了嵌入式平臺(tái)Jetson TX2 下快速準(zhǔn)確的路面標(biāo)識(shí)檢測(cè)算法，首先提出了基于層合并的RFCN 簡(jiǎn)化模型，而后將模型部署到嵌入式平臺(tái)TX2，提出了基于TensorRT 網(wǎng)絡(luò)模型的前向推理優(yōu)化加速方法，提出的算法在自建路面標(biāo)識(shí)庫(kù)和公開(kāi)數(shù)據(jù)庫(kù)均取得了較好的測(cè)試結(jié)果。

3 路面標(biāo)識(shí)檢測(cè)網(wǎng)絡(luò)模型及其簡(jiǎn)化

本文基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法，針對(duì)路面標(biāo)識(shí)的特點(diǎn)，從算法的準(zhǔn)確性要求角度選用R-FCN[19]網(wǎng)絡(luò)作為實(shí)現(xiàn)對(duì)路面標(biāo)識(shí)識(shí)別的基礎(chǔ)網(wǎng)絡(luò)，并采用了批量歸一化BN(Batch Normalization)層與卷積層參數(shù)融合的改進(jìn)策略，減少模型內(nèi)存占用，提升推理速度。

3.1 網(wǎng)絡(luò)模型

R-FCN沿用了Faster-RCNN中的RPN網(wǎng)絡(luò)結(jié)構(gòu)，與之不同的是R-FCN使用了無(wú)全連層的ResNet[20]網(wǎng)絡(luò)。更重要的是R-FCN引入了位置敏感得分圖的概念，解決了分類(lèi)需要滿(mǎn)足平移不變性和目標(biāo)識(shí)別需要滿(mǎn)足平移可變性之間的矛盾。R-FCN在特征提取部分共享，極大減小了計(jì)算量，較Faster-RCNN 網(wǎng)絡(luò)在速度上有明顯的提升，在檢測(cè)準(zhǔn)確率方面在檢測(cè)準(zhǔn)確率方面明顯優(yōu)于onestage 的SSD[21]和FSSD[22]等方法。

在滿(mǎn)足準(zhǔn)確性要求的前提下，為了降低由網(wǎng)絡(luò)層數(shù)的加深所帶來(lái)的巨大時(shí)間消耗，本文將R-FCN 的基礎(chǔ)網(wǎng)絡(luò)ResNet50 替換為ResNet18，降低網(wǎng)絡(luò)的深度以達(dá)到網(wǎng)絡(luò)加速的目的。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)化

R-FCN 模型中的BN 層在訓(xùn)練階段對(duì)數(shù)據(jù)進(jìn)行歸一化，加速網(wǎng)絡(luò)收斂，但在前向推理過(guò)程中占用大量?jī)?nèi)存，降低了推理速度。且BN 層和卷積層都是線性變換，因此為了加快推理速度，將上述基于R-FCN的路面標(biāo)識(shí)檢測(cè)網(wǎng)絡(luò)模型中的BN 層與其相連的卷積層合并。

BN層可由公式(1)表示：

式中i 為[0, n]區(qū)間的正數(shù)，μ 和σ2分別為數(shù)據(jù)的均值與樣本的方差，γ 和β 訓(xùn)練過(guò)程中可學(xué)習(xí)的兩個(gè)超參數(shù)，ε為趨于0的常數(shù)。

卷積層的輸出可由公式（2）表示，式中W 為網(wǎng)絡(luò)學(xué)習(xí)到的權(quán)重系數(shù)，B為偏差。

將BN 層與卷積層的參數(shù)融合，將卷積層的輸出作為BN 層的輸入，可得到新的卷積層的表示，如公式(3)表示：

其中α為可學(xué)習(xí)的超參數(shù)，Wmerged和Bmerged分別為融合后的卷積層的權(quán)重系數(shù)和偏差，如公式（4）、（5）、（6）所示。

在推理階段的模型解析中，合并后的層的計(jì)算量減小，內(nèi)存占用減小，有利于推理速度的提升。簡(jiǎn)化的網(wǎng)絡(luò)模型在準(zhǔn)確率和效率上優(yōu)于原始的R-FCN 模型，實(shí)驗(yàn)結(jié)果及討論見(jiàn)實(shí)驗(yàn)部分5.2.1。

4 基于TensorRT優(yōu)化加速的目標(biāo)檢測(cè)算法

為實(shí)現(xiàn)目標(biāo)檢測(cè)模型的實(shí)時(shí)推理，將合并層后的R-FCN 網(wǎng)絡(luò)部署在嵌入式平臺(tái)Jetson TX2 上，結(jié)合NVIDIA 公司推出的TensorRT 引擎，本文提出了基于TensorRT的路標(biāo)標(biāo)識(shí)檢測(cè)網(wǎng)絡(luò)模型的優(yōu)化加速方法。

4.1 TensorRT流程

TensorRT 是NVIDIA 公司推出的高性能優(yōu)化推理引擎，可部署在嵌入式平臺(tái)，并且不需要任何深度學(xué)習(xí)框架的支持，即可實(shí)現(xiàn)對(duì)已有網(wǎng)絡(luò)模型的推理加速。TensorRT 的工作過(guò)程主要分為3 個(gè)部分，即網(wǎng)絡(luò)模型的解析，引擎的優(yōu)化、推理執(zhí)行階段，如圖1所示。

圖1 TensorRT加速引擎構(gòu)建流程Fig. 1 The pipeline of TensorRT acceleration engineer

首先TensorRT 使用Parser 模型解析器對(duì)訓(xùn)練有素的深度學(xué)習(xí)模型進(jìn)行解析，解析層與層之間的關(guān)系，消除未使用的輸出層，以減小計(jì)算，實(shí)現(xiàn)加速。TensorRT 作為優(yōu)化工具，支持深度學(xué)習(xí)中的一些通用層的直接解析，如卷積層、池化層等，但對(duì)于一些特定的層是不能解析的，如本文采用的網(wǎng)絡(luò)R-FCN中的位置敏感候選區(qū)域池化（Position Sensitive ROI Pooling）層和Proposal層。

其次，引擎構(gòu)建器會(huì)根據(jù)網(wǎng)絡(luò)部署的平臺(tái)以及參數(shù)配置選擇最優(yōu)的Kernel，這些Kernel 針對(duì)所選目標(biāo)平臺(tái)、推理任務(wù)的復(fù)雜程度以及一系列參數(shù)進(jìn)行了手動(dòng)調(diào)整和優(yōu)化。在優(yōu)化階段，TensorRT 將自動(dòng)從Kernel 庫(kù)中選擇最適合目標(biāo)平臺(tái)以及一系列參數(shù)的優(yōu)化算法，從而構(gòu)建優(yōu)化加速引擎。

最后，在推理時(shí)創(chuàng)建上下文環(huán)境，主要是預(yù)先分配資源，并執(zhí)行上一步獲得的優(yōu)化引擎從而進(jìn)行推理。不過(guò)在此之前可將生成的優(yōu)化引擎序列化存儲(chǔ)在磁盤(pán)上備用，當(dāng)下次需要執(zhí)行推理時(shí)，再反序列化該引擎執(zhí)行推理，無(wú)需每次執(zhí)行推理時(shí)重復(fù)創(chuàng)建該引擎。

4.2 基于TensorRT前向推理的優(yōu)化加速方法

在前向推理階段，本文對(duì)所部署的簡(jiǎn)化R-FCN采用TensorRT提出了進(jìn)一步優(yōu)化和重構(gòu)策略：

一是進(jìn)行網(wǎng)絡(luò)層垂直整合。將網(wǎng)絡(luò)層進(jìn)行整合消除未使用的輸出層以避免不必要的計(jì)算。這里將目前主流神經(jīng)網(wǎng)絡(luò)的Bias、ReLU 和卷積層進(jìn)行垂直結(jié)構(gòu)整合，以提高推理的效率，如圖2所示。

圖2 網(wǎng)絡(luò)層垂直整合Fig. 2 Network layer vertical integration

二是采用量化與半精度的壓縮。推理與訓(xùn)練的過(guò)程不同，在推理的過(guò)程中，只需要進(jìn)行前向傳播，因此可以使用較低的精度，如Float16 或者Int8。 研究表明，在CNN 的推理過(guò)程中使用Float16 或者Int8 對(duì)精度影響較小?？紤]到平臺(tái)的配置以及本實(shí)驗(yàn)任務(wù)的精度要求，本文使用半精度FP16 代替32 位float 數(shù)據(jù)精度，以獲得高效的推理性能。

5 實(shí)驗(yàn)

5.1 數(shù)據(jù)集

Road Marking Dataset 數(shù)據(jù)集[23]是國(guó)外的路面標(biāo)識(shí)數(shù)據(jù)集，但我國(guó)的路面標(biāo)識(shí)和國(guó)外的存在一定的差異。文獻(xiàn)[6]提出的Tsinghua-Tencent100K 國(guó)內(nèi)路面標(biāo)識(shí)數(shù)據(jù)集和百度apollo公開(kāi)數(shù)據(jù)集[24]路面標(biāo)識(shí)的數(shù)量并不多、比較雜亂。因此，為了滿(mǎn)足我國(guó)實(shí)際道路場(chǎng)景的條件，本文自建了路面標(biāo)識(shí)數(shù)據(jù)集。自建路面標(biāo)識(shí)數(shù)據(jù)庫(kù)是從上述庫(kù)中選出1728 張圖片（2048×2048）作為原始數(shù)據(jù)。路面標(biāo)識(shí)主要分為左轉(zhuǎn)箭頭、右轉(zhuǎn)箭頭、直行加左轉(zhuǎn)箭頭、直行加右轉(zhuǎn)箭頭、直行箭頭以及人行橫道6類(lèi)。

由于可得到路面標(biāo)識(shí)數(shù)據(jù)量較少且存在路面標(biāo)識(shí)類(lèi)別不均衡的問(wèn)題，直行加左轉(zhuǎn)箭頭和直行加右轉(zhuǎn)箭頭的數(shù)量要遠(yuǎn)遠(yuǎn)低于其他種類(lèi)的路面標(biāo)識(shí)，因此需要對(duì)自建數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充和均衡等預(yù)處理，以提高深度學(xué)習(xí)模型的檢測(cè)性能。本文采用了旋轉(zhuǎn)、亮度與對(duì)比度變化、色度變化、多尺度縮放等多種組合的數(shù)據(jù)擴(kuò)充方法和過(guò)采樣及欠采樣相結(jié)合的數(shù)據(jù)均衡方法。均衡前后的數(shù)據(jù)構(gòu)成如表1所示。從均衡后數(shù)據(jù)取出1200張的圖像作為測(cè)試集，并將余下的數(shù)據(jù)以7:3 的比例劃分訓(xùn)練集以及驗(yàn)證集，并確保同一張?jiān)紨?shù)據(jù)擴(kuò)充之后的數(shù)據(jù)與原始數(shù)據(jù)在同一個(gè)集合中。

表1 自建路面標(biāo)識(shí)數(shù)據(jù)集的原始數(shù)據(jù)、擴(kuò)充數(shù)據(jù)、均衡數(shù)據(jù)Tab.1 Raw data,extended data,and balanced data of self-built road marking dataset

為了驗(yàn)證模型的泛化性，除了上述提到的取出均衡后的1200張圖像作為測(cè)試集外，本文在測(cè)試數(shù)據(jù)中又加入了1300張不含以上6種路面標(biāo)識(shí)的圖像作為負(fù)樣本。

5.2 實(shí)驗(yàn)結(jié)果及分析

5.2.1 簡(jiǎn)化后的R-FCN網(wǎng)絡(luò)模型實(shí)驗(yàn)

為驗(yàn)證3.2 部分提出的簡(jiǎn)化后網(wǎng)絡(luò)模型的有效性，本文首先在PC 機(jī)上進(jìn)行了算法性能，使用的系統(tǒng)是Ubuntu16.04，顯卡是NVIDA 1080Ti。在自建的訓(xùn)練庫(kù)和測(cè)試庫(kù)上，比較TT-CNN[6]、SSD[21]、FSSD[22]、原始的基于ResNet-50 的R-FCN[19]和本文簡(jiǎn)化后R-FCN網(wǎng)絡(luò)模型的性能，稱(chēng)簡(jiǎn)化后的模型為R-FCN*，實(shí)驗(yàn)結(jié)果見(jiàn)表2。表2分別給出了左轉(zhuǎn)、右轉(zhuǎn)等6種常見(jiàn)路面標(biāo)識(shí)的AP（Average Precision）值及各方法最終mAP（mean Average Precision）值和計(jì)算速度，其中AP值表示各個(gè)類(lèi)別的平均識(shí)別精度，mAP值表示所有類(lèi)別的平均識(shí)別精度。從表2 可以看出，基于two-stage的RFCN 和本文簡(jiǎn)化后網(wǎng)絡(luò)在準(zhǔn)確率達(dá)到90%以上，較SSD 和FSSD 算法mAP 值有明顯提高。同時(shí)本文簡(jiǎn)化后網(wǎng)絡(luò)較原始的R-FCN 方法在mAP 性能基本相當(dāng)?shù)那闆r下，計(jì)算速度由105ms/frame 減少至56ms/frame。

表2 自建路面標(biāo)識(shí)數(shù)據(jù)集的不同算法性能比較Tab.2 Performance comparison on self-built road marking dataset

此外，針對(duì)路面標(biāo)識(shí)多出現(xiàn)在圖片下方的特點(diǎn)，本文對(duì)輸入網(wǎng)絡(luò)的圖像首先進(jìn)行了預(yù)處理，對(duì)圖像頂部1/3進(jìn)行了裁剪。原始基于ResNet50的模型對(duì)預(yù)處理后的圖像處理速度由105ms/frame 縮短到90ms/frame，簡(jiǎn)化后的網(wǎng)絡(luò)模型的處理速度縮短至56ms/frame，而平均mAP基本保持不變，說(shuō)明簡(jiǎn)化后的算法模型在PC機(jī)環(huán)境下滿(mǎn)足實(shí)時(shí)性的要求。

5.2.2 基于TensorRT的優(yōu)化加速算法實(shí)驗(yàn)

本文將上述簡(jiǎn)化后的R-FCN 模型部署到嵌入式平臺(tái)TX2 上，表3 給出了在自建庫(kù)上基于TensorRT 優(yōu)化加速前后模型性能的比較。若未采用優(yōu)化加速算法，簡(jiǎn)化后的R-FCN 模型在TX2 平臺(tái)上計(jì)算速度為241ms/frame，這也說(shuō)明了嵌入式平臺(tái)計(jì)算能力遠(yuǎn)不及PC 服務(wù)器的計(jì)算能力。本文提出的基于網(wǎng)絡(luò)層垂直整合和半精度量化的優(yōu)化網(wǎng)絡(luò)模型，在TX2平臺(tái)上計(jì)算速度由241ms/frame 提高到123ms/frame，加速效果顯著。

表3 自建數(shù)據(jù)集優(yōu)化加速前后性能對(duì)比Tab.3 Performance comparison of acceleration on self-built road marking dataset

5.2.3 Road Marking數(shù)據(jù)集的實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文提出算法的魯棒性，我們亦在國(guó)外公開(kāi)數(shù)據(jù)庫(kù)Road Marking Dataset 上，進(jìn)行了多種路面標(biāo)識(shí)的檢測(cè)測(cè)試。雖然原始的Road Marking數(shù)據(jù)集每張圖像存在一個(gè)或多個(gè)目標(biāo)，但每張圖像的標(biāo)注信息只包含一個(gè)目標(biāo)。因此，為了滿(mǎn)足實(shí)際場(chǎng)景中同時(shí)測(cè)試多種路標(biāo)識(shí)的應(yīng)用需求，本文對(duì)該數(shù)據(jù)集1443 張圖像（800×600）重新標(biāo)注，該路面標(biāo)識(shí)主要分為“35”，“40”，“l(fā)eft turn”，“right turn”，“forward”，“stop”，“ped”，“bike”，“xing”，“rail”10 類(lèi)。由于數(shù)據(jù)量較少的原因，同樣需要擴(kuò)充數(shù)據(jù)，并針對(duì)數(shù)量偏少的類(lèi)別進(jìn)行均衡。表4給出了基于簡(jiǎn)化后網(wǎng)絡(luò)模型在TX2平臺(tái)上優(yōu)化加速前后模型性能的最終比較。

表4 Road Marking數(shù)據(jù)集優(yōu)化前后性能對(duì)比Tab.4 Performance comparison on Road Marking dataset

如表4所示，經(jīng)過(guò)優(yōu)化后，模型在推理時(shí)間性能上有近一半的提升，在檢測(cè)準(zhǔn)確率上僅有較小的損失，其中Road Marking 數(shù)據(jù)集中的類(lèi)別除“l(fā)eft turn”，“xing”外檢測(cè)準(zhǔn)確率均達(dá)到90%左右?！發(fā)eft turn”這類(lèi)路標(biāo)在一些測(cè)試圖像中對(duì)應(yīng)到磨損的小目標(biāo)區(qū)域，故存在一定比例的漏檢，“xing”路標(biāo)在數(shù)據(jù)庫(kù)中數(shù)量較少，一定程度上影響了其特征學(xué)習(xí)導(dǎo)致檢測(cè)準(zhǔn)確率相對(duì)其他類(lèi)別較低。

5.3 實(shí)驗(yàn)結(jié)果可視化與分析

圖3 和圖4 分別給出了自建庫(kù)和Road Marking 測(cè)試集上部分可視化結(jié)果。如圖3(a)和圖3(b)所示，在不同光照條件下實(shí)現(xiàn)了對(duì)路面標(biāo)識(shí)的準(zhǔn)確檢測(cè)，圖3(c)和圖3(d)實(shí)現(xiàn)了在交通路口以及在路面標(biāo)識(shí)有陰影遮擋情況下的準(zhǔn)確檢測(cè)。從圖4中也可看出在不同場(chǎng)景、不同天氣及光照下該算法均能實(shí)現(xiàn)較為準(zhǔn)確的檢測(cè)，圖4(e)和圖4(f)實(shí)現(xiàn)了在不同場(chǎng)景下的多類(lèi)目標(biāo)的準(zhǔn)確檢測(cè)。實(shí)驗(yàn)結(jié)果表明本文提出的路面標(biāo)識(shí)算法在復(fù)雜環(huán)境下具有較好的魯棒性，且在檢測(cè)正確前提下，優(yōu)化加速后的模型在嵌入式平臺(tái)上推理速度有較大提升。

圖3 自建庫(kù)測(cè)試集部分可視化結(jié)果Fig. 3 Partial visualization results on test set of self-built dataset

圖4 Road Marking測(cè)試集部分可視化結(jié)果Fig. 4 Partial visualization results on test set of Road Marking dataset

6 結(jié)論

為了滿(mǎn)足無(wú)人駕駛中路面標(biāo)識(shí)實(shí)時(shí)檢測(cè)的要求，本文將路面標(biāo)識(shí)檢測(cè)模型部署在嵌入式平臺(tái)TX2上，對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化加速。使用TensorRT優(yōu)化加速工具，在推理過(guò)程中對(duì)網(wǎng)絡(luò)層進(jìn)行融合，并采用量化的方法實(shí)現(xiàn)了網(wǎng)絡(luò)模型的前向加速，在滿(mǎn)足準(zhǔn)確率的前提下，實(shí)現(xiàn)了推理運(yùn)行時(shí)上的較大提升，具有一定的研究意義和應(yīng)用價(jià)值。