基于級(jí)聯(lián)端對(duì)端深度架構(gòu)的交通標(biāo)志識(shí)別方法

(長(zhǎng)安大學(xué) 信息工程學(xué)院，西安 710064)

0 引言

隨著汽車保有量的連年增長(zhǎng)，交通安全問(wèn)題日益引起人們的重視。為此，世界各國(guó)展開(kāi)了針對(duì)性研究，一些發(fā)達(dá)國(guó)家提出了智能交通系統(tǒng)(ITS)，而美國(guó)更是提出自動(dòng)駕駛理論并將相關(guān)領(lǐng)域研究列入國(guó)家戰(zhàn)略發(fā)展計(jì)劃項(xiàng)目。無(wú)論是智能交通系統(tǒng)(ITS)還是自動(dòng)駕駛技術(shù)，都需要在復(fù)雜交通場(chǎng)景中對(duì)影響駕駛行為的相關(guān)目標(biāo)進(jìn)行正確、實(shí)時(shí)的捕捉與理解，而交通標(biāo)志作為傳遞指示引導(dǎo)或警示信息的道路基礎(chǔ)設(shè)施，對(duì)其進(jìn)行正確識(shí)別是保證智能車輛規(guī)范行駛與道路交通安全的前提，因此，對(duì)交通標(biāo)志識(shí)別進(jìn)行研究具有重大意義。

傳統(tǒng)的交通標(biāo)志識(shí)別方法主要為基于顏色信息、形狀信息[1]或基于兩者結(jié)合[2-4]對(duì)其進(jìn)行檢測(cè)，再用模板匹配法[5-7]實(shí)現(xiàn)識(shí)別功能。

然而真實(shí)自然環(huán)境中的光照、旋轉(zhuǎn)、遮擋、扭曲等影響使得交通標(biāo)志識(shí)別成為一個(gè)極具挑戰(zhàn)的任務(wù)。

機(jī)器學(xué)習(xí)的發(fā)展使得上述問(wèn)題得到了解決，傳統(tǒng)的機(jī)器學(xué)習(xí)方法目標(biāo)特征仍根據(jù)先驗(yàn)知識(shí)進(jìn)行人工設(shè)計(jì)，只是在分類中應(yīng)用了分類器如支持向量機(jī)( Support Vector Machine，SVM)[8]、貝葉斯分類器[9]、隨機(jī)森林，然而這種方法會(huì)導(dǎo)致識(shí)別結(jié)果易受特征設(shè)計(jì)質(zhì)量的影響，且針對(duì)不同檢測(cè)目標(biāo)需設(shè)計(jì)不同的特征，識(shí)別效果不穩(wěn)定且平移擴(kuò)展性差。近年來(lái)，深度學(xué)習(xí)模型[10]已在計(jì)算機(jī)視覺(jué)領(lǐng)域受到廣泛關(guān)注，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型之一，對(duì)目標(biāo)檢測(cè)與識(shí)別有著良好的效果。近年來(lái)，出現(xiàn)了R-CNN[11]、Fast-rcnn[12]、Faster-rcnn[13]、FPN[14]、Yolo[15]、ResNet[16]、SSD[17]等區(qū)域卷積神經(jīng)網(wǎng)絡(luò)方法，在目標(biāo)檢測(cè)與識(shí)別領(lǐng)域取得了不俗的成績(jī)，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于交通標(biāo)志識(shí)別是研究的熱點(diǎn)。

在實(shí)際交通環(huán)境中，由于目標(biāo)圖像采集距離較遠(yuǎn)，采集到的交通標(biāo)志圖像往往表現(xiàn)出畫(huà)質(zhì)模糊、分辨率低等問(wèn)題。鑒于此，本文提出一種級(jí)聯(lián)ESPCN與RFCN的交通標(biāo)志識(shí)別方法，通過(guò)引入ESPCN深度網(wǎng)絡(luò)對(duì)采集到的圖像進(jìn)行超分辨率處理，再結(jié)合RFCN對(duì)超分辨圖像進(jìn)行目標(biāo)檢測(cè)與識(shí)別，實(shí)現(xiàn)低分辨率交通標(biāo)志圖像的高精度檢測(cè)與識(shí)別。

1 基于ESPCN的圖像超分辨率處理

由于智能車對(duì)交通標(biāo)志反應(yīng)時(shí)間與車輛自身運(yùn)動(dòng)的影響，智能車在真實(shí)交通環(huán)境中采集到的交通標(biāo)志圖片通常都存在識(shí)別率低問(wèn)題，對(duì)智能車的規(guī)范行駛帶來(lái)不良影響。為解決這一問(wèn)題，本文提出用深度網(wǎng)絡(luò)對(duì)原始采集圖像做超分辨率預(yù)處理，提高識(shí)別網(wǎng)絡(luò)輸入圖像分辨率。

常用的超分辨率深度網(wǎng)絡(luò)有SRCNN[18]和DRCN[19]，SRCNN在低分辨率輸入圖像上，先使用雙三次插值將其放大到目標(biāo)大小，再通過(guò)三層卷積網(wǎng)絡(luò)做非線性映射，得到的結(jié)果作為高分辨率圖像輸出。DRCN在低分辨率輸入圖像上采用遞歸卷積網(wǎng)絡(luò)得到高分辨率圖像輸出。然而上述兩種網(wǎng)絡(luò)都是先通過(guò)上采樣插值將低分辨率輸入圖像大小進(jìn)行擴(kuò)展再重建，對(duì)于實(shí)現(xiàn)超分辨的卷積操作而言，其處理速度直接依賴于輸入圖像的大小，因此這種在超分辨操作前增加圖像大小的方法增加了計(jì)算復(fù)雜度，會(huì)降低效率，對(duì)智能車的實(shí)時(shí)性要求造成影響。因此本文采用ESPCN網(wǎng)絡(luò)實(shí)現(xiàn)圖像超分辨率處理。

1.1 ESPCN網(wǎng)絡(luò)結(jié)構(gòu)

ESPCN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 ESPCN網(wǎng)絡(luò)架構(gòu)

主要由卷積神經(jīng)網(wǎng)絡(luò)層與亞像素卷積層構(gòu)成，在輸入的低分辨率圖像上應(yīng)用一個(gè)L層卷積神經(jīng)網(wǎng)絡(luò)生成低分辨率特征圖，然后應(yīng)用亞像素卷積層對(duì)低分辨率特征圖進(jìn)行上采樣生成高分辨率圖像。

共L層的卷積神經(jīng)網(wǎng)絡(luò)其前L-1層可以描述為:

f1(ΙLR;W1;b1)=φ(W1*ΙLR+b1),

fl(ΙLR;W1:l;b1:l)=φ(Wl*fl-1(ΙLR)+bl)

(1)

其中:Wl，bl，l∈(1,L-1)分別是可學(xué)習(xí)的權(quán)重和偏置，Wl是大小為nl-1×nl×kl×kl的二維卷積張量，其中nl是第l層的特征數(shù)量，kl是第l層的卷積核數(shù)量，偏置bl是長(zhǎng)度為nl的向量，激活函數(shù)φ逐元素應(yīng)用且固定。在本文中，激活函數(shù)采用TanH函數(shù)，Tanh函數(shù)的零均值性與本文ESPCN網(wǎng)絡(luò)層數(shù)低、梯度消失問(wèn)題不明顯的特征都使得Tanh函數(shù)可以滿足訓(xùn)練與實(shí)用要求。在經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)層后，得到nl張與輸入圖像大小相同的特征圖，將特征圖送入亞像素卷積層進(jìn)行上采樣。

亞像素卷積層由兩部分架構(gòu)組成，一個(gè)卷積層及后續(xù)的排列像素結(jié)構(gòu)。卷積層部分輸出r2張與輸入圖像大小一致的低分辨率卷積特征圖，其中r為上采樣因子，即圖像的放大倍數(shù)，再將特征圖按照公式:

ΙSR=fL(ΙLR)=PS(WL*fL-1(ΙLR)+bL)

(2)

進(jìn)行重新排列，其中ΡS是一個(gè)將大小為H×W·r2的元素重新排列為rH×rW大小的運(yùn)算符，重排列ΡS的數(shù)學(xué)描述為:

PS(T)x,y=T|x/r|,|y/r|,r·mod(y,r)+mod(x,r)

(3)

其本質(zhì)就是將低分辨率特征按照特定位置，周期性的插入到高分辨率圖像中。這樣總的像素?cái)?shù)即可與希望得到的高分辨率圖像像素?cái)?shù)一致，將像素進(jìn)行重新排列后即可得到高分辨率圖像。

1.2 基于ESPCN的交通標(biāo)志超分辨率預(yù)處理

交通標(biāo)志由于采集距離存在低分辨率情況，考慮實(shí)時(shí)應(yīng)用性，若卷積層數(shù)過(guò)多或圖像放大倍數(shù)過(guò)高會(huì)造成實(shí)時(shí)性低，因此選取L=2，r=3。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示(這里的卷積網(wǎng)絡(luò)包括卷積網(wǎng)絡(luò)層及亞像素卷積層中的卷積網(wǎng)絡(luò)部份)，經(jīng)過(guò)卷積后得到32共9張?zhí)卣鲌D，從每張?zhí)卣鲌D同一空間位置各取一個(gè)像素進(jìn)行重新排列，拼接形成一個(gè)3*3的區(qū)域，對(duì)應(yīng)于高分辨率圖像中的一個(gè)3*3大小的子塊如圖3所示。

圖2 卷積神經(jīng)網(wǎng)絡(luò)層結(jié)構(gòu)圖

圖3 重排列示意圖

通過(guò)使用亞像素卷積層，實(shí)現(xiàn)了圖像從低分辨率到高分辨率放大的過(guò)程。由于在網(wǎng)絡(luò)輸出層才進(jìn)行了上采樣，與在輸入層網(wǎng)絡(luò)直接上采樣的其余超分辨網(wǎng)絡(luò)架構(gòu)相比，本文方法在訓(xùn)練和測(cè)試時(shí)都大大降低了復(fù)雜度，效率較高。

2 基于RFCN的交通標(biāo)志識(shí)別

2.1 RFCN網(wǎng)絡(luò)結(jié)構(gòu)

本文采用RFCN深度架構(gòu)作為交通標(biāo)志識(shí)別網(wǎng)絡(luò)，RFCN網(wǎng)絡(luò)是一種基于區(qū)域的全卷積深度網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)典的區(qū)域卷積網(wǎng)絡(luò)Faster-rcnn[13]，實(shí)際上是將整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)分成了3個(gè)子網(wǎng)絡(luò)，用于在整張圖像上做卷積提取特征的子網(wǎng)絡(luò)1與用于產(chǎn)生感興趣區(qū)域候選框的子網(wǎng)絡(luò)2都與區(qū)域無(wú)關(guān)，只有用于分類或?qū)蜻x框進(jìn)行回歸的子網(wǎng)絡(luò)3基于區(qū)域， ROI 池化層用于將前兩層子網(wǎng)絡(luò)與第三層網(wǎng)絡(luò)銜接起來(lái)，但ROI池化層的插入會(huì)導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)不再具備平移不變性，影響目標(biāo)的檢測(cè)，為解決這一問(wèn)題，RFCN在提取特征的卷積層與生成候選區(qū)域的RPN網(wǎng)絡(luò)之間加入位置敏感得分映射，生成位置相關(guān)特征并將目標(biāo)的位置信息融合進(jìn)ROI池化層，使得ROI 池化層前后網(wǎng)絡(luò)都具備平移不變性，對(duì)分類需要的特征平移不變性與檢測(cè)需要的目標(biāo)平移不變性都做出準(zhǔn)確響應(yīng)，提升網(wǎng)絡(luò)檢測(cè)效果。同時(shí)，由于RFCN是完全卷積的，幾乎所有的計(jì)算都在整個(gè)圖像上共享，其檢測(cè)速度較于Faster-rcnn也有很大提高。

RFCN網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，整體結(jié)構(gòu)與Faster-rcnn相近，采用RPN結(jié)合檢測(cè)兩個(gè)部分，分別進(jìn)行候選區(qū)域提取與檢測(cè)，細(xì)分為基礎(chǔ)卷積層、位置敏感預(yù)測(cè)層、RPN層、ROI pooling層與決策層，RPN層與原始設(shè)計(jì)類似，進(jìn)行前景背景分離，而在RFCN結(jié)尾連接著ROI池化層，用于產(chǎn)生對(duì)應(yīng)于每一個(gè)ROI區(qū)域的分?jǐn)?shù)。

圖4 RFCN網(wǎng)絡(luò)結(jié)構(gòu)

在ResNet101的基礎(chǔ)上，去除原有的平均池化層與最后的全卷積層，只保留前100層的卷積層并在后面接一個(gè)1*1*1024的全卷積層生成改進(jìn)ResNet101作為基礎(chǔ)網(wǎng)絡(luò)。卷積層最后，在特征圖上用k2(C+1)個(gè)1024*1*1的卷積核去卷積即可得到k2(C+1)個(gè)大小為W×H的位置敏感分?jǐn)?shù)圖，其中C+1表示ROI可能屬于的目標(biāo)類別(其中C為數(shù)據(jù)集中類別數(shù)目，1為背景類)。

為了將位置信息顯式編碼到每個(gè)ROI中，用一個(gè)規(guī)則的網(wǎng)格將每個(gè)ROI區(qū)域劃分成k×k個(gè)塊，在第(i,j)個(gè)塊中，僅在第(i,j)個(gè)得分圖上進(jìn)行位置敏感ROI池化操作：

(4)

其中:rc(i,j)是第(i,j)個(gè)塊對(duì)第C類的池化響應(yīng)，zi,j,c是k2(C+1)張分?jǐn)?shù)圖中的一張，(x0,y0)是ROI的左上角塊，n是塊中的像素個(gè)數(shù)，θ是所有可學(xué)習(xí)的網(wǎng)絡(luò)參數(shù)。在圖4中可以看到，位置敏感分?jǐn)?shù)圖用k2個(gè)色塊表示，分別與ROI中的k2個(gè)區(qū)域相對(duì)應(yīng)。然后得到的k2個(gè)池化位置敏感分?jǐn)?shù)圖上進(jìn)行投票決策，得到最終分類。

同時(shí)，采用一個(gè)4k2維卷積層作為邊界框回歸。在這4k2圖上做位置敏感ROI池化，再每個(gè)ROI上得到一個(gè)4k2維的向量，再通過(guò)平均投票轉(zhuǎn)換為一個(gè)4維向量。這個(gè)四維向量是邊界框回歸t=(tx,ty,tw,th)的參數(shù)。綜合上述預(yù)測(cè)每類的置信度就得到了物體類別與坐標(biāo)位置。

2.2 基于RFCN的交通標(biāo)志識(shí)別

與1.2節(jié)中做同樣需求考慮，本文取k=3，則得到9×(C+1)個(gè)位置敏感分?jǐn)?shù)圖，用9個(gè)顏色不同、大小為W×H的色塊表示，每個(gè)色塊的厚度為C+1，如圖5所示。

圖5 色塊示意圖

9個(gè)色塊對(duì)應(yīng)于ROI中的9個(gè)位置區(qū)域，上左、上中、上右、中左、中中、中右、下左、下中、下右，且表示不同位置目標(biāo)存在的概率值，最左邊色塊對(duì)應(yīng)表示上左位置，最右邊色塊對(duì)應(yīng)表示下右位置。得到某個(gè)ROI對(duì)應(yīng)的色塊集合后，在每個(gè)色塊中取出其相應(yīng)位置區(qū)域的一個(gè)小方塊，將這9個(gè)小方塊按照其對(duì)應(yīng)位置組成新的立方塊，即可得到一個(gè)厚度為C+1的k2大小的立方塊，對(duì)這個(gè)新的立方塊進(jìn)行池化，得到k2大小的方塊，如圖6所示。

圖6 位置敏感預(yù)測(cè)與池化層示意圖

為了簡(jiǎn)化計(jì)算，投票決策選用簡(jiǎn)單的平均分算法，對(duì)于每個(gè)ROI得到一個(gè)C+1維的向量：

rc(θ)=∑i,jrc(i,j|θ)

(5)

然后我們計(jì)算不同類別的softmax響應(yīng)：

(6)

通過(guò)這樣的方式得到每個(gè)類的最終得分，實(shí)現(xiàn)目標(biāo)分類識(shí)別。

同時(shí)，根據(jù)邊界回歸框可以確定每個(gè)檢測(cè)框的左上角頂點(diǎn)位置及其長(zhǎng)寬—即確定出檢測(cè)框的具體位置，結(jié)合目標(biāo)分類結(jié)果即可得到交通標(biāo)志的位置及其類別，實(shí)現(xiàn)交通標(biāo)志的識(shí)別。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

3.1.1 數(shù)據(jù)集建立

為了驗(yàn)證提出網(wǎng)絡(luò)的有效性，構(gòu)建GTSDB與TSD-max數(shù)據(jù)集混合的聯(lián)合數(shù)據(jù)集作為訓(xùn)練與檢測(cè)數(shù)據(jù)集，GTSDB是德國(guó)交通標(biāo)志檢測(cè)基準(zhǔn)庫(kù)，包含43組共1509張標(biāo)志圖像及900張實(shí)景圖像，其中有794張標(biāo)志圖像與國(guó)內(nèi)交通標(biāo)志一致或相似性大，選取共530張標(biāo)志圖像及600張實(shí)景圖像為訓(xùn)練數(shù)據(jù)集，264張標(biāo)志圖像及300張實(shí)景圖像為測(cè)試數(shù)據(jù)集，TSD-max數(shù)據(jù)集是由西安交通大學(xué)車載攝像機(jī)實(shí)時(shí)采集，從中選取交通信號(hào)標(biāo)志檢測(cè)的數(shù)據(jù)，共包含120組實(shí)景圖像，每組圖像數(shù)量平均為40張，選取其中80組圖像作為訓(xùn)練數(shù)據(jù)集，40組圖像作為檢測(cè)數(shù)據(jù)集，初始數(shù)據(jù)集共有訓(xùn)練數(shù)據(jù)4330張，測(cè)試數(shù)據(jù)2164張，數(shù)據(jù)量較小，會(huì)導(dǎo)致訓(xùn)練模型分類性能不好。

3.1.2 數(shù)據(jù)集增強(qiáng)

為了提升網(wǎng)絡(luò)識(shí)別性能與泛化能力并防止過(guò)擬合，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。選用旋轉(zhuǎn)變換、隨機(jī)裁剪兩種方式進(jìn)行數(shù)據(jù)增強(qiáng)，具體增強(qiáng)方式為對(duì)標(biāo)志數(shù)據(jù)做旋轉(zhuǎn)增強(qiáng)與裁剪增強(qiáng)，對(duì)實(shí)景圖像只做旋轉(zhuǎn)增強(qiáng)。旋轉(zhuǎn)變換指的是對(duì)訓(xùn)練數(shù)據(jù)集中圖像進(jìn)行隨機(jī)任意角度(0-360°)的旋轉(zhuǎn)，結(jié)合實(shí)際應(yīng)用需求，本文選擇旋轉(zhuǎn)角度為-45°～45°，一個(gè)數(shù)據(jù)圖像經(jīng)過(guò)旋轉(zhuǎn)增強(qiáng)會(huì)增加6個(gè)數(shù)據(jù)；隨機(jī)裁剪指的是選擇一定大小的窗口對(duì)原始圖像進(jìn)行剪切，對(duì)于大小為W*H的輸入圖像，我們選擇0.5 W*0.5 H大小的窗口實(shí)現(xiàn)裁剪，一個(gè)數(shù)據(jù)圖像經(jīng)過(guò)隨機(jī)裁剪增強(qiáng)會(huì)增加6個(gè)數(shù)據(jù)。

經(jīng)過(guò)數(shù)據(jù)增強(qiáng)處理后，原始數(shù)據(jù)集被擴(kuò)充為包含303103張訓(xùn)練數(shù)據(jù)，15148張測(cè)試數(shù)據(jù)的擴(kuò)展數(shù)據(jù)集，擴(kuò)展數(shù)據(jù)集的數(shù)據(jù)量可以訓(xùn)練一個(gè)性能較好的模型架構(gòu)。

3.2 網(wǎng)絡(luò)訓(xùn)練策略

交通標(biāo)志數(shù)據(jù)通常由很多類別組成，而其中部分類別如限速標(biāo)志、指示標(biāo)志等含有大量圖像，而部分禁令標(biāo)志類包含圖像極少，以本文選用的GTSDB標(biāo)志類數(shù)據(jù)為例，各類標(biāo)志數(shù)量情況如下。

因此，若將所有訓(xùn)練圖像放入一個(gè)圖像列表依次進(jìn)行訓(xùn)練，由于小數(shù)量類別圖像較于大數(shù)量類別圖像參與訓(xùn)練的機(jī)會(huì)更少，訓(xùn)練后的模型對(duì)大數(shù)量類別的檢測(cè)識(shí)別性能遠(yuǎn)優(yōu)于小數(shù)量類別。本文選用平衡采樣策略解決這一問(wèn)題，在訓(xùn)練時(shí)，把所有訓(xùn)練圖像按照類別進(jìn)行分組，每一類生成一個(gè)圖像列表，從各個(gè)類別所對(duì)應(yīng)的圖像列表中隨機(jī)選擇圖像進(jìn)行訓(xùn)練以保證每個(gè)類別參與訓(xùn)練的機(jī)會(huì)較為均衡。

表1 GTSDB標(biāo)志類數(shù)據(jù)數(shù)量情況

同時(shí)，交通標(biāo)志采集的位置不同會(huì)導(dǎo)致數(shù)據(jù)集中樣本目標(biāo)大小相差較大，造成識(shí)別結(jié)果不魯棒，本文選用多尺度訓(xùn)練作為網(wǎng)絡(luò)訓(xùn)練策略。對(duì)于一幅給定的待訓(xùn)練圖像，將圖像縮放到不同尺度(本文選擇放縮至6個(gè)不同尺度)作為訓(xùn)練圖像送入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。通過(guò)這種多尺度訓(xùn)練策略，使得參與訓(xùn)練的交通標(biāo)志目標(biāo)大小分布更為均衡，進(jìn)而模型對(duì)不同尺度的目標(biāo)檢測(cè)識(shí)別時(shí)更具魯棒性。

本文在網(wǎng)絡(luò)訓(xùn)練時(shí)選取的各訓(xùn)練參數(shù)如表2所示。

表2 訓(xùn)練參數(shù)

3.3 評(píng)價(jià)參數(shù)

為了驗(yàn)證與分析模型的優(yōu)劣性，本文采用識(shí)別率、召回率、識(shí)別時(shí)間及PR曲線(P表示精度(查準(zhǔn)率)、R表示召回率(查全率))作為評(píng)價(jià)參數(shù)分析本文模型的識(shí)別效果，識(shí)別率代表所有正確被檢測(cè)數(shù)據(jù)占所有實(shí)際被檢測(cè)數(shù)據(jù)的比例，召回率代表所有正確被檢測(cè)數(shù)據(jù)占所有應(yīng)該檢測(cè)到數(shù)據(jù)的比例，其具體計(jì)算如下:

其中:TP為真陽(yáng)率，即檢測(cè)圖像中為交通標(biāo)志且被正確識(shí)別為交通標(biāo)志的圖像比率，F(xiàn)P為假陽(yáng)率，即檢測(cè)圖像中不是交通標(biāo)志但被識(shí)別為交通標(biāo)志的圖像比率，F(xiàn)N為假陰率，即檢測(cè)圖像中為交通標(biāo)志但被錯(cuò)誤識(shí)別為其他類別的圖像比率。

3.4 實(shí)驗(yàn)結(jié)果及分析

選取單塊GPU作為測(cè)試硬件平臺(tái)，具體環(huán)境配置為Ubuntu 16.04系統(tǒng)、CUDA 8.0和cudnn，框架為caffe框架。

本文采用的是級(jí)聯(lián)ESPCN與RFCN的識(shí)別方法，ESPCN網(wǎng)絡(luò)用于對(duì)模糊的輸入圖像做超分辨率處理，將交通標(biāo)志部分提取出來(lái)，輸入圖像與處理后圖像對(duì)比如圖7所示。

圖7 交通標(biāo)志處理對(duì)比圖

由處理結(jié)果可以看出，經(jīng)過(guò)ESPCN網(wǎng)絡(luò)的超分辨率處理，檢測(cè)目標(biāo)-道路交通標(biāo)志從低分辨率變?yōu)楦叻直媛?，基于ESPCN的超分辨率處理同時(shí)應(yīng)用于訓(xùn)練圖像與測(cè)試圖像，基于高分辨率圖像的網(wǎng)絡(luò)訓(xùn)練提升網(wǎng)絡(luò)識(shí)別性能，同時(shí)高分辨輸入測(cè)試圖像大大提高了檢測(cè)與識(shí)別精度。

基于RFCN的目標(biāo)檢測(cè)識(shí)別效果如圖8所示。

圖8 部分檢測(cè)識(shí)別結(jié)果圖

由檢測(cè)識(shí)別結(jié)果可看出，本文提出的算法對(duì)交通標(biāo)志目標(biāo)具有良好的檢測(cè)識(shí)別效果。

在相同的訓(xùn)練集、測(cè)試集及硬件配置條件下，根據(jù)精度、召回率及識(shí)別時(shí)間三個(gè)評(píng)價(jià)參數(shù)對(duì)本文算法與經(jīng)典深度學(xué)習(xí)算法進(jìn)行對(duì)比，結(jié)果如表3所示。

表3 不同算法檢測(cè)效果對(duì)比

為了更全面的表征各算法間檢測(cè)識(shí)別效果的對(duì)比，作PR曲線如圖9所示。

圖9 各檢測(cè)算法pr曲線對(duì)比圖

4 結(jié)束語(yǔ)

復(fù)雜交通場(chǎng)景中的交通標(biāo)志檢測(cè)與識(shí)別是實(shí)現(xiàn)智能交通系統(tǒng)(ITS)與自動(dòng)駕駛技術(shù)的關(guān)鍵與基礎(chǔ)，針對(duì)智能車真實(shí)交通環(huán)境中采集的交通標(biāo)志圖片通常較為模糊的問(wèn)題且識(shí)別率低的問(wèn)題，本文提出一種級(jí)聯(lián)ESPCN與RFCN的交通標(biāo)志檢測(cè)與識(shí)別方法，首先對(duì)輸入圖像進(jìn)行超分辨率處理，再利用深度網(wǎng)絡(luò)架構(gòu)對(duì)其進(jìn)行檢測(cè)與識(shí)別。針對(duì)訓(xùn)練過(guò)程，采用數(shù)據(jù)增強(qiáng)的方法對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行擴(kuò)展，同時(shí)選用平衡采樣和多尺度訓(xùn)練的網(wǎng)絡(luò)訓(xùn)練策略。實(shí)驗(yàn)結(jié)果表明，針對(duì)模糊的交通標(biāo)志目標(biāo)圖像，采用本文方法可以得到較好的識(shí)別效果，與現(xiàn)有其余基于深度學(xué)習(xí)的網(wǎng)絡(luò)架構(gòu)相比，其檢測(cè)精度較高且實(shí)時(shí)性更好，可以滿足智能駕駛中對(duì)交通標(biāo)志的檢測(cè)要求，為智能駕駛的決策與控制提供了重要依據(jù)。