一種基于深度學(xué)習(xí)的交通標(biāo)志識(shí)別新算法*

陳昌川，王海寧，趙 悅，王延平，李連杰，李 奎，張?zhí)祢U

(1.重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065；2.山東大學(xué) 信息科學(xué)與工程學(xué)院，山東 青島 266237)

0 引 言

交通標(biāo)志識(shí)別是交通道路運(yùn)輸?shù)闹匾M成部分[1-2]，但受多種因素干擾，如下雨天、標(biāo)志牌老化等，為保證道路安全，既要考慮識(shí)別的精度也要確保識(shí)別速度，因此實(shí)際應(yīng)用中要求實(shí)現(xiàn)實(shí)時(shí)高精度識(shí)別。

目前關(guān)于交通標(biāo)志識(shí)別已有多種方法。由于標(biāo)識(shí)牌特有的形狀與顏色，有學(xué)者提出基于色彩空間識(shí)別方法[3]，或根據(jù)形狀特征識(shí)別交通標(biāo)志[4]，或采用色彩與形狀特征融合[5]識(shí)別，或者通過顏色空間提取感興趣區(qū)域[6]，隨后使用支持向量機(jī)(Support Vector Machine,SVM)進(jìn)行分類[7-9]。然而這些方法存在一定弊端：采用色彩或形狀識(shí)別算法存在大量誤檢，當(dāng)交通標(biāo)志所處背景與其顏色或形狀相近，往往會(huì)將背景錯(cuò)誤識(shí)別成交通標(biāo)志；再者，通過顏色和形狀對(duì)特殊情況下交通標(biāo)志很難提取，例如下雨天、大霧天、遮擋等情況，進(jìn)而導(dǎo)致精度偏低；使用顏色或形狀提取圖像候選區(qū)域隨后使用SVM分類的方法對(duì)于類別過多交通標(biāo)志，很難做到正確分類，存在通用性偏低問題。近年來由于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的興起，為解決精度低的問題，又有學(xué)者提出將CNN應(yīng)用在交通標(biāo)志檢測(cè)與識(shí)別。Lee[10]等人基于SSD(Single Shot Multibox Detector)算法[11]構(gòu)建的CNN算法同時(shí)估計(jì)交通標(biāo)志位置與邊界，在基于VGG16模型下最高平均準(zhǔn)確率(Mean Average Precision，mAP)達(dá)到88.4%。Filatov[12]基于交通標(biāo)志邊緣，通過形態(tài)學(xué)運(yùn)算與Canny算法處理待檢測(cè)圖像得到交通標(biāo)志輪廓，隨后送入CNN模型進(jìn)行判斷，實(shí)現(xiàn)交通標(biāo)志識(shí)別。但對(duì)于使用CNN檢測(cè)方法，通過提取大量目標(biāo)候選區(qū)域送入分類網(wǎng)絡(luò)進(jìn)行判斷和識(shí)別[13-18]，雖然保證一定的精度與通用性，但不針對(duì)交通標(biāo)志特定場(chǎng)景，網(wǎng)絡(luò)設(shè)計(jì)復(fù)雜，提取候選區(qū)域圖像均要送入網(wǎng)絡(luò)判斷與識(shí)別，需要大量計(jì)算導(dǎo)致識(shí)別速度慢，且精度受限無法進(jìn)一步提升。

本文從交通標(biāo)志牌邊緣信息出發(fā)，基于深度學(xué)習(xí)YOLOv2算法檢測(cè)思想，提出一種T-YOLO檢測(cè)算法。該算法自行搭建網(wǎng)絡(luò)結(jié)構(gòu)，融合殘差網(wǎng)絡(luò)、下采樣操作舍棄通用池化層而改用卷積層，設(shè)計(jì)7層特征提取網(wǎng)絡(luò)，解決檢測(cè)速度慢問題，縮短檢測(cè)速度；針對(duì)交通標(biāo)志特定場(chǎng)景，提出卷積層四周填充0提取邊緣信息與上采樣方法，卷積層填充0提高識(shí)別精度，上采樣方法解決算法無法定位小目標(biāo)問題提升定位準(zhǔn)確度，進(jìn)一步提高識(shí)別精度；隨后采用Softmax函數(shù)歸一化0～1，產(chǎn)生目標(biāo)概率可能值，實(shí)現(xiàn)多分類識(shí)別，解決SVM分類器通用性偏低問題；通過批量歸一化、多尺度訓(xùn)練等訓(xùn)練方法，增強(qiáng)了算法的魯棒性。實(shí)驗(yàn)表明，相比于同期交通標(biāo)志識(shí)別算法，所提算法在檢測(cè)速度與平均準(zhǔn)確度上均達(dá)到最優(yōu)；相比于YOLOv2，所提算法平均準(zhǔn)確率提高7.1%，檢測(cè)速度縮短每幀9.51 ms，整體性能都得到了提高。

1 T-YOLO算法

1.1 T-YOLO算法結(jié)構(gòu)

如圖1所示，T-YOLO算法首先將圖像歸一化同一尺度，整幅待檢測(cè)圖像被劃分成S×S個(gè)網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)檢測(cè)目標(biāo)圖像中心點(diǎn)是否落在該網(wǎng)格，對(duì)于目標(biāo)圖像中心點(diǎn)落在的網(wǎng)格，Pr(object)=1，否則Pr(object)=0。通過人為設(shè)定的anchor錨點(diǎn)，產(chǎn)生定量個(gè)數(shù)預(yù)測(cè)框，每個(gè)預(yù)測(cè)框會(huì)產(chǎn)生坐標(biāo)信息(x,y,w,h)和置信度(confidence)。x、y為相對(duì)該網(wǎng)格左上角坐標(biāo)偏移值，w、h為該預(yù)測(cè)框?qū)捙c高，置信度為邊界框包含目標(biāo)的可能性Pr(object)與邊界框準(zhǔn)確度IOU(Intersection over Union)的乘積，如公式(1);同時(shí)，每個(gè)預(yù)測(cè)框還會(huì)產(chǎn)生一個(gè)固定的類別C。

(1)

圖1 T-YOLO算法檢測(cè)示意圖

交通標(biāo)志邊緣含有豐富的色彩對(duì)比信息與線條鮮明形狀信息，可以提高識(shí)別準(zhǔn)確度。為此，T-YOLO算法采用卷積層均四周填充0，提取邊緣信息，以提升檢測(cè)精度。再者，交通標(biāo)志圖像不同于一般圖像，單純采用池化層作為下采樣操作，邊緣信息將被丟失，因此，T-YOLO算法對(duì)于下采樣操作不采用池化層，而改用卷積層，通過3×3的卷積核，設(shè)置步長(zhǎng)為2，進(jìn)行圖像下采樣(見圖2)，確保邊緣信息不會(huì)被丟失，進(jìn)而提升檢測(cè)精度。深度越深的網(wǎng)絡(luò)層，參數(shù)初始化一般接近0，在訓(xùn)練過程中，隨著迭代次數(shù)增加，網(wǎng)絡(luò)更新淺層參數(shù)，而進(jìn)一步導(dǎo)致梯度消失，產(chǎn)生梯度爆炸等現(xiàn)象，從而導(dǎo)致無法收斂，損失率增加，而殘差網(wǎng)絡(luò)能解決梯度消失與梯度爆炸等現(xiàn)象，進(jìn)而使得模型收斂。為此，T-YOLO算法在特征提取結(jié)構(gòu)后加入殘差網(wǎng)絡(luò)，用以防止模型過擬合。圖3為引入殘差網(wǎng)絡(luò)結(jié)構(gòu)示意圖。

圖3 殘差網(wǎng)絡(luò)示意圖

神經(jīng)網(wǎng)絡(luò)訓(xùn)練是個(gè)復(fù)雜過程，只要前面幾層發(fā)生微小變化，這種微小變化就會(huì)在后面幾層不斷放大，形成大變化，一旦網(wǎng)絡(luò)輸入數(shù)據(jù)分布發(fā)生改變，那么網(wǎng)絡(luò)層勢(shì)必要去適應(yīng)學(xué)習(xí)這個(gè)新數(shù)據(jù)分布，這將極大影響訓(xùn)練速度。為此，T-YOLO算法在每個(gè)卷積層中均加入批量歸一化操作(Batch Normalization,BN)，加速訓(xùn)練模型的收斂速度。

首先找到最小batch，假設(shè)最小batch中輸入數(shù)據(jù)為x，β是由輸入x構(gòu)成的集β={x1,x2,…,xm}，求得最小batch中的均值與平方差，并將其歸一化操作，進(jìn)而產(chǎn)生了一種從原始數(shù)據(jù)到訓(xùn)練數(shù)據(jù)的映射表達(dá)式，如公式(2)所示：

(2)

如圖4所示，T-YOLO對(duì)圖像粗略特征提取采用7層卷積層，縮短模型特征提取速度，隨后送入后續(xù)殘差網(wǎng)絡(luò)與上采樣繼續(xù)進(jìn)行細(xì)節(jié)特征提取。T-YOLO算法為解決無法準(zhǔn)確定位小型目標(biāo)圖像問題引入上采樣操作，如圖5所示，通過融合殘差網(wǎng)絡(luò)的輸出與輸入并上采樣，解決識(shí)別小型目標(biāo)問題，以提升精度。最終生成全連接采用Softmax函數(shù)歸一化。相比于SVM分類器采用超平面將圖像進(jìn)行0與1分類，Softmax函數(shù)產(chǎn)生目標(biāo)概率值，可以實(shí)現(xiàn)多目標(biāo)的分類，解決了SVM分類器通用性偏低問題。

圖4 7層特征提取網(wǎng)絡(luò)

圖5 T-YOLO網(wǎng)絡(luò)示意圖

1.2 T-YOLO檢測(cè)算法

針對(duì)目標(biāo)檢測(cè)，T-YOLO算法將待檢測(cè)圖像劃分成56×56個(gè)網(wǎng)格，每個(gè)網(wǎng)格會(huì)檢測(cè)是否包含目標(biāo)圖像區(qū)域，對(duì)于區(qū)域性包含目標(biāo)圖像的網(wǎng)格通過算術(shù)求得網(wǎng)格中心值，進(jìn)而確定目標(biāo)中心點(diǎn)落在的網(wǎng)格。對(duì)于檢測(cè)到目標(biāo)中心點(diǎn)網(wǎng)格將會(huì)截取并產(chǎn)生系列事先設(shè)定大小的預(yù)選框圖像，截取圖像送入神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷與識(shí)別。本文將網(wǎng)格中輸出預(yù)選框圖像個(gè)數(shù)設(shè)置為5個(gè)，并采用k均值聚類算法(k-means)求解事先設(shè)定預(yù)選框大小，隨機(jī)選取k個(gè)對(duì)象作為初始聚類中心，然后計(jì)算目標(biāo)中的點(diǎn)與聚類中心距離，并將每次產(chǎn)生的對(duì)象分配給距離它最近中心點(diǎn)，每分配一個(gè)樣本，聚類中心點(diǎn)將會(huì)重新計(jì)算，然后繼續(xù)聚類，直到所有樣本都被計(jì)算完成，最終產(chǎn)生所有的聚類點(diǎn)，選取其中聚類最多的5個(gè)矩形框的點(diǎn)作為預(yù)選框。

因此，含有交通標(biāo)志目標(biāo)中心點(diǎn)的網(wǎng)格將會(huì)產(chǎn)生(5+3)×5個(gè)預(yù)選框圖像，該網(wǎng)格產(chǎn)生的40個(gè)預(yù)選框圖像均要送入T-YOLO神經(jīng)網(wǎng)絡(luò)進(jìn)行判斷識(shí)別。圖6為T-YOLO網(wǎng)絡(luò)檢測(cè)流程圖。

圖6 算法檢測(cè)流程圖

同時(shí)，為了使模型更具通用性提高模型魯棒性，T-YOLO網(wǎng)絡(luò)采用多尺度訓(xùn)練方式，每隔10輪調(diào)整一次輸入圖像分辨率，進(jìn)而使得模型對(duì)于不同分辨率圖像均能做到有效的識(shí)別與定位。

2 實(shí)驗(yàn)效果與算法對(duì)比

2.1 數(shù)據(jù)集預(yù)處理及訓(xùn)練

本文選取數(shù)據(jù)集是Zhang[19-20]等人公開的中國(guó)交通標(biāo)志檢測(cè)數(shù)據(jù)集(CSUST Chinese Traffic Sign Detection Benchmark,CCTSDB)，豐富的數(shù)據(jù)集有助于提高模型平均準(zhǔn)確率，同時(shí)可以加速模型訓(xùn)練時(shí)收斂，降低損失率。為了使得訓(xùn)練集更加豐富，包含不同場(chǎng)景情況下圖像，采用旋轉(zhuǎn)、調(diào)整飽和度、調(diào)整亮度三種混合方式增強(qiáng)數(shù)據(jù)集。按照5∶1的比例劃分訓(xùn)練集與測(cè)試集，分別為15 000張與3 000張圖片，并將數(shù)據(jù)集劃分為警告、強(qiáng)制、禁止三類。

本文實(shí)驗(yàn)硬件配置如表1所示，并在上面搭配所需的軟件環(huán)境Ubuntu16.04、CUDA10.1、Cudnn7.5、Opencv3.4.3，同時(shí)根據(jù)數(shù)據(jù)集的特點(diǎn)，一并參考YOLOv2的參數(shù)配置。T-YOLO算法的參數(shù)配置見表2，在1～30 000次迭代設(shè)置學(xué)習(xí)率大小0.001，然后隨著迭代次數(shù)的累計(jì)，依次調(diào)整學(xué)習(xí)率，直到損失率保持穩(wěn)定。

表1 硬件配置

表2 T-YOLO參數(shù)配置

2.2 算法對(duì)比

為了驗(yàn)證T-YOLO算法準(zhǔn)確性與可靠性，在基于硬件平臺(tái)GPU RXT2080 Ti與CPU Intel(R) Xeon(R) W-2133和軟件平臺(tái)Ubuntu16.04、opencv3.4.3的基礎(chǔ)上，將測(cè)試集3 000張圖片送入不同網(wǎng)絡(luò)，圖片大小為1 024 pixel×768 pixel，并選取平均準(zhǔn)確率(mAP)、平均召回率(Average Recall,AR)、GPU檢測(cè)速度(ms/frame)作為驗(yàn)證指標(biāo)。AR計(jì)算公式如公式(3)所示:

(3)

式中：TP代表真正正樣本，F(xiàn)P代表假正樣本，F(xiàn)N代表假負(fù)樣本，i代表類別。算法對(duì)比見表3。從表3可以看出，T-YOLO算法無論是在平均準(zhǔn)確率還是在檢測(cè)速度上都達(dá)到最優(yōu)效果，相比于YOLOv2算法，T-YOLO算法在平均準(zhǔn)確度上提高7.1%，檢測(cè)速度每幀縮短了4.9 ms；相比于Faster R-CNN算法，T-YOLO算法在速度上提高124倍，精度提高3.8%；相比于傳統(tǒng)算法HOG+SVM，檢測(cè)精度提高13%。

表3 算法對(duì)比

同樣，為了驗(yàn)證T-YOLO算法魯棒性，采用不同分辨率輸入圖像進(jìn)行測(cè)試。采用224 pixel×224 pixel、320 pixel×320 pixel、416 pixel×416 pixel、512 pixel×512 pixel、608 pixel×608 pixel五種分辨率圖像，將原始圖像按照等比例方式縮放到上述分辨率固定尺度，對(duì)于空出像素區(qū)域填充黑色像素0，分別驗(yàn)證各個(gè)分類的準(zhǔn)確率以及平均準(zhǔn)確率、檢測(cè)速度三個(gè)指標(biāo)，結(jié)果如圖7和圖8所示。從圖7可以看出，對(duì)于圖片大小為224 pixel×224 pixel的圖像識(shí)別準(zhǔn)確率較低，這是由于交通標(biāo)志圖像大都為低分辨圖像，如果采用更低分辨率圖像，交通標(biāo)志圖像會(huì)變小，所以導(dǎo)致平均準(zhǔn)確率偏低；從圖像大小為320 pixel×320 pixel往上，平均準(zhǔn)確率越來越高，結(jié)果如圖7和圖8所示。從圖7與圖8可以看出對(duì)于低分辨率的圖像，檢測(cè)速度比較快，但對(duì)應(yīng)的平均準(zhǔn)確率低，對(duì)于224 pixel×224 pixel圖像，GPU上檢測(cè)速度達(dá)到13.69 ms/frame，隨著分辨率不斷提高，檢測(cè)耗時(shí)也增加。

圖7 不同分辨率圖像準(zhǔn)確率

圖8 不同分辨率圖像檢測(cè)速度

2.3 T-YOLO算法檢測(cè)效果對(duì)比

交通標(biāo)志往往懸掛在高空或道路兩旁，從人視覺或汽車視覺內(nèi)觀察到的基本為小型目標(biāo)圖像與中型目標(biāo)圖像；再者，對(duì)于交通安全，能盡早準(zhǔn)確無誤地將遠(yuǎn)方交通標(biāo)志檢出，可以減少不必要的損失，避免進(jìn)一步的人員傷亡。從圖9(a)可看出，YOLOv2算法針對(duì)于小型目標(biāo)圖像檢測(cè)，對(duì)小型目標(biāo)定位很不準(zhǔn)確，進(jìn)而很難檢測(cè)出；同樣可以看出，由于采用池化層作為下采樣操作丟失邊緣信息，對(duì)于遮擋目標(biāo)很難檢測(cè)出。從圖9(b)可看出，T-YOLO算法可以準(zhǔn)確無誤將小型目標(biāo)圖像定位，進(jìn)而進(jìn)一步檢測(cè)出目標(biāo)。由于采用卷積層填充0、卷積層下采樣、上采樣等方法，T-YOLO算法對(duì)于交通標(biāo)志邊緣信息非常敏感，對(duì)部分遮擋標(biāo)志仍能將它檢測(cè)出來。對(duì)于一些特殊天氣下的小型目標(biāo)圖像，T-YOLO算法仍可以檢測(cè)出。

圖9 部分算法對(duì)比檢測(cè)效果圖

3 結(jié)束語(yǔ)

本文提出了一種基于深度學(xué)習(xí)識(shí)別交通標(biāo)志新方法，與一般算法不同，該算法從交通標(biāo)志邊緣信息出發(fā)，針對(duì)交通標(biāo)志特定場(chǎng)景，精簡(jiǎn)模型縮短速度，通過提取邊緣信息與上采樣提升識(shí)別精度。實(shí)驗(yàn)表明該方法真實(shí)有效，相比同期交通標(biāo)志識(shí)別算法精度與速度方面均有大幅提高，GPU平臺(tái)上采用原始圖像數(shù)據(jù)(1 024 pixel×768 pixel)，檢測(cè)速度19.31 ms/frame，mAP為97.3%;由于采用多尺度訓(xùn)練方式，模型的魯棒性增強(qiáng)。但現(xiàn)實(shí)場(chǎng)景細(xì)分每類交通標(biāo)志，算法針對(duì)交通標(biāo)志分類范圍過大、類別過少，且未結(jié)合標(biāo)志牌特有顏色與形狀特征以提升識(shí)別精度，未經(jīng)實(shí)車測(cè)試。細(xì)分多類交通識(shí)別與實(shí)車測(cè)試將是下一步研究的方向。

“親近自然，親近泥土”無疑是陶藝作品在當(dāng)今的可貴之處，亦在當(dāng)今也愈發(fā)成為了人們的奢求。當(dāng)它出現(xiàn)于人們的活動(dòng)空間時(shí)，便是將這么一份可貴的物質(zhì)給予人們，讓空間充滿意義與歡喜。作為物質(zhì)與精神融合的產(chǎn)物，其多樣化的材料表達(dá)方式也符合大家追求特立獨(dú)行和豐富的藝術(shù)風(fēng)格。以極為自然的藝術(shù)表現(xiàn)形式，承載著一定的文化元素，慢慢融入空間環(huán)境中，點(diǎn)綴、裝飾著空間，促成空間的自然化、藝術(shù)化和多元化。