微光環(huán)境下基于R-CNN優(yōu)化算法的交通道路圖像識別

滕 碧 紅

(閩西職業(yè)技術(shù)學(xué)院 信息與制造學(xué)院， 福建 龍巖 364021 )

0 前 言

交通道路圖像及標識一般包含路況信息、限速信息、行駛信息等重要的道路交通信息。準確識別交通道路圖像及標識，對于規(guī)范駕駛員的安全駕駛行為、降低交通事故發(fā)生率具有重要意義[1-2]。在夜間環(huán)境、重度霧霾等微光環(huán)境下，由于可視范圍窄、能見度低，對前方路況和道路交通的標識效果會大受影響[3-4]，發(fā)生交通事故的風(fēng)險也隨之升高。近年來，圖像處理技術(shù)的快速發(fā)展及應(yīng)用，在提高交通道路圖像和交通標識的識別效率方面起到了很大作用[5-6]。趙春麗等人提出了一種基于均衡直方圖的圖像增強技術(shù)，該技術(shù)適用于微光條件和復(fù)雜的交通場景，可均衡化處理交通圖像細節(jié)，增強圖像的局部信息[7]。但該算法的實現(xiàn)，首先需要對每個圖像的像素進行處理，算法復(fù)雜且耗時過長，不利于大規(guī)模的推廣應(yīng)用。馮相輝提出了一種基于同態(tài)濾波的圖像識別與增強算法，可以強化圖像高頻部分的處理效果，在降低噪聲的同時提高圖像局部細節(jié)的對比度和能見度[8]。但該算法同樣存在計算量大的問題，且面對復(fù)雜的含噪道路交通圖像時實際降噪效果難以達到預(yù)期。隨著人工智能和機器學(xué)習(xí)算法的不斷發(fā)展與成熟[9]，目前可以應(yīng)用人工智能算法、機器學(xué)習(xí)算法和神經(jīng)網(wǎng)絡(luò)算法等多種方法對低照度圖像進行增強處理[10]。人工智能、機器學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)算法，一方面具有強大的圖像數(shù)據(jù)處理能力，另一方面還具有較強的適用性和實際應(yīng)用價值。

本次研究，是以現(xiàn)有的機器學(xué)習(xí)、深度學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)算法為基礎(chǔ)，探討一種基于R-CNN(Region-CNN，候選區(qū)域卷積神經(jīng)網(wǎng)絡(luò))算法的交通道路圖像識別方法，利用候選框提取圖像相關(guān)信息，并基于回歸器不斷地修正目標，從而改善圖像的清晰度和對比度，使微光環(huán)境下的車輛安全行駛系數(shù)得到提高。

1 交通道路圖像的預(yù)處理

現(xiàn)有基于機器學(xué)習(xí)或深度學(xué)習(xí)的圖像識別算法存在以下主要問題：首先，滑動窗口的選擇缺乏針對性，會造成過多的數(shù)據(jù)冗余，加大了算法的復(fù)雜度和冗余度；其次，在提取圖像特征時無法隨著微光圖像的特征變化而變換對策。而R-CNN算法是基于經(jīng)典深度學(xué)習(xí)算法、卷積神經(jīng)網(wǎng)絡(luò)算法的優(yōu)化算法，主要利用所采集圖像的多重特征來強化圖像的識別與檢測效果，其基本算法結(jié)構(gòu)如圖1所示。首先，將目標圖像劃分為若干個候選區(qū)，對候選圖像進行層級分組；然后，基于候選區(qū)圖像的相似度對圖像進行合并，并精確提取圖像中的細節(jié)特征；最后，再利用分類回歸分析算法進行特征分類，實現(xiàn)對目標交通圖像的識別。

圖1 R-CNN算法結(jié)構(gòu)

對原始交通道路圖像或交通標識圖像進行預(yù)處理，是R-CNN算法的第一個重要步驟。在微光環(huán)境下，交通圖像的亮度、清晰度均有所減弱，因此必須進行圖像增強處理，但圖像灰度增強以后易導(dǎo)致圖像維數(shù)下降。為保持原有圖像的梯度信息不變，采用加權(quán)法對于原始微光圖像進行灰度化處理，從而增強圖像的亮度并突出其原有細節(jié)。在微光環(huán)境下，采集的交通圖像易受拍攝距離或角度等因素的影響而產(chǎn)生畸變，因此還應(yīng)對交通圖像尺寸進行歸一化處理，以保證后續(xù)圖像特征提取的準確性。在此，基于雙三次插值方法糾正交通道路圖像尺寸的變化，糾正過程如圖2所示。

圖2 交通道路圖像的雙三次插值法糾正過程

雙三次插值，是指對目標像素點周邊16個點值進行加權(quán)平均，以糾正原圖像尺寸的偏差。像素點(i+a，j+b)的像素值計算如下：

g(i+a，j+b)=P1×P2×P3

(1)

P1=ω(1+a)·ω(a)·ω(1-a)·

ω(2+a)

(2)

(3)

P3=ω(1+b)·ω(b)·ω(1-b)·

ω(2-b)

(4)

式中：g為取值函數(shù)。

當(dāng)采集到的交通道路圖像數(shù)量較多時，為便于進行圖像特征提取，需要對全部像素點作進一步的聚類處理。在采集和篩選圖像的同時，對全部樣本進行細化分類，并確定聚類中心。圖像數(shù)據(jù)集Z中總共包含N個圖像樣本，表示為：

Z={zi，i=1，2，…，N}

(5)

式中zi∈RN(R為實數(shù)集)。均值聚類是對數(shù)據(jù)集Z中的樣本進行聚類，使聚類后提取到的樣本特征更相近。當(dāng)全部交通圖像的樣本劃分完畢后，每個單元Uj(j=1，2，…，k)都存在一個新的聚類中心cj，表示為：

(6)

根據(jù)單元Uj內(nèi)每個像素點到聚類中心單元cj的歐式距離計算相似性，公式如下：

(7)

式中s為相似性函數(shù)。聚類中心單元的數(shù)量越多，圖像像素相似性的計算結(jié)果就越準確，也越有助于提取交通道路圖像的細節(jié)特征，但其相應(yīng)的計算成本也會越高。

2 交通圖像識別

完成預(yù)處理后，將圖像數(shù)據(jù)集劃分成若干候選區(qū)域，再利用R-CNN算法提取每個候選區(qū)的圖像數(shù)據(jù)特征，判斷檢測目標是否在識別區(qū)域范圍內(nèi)。圖像像素的篩選與檢索流程如圖3所示。

經(jīng)典R-CNN算法流程中，需對每個候選區(qū)域都進行一次卷積，算法代價大、耗時長。為了提高效率，本次研究基于共享方案對經(jīng)典R-CNN算法進行了優(yōu)化。RPN(區(qū)域生成網(wǎng)絡(luò))是優(yōu)化R-CNN算法的核心，通過滑動窗口實現(xiàn)卷積層的共享。窗口共享過程如圖4所示。

圖3 圖像像素的篩選與檢索流程

圖4 R-CNN的共享滑動窗口結(jié)構(gòu)

在推薦候選區(qū)的過程中，滑動窗口中間的錨點與不同形狀的矩形錨框窗口的中心點相對應(yīng)，利用滑窗共享CNN卷積層的一些功能，使交通道路圖像像素的偏移量與畸變情況得到了改善，并使個別區(qū)域的亮度得到了增強。微觀環(huán)境下交通圖像的識別與檢測，其效果更多地取決于圖像子集特征的提取質(zhì)量與特征融合效果。R-CNN優(yōu)化算法模型的卷積層主要用于提取交通圖像的特征，其內(nèi)部由大量的卷積核構(gòu)成，以不斷卷積迭代的方式提取圖像分塊及圖像子集的特征。通過原始圖像的預(yù)處理及像素聚類分析，使圖像中相近或關(guān)聯(lián)密切的像素趨于集中，大幅降低了特征提取的難度和算法的復(fù)雜度。其中窗口與分塊權(quán)值的共享機制，可避免算法的計算代價過高。

車輛運動中采集到的圖像集具有實時性，在微觀環(huán)境下采集的交通圖像和標識經(jīng)處理后仍可能畸變或失真。為此，在優(yōu)化R-CNN算法的同時，引入了HOG(方向梯度直方圖)算子用于輔助卷積層實現(xiàn)圖像特征提取。首先，通過HOG算子將采集到的交通圖像進一步細化成塊，用于描述交通圖像的局部梯度特征；然后，描述單位像素的水平梯度值gx(x，y)和垂直梯度值gy(x，y)，并進一步計算出圖像像素的大小梯度值f(x，y)和角度梯度值α(x，y)：

(8)

計算每個塊的梯度值時，按照權(quán)重比例順序連接形成圖像梯度直方圖的特征項。在優(yōu)化的算法模型中，隨著數(shù)據(jù)復(fù)雜度的提高和網(wǎng)絡(luò)層次的加深，輸出特征的表達也趨于抽象和復(fù)雜，而淺層的信息有可能丟失。

以交通標識圖像為例，其中小目標圖像在整個圖像數(shù)據(jù)集中所占的比例較大，需要對提取的特征進行多層融合以提高數(shù)據(jù)檢測和識別的精度。由于提取的交通圖像特征之間具有互補性，因此特征融合可以改善算法的性能。在此，選用級聯(lián)融合的方式，將最終的融合結(jié)果作為RNP的數(shù)據(jù)輸入項。融合后提取的數(shù)據(jù)特征，相對于單層提取方式獲取的數(shù)據(jù)特征更加完整，可用于不同尺度對象的監(jiān)測。優(yōu)化算法模型中卷積層的前饋計算邏輯路徑是自下而上，對于圖像的像素目標而言，在相對較大的特征塊上提取特征或其他操作，可以獲得更多關(guān)于小目標的準確信息。

分類回歸修正，是指對特征提取與融合后的交通圖像作進一步的修正和完善，通常特征融合后的預(yù)測框和圖像目標區(qū)會存在一定誤差，基于邊界回歸修正和調(diào)整可使最終處理后的圖像與真實交通道路場景更契合。特征融合后交通圖像的大小為m×n，用p和q分別表示邊界框的類別數(shù)和預(yù)測框數(shù)，利用坐標位置預(yù)測法對圖像的位置進行最后的修正，預(yù)測框的坐標o和實際框的坐標o′表示如下：

o={opx，oqy，om，on}

o′={o′px，o′qy，o′m，o′n}

(9)

(10)

再對檢測框依據(jù)分類置信度的大小重新排序，重復(fù)公式(10)的偏差求解方法，直到完成全部檢測，使預(yù)測框與實際框的偏差值達到最小。

3 實驗與分析

3.1 實驗設(shè)計

在實驗室的仿真環(huán)境下，模擬道路交通的微光環(huán)境，并應(yīng)用Matlab仿真軟件和Python 3.5.1編程軟件搭建實驗環(huán)境，實驗操作系統(tǒng)為Windows 10專業(yè)版。仿真實驗中選用的硬件如下：Intel Core i9處理器，處理器最高主頻為3.6 GHz，系統(tǒng)運行內(nèi)存16 GiB，顯卡選用NVIDIA RTX 3080TiB，內(nèi)存為12 GiB。實驗所用數(shù)據(jù)集包含從GTSRB數(shù)據(jù)集中選出的部分交通道路圖像數(shù)據(jù)，共包括3個大類中的14種小交通標識，圖片總數(shù)量為5 400張。交通圖像數(shù)據(jù)集的數(shù)量分布情況如圖5所示。

圖5 14種交通標識數(shù)據(jù)集的分布情況

3.2 實驗結(jié)果分析

在微光仿真環(huán)境下，對14種交通標識圖像數(shù)據(jù)集進行檢測與識別，統(tǒng)計本次優(yōu)化的R-CNN算法識別結(jié)果的準確率(見表1)。

當(dāng)圖像數(shù)據(jù)集的規(guī)模較小時(如第9組、第11組、第13組、第14組)，兩種傳統(tǒng)算法也可以保持較高的圖像識別準確率；當(dāng)樣本數(shù)量增加時，兩種傳統(tǒng)算法的處理性能下降，算法的識別準確率和算法的識別效率同步降低，耗時增加。3種算法的檢測訓(xùn)練時間統(tǒng)計數(shù)據(jù)如表2所示。

表1 交通標識圖像識別結(jié)果的準確率對比

表2 交通標識圖像識別的耗時對比

以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的R-CNN算法在處理大規(guī)模復(fù)雜數(shù)據(jù)集時，具有較為明顯的優(yōu)勢。這主要得益于卷積層的數(shù)據(jù)處理性能及共享滑動窗口的性能。與傳統(tǒng)的交通圖像檢測與識別算法相比，優(yōu)化的R-CNN算法耗時更少、效率更高，但其數(shù)據(jù)訓(xùn)練中會出現(xiàn)輕微的梯度損失。 R-CNN算法損失梯度值隨著數(shù)據(jù)集規(guī)模的擴大而出現(xiàn)了上升的趨勢，但仍保持在臨界值以下(見圖6)，算法的識別和檢測性能不會受到影響。

在夜間高速公路微光場景下，交通標識圖像的亮度、對比度的增強效果如圖7所示。

圖7 3種算法的圖像識別增強效果對比

在R-CNN算法下，圖像的亮度和對比度得到顯著增強，即使在微觀環(huán)境下，也能夠清晰地識別出高速公路的警示標識和導(dǎo)向標識。而在兩種傳統(tǒng)識別算法下，圖像的對比度和亮度均較弱，畫面較暗，無法清晰地識別出前方的障礙。

4 結(jié) 語

微光環(huán)境下對交通道路圖像及標識的準確識別，很大程度上影響了車輛行駛的安全性。本次研究是在深度學(xué)習(xí)算法、卷積神經(jīng)網(wǎng)絡(luò)算法的基礎(chǔ)上，提出一種優(yōu)化的R-CNN交通圖像識別算法。優(yōu)化后的R-CNN算法，其優(yōu)勢在于利用滑動窗口共享卷積層，提高了數(shù)據(jù)訓(xùn)練的效率；同時，還可能修正圖像預(yù)測框與實際框之間的偏差，使交通標識圖像的特征融合度達到較好水平。