基于車標(biāo)區(qū)域的智能識(shí)別方法研究

曲愛妍 吳秋玲 張正 梁穎紅 黃曉婷

摘? 要：隨著道路監(jiān)控系統(tǒng)的數(shù)字化和智能化發(fā)展，車輛類型識(shí)別成為智能交通系統(tǒng)的研究重點(diǎn)之一。針對(duì)從道路監(jiān)控系統(tǒng)中獲取的視頻圖像，考慮如何從圖像中提取車標(biāo)局部區(qū)域的顯著特征進(jìn)行分析，提出了聯(lián)合特征的車標(biāo)特征點(diǎn)提取和識(shí)別方法?；诘缆繁O(jiān)控系統(tǒng)中的視頻圖像，對(duì)定位的車標(biāo)圖像進(jìn)行歸一化處理，完成了車標(biāo)的方向梯度直方圖特征（HOG）和局部二值模式（LBP）提取，采用支持向量機(jī)（SVM）對(duì)車標(biāo)特征矢量進(jìn)行分類識(shí)別。通過從監(jiān)控視頻中分割出來的10 類車標(biāo)、826 張車標(biāo)圖像對(duì)算法效果進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果表明，支持向量機(jī)的核函數(shù)選擇線性核函數(shù)，識(shí)別率達(dá)到95%，優(yōu)于徑向基核函數(shù)和多項(xiàng)式核函數(shù)。比較了單一特征（HOG或LBP）與聯(lián)合特征（HOG-LBP）對(duì)車標(biāo)的識(shí)別率，聯(lián)合特征對(duì)車標(biāo)的識(shí)別率達(dá)到97.27%，識(shí)別率最高。基于HOG-LBP聯(lián)合特征車標(biāo)區(qū)域的智能識(shí)別方法，同時(shí)利用HOG與LBP的特征優(yōu)勢(shì)，提高了車標(biāo)識(shí)別率。

關(guān)鍵詞：圖像識(shí)別;車標(biāo)識(shí)別;方向梯度直方圖;局部二值模式;支持向量機(jī)

中圖分類號(hào)：TP311.5? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Intelligent Recognition Method based on Vehicle Logo Area

QU Aiyan1，2， WU Qiuling1， ZHANG Zheng1， LIANG Yinghong1， HUANG Xiaoting3

（1.Jinling Institute of Technology， Nanjing 211169， China;

2.Army Engineering University， Nanjing 210001， China;

3.Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

quaiyan@jit.edu.cn; Wuqiuling@jit.edu.cn; zhangzheng@jit.edu.cn; liangyh@jit.edu.cn; 934246903@qq.com

Abstract： With the development of digital and intelligent road monitoring systems， vehicle type recognition has become one of the research focuses of intelligent transportation systems. This paper proposes a method of extracting and identifying feature points of vehicle logo with joint features， after considering how to extract and analyze the significant features of the local part of the vehicle logo from images obtained from road monitoring system. Based on the video image in the road monitoring system， the positioning of vehicle logo is normalized， and the directional gradient histogram feature （HOG） and local binary pattern （LBP） of the vehicle logo are extracted. The support vector machine （SVM） is used to classify the vehicle logo feature vector. 10 types of vehicle logos segmented from surveillance videos and 826 vehicle logo images are used to evaluate the effect of the algorithm. Experimental results show that the recognition rate of linear kernel function is 95%， which is better than radial basis function kernel function and polynomial kernel function. Recognition rate of joint feature （HOG-LBP） for vehicle logo is 97.27%， which is the highest， compared to recognition rate of single feature （HOG or LBP）. Intelligent recognition method improves vehicle logo recognition rate based on the HOG-LBP joint feature vehicle logo area and the feature advantages of HOG and LBP.

Keywords： image recognition; vehicle logo recognition; directional gradient histogram; local binary mode; support

vector machine

1? ?引言（Introduction）

現(xiàn)在人們的生活質(zhì)量越來越好，汽車在人們生活中出現(xiàn)的頻率也在不斷提高，逐漸成為一種必要的交通工具，因此數(shù)字化和智能化汽車監(jiān)控系統(tǒng)就變得尤為重要。隨著網(wǎng)絡(luò)的普及與信息技術(shù)的持續(xù)進(jìn)步，我們迎來了大數(shù)據(jù)時(shí)代，如何對(duì)處于監(jiān)測(cè)與控制范圍中的活動(dòng)對(duì)象進(jìn)行快捷高效的鑒別，并對(duì)其進(jìn)行相關(guān)的分析處理是智能交通系統(tǒng)中研究的重點(diǎn)[1]。針對(duì)行進(jìn)中的汽車，通過車標(biāo)、車前面板的車輛特征識(shí)別[2-4]，再結(jié)合大數(shù)據(jù)就能獲取汽車的完整信息。由于常用的卷積網(wǎng)絡(luò)采用卷積核，而且卷積核的參數(shù)是共享的，使網(wǎng)絡(luò)參數(shù)大幅下降，不容易產(chǎn)生全連接網(wǎng)絡(luò)的過學(xué)習(xí)問題，因此傳統(tǒng)的圖像識(shí)別效果比較好。

傳統(tǒng)的圖像識(shí)別流程如圖1所示[5]。首先輸入原始圖像，對(duì)圖像進(jìn)行預(yù)處理操作;然后提取物體的主要特征，利用提取的特征構(gòu)造SVM分類器的核函數(shù);最后利用SVM分類器對(duì)物體圖像進(jìn)行分類，輸出識(shí)別結(jié)果。

基于圖像模式的識(shí)別手段很多，從圖像識(shí)別所需要提取的特征物和對(duì)象角度來看，圖像識(shí)別的手段大致可以細(xì)化為基于形狀特征的識(shí)別技術(shù)[6]、基于色彩特征的識(shí)別技術(shù)[5]和基于表面紋理特征的識(shí)別技術(shù)[7]等。HOG特征和LBP特征均屬于一種用來提取局部區(qū)域紋理特征的識(shí)別技術(shù)[8]。HOG特征汽車標(biāo)志鑒別[9-10]主要原理是利用汽車標(biāo)志邊緣充足的信息特征進(jìn)行鑒別;LBP特征汽車標(biāo)志鑒別[11-12]主要原理是利用汽車標(biāo)志自身充足的紋理信息特征進(jìn)行鑒別。在兩種特征信息提取的研究基礎(chǔ)上，本文提出了一種基于HOG-LBP聯(lián)合特征的車標(biāo)識(shí)別方法，來提高道路監(jiān)控圖像中的車標(biāo)識(shí)別率。

2? 基于HOG-LBP的車標(biāo)識(shí)別方法（Vehicle logo recognition method based on HOG-LBP）

2.1? ?車標(biāo)LBP特征的提取

LBP是一個(gè)用作表示圖像中局部區(qū)域的紋理特征的算子，可以應(yīng)用在對(duì)紋理特征進(jìn)行提取方面。若提取的圖像是車體前部車標(biāo)部分區(qū)域的特征，則非常適合對(duì)車標(biāo)的特征進(jìn)行提取。

基本的LBP算子用窗口中的像素進(jìn)行了定義性描述，把窗口中間的像素當(dāng)作一個(gè)閾值，通過分析和對(duì)比窗口中心所有鄰接的8 個(gè)像素的灰度值和這個(gè)閾值來計(jì)算得到LBP值。如果窗口中心所鄰接的像素點(diǎn)的值超過了閾值，就將此像素點(diǎn)的位置記錄成1，否則就會(huì)記錄成0。最后，這個(gè)窗口內(nèi)的8 個(gè)位置通過對(duì)比處理，就可以得到8 位的數(shù)字二進(jìn)制碼，將這些二進(jìn)制碼轉(zhuǎn)化成十進(jìn)制碼，也就是簡單的LBP碼，就直接可以得到窗口中心像素點(diǎn)的LBP值。由于窗口中各點(diǎn)都要求獲取8 個(gè)鄰接的像素，經(jīng)比較可以得到的結(jié)果有個(gè)28，被叫作局部二值模式，并且將此值用來描述此區(qū)域的紋理信息，取值范圍是[0-255]，如圖2所示。

用公式表示如下：

（1）

（2）

式（2）中的代表所鄰接的區(qū)域里所有采樣點(diǎn)的數(shù)量;代表與的差值計(jì)算結(jié)果，其中代表窗口中間元素，代表與中間元素相鄰接的8 個(gè)元素。

等價(jià)模式是一種LBP特征的降維方法。00111000（先從0轉(zhuǎn)換至1，再從1轉(zhuǎn)換至0，一共進(jìn)行兩次跳變）、11111111（進(jìn)行0次跳變）、00000000（進(jìn)行0次跳變）、11011111（從1轉(zhuǎn)換至0，再從0轉(zhuǎn)換至1），這四個(gè)模式都可以作為一種等價(jià)模式。但是01010000、01001110不屬于等價(jià)模式類，原因是它們有超過兩次的跳變。等價(jià)模式的本質(zhì)是指在多個(gè)采樣點(diǎn)上，其對(duì)應(yīng)的等價(jià)模式類的循環(huán)二進(jìn)制數(shù)編碼不超過兩次1到0或者0到1的跳變。所以，可以盡量削減LBP的類別，只要保證不損失任意數(shù)據(jù)即可?？偟哪Ｊ綌?shù)量變少，基本LBP的數(shù)量有2p 類，現(xiàn)在數(shù)量降低至p（p-1）+2 類，對(duì)于3×3窗口內(nèi)的8 個(gè)采樣點(diǎn)而言，二進(jìn)制模式的類型從基本LBP的256 類降低至58 類。經(jīng)過等價(jià)模式的降維，降低了特征向量的維數(shù)，從而大大減少了數(shù)據(jù)計(jì)算量和高頻率的噪聲帶來的影響。圖3為LBP算子的提取結(jié)果，圖中表現(xiàn)出LBP算子在不同光照影響下對(duì)結(jié)果的提取并不敏感。

2.2? ?車標(biāo)HOG特征的提取

HOG的特征構(gòu)造是由梯度方向直方圖組合而成的，這些梯度方向直方圖主要來自分析和統(tǒng)計(jì)圖像中的局部區(qū)域。其設(shè)計(jì)原理主要是計(jì)算圖像中局部區(qū)域的外在表面和形狀的形變梯度或者邊緣的方向密度。第一步先分割圖像，將其劃分為不同的小互聯(lián)區(qū)域，也就是細(xì)胞單元。第二步是統(tǒng)計(jì)得到單元中每個(gè)像素的梯度或者邊緣的方向直方圖。第三步，通過組合直方圖可以得到一個(gè)特征描述器。本文實(shí)驗(yàn)的車標(biāo)圖像默認(rèn)為64×64像素，HOG特征提取手段的操作流程如下：

（1）將所有汽車標(biāo)志圖像分別進(jìn)行顏色灰度化處理，采用gamma顏色校正算法對(duì)所有汽車標(biāo)志圖像都分別進(jìn)行色彩空間歸一化處理，gamma壓縮計(jì)算公式為：

（3）

式中，gamma取值1/2。

（2）將所有汽車標(biāo)志圖像進(jìn)行網(wǎng)格式劃分，劃分后的各個(gè)網(wǎng)格叫作block塊。把汽車標(biāo)志圖像劃分成16×16 像素尺寸的塊，這些塊就可以作為采樣窗口，然后用塊不重疊的方法對(duì)汽車標(biāo)志圖像進(jìn)行采樣。

（3）針對(duì)每個(gè)block塊，每個(gè)block被劃分成8×8 像素大小的單元格（cell），使用各單元格中的各像素梯度，根據(jù)相同的方向來統(tǒng)計(jì)一個(gè)直方圖，計(jì)算得到圖像里坐標(biāo)為的像素點(diǎn)的水平與垂直梯度值如式（4）和式（5）所示：

水平梯度值： ? ?（4）

垂直梯度值： ? ?（5）

式（4）與式（5）中，表示輸入的汽車標(biāo)志圖像內(nèi)的像素點(diǎn) 的像素值。像素點(diǎn)的梯度幅值和梯度方向分別如式（6）和式（7）所示：

（6）

（7）

得到的梯度結(jié)果也應(yīng)該歸一化，從而降低陰影、陽光照射和邊緣的變化帶來的影響。

（4）針對(duì)各block塊中的單元格，計(jì)算梯度的方向直方圖。起初的方向角是沒有符號(hào)的，通?？梢苑殖? 個(gè)方向角。經(jīng)過分析與計(jì)算，各個(gè)單元格可以分別獲得9 個(gè)特征值。接著，把塊中的各個(gè)單元格的梯度方向直方圖組合成一個(gè)向量，當(dāng)各塊為的16×16 像素尺寸時(shí)，各塊就有36 個(gè)特征值。

（5）用塊掃描整個(gè)汽車標(biāo)志圖像，得到的各個(gè)塊特征連接起來就代表完整的汽車標(biāo)志的HOG特征，可以用g×h維表示。其中，h代表整個(gè)汽車標(biāo)志塊的數(shù)量，g代表各塊中直方圖向量的維數(shù)，HOG特征就是可以被分類所采取的特征向量。HOG中窗口、塊、單元格關(guān)系示意圖如圖4所示。

2.3? ?HOG-LBP特征算法

LBP特征主要提取了車標(biāo)豐富的紋理信息特征，HOG特征主要提取了車標(biāo)豐富的邊緣信息特征，不同的特征提取算法提取物體的不同特征。本文提出一種HOG-LBP特征，利用多核學(xué)習(xí)方法在HOG特征和LBP特征基礎(chǔ)上，構(gòu)造核函數(shù)用于SVM分類階段的決策。

構(gòu)造核函數(shù)的算法主要包括線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)。

（1）線性核函數(shù)

（8）

（2）多項(xiàng)式核函數(shù)

（9）

（3）徑向基核函數(shù)

（10）

基于HOG-LBP特征的車標(biāo)識(shí)別流程如圖5所示。首先對(duì)視頻圖像進(jìn)行預(yù)處理[13-14]，包括運(yùn)動(dòng)車輛的提取和濾波，中值濾波最適合本文圖像的去噪。通過對(duì)圖像的分析對(duì)車標(biāo)區(qū)域進(jìn)行精確定位，輸出預(yù)處理后的圖像。HOG-LBP特征計(jì)算是基于經(jīng)過前期預(yù)處理后的車標(biāo)區(qū)域的圖像。針對(duì)車標(biāo)區(qū)域的圖像進(jìn)行HOG特征計(jì)算和LBP特征計(jì)算，將兩種方法的計(jì)算結(jié)果作為輸入，構(gòu)造出基于HOG-LBP特征的核函數(shù)，接著在SVM[15]中進(jìn)行訓(xùn)練，生成識(shí)別結(jié)果。

3? ?實(shí)驗(yàn)與結(jié)果分析（Experiment and result analysis）

實(shí)驗(yàn)1：支持向量機(jī)的核函數(shù)選擇

本文采用從監(jiān)控視頻中分割出來的10 類車標(biāo)、826 張車標(biāo)圖像，每類車標(biāo)至少包含82 張從不同車身上提取的車標(biāo)，其中部分車標(biāo)來自網(wǎng)絡(luò)。樣本的采樣條件多種多樣，天氣狀況可能有區(qū)別，比如晴朗天氣、陰雨天氣、多云天氣，傾斜的觀察角度也可能不一樣。汽車標(biāo)志的采樣如圖6所示。

用線性核函數(shù)、徑向基核函數(shù)和多項(xiàng)式核函數(shù)三種不同方法構(gòu)造檢測(cè)到的車標(biāo)圖像樣本，在SVM中進(jìn)行訓(xùn)練。接著，對(duì)上面的800多張汽車標(biāo)志圖像進(jìn)行詳細(xì)的汽車標(biāo)志辨別，辨別過程中主要利用的是訓(xùn)練好的支持向量機(jī)。分別基于線性核函數(shù)、徑向基核函數(shù)和多項(xiàng)式核函數(shù)三種核函數(shù)對(duì)汽車標(biāo)志進(jìn)行辨別，三種手段的正確辨別率結(jié)果顯示如圖7所示，相應(yīng)的平均正確辨別率如表1所示。

徑向基核函數(shù)可以廣泛應(yīng)用到各種低維、高維、小型樣本、大型樣本等場(chǎng)景，基于這種核函數(shù)對(duì)汽車標(biāo)志進(jìn)行辨別分類的結(jié)果通常都是在期望范圍內(nèi)的，也是在支持向量機(jī)中普遍使用的一種方式。但是本文經(jīng)過實(shí)踐分析，對(duì)比了線性、徑向基和多項(xiàng)式三種核函數(shù)，圖7和表1均顯示基于線性核函數(shù)的辨別結(jié)果最佳，并且耗時(shí)最短，所以本文采用的是基于線性核函數(shù)的SVM分類核函數(shù)。

實(shí)驗(yàn)2：HOG-LBP方法性能分析

本次實(shí)驗(yàn)中，先選擇一個(gè)車標(biāo)標(biāo)準(zhǔn)化后的圖像，其尺寸為64×64 像素，塊的尺寸為16×16 像素，單元格的尺寸為8×8 像素。塊滑動(dòng)的步進(jìn)是一個(gè)塊單元，即汽車標(biāo)志圖像在橫向和縱向的各個(gè)方面的滑動(dòng)都應(yīng)該是16 個(gè)像素，梯度圖可以利用濾波器[-1，0，1]來獲得，在的范圍內(nèi)，各像素點(diǎn)的梯度可以劃分成9 級(jí)，則一共有576 個(gè)方向維度的直方圖特征。表2顯示了使用三種特征提取手段得到的辨別結(jié)果和時(shí)間的比較。表中的數(shù)據(jù)結(jié)果表明，HOG-LBP車標(biāo)的正確辨別率為97.27%，辨別率最高。

為了更精確評(píng)估所提方法，我們將車標(biāo)庫中每個(gè)車標(biāo)圖像的大小逐次降低，分別為64×64、54×54…24×24、16×16 像素，每次均下降8 個(gè)像素。對(duì)于每一個(gè)像素級(jí)的車標(biāo)庫，我們隨機(jī)選取了400 幅車標(biāo)圖像進(jìn)行訓(xùn)練，利用其余的車標(biāo)圖像進(jìn)行識(shí)別，可以得到如圖8所示的結(jié)果。

實(shí)驗(yàn)結(jié)果表明，基于HOG-LBP特征的車標(biāo)識(shí)別率明顯高于單一的HOG或LBP特征提取方法。

4? ?結(jié)論（Conclusion）

本文針對(duì)道路監(jiān)控系統(tǒng)中的汽車視頻圖像，運(yùn)用HOG特征和LBP特征分別對(duì)車標(biāo)區(qū)域的圖像進(jìn)行特征提取，用多核學(xué)習(xí)法生成HOG-LBP特征的核函數(shù)，在SVM中進(jìn)行訓(xùn)練識(shí)別。本文設(shè)計(jì)實(shí)驗(yàn)分析對(duì)比了車標(biāo)的LBP特征、HOG特征，以及HOG-LBP特征在SVM分類器中的識(shí)別率，結(jié)果表明基于HOG-LBP特征的車標(biāo)識(shí)別率較高。

參考文獻(xiàn)（References）

[1] 羅瀟軒.計(jì)算機(jī)圖像處理與識(shí)別技術(shù)在現(xiàn)代交通中的應(yīng)用分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2021（04）：120-121.

[2] 黃曉婷.基于DM8168雙核DSP的車型識(shí)別系統(tǒng)[D].南京：南京航空航天大學(xué)，2015.

[3] 賀敏雪，余燁，程茹秋.特征增強(qiáng)策略驅(qū)動(dòng)的車標(biāo)識(shí)別.中國圖象圖形學(xué)報(bào)，2021，26（05）：1030-1040.

[4] 張紅兵.基于TMS320DM8127的車型識(shí)別系統(tǒng)的研究與實(shí)現(xiàn)[D].南京：南京航空航天大學(xué)，2015.

[5] 陳全義，陳三風(fēng)，胡濤，等.基于改進(jìn) Linemod-2D 的快速形狀匹配算法[J].現(xiàn)代電子技術(shù)，2021，44（6）：159-164.

[6] 劉欣悅.基于移動(dòng)端的多特征花卉識(shí)別系統(tǒng)[D].長春：吉林大學(xué)，2019.

[7] 丁奇安.非限定環(huán)境下的車牌識(shí)別技術(shù)研究[D].蕪湖：安徽工程大學(xué)，2019.

[8] 姜雪.基于多特征的圖像檢索方法研究[D].淄博：山東理工大學(xué)，2019.

[9] ERAZO-AUX J， LOAIZA-CORREA H， RESTREPO-GIRON A D. Histograms of oriented gradients for automatic detection of defective regions in thermograms[J]. Applied Optics， 2019， 58（13）：3620-3629.

[10] 慕春雷.基于HOG特征的人臉識(shí)別系統(tǒng)[D].成都：電子科技大學(xué)，2013.

[11] 張紅兵，李海林，黃曉婷，等.基于車前臉HOG特征的車型識(shí)別方法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)仿真，2015，32（12）：119-123.

[12] 李哲，于夢(mèng)茹.基于改進(jìn)的HOG與LBP特征值的車標(biāo)識(shí)別方法[J].計(jì)算機(jī)與數(shù)字工程，2019，47（12）：3154-3159.

[13] 王小龍.基于視頻圖像的車型識(shí)別算法研究與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2014.

[14] YUAN B， XIA? B， ZHANG D. Polarization image texture feature extraction algorithm based on CS-LBP operator[J].Procedia Computer Science， 2018（131）：295-301.

[15] 鄭秋梅，呂興會(huì)，時(shí)公喜.基于多特征集成分類器的人臉表情識(shí)別[J].中國石油大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，35（1）：174-178.

作者簡介：

曲愛妍（1976-），女，碩士，高級(jí)工程師.研究領(lǐng)域：圖像處理，人工智能，數(shù)據(jù)安全，數(shù)據(jù)分析.

吳秋玲（1976-），女，博士，副教授.研究領(lǐng)域：信息隱藏技術(shù)，無線網(wǎng)絡(luò)與信息安全.

張? ?正（1973-），男，本科，研究員.研究領(lǐng)域：專用網(wǎng)絡(luò)安全性，加解密技術(shù)，無線通信.本文通訊作者.

梁穎紅（1970-），女，博士，教授.研究領(lǐng)域：自然語言處理，智能對(duì)話系統(tǒng).

黃曉婷（1990-），女，碩士，工程師.研究領(lǐng)域：圖像處理，DSP.