基于顏色和紋理特征相結合的車牌定位方法

萬 燕，史琳琳，徐曉濤

（東華大學 計算機科學與技術學院，上海 201620）

基于顏色和紋理特征相結合的車牌定位方法

萬 燕，史琳琳，徐曉濤

（東華大學 計算機科學與技術學院，上海 201620）

車牌定位是車牌自動識別系統(tǒng)中的關鍵技術.目前多數(shù)的車牌定位方法考慮車牌的顏色以及紋理特征，但針對復雜背景下的車牌定位問題，其適應性不強.針對現(xiàn)實生活中復雜背景下的車牌定位，提出綜合使用紋理信息及顏色信息等多種特征的分層次車牌快速定位方法.首先在圖像的二值垂直邊緣圖中，利用車牌區(qū)域的邊緣信息及車牌的紋理特征進行車牌候選區(qū)域的確定，在降低算法復雜度的同時提高了定位精確性，然后結合先驗知識，運用四元數(shù)主成分分析及K－means聚類方法，提取候選區(qū)域圖像特征并分類，最終得到精確車牌定位.試驗證明該方法正確率高、魯棒性強，對于背景復雜的車牌定位具有很強的抗干擾性能，在復雜的環(huán)境和不同光照條件下實現(xiàn)車牌的精確定位.

車牌定位；四元數(shù)；主成分分析；K－means聚類

車牌識別技術是現(xiàn)代智能交通系統(tǒng)中的一項重要研究課題.車牌定位是車牌識別的關鍵環(huán)節(jié)，針對復雜的圖像背景，如何正確、快速、有效地進行車牌定位，是當前車牌識別中的重要研究課題.

目前，車牌定位技術主要分為兩大類，即基于紋理特征和基于顏色特征的車牌定位算法.例如，文獻［1］提出用穿過車牌區(qū)域水平直線的灰度呈現(xiàn)連續(xù)波峰、波谷、波峰分布這一特征來進行車牌定位的方法.文獻［2］根據(jù)車牌圖像字符區(qū)域的縱向紋理特征豐富的特點，提出了基于紋理特征的車牌定位方法.

由于車牌多具有顏色，且大多數(shù)與車輛背景不同，因此，基于顏色特征來研究車牌定位是車牌識別領域的一種新思路.文獻［3］提出一種采用色彩分割及多級混合集成分類器的車牌自動識別方法，這種方法的主要思想是通過三層前饋網絡對具有均勻色度空間的彩色圖像進行色彩分割，再利用投影法分割出潛在的各種底色的車牌區(qū)域.文獻［4］提出的彩色邊緣檢測算子和彩色邊緣檢測與區(qū)域生長相結合的牌照定位算法.

雖然上述各種車牌定位方法都具有一定的實用性和參考價值，但大多具有局限性.例如，基于彩色圖像的分割對于車牌與車身顏色一致的情況時，顯然完全失效；基于車牌紋理特征的方法在復雜背景下，對干擾太敏感，尤其是對車牌周圍的車燈干擾，經常會導致定位不準確.背景復雜的車牌圖片（如圖1所示）不適用于現(xiàn)有車牌定位算法分析處理.

圖1 背景復雜的車牌圖片F(xiàn)ig.1 License plate image of complex background

目前，針對這些背景復雜圖像的車牌定位尚未有一種有效的解決方案，為此，本文提出一種針對復雜背景圖像的車牌定位算法.首先使用Sobel算子對預處理后的車牌圖像進行邊緣檢測；然后運用行掃描法將邊緣檢測圖像中的水平跳變點連接成線，提取車牌的候選區(qū)域；之后將候選區(qū)域圖像作為輸入圖像，并對其做歸一化處理，歸一化至尺寸為192像素×128像素，利用四元數(shù)描述彩色輸入圖像，并利用主成分分析方法提取圖像特征，構建特征空間，降維并提取用于分類識別的特征參數(shù)；隨后根據(jù)提取的特征參數(shù)，采用K－means聚類方法對像素進行分類，并將具有某一類圖像特征的像素迭代合并至理想簇；最后根據(jù)先驗知識，對分類結果進行再定位，得到精確車牌.本文算法的大致流程如圖2所示.

圖2 車牌定位流程圖Fig.2 Flow chart of license plate location

1 基于顏色和紋理特征相結合的車牌定位方法

1.1 設計思想

本文采用基于灰度圖像紋理特征的方法進行候選區(qū)域的定位.在預處理的基礎上，使用Sobel垂直邊緣檢測算子提取圖像的垂直邊緣，再將行掃描技術與閾值法結合，實現(xiàn)對候選區(qū)域的選取.對圖1進行基于紋理特征處理后的結果如圖3所示.

圖3 基于紋理特征處理后的車牌圖片F(xiàn)ig.3 License plate image processing based on texture features

對車牌、車身同色的情況，基于灰度紋理特征處理的方法具有速度快、定位準的優(yōu)勢，如圖3（a）所示.但是對于車牌周邊有車燈影響的情況，灰度紋理特征無法排除其干擾，如圖3（b）所示，此時采用顏色特征進行精確定位的處理效果較好.

對于彩色圖像，目前尚未有較為成熟的描述顏色模型的方法，常規(guī)方法為將彩色圖像的每個像素用RGB（紅綠藍）三原色表示，對R，G，B這3種顏色通道對應的矩陣分別進行處理.但是彩色圖像不是單純意義下的3個不同意義灰度圖像矩陣的疊加，R，G，B這3種顏色有著一定的制約關系.R，G，B這3種顏色被分割開來分別處理，會影響圖像處理的最終結果［5］.另外一種常用方法是將RGB顏色模型轉化為HSI顏色模型，其中H分量表示色彩信息，根據(jù)H分量的值來判定該像素點的色彩.以判斷藍色為例，藍色象素點的H分量的數(shù)值一般在200～240之間，但試驗證明根據(jù)這種方法來進行車牌顏色判斷的效果很不好.因此，本文引入四元數(shù)代數(shù)方法描述彩色模型.

1.2 候選區(qū)域定位

選取候選區(qū)域的目的是對原始輸入圖像進行快速處理，將可能是車牌的圖像區(qū)域提取出來，進行下一步的判定，從而減少系統(tǒng)的運算時間以及非目標區(qū)域的干擾.由于拍攝到的圖像不可避免地受到復雜背景和成像條件（如天氣惡劣、光照不均、亮度不均和對焦不準等問題）的影響，因此，在候選區(qū)域提取之前需要對原始圖像進行預處理.

將輸入的原圖像（圖4（a））轉變?yōu)榛叶葓D像，然后進行降噪處理.對于車牌區(qū)域而言，垂直邊緣是其最穩(wěn)定的結構特征，因此，本文在去噪的基礎上，使用Sobel垂直邊緣檢測算子提取圖像的垂直邊緣，得到邊緣提取圖（圖4（b））.將行掃描技術與閾值法結合，根據(jù)車牌先驗知識，對邊緣圖進行連線處理，得到連線結果（圖4（c））.將連線結果返回原圖，得到包含車牌在內的彩色圖像，實現(xiàn)對候選區(qū)域的提?。▓D4（d））.

圖4 候選區(qū)域定位分步效果圖Fig.4 Step renderings of candidate region positioning

由圖4可知，因車牌兩邊有車燈干擾，車牌周邊存在紋理豐富的非車牌區(qū)域，導致候選區(qū)域定位的結果并不精確.

1.3 精確車牌定位

1.3.1 四元數(shù)簡介

1996年，文獻［6］首次提出彩色圖像的四元數(shù)模型.彩色圖像的每個像素都可視為一個實部qr＝0的純四元數(shù)，那么一幅RGB彩色空間的圖像就可以用一個四元數(shù)矩陣來表示.這樣處理彩色圖像時，R，G，B這3種顏色不必再被分割在每個顏色通道獨立處理，而是可以作為一個統(tǒng)一的整體來處理.

四元數(shù)q是四維空間中的數(shù)，它包含1個實部qr和3個虛部qi、qj和qk，記這個四維空間的基為｛1，i，j，k｝，則四元數(shù)q可以表示為q＝qr＋qii＋qjj＋qkk，其中qr，qi，qj和qk為4個實數(shù)，基元i，j，k是3個正交的虛單位并滿足下面的運算規(guī)則：

當實部qr＝0時，稱q為純虛四元數(shù)（pure quaternion）.記Re（q）＝qr表示q的實部，每個四元數(shù)q都是1，i，j和k的線性組合［7－13］.對于彩色圖像而言，由于它包含3個部分，很自然地可以用四元數(shù)來表示，特別的一個RGB彩色圖像f（x，y）可以使用如下四元數(shù)表示：

式中：fR（x，y），fG（x，y），fB（x，y）是f（x，y）的 R，G，B 3個分量，fcom（x，y）為附加信息，此處可令fcom（x，y）＝0.

1.3.2 四元數(shù)主成分分析方法

主成分分析法（Principal Component Analysis，PCA）可用來進行特征提取，能夠在降低特征空間維數(shù)的同時，充分保留信息，獲取互不相關的特征.如果采用最大特征值對應的特征矢量組成變換矩陣，則能對應地保留原模式中方差最大的特征成分，起到減少相關性、突出差異性的效果.

對于PCA算法，特征值越大，所對應的特征矢量累計的方差就越大，即對變換矩陣中的貢獻度越大.為了降低算法的復雜度，提高效率，將求得的特征值λk，k＝1，…，l從小到大進行排序，選擇前m個特征值對應的特征矢量用于特征空間投影.考慮到本系統(tǒng)中，PCA算法是對車牌圖像進行精定位，如果m值取得較大，則不能有很好的降維效果，并且置信區(qū)間也較大；反之，則會丟失過多的圖像特征，所以m值取為64.特征提取步驟如下所述.

（1）對于需要進行特征提取的車牌候選區(qū)域圖像，將每一個抽樣圖像fi（x，y）用一個N2維的矢量xi來表示：xi＝（xi1，xi2，…，xij，…，xiN2），其中xij定義為矢量xi的第j分量，構成此矢量的一個方法是將xi的第一組N個分量放置為fi（x，y）的第一行，即：

第二組N個分量放置為第二行，依此順序排列.用x表示某一抽樣圖像，則x的協(xié)方差矩陣Cx及均值mx分別如式（1）和（2）所示.

式中：E為數(shù)學期望.式（1）和（2）可用平均值近似表示，如式（3）和（4）所示.

其中：mx是大小為N2×1的矩陣，而Cx是大小為N2×N2的矩陣，M為樣本數(shù).

（2）設λi，ei（i＝1，2，…，N2）分別是Cx的特征值及相應的特征矢量，為方便起見，假定特征值是按遞減次序排列的，即λ1≥λ2≥…≥λN2，這樣就可以得到一個由Cx的特征矢量構成的矩陣A：

式中：eij是第i個特征矢量的j分量.于是主成份分析又可簡單地表示為用A乘圖像矢量（x－mx），得到一個新的圖像矢量Y，即Y＝A（x－mx）.

本文主要用基于四元數(shù)的主成分分析方法來進行特征提取，特征提取的結果即圖像附加信息及R，G，B 3個分量的特征圖像.

1.3.3 K－means聚類及結果

K－means是一種迭代式無監(jiān)督的學習算法，給定n個對象和一個聚類數(shù)目的變量k，該算法將這些對象聚為k類.通常將每個矢量對象映射為歐氏空間里的一個點，隨機選擇k個對象，每個對象代表一個聚類的質心.對于其余的每一個對象，根據(jù)該對象與各聚類質心之間的距離，把它分配到與之相似的聚類中，距離越近越相似［14］.K－means的分類任務是以目標函數(shù)取得最小值為目的，目標函數(shù)如式（6）所示.

最初由四元數(shù)主成份分析（QPCA）訓練后期確定15個初始聚類中心點，然后根據(jù)其他對象與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類，然后再計算每個所獲新聚類的聚類中心，不斷重復這一過程直到目標函數(shù)收斂為止，最終得到15個不再發(fā)生變化的聚類；對于得到的15個聚類，將距離小于規(guī)定閾值的歸為一類，此時確定14個初始聚類中心點的位置，即k＝14，重新計算每個有變化的聚類的均值，以此類推.k的取值為3～15.由試驗結果可知，當k＝4時，效果最佳.K－means聚類中間結果如圖5所示.

圖5 K－means聚類中間結果Fig.5 The intermediate results of K－means clustering

雖然聚類算法是基于圖像的顏色特征，但是并不判斷車牌顏色，而是根據(jù)車牌區(qū)域與干擾區(qū)域具有不同顏色特征的特點，把具有某一類顏色特征的區(qū)域聚為一類，從而實現(xiàn)車牌與周邊干擾區(qū)域的分離.K－means是一種無監(jiān)督的局部最優(yōu)性算法，可以根據(jù)需要反復分割，直至取得最好的效果.1.3.4 車牌精確定位

精確定位是將車牌與周邊干擾區(qū)域分離并提取車牌，由車牌長寬比、車牌形狀特征、車牌區(qū)域的灰度分布特征等，可輕易將車牌與干擾區(qū)域分離并最終提取車牌.精確定位結果如圖6所示.

圖6 精確定位中間結果Fig.6 The intermediate results of precise positioning

2 試驗結果分析

為了驗證算法的有效性，分別對300張公路抓取的晴朗天氣下普通車牌圖像、300張光照不均的交通路口抓取的車牌圖像以及300張夜晚拍攝的路面車牌圖像，采用本文算法進行車牌定位，輸入圖像大小為720像素×288像素，其中復雜背景包括文字、柵欄、車燈等情況，試驗結果如表1所示.由表1可知，本文算法能有效地提取車牌，平均定位準確率達到97.78%.

表1 試驗結果分析表Table 1 The analysis table of experiment results

部分測試結果如圖7所示，其中，第1和2行是針對不同藍色車牌的定位結果；第3，4，5，6行分別為夜晚燈光干擾、圖像背景干擾（柵欄）、車牌與車身一色、車身背景干擾（文字）條件下的車牌定位效果.

圖7 多種條件下車牌提取試驗結果Fig.7 License plate extraction experiment results under multiple conditions

3 結 語

針對車牌定位研究中的難點，本文提出將車牌顏色與紋理特征相結合的車牌定位方法.根據(jù)車牌區(qū)域紋理豐富的特征，提取出所有可能的候選車牌區(qū)域，去除了大量的非車牌區(qū)域，加快了車牌定位算法的運行速度；然后根據(jù)大量樣本生成基于四元數(shù)及主成分分析特征的K－means聚類方法，剔除候選車牌區(qū)域中的偽區(qū)域，得到定位準確的車牌.該算法綜合了基于紋理特征的車牌定位算法速度快以及QPCA和K－means聚類方法的檢測率高和定位精確的優(yōu)勢，是一類性能較好的車牌定位算法.車牌自動識別中，一個有效的輸入對得到理想的識別結果顯得尤為重要，因此，通過本文算法得到的完整、清晰的車牌，為后續(xù)車牌字符分析、識別提供良好的基礎.由于K－means是迭代式聚類算法，所以本文方法的實時性不高，如何提高效率是亟待解決的問題.

參 考 文 獻

［1］BARROSO J， RAFEL A. Number plate reading using computer vision［C］／／Proceedings of the IEEE International Symposium on Industrial Electronics.1997：76l－766.

［2］穆長江，苑瑋琪.基于紋理特征的車牌定位方法 ［J］.控制工程，2004，11（6）：574－576.

［3］趙雪春，戚飛虎.基于彩色分割的車牌自動識別技術［J］.上海交通大學學報，1988，32（10）：4－9.

［4］張引，潘云鶴.彩色汽車圖像牌照定位新方法［J］.中國圖象圖形學報：A版，2001，6（4）：374－377.

［5］PLATANIONTIS K N，VENETSANOPOULOS A N.Color image processing and applications［M］.Berlin：Springer，2000：179－181.

［6］PEI S C，CHENG C M.Novel block truncation coding of color images using aquaternion moment preserving principle［J］.IEEE Transactions on Communications，1997，45（5）：583－595.

［7］HAMILTON W R.Elements of quaternions［M］.Boston：Ginn＆Company，1887：103－157.

［8］SANGWINE S J. Colour image edge detector based on quaternion convolution［J］.Electronics Letters，1998，34（10）：969－971.

［9］CAI C H，MITRA S K.A normalized color difference edge detector based on quaternion representation［C］／／Proceedings of the IEEE International Conference on Image Processing.Vancouver，BC，Canada，2000：816－819.

［10］BAS P，LE BIHAN N，CHASSERY J M.Color image watermarking using quaternion Fourier transform ［C］／／Proceedings of the IEEE International Conference on Acoustics，Speech，and Signal Processing.Hong Kong，China，2003：521－525.

［11］SHI L L，F(xiàn)UNT B.Quaternion color texture segmentation［J］.Computer Vision and Image Understanding，2007，107（1／2）：88－96.

［12］FAREBROTHER R W，GROB J，TROSCHKE S O.Matrix representation of quaternions［J］.Linear Algebra and Its Applications，2003，362（15）：251－255.

［13］金良海.彩色圖像濾波與基于四元數(shù)的彩色圖像處理方法［D］.武漢：華中科技大學計算機科學與技術學院，2008：112－125.

［14］王海姣.顏色信息在車牌識別中的應用研究［D］.大連：遼寧師范大學計算機與信息技術學院，2008：28－29.

The Method of License Plate Location Based on Color and Texture Analysis

WANYan，SHILin－lin，XUXiao－tao
（School of Computer Science and Technology，Donghua University，Shanghai 201620，China）

License plate location is the key technology of license plate recognition.At present license plate color and texture feature were considered in the most license plate location methods，however，these methods had weak adaptability in different environment.So，a new algorithm for license plate location in complex backgrounds is proposed.This algorithm makes full use of the color，texture and geometric characteristics.Firstly the edge information and the texture features of license plate region are used to identify the candidate plates.The complexity of the algorithm is reduced and the accuracy of positioning is also improved.Then combined with prior knowledge，quaternion principal component analysis and K－means clustering method are used to extract features from the candidate area and to classify image by the features，the precise plate is got eventually.This method is proved effective with high speed and accuracy.In particular，it has strong robust performance for complex backgrounds images in complex environments and different lighting conditions.

license plate location；quaternion；principal component analysis；K－means clustering

TP 391.41

A

1671－0444（2013）01－0111－06

2011－09－18

中央高?；究蒲袠I(yè)務費專項資金資助項目（B07－3）

萬 燕（1970—），女，湖北黃岡人，副教授，博士，研究方向為數(shù)字圖像處理.E－mail：winniewan＠dhu.edu.cn