一種基于內(nèi)容檢索的多車(chē)牌定位方法

鐘鈺

【摘要】 本文提出了一種基于圖像內(nèi)容查詢(xún)（CBIR）的多車(chē)牌定位方法。該方法利用SIFT算法對(duì)車(chē)牌字符的局部不變特征進(jìn)行檢測(cè)、提取與描述，再與特征數(shù)據(jù)庫(kù)中已設(shè)計(jì)好的模版的SIFT特征向量進(jìn)行匹配，而從得到眾多匹配點(diǎn)對(duì)，然后用K-means聚類(lèi)算法將匹配點(diǎn)對(duì)自適應(yīng)劃分為多個(gè)區(qū)域，對(duì)每個(gè)區(qū)域用RANSAC算法去除誤匹點(diǎn)后，用仿射變換進(jìn)行初步定位，最后用線(xiàn)性回歸的方法進(jìn)行二次傾斜矯正。實(shí)驗(yàn)表明，該方法對(duì)各種復(fù)雜環(huán)境具有魯棒性，并且可以實(shí)現(xiàn)多車(chē)牌的定位。

【關(guān)鍵詞】 CBIR技術(shù) 多車(chē)牌定位 K-means聚類(lèi)算法 二次傾斜矯正

CBIR技術(shù)很早就在車(chē)牌檢索技術(shù)中得到應(yīng)用并且已經(jīng)取得了一些成果，因?yàn)檐?chē)牌本身包含豐富且獨(dú)特的特征信息。圖像內(nèi)容大致可以分為三個(gè)語(yǔ)義層次，底層是最基本的視覺(jué)信息包括顏色、紋理等；中層是對(duì)象空間關(guān)系，一般表現(xiàn)為圖像的局部特征信息；高層是圖像的抽象特征。目前CBIR在車(chē)牌檢索技術(shù)中的應(yīng)用還停留在圖像的底層特征。

目前車(chē)牌識(shí)別技術(shù)面臨車(chē)牌多樣性與環(huán)境復(fù)雜性的問(wèn)題。已有的車(chē)牌檢索方法大多基于圖像內(nèi)容的底層特征，這類(lèi)特征只適用于簡(jiǎn)單環(huán)境中標(biāo)準(zhǔn)車(chē)牌的檢索，而面對(duì)車(chē)牌自身的傾斜、旋轉(zhuǎn)，遮擋和模糊等狀況以及環(huán)境中光照、雨雪和偽車(chē)牌（斑馬線(xiàn)、廣告牌和樹(shù)木等）等影響缺乏適應(yīng)性。因此人們開(kāi)始把注意力轉(zhuǎn)移到圖像內(nèi)容的第二層語(yǔ)義特征上，即局部不變特征。局部不變特征包括角點(diǎn)、邊緣、區(qū)域和blob等。其中SIFT算子是眾多局部不變特征描述子中的佼佼者，它的特征描述信息量充足，對(duì)旋轉(zhuǎn)、尺度變化、亮度、噪聲和遮擋等干擾具備極好的魯棒性，本文將用其提取車(chē)牌字符特征。

車(chē)牌識(shí)別的標(biāo)準(zhǔn)步驟有四個(gè)，它們是車(chē)牌圖像預(yù)處理、車(chē)牌定位、字符分割和字符識(shí)別。其中車(chē)牌定位一直是車(chē)牌識(shí)別系統(tǒng)中最重要的一個(gè)環(huán)節(jié)，它的定準(zhǔn)率直接影響到系統(tǒng)是否能正確識(shí)別出車(chē)牌信息。車(chē)牌定位也是最容易受到干擾的一個(gè)步驟，復(fù)雜的路況、惡劣的天氣、多樣的拍攝角度以及車(chē)牌自身的不確定性都會(huì)對(duì)其產(chǎn)生影響。因此SIFT算法在這一環(huán)節(jié)更能凸顯其優(yōu)勢(shì)，本文就提出一種利用SIFT算法進(jìn)行特征匹配，并結(jié)合K-means聚類(lèi)算法實(shí)現(xiàn)的多車(chē)牌定位方法。

一、CBIR技術(shù)與SIFT特征匹配

1.1 基于內(nèi)容的圖像檢索技術(shù)（CBIR）

20世紀(jì)90年代初基于內(nèi)容的圖像檢索技術(shù)（CBIR）作為一種新的圖像檢索技術(shù)應(yīng)運(yùn)而生。與傳統(tǒng)的文字檢索技術(shù)相比較，CBIR突破了對(duì)圖像進(jìn)行文字標(biāo)注描述的局限，直接分析圖像的內(nèi)容，從中提取特征并建立索引。因此其具備了如下特點(diǎn)。第一，CBIR是一種近似匹配而非傳統(tǒng)的精確匹配，它在數(shù)據(jù)庫(kù)中找出與查詢(xún)圖像相似的圖像，系統(tǒng)根據(jù)查詢(xún)結(jié)果的相似度進(jìn)行排序，然后返回結(jié)果列表；第二，檢索過(guò)程中，用戶(hù)可以不斷的提供反饋信息，從而對(duì)檢索方式進(jìn)行修正，構(gòu)成一個(gè)交互式過(guò)程，從而提高檢索的準(zhǔn)確度。第三、整個(gè)檢索過(guò)程中完全無(wú)需人工參與，全部由計(jì)算機(jī)自動(dòng)完成，這就克服了人工描述的主觀(guān)性問(wèn)題，提高了系統(tǒng)的自動(dòng)化程度，從而提高了檢索效率。

1.2 SIFT特征匹配

SIFT特征匹配是CBIR中常用到的技術(shù)，具體步驟如下：

（1）特征點(diǎn)的檢測(cè)與提取。SIFT將DOG金字塔檢測(cè)出的空間極值點(diǎn)作為特征點(diǎn)。

DOG的處理流程如下：①圖像利用高斯卷積模版做平滑，然后組合計(jì)算相鄰的平滑后圖像，得到高斯差分圖像。②在得到的差分圖像中找尋尺度和空間上的極值，并利用二次迭代以及非極大值抑制對(duì)檢測(cè)到的特征位置做篩選并精確定位。③因?yàn)槔绽箤?duì)邊緣有較強(qiáng)的響應(yīng)，所以用Hessian矩陣特征值地相對(duì)強(qiáng)弱去除邊緣點(diǎn)。

（2）特征點(diǎn)的過(guò)濾與精確定位。

用DOG函數(shù)的二階泰勒（Taylor）展開(kāi)式D（x）插值得到尺度坐標(biāo)的精確值以及特征點(diǎn)的位置。

（3）特征點(diǎn)的方向分配

為了使得檢測(cè)特征點(diǎn)具備旋轉(zhuǎn)不變性，利用關(guān)鍵點(diǎn)鄰域像素地梯度方向?yàn)槊總€(gè)關(guān)鍵點(diǎn)設(shè)定方向參數(shù)。用圖像梯度的方法來(lái)求局部結(jié)構(gòu)的穩(wěn)定方向。

選擇主峰的值做檢測(cè)特征點(diǎn)的主方向，再選峰值超過(guò)主峰值80%的局部峰值為輔助方向，如此一個(gè)特征點(diǎn)具有多方向，能增強(qiáng)匹配魯棒性。

（4）生成特征描述符

上述三個(gè)步驟獲取了每個(gè)檢測(cè)特征點(diǎn)的尺度、位置和方向信息，我們要將這些信息描述成一個(gè)特征向量，步驟如下：①將坐標(biāo)軸旋轉(zhuǎn)到檢測(cè)特征點(diǎn)的主方向，來(lái)保證生成特征向量的旋轉(zhuǎn)不變性；②計(jì)算以檢測(cè)特征點(diǎn)為中心的16×16鄰域窗口內(nèi)所有像素點(diǎn)的梯度方向和模值；③將16×16的矩形窗口均勻劃分為16個(gè)4×4個(gè)子區(qū)域。然后采用高斯加權(quán)使離特征點(diǎn)越近的鄰域權(quán)重值增加，越遠(yuǎn)地鄰域權(quán)重值減少。最后計(jì)算每個(gè)區(qū)域中8個(gè)方向的梯度方向直方圖，繪制出梯度的累加值；④根據(jù)②、③獲得4×4×8=128維的描述符。

（5）特征匹配

在匹配的過(guò)程中涉及到兩方面問(wèn)題，一個(gè)是選取合適的相似性度量方法，一個(gè)是選取高效的匹配策略。

在相似性度量的選擇中，SIFT算法通常選擇歐氏距離，因?yàn)闅W氏距離適用于每個(gè)分量之間要保持著正交無(wú)關(guān)并且特征向量各個(gè)維度的關(guān)鍵程度相同的情況。

在匹配策略的選擇中，選取基于K-D樹(shù)的優(yōu)化算法BBF算法，這是Lowe等人于1997年提出的。

二、多車(chē)牌定位與傾斜矯正

我國(guó)汽車(chē)車(chē)牌最大的特點(diǎn)就是字符中包含漢字（共37個(gè)），而且漢字大多做為車(chē)牌的首個(gè)字符（本文僅針對(duì)普通車(chē)牌），并且漢字相對(duì)于數(shù)字與英文字母特征明顯，能提取更多的特征點(diǎn)。借助這一特點(diǎn)，我們訓(xùn)練漢字字符樣本集并建立其特征數(shù)據(jù)庫(kù)用于車(chē)牌的定位。具體步驟如下：

（1）首先我們搜集各省市以及直轄市還未使用的全新車(chē)牌的正面照片。拍攝的過(guò)程中要求車(chē)牌左下方的直角，與照相機(jī)成像十字第一象限的直角相重合。這樣做的目的是獲取正放沒(méi)有旋轉(zhuǎn)的標(biāo)準(zhǔn)實(shí)際車(chē)牌圖像。

（2）統(tǒng)一所有拍攝到的車(chē)牌的尺寸大小，再以相同的矩形框截取車(chē)牌的第一個(gè)漢字字符，要求漢字字符完全包含于矩形框內(nèi)，并位于中心位置。

（3）已相同的方式獲取0～9十個(gè)阿拉伯?dāng)?shù)字的矩形框。

（4）對(duì)所有截取的字符圖像做灰度化處理，再將灰度圖像增強(qiáng)后進(jìn)行二值化，得到二值圖像。

（5）對(duì)（4）中得到的二值圖像，組合成如圖1所示模版。對(duì)于37個(gè)漢字制作出37組模版。

（6）用SIFT算法提取上述模版中的SIFT特征向量，并存入備選特征數(shù)據(jù)庫(kù)。

特征數(shù)據(jù)庫(kù)建立完成之后就開(kāi)始實(shí)現(xiàn)多車(chē)牌的識(shí)別具體步驟如下：

（1）以特征數(shù)據(jù)庫(kù)建立的相同方法，即用SIFT算法提取待檢測(cè)圖像的128維特征向量；

（2）將（1）中特征向量與特征數(shù)據(jù)庫(kù)的特征向量進(jìn)行匹配。匹配過(guò)程中采用棋盤(pán)距離與街區(qū)距離的線(xiàn)性組合代替歐氏距離，降低計(jì)算量，并使用基于K-D樹(shù)的改進(jìn)算法BBF作為匹配策略，來(lái)提高匹配效率；

（3）用K-means聚類(lèi)算法對(duì)目標(biāo)圖像上生成的匹配點(diǎn)對(duì)自適應(yīng)分類(lèi)，找出密集點(diǎn)區(qū)的中心點(diǎn)，以中心點(diǎn)為圓心，以某圓心到離其最近圓心距離的一半為半徑做圓，如此就將多個(gè)車(chē)牌候選區(qū)域粗定位了；

（1）

（5）經(jīng)過(guò)初次仿射變換定位之后我們發(fā)現(xiàn)，車(chē)牌圖像可能還存在小角度的傾斜，這是不可避免的，因?yàn)槟繕?biāo)圖像中的車(chē)牌可能存在形變或視角過(guò)大的問(wèn)題。我們需要進(jìn)行進(jìn)一步的精確定位來(lái)矯正傾斜。這里我們考慮用線(xiàn)性回歸的方法將車(chē)牌二值圖像中下邊框的像素點(diǎn)集擬合成一條直線(xiàn)，并計(jì)算其斜率，從而得出傾斜角θ。

（6）繼續(xù)用仿射變換中旋轉(zhuǎn)變換矩陣將圖像區(qū)域進(jìn)行二次的傾斜矯正，新的仿射變換矩陣可以表示為：M=M2M1，其中M2為旋轉(zhuǎn)變換矩陣。

將上述車(chē)牌精確定位的方法用于每一個(gè)車(chē)牌候選區(qū)域，并輸出所有區(qū)域內(nèi)的圖像，就實(shí)現(xiàn)了多車(chē)牌的定位。

三、實(shí)驗(yàn)結(jié)果與分析

筆者采集了大量實(shí)時(shí)圖片來(lái)驗(yàn)證本文多車(chē)牌定位方法的可行性與效果。現(xiàn)選取其中一個(gè)典型實(shí)驗(yàn)用作結(jié)果展示和分析，圖2為采集的目標(biāo)圖片，圖3為特征匹配結(jié)果，圖4為初次獲得的車(chē)牌區(qū)域，圖5為二次傾斜矯正后的車(chē)牌區(qū)域。

四、結(jié)束語(yǔ)

本文提出了一種基于內(nèi)容查詢(xún)的多車(chē)牌定位方法。該方法的特點(diǎn)在于抓住了車(chē)牌字符的局部不變特征，如此可以提高對(duì)于圖片質(zhì)量以及復(fù)雜環(huán)境的魯棒性，并且通過(guò)K-means聚類(lèi)算法實(shí)現(xiàn)了多車(chē)牌的定位。實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法的可行性與優(yōu)越性。

參 考 文 獻(xiàn)

[1] 趙偉，張姝，李文輝. 改進(jìn)K-means的空間聚類(lèi)算法[J]. 計(jì)算機(jī)應(yīng)用研究. 2008.7 vol.25 NO.7：1995-1997

[2] 李永森，楊善林，馬溪駿等. 空間聚類(lèi)算法中的K值優(yōu)化問(wèn)題研究[J]. 系統(tǒng)仿真學(xué)報(bào). 2006.3 vol.18 NO.3：573-576

[3] Kutner M H. Applied linear statistical models[M]. Chicago：Irwin，1996