基于圖像處理的鋼包標牌識別方法

郁　浩,張榮福,程金光,郭世平

(上海理工大學 光電信息與計算機工程學院,上?！?00093)

基于圖像處理的鋼包標牌識別方法

郁浩,張榮福,程金光,郭世平

(上海理工大學 光電信息與計算機工程學院,上海200093)

摘要由于鋼廠車間環(huán)境的復雜性對鋼包標牌的實時檢測和識別提出了較高的要求。為了實現(xiàn)對鋼包的實時和動態(tài)跟蹤,提出了一種基于HSV色彩空間信息的圖像分割方法,根據(jù)HSV色彩空間的顏色和亮度無關(guān)性,將彩色圖像從RGB空間變換到HSV空間?；陬伾托螤钐卣鬟x取原則對標牌區(qū)域進行粗定位,再使用最小二乘直線擬合的方法檢測標牌邊框的傾斜角度,對標牌進行傾斜校正。實驗表明,該方法能準確地進行標牌定位與傾斜校正,具有較高的可靠性與穩(wěn)定性。

關(guān)鍵詞HSV色彩空間;彩色圖像處理;傾斜校正

Ladle License Plate Recognition Based on Image Processing

YU Hao,ZHANG Rongfu,CHENG Jinguang,GUO Shiping

(School of Optical-Electrical and Computer Engineering,University of Shanghai for

Science and Technology,Shanghai 200093,China)

AbstractThe complexity of the steel plant environment leads to high requirements for real-time detection and identification of ladle license plate.An image segmentation method based on theHSVcolor space information is proposed for real-time detection and dynamic tracking.According to theHSVcolor space,regardless of the relation of brightness and color,the color image is converted fromRGBspace toHSVspace.We can locate the position of the ladle license plate according to feature selection principles based on color and shape of the numeral cards,and the lean angle of image is found out according to the method of linear least squares fitting.Then the original oblique image can be adjusted by using the method of rotate transformation.Experiments show that the method can locate the Ladle license plate and correct tilt with high reliability and stability.

KeywordsHSVcolor space;color image process;adjustment

在現(xiàn)代煉鋼工藝流程中,鋼廠車間環(huán)境的復雜性對于鋼包標牌的識別是一個具大的挑戰(zhàn)。為了能夠更準確地識別鋼包標牌,鋼包標牌統(tǒng)一做成藍底白字的形式。

標牌識別系統(tǒng)包括標牌定位、傾斜校正和數(shù)字識別3部分,標牌定位是識別系統(tǒng)的關(guān)鍵技術(shù),對識別起著重要作用。由于標牌圖像都是采集于背景比較復雜的車間環(huán)境,這給標牌的定位帶來困難。目前車牌定位主要有基于車牌底色[1]、基于車牌紋理特征[2]以及基于特征顏色邊緣[3]的定位方法。

本文考慮到鋼包標牌的特點,在借鑒車牌定位算法的基礎(chǔ)上,綜合考慮車間環(huán)境和各種方法的復雜度及定位效果,提出了一種基于HSV顏色空間的標牌定位方法。

1HSV色彩空間

所謂顏色模型即指某個三維顏色空間中的一個可見光子集,其包含某個顏色域的所有顏色,常用的顏色模型主要有HSV、RGB、CMYK 等。一般圖像常采用RGB三元色彩色空間表示,但RGB三色空間中兩點間的歐氏距離與顏色距離不成線性比例,即顏色受亮度的影響較大,RGB顏色空間不具有進行彩色圖像處理所要求的獨立性和均勻性指標。

本文采用較能符合人眼感知特性的HSV色彩空間。HSV色彩空間是由色調(diào)(Hue)、飽和度(Saturation)和亮度(Value)這3個分量組成,色調(diào)H表示不同的顏色,飽和度S表示顏色的深淺,亮度V表示顏色的明暗程度。

彩色圖像從RGB色彩空間到HSV色彩空間的變換為[4]

(1)

這樣色調(diào)信息H的范圍為0° ~360°;V和S的范圍為0 ~ 1。H、S和V這3個分量在一維矢量上分布開,經(jīng)過量化后,可有效減少圖像受光照強度的影響。

2標牌粗定位

2.1　彩色圖像二值化

在本系統(tǒng)中,均采用藍底白字且?guī)в邪咨吙虻臉伺?進行標牌候選區(qū)域的粗定位。本文采用了不同拍攝條件下多幅標牌圖像,將其從RGB轉(zhuǎn)換到HSV。通過觀察統(tǒng)計,得到HSV空間中車牌藍色的約束條件[5]為2200.35。

為提高圖像處理速度,文中將定位出藍色區(qū)域的彩色圖像二值化,其轉(zhuǎn)換方法如下:設(shè)H(x,y)表示輸入圖像f中點(x,y)在HSV顏色空間的H值;S(x,y)表示輸入圖像f中點(x,y)在HSV顏色空間中的S值,Hf表示藍色在HSV顏色空間的取值范圍,Sf表示藍色在HSV顏色空間的飽和度取值范圍,V通道不設(shè)約束條件。經(jīng)過以上過程,得到如下定義的二值圖像

(2)

由于拍攝條件的不同,造成圖片的亮度會有所不同,造成標牌底色可能呈現(xiàn)出不盡相同的顏色,但文中選擇的HSV顏色空間對亮度不敏感,所以當輸入HSV圖像像素點的H值在一定范圍內(nèi)時,則認為該點處在藍色區(qū)域置為白色,否則置為黑色。

圖1　轉(zhuǎn)化的二值圖像

2.2　濾波去噪與標牌定位

經(jīng)過轉(zhuǎn)換的二值圖像存在一定的噪聲干擾,為突出二值圖像的標牌區(qū)域特征,采取二值圖像的數(shù)學形態(tài)學運算消除白色的噪點[5]。本文采用一個5×5的全1結(jié)構(gòu)體先對圖像進行腐蝕,以消除孤立的噪點。然后再使用10×10的結(jié)構(gòu)體對圖像進行膨脹,由此便可使鄰近非連通的區(qū)域連通。

由于鋼廠環(huán)境特殊,所拍攝的鋼包標牌圖像中出現(xiàn)多個藍色背景區(qū)域的可能性比較小。為提高系統(tǒng)的容差性,得到最有可能的候選標牌區(qū)域,必須采用一定的策略對可能出現(xiàn)的多個候選區(qū)進行篩選[6]。通常所采用的一般方法會有:(1)將連通區(qū)域的面積作為篩選的標準;(2)將候選區(qū)域的長寬比作為篩選的標準。這兩種方法都有其各自的局限性,當干擾區(qū)域的面積或長寬比也符合要求時,篩選的準確率就會下降。通過比較常用篩選規(guī)則的適用性和局限性,本文提出了一種新的篩選規(guī)則,此規(guī)則綜合考慮了各個區(qū)域的面積和長寬比,并將候選區(qū)的坐標值與鋼包輪廓粗定位區(qū)域的坐標值相互印證,并在實驗中取得了較好的效果。規(guī)則具體如下:1)由于相機和鋼包的相對位置在一定的范圍內(nèi),標牌區(qū)域的面積占總面積的百分比也在一定的范圍內(nèi)。將這個范圍值設(shè)為φ,然后比較各個連通區(qū)域面積占總面積的百分比,將百分比不在φ內(nèi)的連通區(qū)域直接排除;2)再計算剩余連通區(qū)域長寬比和標牌長寬比的比值Ki,找出其中最接近和次接近標牌長寬比的區(qū)域,記為S1和S2;3)通過投影法得到兩個候選區(qū)域的坐標位置,再計算出鋼包所在的坐標位置,最后選出在鋼包位置區(qū)域內(nèi)的候選區(qū)域;4)若鋼包位置區(qū)域內(nèi)有兩個符合以上篩選規(guī)則的候選區(qū)域,文中可根據(jù)標牌和鋼包相對位置已知的條件,得到所需的候選區(qū)域。

3傾斜校正與識別

3.1　標牌區(qū)域二值化

經(jīng)過上述篩選過程,可以從原始圖像中提取出粗定位的標牌區(qū)域。首先將提取到的標牌區(qū)域圖像以加權(quán)平均值法灰度化,接著對灰度化圖像做二值化處理[7],其目的就是找出一個合適的閾值,將字符區(qū)域和非字符區(qū)域區(qū)分開來。

針對灰度圖像,其二值化過程用公式表示為

(3)

式中,T為閾值;G(i,j)表示坐標值為(i,j)像素點的灰度值。

二值化算法又稱閾值算法,圖像的二值化算法的關(guān)鍵就是閾值的選取。文中通常采用的方法是最大類間方差法,是一種自適應(yīng)的閾值確定的方法,又稱為大津法,簡稱OTSU。在提取的標牌區(qū)域圖像中,目標區(qū)域就是圖像的數(shù)字部分,背景區(qū)域就是圖像的標牌底色部分和鋼包底色部分。從圖2(a)中可看出,第一個峰值部分主要為標牌底色的灰度值,第二個峰值部分主要為鋼包底色的灰度值,第三個峰值部分主要為數(shù)字底色的灰度值。圖2(c)是采用最大類間方差法進行二值化的圖像,本例中閾值T為86。從圖2(a)中可看出,目標背景的灰度值分布相對比較集中,同時最大類間方差法獲取的閾值又不能滿足圖像后續(xù)處理的要求?；跇伺茍D像的灰度值分布特點,可通過提取若干條穿過標牌數(shù)字的水平線作為特征線,統(tǒng)計特征線像素點的灰度值分布情況,如圖2(b)所示,本例中特征線數(shù)目為10。為提高閾值的準確性,可采取后兩個灰度峰值的均值再和兩峰值之間波谷的灰度值取平均作為閾值T,以此作為閾值二值化后的圖像如圖2(d)所示,本例中T取157。

本文提出的閾值獲取方法更簡單,運算量小且易行可靠,其效果較好,能滿足后繼處理的要求。

圖2　標牌圖像二值化

3.2　傾角檢測

車牌傾角檢測大致分為以下幾種:基于投影的傾斜檢測方法[8];基于Radon變換[9]及基于Hough變換的傾斜校正方法。本文在借鑒車牌傾角檢測的基礎(chǔ)上,提出了適用于標牌傾斜檢測的算法:對經(jīng)過預(yù)處理的二值圖像,先采用逐行掃描的方式尋找每一行白色邊框的第一個點,并記下坐標位置,從中選取10個點,并以圖像左下角的端點作為坐標原點建立直角坐標系,把選取的10個點轉(zhuǎn)換成坐標系內(nèi)對應(yīng)的點,用最小二乘擬合算法擬合出直線,從而可算出標牌的傾斜角度。

為了提高圖像處理速度,在找尋白色邊框特征點時,文中僅對二值圖像的部分區(qū)域逐行掃描,一般將區(qū)域選定為圖像的3×Height/8~5×Height/8,也可適當增大和縮小掃描區(qū)域(Height為圖像的行數(shù))。白色邊框特征點必須滿足以下規(guī)則:

首先標記每一行掃描的第一個白點,記下其所在列數(shù),然后判斷其后的連續(xù)8個像素點是否均為白點,若滿足條件,則認為找到所需要的白色邊框特征點,接著掃描下一行;若不滿足條件,則接著掃描本行,直到找到符合條件的點。

對所選區(qū)域掃描完成后,首先從掃描區(qū)域中隨機的每隔5行挑選一個點,共取5個點,然后分別計算兩點之間的列數(shù)差,去除最大值和最小值,計算列數(shù)差的平均值P。然后以此平均值P作為參考值從掃描區(qū)域隨機的以5行為間距選取10個點。

通過以上步驟選取的參考點,由于一些客觀原因,不可避免地存在一些噪點,為了能從這組數(shù)據(jù)中得出一個最接近邊框方向的直線方程,本文選用最小二乘法對參考點進行直線擬合。

假設(shè)所求直線方程為y=ax+b,將選取的參考點作為樣本點,即(xi,yi),其中i=1,2,…,N。N為樣本個數(shù),使參與擬合的樣本點與擬合直線的距離平方和最小,則目標函數(shù)為

(4)

只要求得使f(a,b)函數(shù)最小的a,b值,則所得到的直線方程最優(yōu),經(jīng)計算可得出

(5)

(6)

3.3　傾斜校正

檢測到標牌圖像的傾角后,便可對傾斜的標牌圖像進行校正。設(shè)檢測到的圖像傾角為α,采用簡單的坐標旋轉(zhuǎn)變換有

(7)

其中,(x,y)為旋轉(zhuǎn)前的圖像坐標;(x0,y0)為旋轉(zhuǎn)后的圖像坐標。

若粗定位后的標牌圖像大小為W×H,采用旋轉(zhuǎn)變換方法的計算需進行4WH 次乘法運算和2WH次加法運算,計算量較大[10]。

文中采用直線擬合的方法校正傾斜的標牌圖像。假設(shè)豎直方向的最大偏移值為Yoffset=Wtanα,水平方向的最大偏移值為Xoffset=Htanα,則第j列像素點豎直方向的偏移值為Δyj=j/{W/(Yoffset+1)},第i行像素點豎直方向的偏移值Δxj=i/{H/(Xoffset+1)}。圖像校正的變換坐標公式為

(8)

(9)

該方法僅需2WH次加法運算,可有效提高校正速度。

圖3　校正后的標牌圖像

3.4　標號識別

本文采用模板匹配法對歸一化后的提取圖像進行識別。將待識別的圖像區(qū)域的特征量與模板字符相應(yīng)特征量逐一比較,將與其相似度最大的輸出,即為識別出的結(jié)果。

4結(jié)果與分析

文中算法采用Matlab及C#編程實現(xiàn),采用的HSV顏色空間對顏色進行了非均勻的量化,突出了標牌區(qū)域圖像的主體部分,在消噪濾波和定位提取算法中加入了對標牌區(qū)域的判別,能準確地識別標牌顏色區(qū)域,對一定光照范圍內(nèi)的標牌圖像準確定位,滿足了后續(xù)圖像處理;采用基于標牌圖像特征線的二值化閾值確定方法能夠準確地把目標區(qū)域和數(shù)字區(qū)域分開;通過多次擬合邊框直線,可準確地檢測出邊框傾斜角度,然后利用改進的旋轉(zhuǎn)算法快速對圖像進行校正。最終,采用模板匹配法可準確識別出標牌上的數(shù)字。

5結(jié)束語

本文提出了基于HSV色彩空間的標牌區(qū)域定位方

法,以及基于標牌圖像特征線的二值化閾值確定的方法,然后以最小二乘法擬合白色邊框直線從而檢測標牌傾斜角度,利用改進的旋轉(zhuǎn)算法對圖像進行校正,實現(xiàn)標牌數(shù)字的識別。

文中提出的算法原理簡單,檢測速度快、準確度高,能適應(yīng)鋼廠車間較為復雜的環(huán)境,實現(xiàn)對鋼包的實時和動態(tài)檢測。

參考文獻

[1]王夏黎,周明全,耿國華.一種基于HSV顏色空間的車輛牌照提取方法[J].計算機工程,2004,30(17):133-135.

[2]劉廣起,鄭曉勢,張曉波.基于圖像紋理特征提取的車牌定位算法[J].中國圖象圖形學報,2005,10(11):1419-1422.

[3]沈勇武,章專.基于特征顏色邊緣檢測的車牌定位方法[J].儀器儀表學報,2008,29(12):2673-2677.

[4]包全磊.基于HSV空間的彩色圖像分割[J].軟件導刊,2010,9(7):171-172.

[5]郭英華.基于HSV色彩空間的圖像分割[J].黑龍江冶金,2011,31(2):35-37.

[6]王國良,梁德群.一種新的車牌定位與傾斜校正方法[J].計算機應(yīng)用,2008,28(7):1890-1891.

[7]史燕,呂永戰(zhàn),張帆.車牌識別中的二值化及快速傾斜校正算法[J].現(xiàn)代電子技術(shù),2009(5):149-153.

[8]路小波,包明,黃衛(wèi).基于投影的車牌傾斜檢測方法[J].交通運輸工程與信息學報,2004(4):10-15．

[9]賈曉丹,李文舉,王海姣.一種新的基于Radon變換的車牌傾斜校正方法[J].計算機工程與應(yīng)用,2008,44(3):245-248.

[10]梁添才,皮佑國,彭晶,等.基于Hough變換的列車客運票圖像傾斜校正[J].華南理工大學學報,2007,35(5):35-39.

作者簡介:郁浩(1990—),男,碩士研究生。研究方向:圖像與信息處理。

收稿日期:2015- 05- 21

中圖分類號TP391.41

文獻標識碼A

文章編號1007-7820(2016)01-094-05

doi:10.16180/j.cnki.issn1007-7820.2016.01.025