基于視覺注意機制PCNN模型的車牌圖像分割方法

楊 娜，陳后金，陳益強

（1.中北大學信息探測與處理山西省重點實驗室，太原030051;2.中國科學院計算技術研究所，北京100190; 3.北京交通大學 電子信息工程學院，北京100044）

基于視覺注意機制PCNN模型的車牌圖像分割方法

楊 娜＊1,2，陳后金3，陳益強2

（1.中北大學信息探測與處理山西省重點實驗室，太原030051;2.中國科學院計算技術研究所，北京100190; 3.北京交通大學 電子信息工程學院，北京100044）

車輛圖像中車牌具有所占比例小、位置不固定、大小不一，以及分割易受光照影響的特點.因此，車牌圖像的分割始終是車輛跟蹤、車輛識別等領域中的難點問題.針對以上問題，本文提出了基于視覺注意機制脈沖耦合神經(jīng)網(wǎng)絡模型的車牌圖像分割方法.該方法將視覺注意機制中的數(shù)據(jù)驅動模式和任務驅動模式相結合.數(shù)據(jù)驅動模式中，通過對PCNN模型細胞感受野功能的完善，使優(yōu)化PCNN模型具有了尺度性和方向性.任務驅動模式中，針對不同尺度的分割，利用組合不變矩和局部灰度熵，自適應地確定目標的特征尺度和最佳尺度，并確定該目標最終的分割結果.經(jīng)實驗驗證，該方法對車牌圖像具有較好的分割效果.

信息技術；圖像分割；視覺注意機制；優(yōu)化PCNN模型；組合不變矩；局部灰度熵

1 引言

人類及其他哺乳類動物能夠在復雜的視覺場景中迅速地找到“感興趣”的物體，而忽略其他不重要內容的過程被稱為視覺注意.視覺注意機制在生物視覺信息處理過程中是一個很重要但難以描述清楚的問題，它是視覺感知的一部分，與學習、記憶等模塊協(xié)同工作，完成將待注意的目標從背景中分離、注意焦點在多個目標間轉移、注意目標與記憶中的模式匹配等任務.視覺注意的研究有助于高效、快速地從海量圖像數(shù)據(jù)中檢測出感興趣目標，是當前圖像應用研究領域的一個熱點問題[1].

目前視覺注意計算模型中以Itti等人提出的高斯金字塔模型最具代表性[2,3]，該模型對靜態(tài)圖像顯著區(qū)域的檢測具有較好的效果，但由于該模型計算復雜度較高、運算速度較慢，將其應用于動態(tài)場景之中很難滿足實時性的要求.基于顯著性分布圖的視覺注意模型[4]充分考慮了輸入圖像的多尺度多通道特征,但該模型存在一個目標被分成多個目標的不足.隨著生物學、神經(jīng)學及計算機科學等領域對人類視覺特性的研究與探索，脈沖耦合神經(jīng)網(wǎng)絡（Pulse Coupled Neural Networks，PCNN）以其獨有的生物特性受到越來越多學者的關注[5]，被譽為“第三代神經(jīng)網(wǎng)絡”，但PCNN模型由于不具有尺度性和方向性，使其自適應分割圖像的能力受到限制.針對運動車輛圖像中感興趣目標的分割，本文提出了視覺注意機制的脈沖耦合神經(jīng)網(wǎng)絡分割模型（Visual Attention Mechanism Pulse Coupled Neural Networks，VAMPCNN）.該模型將視覺注意機制中數(shù)據(jù)驅動模式和任務驅動模式進行了很好地結合，數(shù)據(jù)驅動模式實現(xiàn)PCNN模型的優(yōu)化，使PCNN模型具有了尺度性和方向性.任務驅動模式通過對多尺度分割結果中目標特征尺度和最佳尺度的確定，將車牌從運動車輛圖像中分割出來.

2 優(yōu)化PCNN模型

Johnson在1999年的研究成果中指出在PCNN模型中存在兩個感受野.一個是連接域感受野，用于整合輸入的已調制信息；另一個是反饋域感受野，將調制信息輸入到神經(jīng)元的內部電路.如果神經(jīng)元沒有感受野的輸入是不能被激活的[6].反饋域感受野從功能上更符合視皮層細胞感受野的范疇，而二維Gabor函數(shù)可以很好地模擬視皮層簡單細胞和復雜細胞感受野的空間特性[7].因此，本文利用Gabor函數(shù)代替PCNN模型反饋域中連接矩陣，將方向參數(shù)和尺度參數(shù)引入神經(jīng)元計算中，從而使PCNN模型具有了方向性和尺度性.優(yōu)化PCNN模型中單個神經(jīng)元結構如圖1所示.

圖1 優(yōu)化PCNN模型神經(jīng)元結構Fig.1 The neurons structure of Optimize PCNN model

優(yōu)化PCNN模型對單個神經(jīng)元工作機理可描述為

式中 Fij為反饋輸入矩陣；Sij為外部輸入刺激信號矩陣，即圖像矩陣中第i行第j列像素的灰度值；RFijrs表示感受野模型；Skl表示感受野區(qū)域神經(jīng)元的振幅，用區(qū)域內神經(jīng)元的歸一化灰度值表示；σx、σy分別為Gaussian包絡在x和y方向上的標準差，在圖像平面上σx和σy表示感受野尺度的大小，本文實驗中選取四邊形感受野（即σx=σy=σ），可以取3×3, 5×5,9×9等各種尺度；φ=0°表示on-型感受野類型，λ=30，γ=0.5，b=1；θ根據(jù)分割圖像特征選取最優(yōu)方向，θ=0°表示水平方向；Lij為線性連接輸入矩陣中的元素；Wijrs為加權系數(shù)；Yrs為感受野區(qū)域中神經(jīng)元的激發(fā)狀態(tài)；β為神經(jīng)元突觸間的鏈接強度；Uij為神經(jīng)元內部活動項；Eij為神經(jīng)元內部活動動態(tài)閾值；αE為衰減時間常數(shù)；Yij為PCNN產(chǎn)生輸出的時序脈沖.

3 感興趣目標的特征提取

由于感興趣目標總是位于圖像中的某個局部區(qū)域，提取局部區(qū)域的不變性特征有助于判定該局部區(qū)域中是否有感興趣目標存在.這就需要在尺度空間分割圖中確定感興趣目標的特征尺度，只有在特征尺度上提取的特征點才具有穩(wěn)定的尺度不變性.運動車輛圖像中感興趣目標為車牌，而車牌屬于剛體，剛體的矩特征具有旋轉、縮放和平移不變性，因此本文提出利用組合不變矩特征確定感興趣目標的存在，并將符合特征值的區(qū)域定義為感興趣目標的特征尺度.

M K Hu于1962年提出不變矩的概念[8]，并將幾何矩用于圖像描述.在離散狀態(tài)下,二維函數(shù)f(m, n)的(p+q)階矩和中心矩的公式如下[9]：

式中 M、N為圖像的大?。粁ˉ、yˉ表示圖像的重心坐標，，p，q=0，1，2，3，….

中心矩僅僅具有平移不變性，歸一化中心矩則可構造出同時滿足平移、旋轉和比例不變性的不變矩.歸一化中心矩定義為

Hu利用二階和三階中心矩構造的7個不變矩,盡管在連續(xù)情況下具有比例不變性，但在離散情況下卻不成立.參考文獻[10]給出了不變矩在離散狀態(tài)下平移不變性和旋轉不變性的證明,同時給出了比例變換因子對不變矩的影響.不變矩特征在比例因子ρ變化前后的關系為

離散狀態(tài)下具有比例因子不變性的組合不變矩特征定義為[11]

圖像灰度熵可以對圖像空域能量分布的不確定性進行度量[12].本文提出利用組合不變矩確定出感興趣目標特征尺度的基礎上，進一步利用灰度熵特征判定感興趣目標的最佳尺度.

假設m×n表示一幅圖像中的局部區(qū)域，則此局部區(qū)域的灰度熵定義為

式中 He表示圖像的局部灰度熵；fij為圖像局部區(qū)域的灰度分布；Sij為圖像局部區(qū)域中點（i，j）處的灰度值.

4 視覺注意機制脈沖耦合神經(jīng)網(wǎng)絡模型

針對現(xiàn)有視覺注意模型存在的不足和實際車輛圖像中車牌占圖像比例小、位置不固定，以及車牌之間大小不一等特點，提出了視覺注意機制的脈沖耦合神經(jīng)網(wǎng)絡分割模型（Visual Attention Mechanism Pulse Coupled Neural Networks model，VAMPCNN model).VAMPCNN模型結構如圖2所示.

圖2 VAMPCNN模型結構圖Fig.2 VAMPCNN model structure chart

數(shù)據(jù)驅動部分接收外部輸入圖像，經(jīng)優(yōu)化PCNN模型產(chǎn)生多尺度的分割結果.優(yōu)化PCNN模型通過Gabor函數(shù)對脈沖耦合神經(jīng)網(wǎng)絡感受野結構的完善，加強了神經(jīng)元的耦合特性及連接矩陣取值的自適應性，同時也使PCNN模型具有了方向性和尺度性.圖2中的尺度空間由多尺度的分割結果構成，作為任務驅動部分的輸入.

任務驅動模式用于解決僅憑圖像本身信息難以完成的復雜任務.在每一尺度的分割結果中進行目標搜索，計算局部組合不變矩特征，如果組合不變矩特征值在預注意模塊設置的參考值范圍內，此時目標所在區(qū)域被定義為目標的特征尺度.對確定的每一個目標的特征尺度，以像素為單位放大/縮小一定的范圍（本文為10個像素）計算每一次改變特征尺度后區(qū)域的局部灰度熵特征，選取這些灰度熵特征值中與預注意參考值最接近的特征值，其所在的區(qū)域作為目標的最佳尺度.

5 實驗結果分析

以真實路況采集的1 200幅車輛圖像為研究對象，圖3為利用本文提出的VAMPCNN車牌圖像分割方法，在不同尺度空間對車牌目標特征尺度和最佳尺度確定的結果.圖4為最終車牌目標的分割結果.

圖3a(1)～3d(1)分別為車牌目標在不同尺度空間中特征尺度的確定.從圖中可以看出，當 σi=3時，圖中的三個車牌目標均被圈出；σi=5時只有中車牌和大車牌被圈出；σi=7，9時只有大車牌被圈出.這說明小尺度的分割對圖像細節(jié)的保留更完好，大尺度的分割對圖像的輪廓保留更完好.因此，大尺度分割時造成小車牌分割模糊，計算的不變矩特征與參考值相差很大，因此無法被圈出.圖3a(2)～3d(2)分別為在各自尺度空間目標特征尺度確定的基礎上，利用式（14）進一步確定車牌目標最佳尺度的結果.

圖3 多尺度空間車牌特征尺度與最佳尺度的選取Fig.3 Select feature scale and optimal scale of the license plate in multi-scale space

圖4 VAMPCNN模型車牌分割結果圖Fig.4 The license plate segmentation result with VAMPCNN model

圖4為將多尺度空間中目標最佳尺度比較后的最終分割結果，去除了圖像中其他內容的干擾，只顯示感興趣目標.

最終測量精度(Ultimate Measurement Accuracy,UMA)準則[12]是圍繞圖像分析的最終目標——獲得對圖像中目標特征值的精確測量而提出的，它通過對目標特征值的測量和計算，根據(jù)其所反映的分割質量而對分割算法的性能做出評判.UMA準則可以突出體現(xiàn)尺度對特征提取的影響，較好地反映VAMPCNN模型分割的質量和性能.其表達式為

式中 Rf代表參考圖像中獲得的原始特征量值，代表分割后的圖像中獲得的實際特征量值.從式（16）可以看出，UMA實際上是以目標特征Sf為參數(shù)的一組評價準則，是基于目標特征實際值與測量值的差異來定義的.UMA值越小說明分割質量越高或分割效果越好.

值得注意的是，為了描述同樣的目標分割效果，UMA計算中可以選用不同的目標特征.本文分別選用組合不變矩特征和局部灰度熵特征分析VAMPCNN模型對車牌圖像的分割效果.

圖5和圖6為選取120幅運動車輛圖像的分割結果利用UMA方法統(tǒng)計出的分割效果評價圖.

圖5為UMA組合不變矩特征分割結果評價圖.圖中UMA的測量精度為0.02，越靠近0的方向分割效果越好，因此，越靠近縱軸的樣本數(shù)越多，表明實驗圖像分割的效果越好.從圖5中可以看出，120幅樣本中有31幅的檢測精度在0.02范圍內，橫軸向右依次類推，最低的精度也達到了0.2且只有3個樣本，這說明分割時目標特征選取得當.但特征尺度與目標的真實尺度之間還存在一定的差距，表現(xiàn)為UMA在0.02～0.2之間均有取值，且分布較分散.

圖5 UMA組合不變矩特征分割結果評價圖Fig.5 The UMA for the combination moment invariant in the segmentation result evaluation

圖6 UMA灰度熵特征分割結果評價圖Fig.6 The UMA for the gray entropy in the segmentation result evaluation

圖6為在組合不變矩基礎上進一步通過灰度熵特征實現(xiàn)目標分割的UMA分割結果評價圖.從圖中可以看出，經(jīng)過二次特征選取后，目標所在區(qū)域的樣本特征值與參考特征值更加接近，120幅樣本中有106幅的檢測精度在0.02范圍內，另有極少數(shù)樣本落入0.04～0.06范圍內，檢測精度更高，體現(xiàn)了二次特征對目標特征提取的作用，同時也說明了本模型對車牌圖像分割具有很高的精度和良好的分割效果.

6 研究結論

本文提出的車牌圖像分割方法通過對感受野函數(shù)的完善，加強了神經(jīng)元之間的耦合作用，使車牌分割不易受光照的影響.優(yōu)化的PCNN模型建立了基于分割結果的尺度空間，解決了車牌圖像大小不一的問題，使在所有尺度上分析圖像成為可能.不同尺度空間中目標的特征尺度與最佳尺度的確定，簡化了感興趣目標的搜索過程，提高了車牌目標定位的準確性.車牌圖像分割結果經(jīng)UMA準則評測，具有較好的分割效果，滿足后續(xù)圖像處理的需要.

[1]羅四維.視覺信息認知計算理論[M].北京:科學出版社, 2010:181-196.[LUO S W.The Perception computing of visual information[M].Beijing:Science Press,2010：181-196.]

[2]Itti L,Koch C.Computational modeling of visual attention [J].Nature Reviews Neuroscience，2001,2(3):100-l12.

[3]Bonaiuto J,Itti L.The use of attention and spatial infor?mation for rapid facial recognition in video[J].Image and Vision Computing,2006,24(6):557-563.

[4]Parikh N,Itti L,Weiland J.Saliency-based image pro?cessing for retinal prostheses[J].Journal of Neural Engi?neering,2010,7(1):1-10.

[5]楊娜,陳后金,李艷鳳,等.PCNN模型耦合參數(shù)的優(yōu)化及車輛圖像分割[J].交通運輸系統(tǒng)工程與信息,2012,12 (1):48-54.[YANG N,CHEN H J,LI Y F,et al.Coupled parameter optimization of PCNN model and vehicle im?age segmentation[J].Journal of Transportation Systems Engineering and Information Technology,2012,12(1): 48-54.]

[6]John L,Johnson，Mary Lou Padgett.PCNN models and applications[J].Transactions on Neural Networks,1999, 10(3):480-498.

[7]汪云九,武志華.心靈之窗—視覺研究的進展、應用與意義[M].北京：科學出版社,2010:106-114.[WANG Y J,WU Z H.The window of the soul— visual research progress,application and significance[M].Beijing:Sci?ence Press,2010：106-114.]

[8]HU M K.Visual pattern recognition by moment invari? ants[J].IRE Transactions on Information Theory,1962, 8(2):179-187.

[9]楊娜,韓焱.矩在復雜構件射線圖像識別中的應用[J].探測與控制學報,2007,29(4)：42-44.[YANG N,HAN Y.The application of moment features in digital image identification of complex components[J].Journal of De?tection＆Control,2007,29(4):42-44.]

[10]丁明躍,常金玲.不變矩算法研究[J].數(shù)據(jù)采集與處理, 1992,7(1):1-9.[DING M Y,CHANG J L.Research on moment invariants algorithm[J].Journal of Data Acquisi?tion&Processing,1992,7(1):1-9.]

[11]馮占國，徐玉如.基于不變性特征的水下目標特征提取[J].哈爾濱工程大學學報，2007,28(12):1343-1347．[FENG Z G,XU Y R.Underwater target feature extrac?tion based on invariant features[J].Journal of Harbin En?gineering University，2007,28(12):1343-1347.]

[12]劉勍.基于脈沖耦合神經(jīng)網(wǎng)絡的圖像處理若干問題研究[D].西安電子科技大學,2011：70-77.[LIU J.Re?search on several issues about image processing based on pulse coupled neural networks[D].Xidian University, 2011:70-77.]

A Segmentation Method of License Plate Image Based on PCNN Model with Visual Attention Mechanism

YANG Na1,2，CHEN Hou-jin3，CHEN Yi-qiang2
(1.Shanxi Key Laboratory of Signal Capturing&Processing,North University of China，Taiyuan 030051,China；2.Institute of Computing Technology，ChineseAcademy of Sciences，Beijing 100190；3.School of Electronic Information Engineering，Beijing Jiaotong University，Beijing 100044，China)

In the vehicle image,the license plate bares the characteristics of small proportion,random position,different sizes and sensitive to light in segmentation.The segmentation of license plate image has always been one of the urgent problems in vehicle tracking and identification fields.In view of this,this paper proposes a segmentation method for license plate image based on pulse coupled neural networks model with visual attention mechanism.The method combines data driven pattern and task driven pattern of visual attention mechanism.In the data driven pattern,the receptive field function of PCNN model is optimized,resulting in scale and orientation.In task driven pattern,the target’s feature scale and optimal scale are adaptively determined using combined invariant moment and local gray entropy.The final segmentation result is produced by comparing feature values at different scales.Experimental results show that the segmentation of license plate image achieves good performance.

information technology；image segmentation；visual attention mechanism；PCNN model；combined invariant moment；local gray entropy

1009-6744（2014）03-0051-07

TP391.9

A

2013-11-20

2014-03-19錄用日期：2014-03-25

國家自然科學基金資助項目（61271305，61227003）；工信部重大專項子課題（2012zx07205-005-07）；廣東省戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展專項資金支持項目（2011912030）.

楊娜（1977-），女，山西長治人，博士，博士后.*通訊作者：yangna@ict.ac.cn