基于字典學(xué)習(xí)與稀疏表達分類的低質(zhì)量字符識別*

郝寧波　廖海斌　楊杰

(1.武漢理工大學(xué) 信息工程學(xué)院, 湖北 武漢 430070; 2.黃淮學(xué)院 國際學(xué)院, 河南 駐馬店 463000;3.湖北科技學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 湖北 咸寧 437100)

?

基于字典學(xué)習(xí)與稀疏表達分類的低質(zhì)量字符識別*

郝寧波1,2廖海斌3?楊杰1

(1.武漢理工大學(xué) 信息工程學(xué)院, 湖北 武漢 430070; 2.黃淮學(xué)院 國際學(xué)院, 河南 駐馬店 463000;3.湖北科技學(xué)院 計算機科學(xué)與技術(shù)學(xué)院, 湖北 咸寧 437100)

摘要:為解決低質(zhì)量字符中的斷筆、噪聲和模糊問題,以及不同字體與字號的字符識別問題,提出了基于字典學(xué)習(xí)與稀疏表達分類的低質(zhì)量字符識別方法.首先,收集不同字體和字號的字符樣本構(gòu)建字符超完備字典;然后,對測試字符進行稀疏表達建模,并根據(jù)求解的稀疏系數(shù)進行字符分類.為了使字典更具鑒別性,文中提出了基于因子分析的字典學(xué)習(xí)方法.實驗結(jié)果表明,文中所提方法不僅可以同時識別不同字體和字號的字符,還具有對斷筆、噪聲和模糊的魯棒性.

關(guān)鍵詞：字符識別;字典學(xué)習(xí);稀疏表達;因子分析

漢字識別研究始于21世紀(jì)60年代,到70年代取得了初步的成果[1].目前,比較成熟的文字識別軟件有清華紫光OCR、國家職能計算機研究開發(fā)中心研制的NC-OCR、漢王科技、北京信息工程學(xué)院研制的Bl-OCR等.這些系統(tǒng)能夠識別4 000多個常用漢字,而且識別率在95%～99%之間.但這些軟件大多是通過電子掃描儀輸入圖像,對紙張的光潔度、薄厚度、潔白度和印刷或者書寫質(zhì)量的要求較高,極易受到低質(zhì)量印刷品產(chǎn)生的污點、斷筆粘連等干擾[2].

在低質(zhì)量傳真字符中極易出現(xiàn)字符斷筆、噪聲模糊等現(xiàn)象,如圖1所示.對于常規(guī)的印刷體字符識別,目前基本上已經(jīng)取得了滿意的識別結(jié)果,但對低質(zhì)量傳真圖像中出現(xiàn)的斷筆、噪聲、部分信息缺失和模糊等問題的字符識別,仍然是一個具有挑戰(zhàn)性的難題.同時,在傳真字符圖像中,存在大量不同字體和字號的字符,如圖1(a)所示.而現(xiàn)有的字符識別算法往往是針對某幾種字體和一定范圍字號變化的字符進行識別,因此研究字體和字號不變字符識別具有重要的意義.

近年來,利用壓縮感知(CS)[3]和變量選擇[4]的理論與方法進行圖像的“稀疏表達”,已成為計算機視覺和機器學(xué)習(xí)領(lǐng)域的研究熱點之一.鑒于壓縮感知和變量選擇在數(shù)據(jù)處理方面的優(yōu)勢,Wright等[5]將其引入人臉識別,提出了通過l1-范數(shù)約束進行特征選擇進而識別人臉的新思路.由于從圖像中可提取的特征眾多,因此,從高維圖像特征中尋找到的有效稀疏表達,已被陸續(xù)應(yīng)用在圖像分類[6]、視覺單詞選擇[7]和圖像超分辨率[8]等.

在稀疏表達分類(SRC)應(yīng)用中,字典的構(gòu)造是一個非常重要的工作.在信號重建中要保證其完備性,在分類中要保證其可鑒別性,在實際應(yīng)用中還要保證其可計算性與低復(fù)雜度.在稀疏表達應(yīng)用初期,都是通過人工挑選樣本來構(gòu)造字典,但人工挑選方法要么數(shù)據(jù)過大造成后期稀疏表示求解困難,要么很難挑選到最佳的樣本.目前出現(xiàn)的大量鑒別字典學(xué)習(xí)方法(DDL)[9- 13],通過對字典實施結(jié)構(gòu)約束或是對稀疏系數(shù)向量進行鑒別項限定來學(xué)習(xí)字典的鑒別性,在人臉識別[10]、場景分類[11]、對象識別[12]方面取得了顯著的效果.

圖1　低質(zhì)量傳真字符實例

為解決低質(zhì)量字符中的斷筆、噪聲和模糊問題,以及不同字體與字號的字符識別問題,文中提出了基于字典學(xué)習(xí)與稀疏表達的低質(zhì)量字符識別方法.首先收集不同字體和字號的字符樣本用于構(gòu)建字符超完備字典,為了使字典更具鑒別性,文中提出了基于因子分析的字典學(xué)習(xí)方法;然后對測試字符進行稀疏表達建模,并根據(jù)求解的稀疏系數(shù)進行字符分類;最后通過實驗來驗證所提方法的有效性.

1低質(zhì)量字符識別框架

文中提出的低質(zhì)量字符識別方法的流程如圖2所示,主要包括字符特征提取、鑒別字典訓(xùn)練、模型求解和字符分類.其中,字符圖像輸入、字符特征提取、稀疏表示模型求解可在線完成,多樣化字符圖像訓(xùn)練、字符特征提取、基于因子分析的字典優(yōu)化訓(xùn)練可離線完成.由于文中提出的字符識別方法并不依賴于字符特征提取算法,故采用5尺度和8方向的Gabor變換提取的灰度字符圖像特征作為字符的最終特征向量.

稀疏表示分類主要基于線性組合思想:假設(shè)每類對象有足夠多的樣本,待測樣本可由所有對象完備字典線性組合表示.如果待測樣本屬于第i類,則只能由第i類樣本線性組合表示,即線性組合系數(shù)非0項全部集中在第i類,其他類全為0.因此,可通過適當(dāng)?shù)南∈杓s束求解線性組合方程組,利用求解系數(shù)的非0項分布進行分類.因此,字符字典的優(yōu)化學(xué)習(xí)和稀疏表達模型求解是基于SRC的字符識別的關(guān)鍵.

圖2　文中識別方法的流程圖

1.1字符字典的優(yōu)化學(xué)習(xí)

收集漢字編碼字符集一級字庫3 755個,然后在Word中對所有字符變換不同字體和字號,其中每個字符包括6種常見字體(仿宋、黑體、楷體、楷體GB2312、隸書和宋體)、3種不同字號(大號、中號和小號)共18幅字符圖像.據(jù)此,將字符分為3 755類,每類包括18個訓(xùn)練樣本,部分示例如圖3所示.

圖3　字符訓(xùn)練集示例

一般可以直接使用上述訓(xùn)練集作為字符字典.但這種方式構(gòu)建的字典并非最優(yōu),同時可能導(dǎo)致字典矩陣過大.如上述訓(xùn)練集字符圖像個數(shù)為18×3 775=67 950,假設(shè)每幅圖像歸一化大小為64×64,通過Gabor特征提取得到2 240維,通過主成分分析(PCA)降維后變?yōu)?00維,則最后的字典將是100×6 795的矩陣,如此大的矩陣為后期的稀疏求解帶來巨大的壓力.為了對字典進行優(yōu)化,同時使字典具有鑒別性能,文中提出了基于因子分析的字典優(yōu)化學(xué)習(xí)方法.

(1)

(2)

式中第1項確保Ai可以很好地被D表示.由于Ri可能偏離Ai過大,導(dǎo)致Di不能很好地表示Ai,因此,可以通過第2項最小化使學(xué)習(xí)得到的D更具有鑒別性.有時Ai可能被其他類子字典Dj(j≠i)很好地表示,從而降低了鑒別性,因此,可以通過最小化第3項來避免此問題.

(2)因子分析鑒別約束項.為了使學(xué)習(xí)得到的字典D更有鑒別性,可以采用約束規(guī)范系數(shù)X的方式.把內(nèi)容和風(fēng)格看作影響一個事物的兩個相互獨立的因素,它們決定了事物的觀測[14].如在語音信號中,語音文本是內(nèi)容,說話人的說話語氣和聲調(diào)是風(fēng)格.在低質(zhì)量字符識別中,高質(zhì)量規(guī)范字符的信息是內(nèi)容,而字符的字體、噪聲和遮擋等變化是風(fēng)格.字符識別的任務(wù)就是根據(jù)字符內(nèi)容信息識別出不同字體的字符,如果能將影響字符特征的風(fēng)格因素(不利因素)分離出來,那將非常有利于字符識別.根據(jù)以上分析定義因子分析準(zhǔn)則:通過字典D求取的稀疏系數(shù)矩陣X盡可能地代表樣本集A的內(nèi)容信息,去除風(fēng)格因子的干擾,使求取的稀疏系統(tǒng)具有很強的鑒別性.根據(jù)因子分析準(zhǔn)則,可以定義如下的因子分析鑒別約束項:

(3)

內(nèi)容因子定義為

(4)

式中:C為類別數(shù);pi、pj分別為第i、第j類的先驗概率,一般取1/C;μi為第i類系數(shù)Xi的均值向量,w(i,j)為第i類和第j類的權(quán)值,其目的是降低本來已經(jīng)分得很好的類別對的權(quán)值,而讓相近的類別對得到更多的關(guān)注.文中采用鄧氏關(guān)聯(lián)度[15]來計算兩類均值之間的權(quán)值:

(5)

式中,n為向量的維數(shù),μi(k)、 μj(k)分別為第i、第 j類均值向量的第k個特征,R(μi(k),μj(k))為第i類與第j類均值向量中第k個特征的關(guān)聯(lián)系數(shù),

(6)

灰色關(guān)聯(lián)度主要用來描述系統(tǒng)因素間關(guān)系密切程度的量,它是一種有參考系的、有測度的整體比較,且還具有許多優(yōu)良的特點.

風(fēng)格因子定義為

(7)

(8)

t為經(jīng)驗常數(shù).引入權(quán)值項的目的是降低同類中本來就很相近的樣本對的權(quán)值,而讓那些離得很遠的奇異樣本對得到更多的關(guān)注.

有了鑒別保真項(2)和因子分析鑒別約束項(3),最終的字典學(xué)習(xí)模型可表示為

(9)

最終字典學(xué)習(xí)模型的目標(biāo)函數(shù)求解可以通過交替迭代的方法分成兩個子問題進行求解:①固定字典D(由K-SVD方法求得),更新系數(shù)矩陣X;②固定系數(shù)矩陣X,更新字典D.如此交替迭代直到收斂為止.1.2字符稀疏表示與分類模型

通過1.1節(jié)的字典學(xué)習(xí)可以訓(xùn)練出具有鑒別性與重構(gòu)性的超完備字典D.然后利用D對測試字符y進行稀疏表示,求取稀疏表示系數(shù)x:

(10)

(11)

對ei進行排序,選取最小的ei所對應(yīng)的類別作為最終識別結(jié)果.1.3字符噪聲、斷筆處理

低質(zhì)量文本圖像中的字符可能存在噪聲、斷筆情況(統(tǒng)稱為遮擋情況),當(dāng)測試字符y具有遮擋變化時,其可表示為

(12)

式中,B=[DDe]∈Rm×(n+ne),無遮擋圖像y0與遮擋誤差圖像e0分別可由字典D和遮擋字典De∈Rm×ne稀疏表示.在SRC中,De通常為正交單位矩陣.單位矩陣對圖像誤差和噪聲的描述不夠準(zhǔn)確與直觀,且維數(shù)過高.因此,文中對其進行改進.

首先收集不同噪聲和斷筆情況下的字符圖像集(遮擋訓(xùn)練集),用遮擋訓(xùn)練樣本減去其對應(yīng)類的均值圖像得到誤差圖像,然后以誤差圖像樣本構(gòu)建、訓(xùn)練學(xué)習(xí)遮擋字典De.通過文中方法構(gòu)建的誤差圖像比較直觀且切合實際.同時,對誤差圖像樣本進行K-SVD訓(xùn)練優(yōu)化,使遮擋字典De的維數(shù)更低,性能更優(yōu).

因此,遮擋字符識別的稀疏表示模型為

(13)

2實驗結(jié)果與分析

實驗分兩部分進行:①對高質(zhì)量漢字字符進行識別實驗,以驗證文中所提方法的有效性;②對低質(zhì)量漢字字符進行識別實驗,以驗證文中方法對字符斷筆、噪聲的優(yōu)越性.在配置為Inter? CoreTMi5-4440 3.10 GHz、內(nèi)存4 GB,操作系統(tǒng)為Windows 7,仿真軟件為Matlab R2010b的計算機上進行實驗.系統(tǒng)的主要技術(shù)指標(biāo)如下:①識別字數(shù),一級漢字共3 755個(簡體);②識別字體,包括宋體、仿宋、楷體、楷體GB2312、黑體、隸書;③識別字號,包括1、2、3號.2.1高質(zhì)量字符識別

文中選取6種字體,每種字體選用3種不同字號,共3 775×6×3=67 950個樣本進行測試實驗.字符圖像歸一化大小為64×64,采用Gabor變換提取字符特征,并采用主成份分析(PCA)進行降維.在字典訓(xùn)練集中,每個字符包括6種不同字體和3種不同字號共18幅圖像,通過文中提出的字典學(xué)習(xí)方法進行優(yōu)化學(xué)習(xí)后,每類字符(子字典)保留10個字符(原子).

6種不同字體的識別率和識別時間如表2所示.從表中可以看出,黑體的識別率最高,其次是隸書,最差的是華文楷體.文中基于稀疏表示的字符識別方法在沒有進行字符二值化、細化等預(yù)處理和沒有采用多特征、多分類器融合的策略下取得了目前商用字符識別系統(tǒng)的效果,甚至在某些字體上超過目前最好的系統(tǒng).每字的識別時間在0.1 s左右,即每秒可以識別8個字,基本上可以達到實際應(yīng)用中的實時性要求.因此,文中提出的基于字典學(xué)習(xí)和稀疏表示的字符識別方法具有較好的識別性能.

表1　參數(shù)取不同值時的識別結(jié)果

表2　高質(zhì)量印刷體字符的識別結(jié)果

2.2低質(zhì)量字符識別

為了驗證文中方法對低質(zhì)量字符中斷筆、噪聲和部分信息缺失的魯棒性.文中從真實的低質(zhì)量傳真文本圖像為一級字庫中每個字符挑選出兩個對應(yīng)的低質(zhì)量字符圖像樣本作為遮擋字典訓(xùn)練樣本,然后用低質(zhì)量樣本減去其對應(yīng)字符的均值圖像得到誤差圖像,最后以誤差圖像構(gòu)建、訓(xùn)練學(xué)習(xí)遮擋字典.另外,從其他低質(zhì)量傳真字符圖像中挑選出500個具有斷筆、噪聲和模糊的字符作為測試集(與遮擋訓(xùn)練樣本不同),部分字符如圖4所示.從圖中可以看出,低質(zhì)量傳真字符圖像中的字符存在嚴重的噪聲和斷筆干擾,人眼免強能夠辨認,但對計算機來說面臨著巨大的阻礙.

為驗證文中識別方法(增加遮擋字典)對字符斷筆和噪聲的魯棒性,選取了基于線性核函數(shù)的支持向量機(LSVM)、基于四階多項式核函數(shù)(PSVM)的支持向量機和基于高斯徑向基核函數(shù)的非線性支持向量機(RBF-SVM)作為字符分類器進行實驗比較.同時,為驗證文中方法增加遮擋字典的有效性,還與直接SRC(不使用遮擋字典的SRC)方法進行了比較.為驗證文中基于因子分析的鑒別字典學(xué)習(xí)方法的有效性,還與傳統(tǒng)的K-SVD字典學(xué)習(xí)方法(K-SVD+SRC)進行了比較.結(jié)果如表3所示.

圖4　含有斷筆、噪聲和模糊的字符示例

Fig.4Examples of the characters with broken pen,noise,and ambiguity

表3低質(zhì)量字符的識別率與耗時

Table 3Recognition accuracy and time of the low-quality characters

方法識別率/%訓(xùn)練時間/s測試時間/s文中方法75.421200(字典訓(xùn)練)0.318直接SRC54.00540(字典訓(xùn)練)0.132K-SVD+SRC71.241050(字典訓(xùn)練)0.318LSVM54.23217 0.002商用系統(tǒng)51.750.006PSVM56.845714 0.020RBF-SVM56.907855 0.023

從實驗結(jié)果可以看出,非線性支持向量機比線性支持向量機的分類性能要好,但計算復(fù)雜度要高得多.在字符分類器的訓(xùn)練過程中,常會遇到一些超參數(shù)(如基于最小化交叉熵準(zhǔn)則的目標(biāo)函數(shù)的正則化系數(shù),非線性支持向量機的高斯徑向基核函數(shù)的方差等),文中利用K-Fold交叉驗證策略對這些超參數(shù)進行優(yōu)化.針對圖4所示的字符,直接使用SRC的識別率為54.00%,使用增加遮擋字典處理后的SRC的識別率為75.42%,說明增加遮擋字典的方法對字符噪聲和斷筆均具有很好的魯棒性.文中提出的基于因子分析的鑒別字典學(xué)習(xí)方法的識別率比K-SVD方法提高了4%左右,說明了鑒別字典學(xué)習(xí)的有效性.目前識別效果較好的線性和非線性支持向量機的識別結(jié)果分別為54.23%和56.90%,說明目前的字符識別方法無法處理字符噪聲和斷筆識別問題,而文中提出的方法對斷筆、噪聲和模糊的字符識別具有明顯的優(yōu)勢.

3結(jié)論

文中將字典學(xué)習(xí)和稀疏表示引入到傳真字符識別中,以解決傳真字符的斷筆、噪聲問題.實驗結(jié)果表明,文中提出的基于字典學(xué)習(xí)與稀疏表示的漢字字符識別方法解決了不同字體和字號的字符識別問題,利用稀疏表示可大幅提高對低質(zhì)量字符(有斷筆、噪聲等)的識別率,文中識別方法不需要前期的字符二值化和細化等預(yù)處理操作,只需要一種特征、一個分類器,與目前的多特征多級聯(lián)分類器融合識別方法相比具有復(fù)雜度低的特點.

參考文獻：

[1]劉聚寧.印刷體漢字識別系統(tǒng)研究與實現(xiàn) [D].大連:大連理工大學(xué),2011.

[2]聶玖星.印刷體漢字識別系統(tǒng)的特征提取和匹配識別研究 [D].大連:大連理工大學(xué),2008.

[3]YANG S Y,WANG M,LI P.Compressive hyperspectral imaging via sparse tensor and nonlinear compressed sen-sing [J].IEEE Transactions on Geoscience and Remote Sensing,2015,53(11):5943- 5957.

[4]THOMSON T,HOSSAIN S,GHAHRAMANI M.Application of shrinkage estimation in linear regression models with autoregressive errors [J].Journal of Statistical Computation and Simulation,2015,85(16):3335- 3351.

[5]WRIGHT J,YANG A,GANESH A,et al.Robust face recognition via sparse representation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210- 227.

[6]ZHU X F,XIE Q,ZHU Y H.Multi-view multi-sparsity kernel reconstruction for multi-class image classification [J].Neurocomputing,2015,169:43- 49.[7]DORNAIKA F,ALDINE I Kamal.Decremental sparse modeling representative selection for prototype selection [J].Pattern Recognition,2015,48(11):3714- 3727.[8]LIAO Haibin,DAI Wenhua,ZHOU Qianjing,et al.Non-local similarity dictionary learning based on face super-resolution [C]∥Proceedings of IEEE International Conference on Signal Processing.Hangzhou:IEEE,2014:88- 93.[9]ZHANG Q,LI B.Discriminative K-SVD for dictionary learning in face recognition [C]∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Francisco:IEEE,2010:2691- 2698.[10]YANG M,ZHANG D,FENG X.Fisher discrimination dictionary learning for sparse representation [C]∥Proceedings of IEEE International Conference on Computer Vision.Barcelona:IEEE,2011:543- 550.

[11]JIANG Z,LIN Z,DAVIS L.Label consistent K-SVD:learning a discriminative dictionary for recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(11):2651- 2644.

[12]CAI Sijia,ZUO Wangmeng,ZHANG Lei,et al.Support vector guided dictionary learning [C]∥Proceedings of the 13th European Conference on Computer Vision.Zu-rich:Springer,2014:624- 639.

[13]陳思寶,趙令,羅斌.局部保持的稀疏表示字典學(xué)習(xí) [J].華南理工大學(xué)學(xué)報(自然科學(xué)版),2014,42(1):142- 146.

CHEN Si-bao,ZHAO Ling,LUO Bin.Dictionary learning via locality preserving for sparse representation [J].Journal of South China University of Technology(Natural Science Edition),2014,42(1):142- 146.

[14]廖海斌,陳慶虎,鄢煜塵.基于因子分析的實用人臉識別研究 [J].電子與信息學(xué)報,2011,12(7):1611- 1617.

LIAO Hai-bin,CHEN Qing-hu,YAN Yu-chen.Practical face recognition via factor analysis [J].Journal of Electronics & Information Technology,2011,12(7):1611- 1617.[15]DENG J L.Grey information space [J].Journal of Grey Systems,1989,1(2):103- 117.

收稿日期:2015- 10- 08

*基金項目:中國博士后科學(xué)基金面上項目(2015M582355);公安部科技攻關(guān)項目(SN20110001)

Foundation item:Supported by the General Program of the National Science Foundation for Post-Doctoral Scientists of China(2015M582355)

作者簡介:郝寧波(1977-),男,博士生,副教授,主要從事軟件開發(fā)、圖像處理與模式識別研究.E-mail:hnb79@163.com ?通信作者: 廖海斌(1982-),男,博士,講師,主要從事圖像處理與模式識別研究.E-mail:liao_haibing@163.com

文章編號:1000- 565X(2016)05- 0123- 07

中圖分類號：TP 391

doi：10.3969/j.issn.1000-565X.2016.05.019

Low-Quality Characters Recognition Based on Dictionary Learning and Sparse Representation

HAONing-bo1,2LIAOHai-bin3YANGJie1

(1.School of Information Engineering,Wuhan University of Technology,Wuhan 430070,Hubei,China;2.International College,Huanghuai University,Zhumadian 463000,Henan,China;3.School of Computer Science and Technology,Hubei University of Science and Technology,Xianning 437100,Hubei,China)

Abstract:In order to recognize low-quality characters with interrupted strokes, noise and fuzziness, and to recognize characters with different fonts and sizes, a method to recognize low-quality characters on the basis of dictionary learning and sparse representation is proposed. Firstly, character samples with different fonts and sizes are collected to construct a super-complete dictionary of characters. Then, a sparse representation model is established by using test characters, and a character classification is made according to the solved sparse representation coefficient. Additionally, in order to make the dictionary more discriminating, a dictionary learning method on the basis of factor analysis is proposed. Experimental results show that the proposed method not only can identify characters with different fonts and sizes but also possesses robustness to interrupted strokes, noise and fuzziness.

Key words:character recognition;dictionary learning;sparse representation;factors analysis