基于彈性網(wǎng)格的西夏文字識(shí)別

門光福,潘晨,柳長青

(1.寧夏大學(xué)數(shù)學(xué)計(jì)算機(jī)學(xué)院,寧夏銀川750021;2.中國計(jì)量學(xué)院信息工程學(xué)院,浙江杭州310018)

1 引言

近年來西夏研究在國內(nèi)外引起了廣大學(xué)者的高度重視,也取得了很大進(jìn)展,大批西夏古籍文獻(xiàn)如《俄藏黑水城文獻(xiàn)》、《中國藏西夏文獻(xiàn)》、《英藏西夏文獻(xiàn)》經(jīng)整理被影印出版。目前,西夏文及西夏文獻(xiàn)的研究仍停留在傳統(tǒng)手工翻閱查找階段,研究工作因此耗時(shí)費(fèi)力,異常辛苦。計(jì)算機(jī)技術(shù)的迅猛發(fā)展無疑給西夏研究工作帶來了契機(jī),如何快速、準(zhǔn)確地將這些文獻(xiàn)資料轉(zhuǎn)換為文本并為西夏文獻(xiàn)建立文本數(shù)據(jù)庫具有重要的研究與應(yīng)用價(jià)值[1-2]。

當(dāng)前國際上在西夏文字的計(jì)算機(jī)數(shù)字化方面的研究主要集中在日本、俄羅斯和中國臺(tái)灣[3]。日本國立亞非語言文化研究所1996年制作了西夏文字庫和排版系統(tǒng),1997年中國學(xué)者李范文教授和日本學(xué)者中島干起利用該排版系統(tǒng)合作出版了《電腦處理西夏文〈雜字〉研究》一書。該所副教授荒川懊太郎與俄羅斯西夏學(xué)專家克恰諾夫合作出版了《西夏文字典》。另外,值得一提的是國際合作中的國際敦煌項(xiàng)目[4]。1994年,旨在促進(jìn)敦煌文物文獻(xiàn)保護(hù)和研究以及數(shù)字化的敦煌國際合作項(xiàng)目組(簡(jiǎn)稱IDP)正式成立,秘書處設(shè)在大英圖書館。IDP早期工作主要集中在修復(fù)、保護(hù)與編目等方面,近年來加快了數(shù)字化步伐,目前正朝著將包括西夏文獻(xiàn)影印圖像在內(nèi)的敦煌及絲綢之路文物文獻(xiàn)全部網(wǎng)絡(luò)化的目標(biāo)而努力。在國內(nèi),馬希榮、柳長青[5-8]等從西夏文字識(shí)別的版面分析、二值化、傾斜檢測(cè)、尺寸歸一化及去噪等預(yù)處理技術(shù)到西夏文字的各種特征提取及西夏文字神經(jīng)網(wǎng)絡(luò)的識(shí)別等方面都做了一些研究。

西夏文獻(xiàn)中的西夏文字多以刻板文字或手寫體形式出現(xiàn),與印刷體文字有很大的區(qū)別,存在大小不固定,整體或局部位置產(chǎn)生偏移等情形,這對(duì)識(shí)別過程及識(shí)別率會(huì)產(chǎn)生很大的影響。西夏文獻(xiàn)中的西夏文字的識(shí)別可以借鑒手寫體漢字識(shí)別的相關(guān)技術(shù),但由于西夏文字筆畫繁多,平均筆畫數(shù)在25畫左右,而且西夏文字之間具有很大的相似性,這無疑又增加了識(shí)別的難度。

近年來,大量的研究實(shí)驗(yàn)表明,方向特征是一種較好的手寫體文字特征[9],彈性網(wǎng)格技術(shù)[10-14,20]可以提取字符圖像的局部特征,能很好地區(qū)分相似字,容忍不同書寫風(fēng)格所引起的筆劃位置不穩(wěn)定、局部字形變形等變化,所以在手寫體字符識(shí)別中得到廣泛應(yīng)用。本文將采用彈性網(wǎng)格對(duì)西夏文字進(jìn)行網(wǎng)格劃分,并提取筆畫特征,然后對(duì)提取的筆畫特征采用LDA方法進(jìn)行降維處理,給出西夏文字識(shí)別的一種有效方法。

2 西夏文字彈性網(wǎng)格筆畫特征提取

在對(duì)西夏文字提取筆畫特征之前,首先采用大津方法[15]對(duì)西夏文字圖像進(jìn)行二值化處理,然后對(duì)二值化后的西夏文字圖像采用形態(tài)學(xué)細(xì)化算法[16,21]進(jìn)行細(xì)化。

盡管西夏文字結(jié)構(gòu)復(fù)雜,但都是由直線段組成,而且這些直線段具有橫、豎、撇、捺4個(gè)方向。西夏文字中的“橫、豎、撇、捺”四種筆劃的多少客觀上來講可以代表其特征,并且“橫、豎、撇、捺”四種筆劃分量的結(jié)構(gòu)組合是不同的,因此將西夏文字進(jìn)行“橫、豎、撇、捺”四個(gè)方向分解后再提取統(tǒng)計(jì)特征,比起整體上提取特征來識(shí)別西夏文字更能反映西夏文字的組成結(jié)構(gòu),更具有區(qū)分性。具體的分解策略見圖1?？紤]黑像素的8個(gè)鄰域,按如下方法確定4個(gè)方向分量：

(1)橫分量：P1或 P5為黑像素;

(2)豎分量：P3或 P7為黑像素;

(3)撇分量：P2或 P6為黑像素;

(4)捺分量：P4或P8為黑像素。

圖1 點(diǎn)P的八鄰域

圖2 給出了西夏文字分解的結(jié)果。

圖2 西夏文字分解結(jié)果

彈性網(wǎng)格是一種根據(jù)文字圖像的像素密度分布,用非均勻的網(wǎng)線劃分文字的網(wǎng)格方法。將西夏文字如圖2所示進(jìn)行四種基本筆劃方向分解后,構(gòu)造彈性網(wǎng)格并作用于分解后的各西夏文字分量上,然后提取各分量在網(wǎng)格內(nèi)像素點(diǎn)的概率分布特征。

設(shè)水平方向的網(wǎng)線數(shù)為N1,垂直方向的網(wǎng)線數(shù)為N2,當(dāng)滿足下面兩式時(shí),分別得到水平、垂直方向的非均勻網(wǎng)線Ii,Ij：

非均勻網(wǎng)線 Ii,Ij兩兩相交即構(gòu)成彈性網(wǎng)格,選取不同的網(wǎng)線數(shù)可以得到不同的網(wǎng)格。當(dāng) N1=8,N2=6時(shí),構(gòu)造的全局8×6彈性網(wǎng)格如圖 3所示。

假設(shè)得到的網(wǎng)格為B1,B2,…,Bn,西夏文字四個(gè)方向“橫”、“豎”、“撇”、“捺”子圖像為(x,y),則第i個(gè)子塊內(nèi)的方向統(tǒng)計(jì)特征如下：

圖3 全局8×6彈性網(wǎng)格

3 LDA特征壓縮

在第2部分中將西夏文字采用彈性網(wǎng)格劃分,提取筆畫方向特征后,得到的高維特征向量可以直接用距離方式度量,但由于基于高維特征空間內(nèi)的算法時(shí)間復(fù)雜度和空間復(fù)雜度都大大增加,并且不容易估計(jì)參數(shù)值。所以為優(yōu)化算法需要對(duì)特征空間進(jìn)行降維處理。LDA方法是一種通用的提高類別分辨能力的線性變換,其優(yōu)點(diǎn)是通過對(duì)可分性測(cè)度函數(shù)的優(yōu)化,在變換后的低維特征空間內(nèi)保留分類能力最強(qiáng)的一組特征[17-18]。本文選擇將選用 LDA方法對(duì)提取的西夏文字筆畫方向特征進(jìn)行壓縮。

(3)設(shè)X為初始特征向量,通過Y=WTX變換得到壓縮后特征向量Y。

4 實(shí)驗(yàn)

采用原寧夏大學(xué)計(jì)算中心夏漢字典第一區(qū)的前240個(gè)西夏文字的40套樣本作為實(shí)驗(yàn)用西夏文字,每個(gè)西夏文字為48×48個(gè)像素。為檢驗(yàn)各種識(shí)別方法的性能,實(shí)驗(yàn)中選取v重交叉驗(yàn)證法作為識(shí)別方法性能的衡量指標(biāo)。用此方法把訓(xùn)練集劃分成4個(gè)子集,每個(gè)子集包含10個(gè)樣本,訓(xùn)練時(shí)用3個(gè)子集的樣本訓(xùn)練,用剩下的1個(gè)子集的樣本做測(cè)試得到1次識(shí)別率,依次對(duì)每個(gè)子集都做測(cè)試可得到4次識(shí)別率,取4次識(shí)別率的平均值作為識(shí)別方法性能的衡量指標(biāo)。實(shí)驗(yàn)所采用的計(jì)算機(jī)的硬件配置為AMD Athlon Dual Core 4000+,內(nèi)存為 2G DDR,硬盤為日立串口250G。軟件環(huán)境為WindowsXP SP3下的matlab7.0。圖4為實(shí)驗(yàn)中用到的部分西夏古籍文獻(xiàn)中的西夏文字樣本。

圖4 實(shí)驗(yàn)所采用的部分西夏古籍中西夏文字樣本

4.1 不同網(wǎng)格劃分下識(shí)別率比較

本小節(jié)實(shí)驗(yàn)的目的是：討論用筆畫方向分解特征作為文字的特征,在歐式距離度量方式下,采用不同網(wǎng)格劃分下的識(shí)別效果。實(shí)驗(yàn)數(shù)據(jù)如下：

表1 不同網(wǎng)格劃分方法下的識(shí)別率比較

由表1中的實(shí)驗(yàn)結(jié)果可以看出：使用全局8×6網(wǎng)格時(shí)的識(shí)別率最高。因此,在實(shí)際應(yīng)用時(shí)可以選用全局8×6網(wǎng)格共192維特征作為西夏文字的識(shí)別特征。

4.2 LDA方法壓縮特征的識(shí)別率比較

LDA方法可以有效壓縮特征并提高識(shí)別率,其中維數(shù)d的選擇對(duì)識(shí)別率有一定的影響。本實(shí)驗(yàn)選歐氏距離分類器,取4重交叉驗(yàn)證平均識(shí)別率,對(duì)提取的8×6彈性網(wǎng)格的筆畫特征共192維原始特征采用LDA方法降維。圖5給出了壓縮維數(shù)d從20到190時(shí)的識(shí)別率變化趨勢(shì)。

圖5 不同參數(shù)d下的識(shí)別率

由圖5可知,當(dāng)壓縮維數(shù)在80左右時(shí)識(shí)別率達(dá)到最大。高維時(shí)識(shí)別率略有下降,主要是由于分類器模型的符合程度、參數(shù)的估計(jì)誤差等隨著維數(shù)的增大而逐漸惡化所導(dǎo)致。

通過上面實(shí)驗(yàn),選定維數(shù)d=80,采用不同距離度量方式下的識(shí)別率如表2所示。

表2 不同距離度量方式下LDA方法壓縮特征前后的識(shí)別率比較

表2結(jié)果表明,使用LDA方法將特征從192維壓縮到80維后,各種距離測(cè)度下的識(shí)別率都顯著提高,該實(shí)驗(yàn)也說明了 LDA方法壓縮西夏文字彈性網(wǎng)格筆畫方向特征的有效性。

4.3 測(cè)試樣本作為多候選字時(shí)的識(shí)別率分析

本實(shí)驗(yàn)主要討論采用LDA方法壓縮全局8×6彈性網(wǎng)格的筆畫方向特征作為多個(gè)候選字的識(shí)別特征時(shí)的識(shí)別率比較,分類距離選用歐式距離,實(shí)驗(yàn)結(jié)果如表3和圖6所示。從實(shí)驗(yàn)結(jié)果中可以看出,隨著候選字個(gè)數(shù)的增加,識(shí)別率逐步提高。如果測(cè)試樣本作為前15個(gè)候選字時(shí),識(shí)別率可達(dá)到99.05%。因此,用該特征及分類方式作為樣本的粗分類可以達(dá)到很高的準(zhǔn)確率。

表3 前n個(gè)候選字的識(shí)別率

圖6 多候選字識(shí)別率

5 結(jié)束語

本文基于彈性網(wǎng)格上筆畫方向的特征分解和提取,采用LDA方法壓縮特征對(duì)西夏文字進(jìn)行分類識(shí)別研究。實(shí)驗(yàn)證明對(duì)于西夏文字這樣一種相似度遠(yuǎn)遠(yuǎn)高于漢字的象形文字,本文所提方法能夠有效的進(jìn)行識(shí)別,識(shí)別率可達(dá)87.99%以上。本文的研究成果為以后的手寫體西夏文字、西夏文獻(xiàn)圖片資料中的西夏文字的自動(dòng)識(shí)別等的深入研究打下基礎(chǔ)。

[1]柳長青.基于 Level Set方法的西夏字輪廓提取[J].中文信息學(xué)報(bào),2009,23(4)：71-75.

[2]李宇明.搭建中華宇符集大平臺(tái)[J].中文信息學(xué)報(bào),2003,17(2)：1-6.

[3]史金波,陳育寧.中國藏西夏文獻(xiàn)[M〕.甘肅：教煌文藝出版社,2005.

[4]劉扭,段慈明,王惠臨,等.中醫(yī)藥古文獻(xiàn)語料庫設(shè)計(jì)與開發(fā)研究[J].中文信息學(xué)報(bào),2005,22(4)：24-0.

[5]馬希榮,王行愚.西夏文字特征提取的研究[J].計(jì)算機(jī)工程與應(yīng)用,2002,38(13)：38-39.

[6]馬希榮,王行愚.神經(jīng)網(wǎng)絡(luò)的西夏字識(shí)別技術(shù)研究[J].計(jì)算機(jī)工程與應(yīng)用,2001,37(18)：10-11.

[7]柳長青,杜建錄.網(wǎng)絡(luò)下的西夏文及西夏文獻(xiàn)處理研究[J].寧夏社會(huì)科學(xué),2008,(5)：113-115.

[8]馬希榮,柳長青,等.夏漢字處理及電子字典[M].北京：清華大學(xué)出版社,1999.

[9]劉偉,朱寧波,何浩智,等.彈性網(wǎng)格模糊特征的手寫體漢字識(shí)別方法[J].中文信息學(xué)報(bào),2007,21(3)：117-121.

[10]陳章輝,黃小暉,陳鵬飛,等.基于雙彈性網(wǎng)格的手寫體漢字識(shí)別[J].計(jì)算機(jī)應(yīng)用,2009,29(2)：395：397.

[11]Lianwen Jin,Gang Wei.Handwritten Chinese Character Recognition with Directional Decomposition Cellular Features[J].Journal of Circuit,System and Computer,1998,8(4)：517-524.

[12]S W Lee,J S Park.Nonlinear Shape Normalization M ethods for the Recognition of Large Set Handwritten Character[J].Pattern Recognition,1994,27(7)：895-902.

[13]金連文,高學(xué).幾種手寫體漢字網(wǎng)格方向特征提取方法的比較研究[J].計(jì)算機(jī)應(yīng)用研究,2004,21(11)：38-40.

[14]金連文.手寫體漢字識(shí)別的研究[D].廣州：華南理工大學(xué),1996.

[15]Otsu.A Threshold Selection M ethod from Gray-Level Histogram[J].IEEE Trans on SMC-9,1979：62-66.

[16]楊淑瑩.VC++圖像處理程序設(shè)計(jì)[M].清華大學(xué)出版社,2003.

[17]Balakrishnama S,Ganapathiraju A,Picone J.Linear Discriminant Analysis for Signal Processing Problems.Southeastcon'99 Proceedings.IEEE 25-28,1999-04：78-81.

[18]姜錚銦,丁曉青.基于M QDF的英文OCR多模板分類器[J].計(jì)算機(jī)工程,2005,31(15)：56-58.

[19]王華,丁曉青.多字體印刷藏文字符識(shí)別[J].中文信息學(xué)報(bào),2003,17(6)：47-52.

[20]金連文,徐秉錚.手寫體漢字識(shí)別中的一種新的特征提取方法——彈性網(wǎng)格方向分解特征[J].電路與系統(tǒng)學(xué)報(bào),1997,2(3)：7-12.

[21]門光福.一種基于多級(jí)分類的西夏文字識(shí)別算法[J].高師理科學(xué)報(bào),2010,30(4)：44-47.