基于模糊支持向量機的手寫字符串識別

宋婉娟

(湖北第二師范學院 計算機學院,武漢 420205)

基于模糊支持向量機的手寫字符串識別

宋婉娟

(湖北第二師范學院 計算機學院,武漢 420205)

由于手寫數(shù)字串書寫的隨意和分割技術的局限性，手寫數(shù)字串的識別成為了手寫字符識別領域的一個難點。本文針對手寫數(shù)字串的分割和識別采用了一種有效的模型，該模型針對手寫數(shù)字串的分割的不準確設置模糊支持向量機作為檢測器進行再次識別確認。實驗證明，設置模糊支持向量機作為檢測器后，大大地減少了因為分割離群點造成識別錯誤率增加的問題；其次，模糊隸屬度函數(shù)的正確選擇才能發(fā)揮模糊支持向量機的優(yōu)越性。

模糊支持向量機；檢測器；模糊隸屬度函數(shù)；聚合度；離群點

1 引言

手寫字符識別是應用非常廣泛的一種技術，其中脫機手寫數(shù)字識別是其中的一個分支，這種技術已成功的應用在表單系統(tǒng)，如郵件自動分揀系統(tǒng)，銀行票據(jù)系統(tǒng)。單個數(shù)字識別技術已經(jīng)比較成熟，而手寫數(shù)字串的分割與識別則成為了該領域的瓶頸和難點[1-5]。本文研究的是由于手寫字的連筆擁擠等而形成的數(shù)字串的分割與識別。對于手寫數(shù)字串的分割問題，國內(nèi)外很多學者進行了研究，主要的分割方法可以分為如下幾類[1-5]：

1.1 基于圖像分析的分割[1,2]。通過圖像分析尋找數(shù)字之間較為合理的分割點，該方法利用字符間隙和數(shù)字間距以及數(shù)字寬度與高度比、投影法，或者是利用數(shù)字的連通域單元、筆劃、骨架、部件等結構信息實現(xiàn)分割。

1.2 基于識別的分割[2,4,6]。在實際分割前增加一個識別環(huán)節(jié)，借助識別結果對各種可能存在的分割進行篩選，根據(jù)每種分割候選者的置信度找到一種最佳的分割組合。

1.3 整體識別。以整個詞為待識客體，根據(jù)該詞的整體特征來識別，從而避免分割對字符的損傷，這種方法一般在識別有限的關鍵性詞匯時使用。

基于圖像分析的分割方法中，比較有代表性的如基于SCP(significant contour point)的數(shù)字切分[1]， 基于模具的手寫數(shù)字串切分算法[5]，基于BFA(background and foreground analysis)[3]的數(shù)字切分都在某些領域達到了比較好的效果?；贐FA 方法的切分效果最佳，但BFA 方法過于復雜，在實際應用中難以保證其實時性，限制了它的應用；滴水算法相對比較簡單，但由于算法本身存在容易陷入局部最優(yōu)的問題，切分效果不是很理想[3]?；谧R別的分割方法以Casey和Nagy提出的遞歸分割算法[7]最具代表性，該方法具有動態(tài)選擇分割點的能力,可以減少因分割錯誤而造成的誤識和拒識。但也存在以下不足:由于未作預分類使得算法效率不夠高；易發(fā)生多個分割結果，比如將4分割成了11。本文采用基于識別的分割方法，在分割的過程中引入識別機制，具有動態(tài)選擇分割點的能力，可以減少因分割錯誤而造成的誤識，所以能夠正確的選擇分割點。本文的主要貢獻有以下3點：(1)識別模型中檢測器的設置可以大大減少由于錯誤分割造成手寫數(shù)字串的識別錯誤問題；(2)選用模糊支持向量機(FSVM)這種學習機作為分割候選者的檢測器能合理的抑制分割過程中的離群點樣本；(3)模糊支持向量機只有與適合的模糊隸屬度函數(shù)結合才能使模糊支持向量機發(fā)揮好的性能，本文采用基于聚合度的模糊隸屬度函數(shù)，能給予離群點樣本合適的隸屬度，進而使得模糊支持向量機的分類性能大大提高。

手寫數(shù)字串的分割步驟會產(chǎn)生很多分割碎片，由于分割技術的局限性，這些分割碎片中有數(shù)字樣本和非數(shù)字樣本，這些非數(shù)字樣本即為離群點樣本，如果對這些離群點樣本不加以處理，這些離群點樣本會大大的降低識別的正確率。本文基于這個問題提出了一種新的識別模型，該模型設置了模糊支持向量機作為檢測器進行再次識別用來保證手寫數(shù)字串的分割正確率。模糊支持向量機是在傳統(tǒng)的支持向量機基礎上加以改進的一種學習機，它對數(shù)據(jù)集中的每個樣本點關聯(lián)一個權重向量即模糊隸屬度，不同的隸屬度的樣本點對分類超平面的學習有不同的貢獻，在某種程度上可以減少離群點對分類超平面學習的干擾，模糊支持向量機能恰當?shù)囊种七@些離群點樣本。取得合理的樣本隸屬度值，模糊支持向量機的分類性能才能真正發(fā)揮其優(yōu)越性，本文采用基于聚合度的隸屬度函數(shù)，實驗證明，該方法大大提高了模糊支持向量機的性能。

2 手寫數(shù)字串識別模型

本文采用文獻[7]提出的這種識別模型[7]來進行手寫數(shù)字串的識別。由于前述提到的手寫體數(shù)字的各種原因，會有過度分割和不足分割的情況出現(xiàn)，圖1提出的這種模型能有效的處理錯誤分割的問題。該模型采用基于識別的分割方式，在模型中運用了分類器和檢驗器來達到良好的分割和識別效果。該模型運用概率統(tǒng)計知識框架，結合檢測器和識別器的數(shù)據(jù)得出最優(yōu)的結果。該模型描述了手寫數(shù)字串識別的整個過程，這個模型分為三個過程：部分檢測和切分，特征提取，識別和檢測器。模型采用的通用的分類器是基于凹度和輪廓特征的，過度切分檢測器是基于多層凹度特征的，不足切分檢測器是基于凹度特征的。第三階段使用了檢測器用來檢測過度分割和不足分割的情況，用來協(xié)助數(shù)字串的分割，這種檢測器的設置大大的提高了分割的效果。本文采用模糊支持向量機作為分割結果的檢測器進行再次確認，能減少非數(shù)字離群點樣本被當作有效樣本的情況。

3 模糊支持向量機

FSVM最初由文獻[8]等提出。在FSVM中，訓練集中每個數(shù)據(jù)都關聯(lián)一個表征數(shù)據(jù)重要性的模糊權重，每個樣本點的權重值以關聯(lián)于它的一個合適超平面對2類數(shù)據(jù)的分類結果來計算，位于2類相鄰邊界的疑似離群點及離群點數(shù)據(jù)將獲得較小的權重值，而其他數(shù)據(jù)則獲得較大的權重值，這樣能夠達到對數(shù)據(jù)的合理抑制。

s,t.yi(wφ(xi)+b)≥1-ξi

(ξi≥0;i=1,2,…,l),

(1)

式中，w為分類面法向量，b為偏置。較小的si將降低松弛變量ξi的影響，從而使得相應的訓練數(shù)據(jù)xi被看得不太重要,由產(chǎn)生的錯誤也會比較小,C為懲罰因子,控制間隔寬度與訓練誤差的折中參數(shù)。式(1)的對偶形式為

表4檢驗結果表明適合對量表數(shù)據(jù)進行因子分析,運用主成分分析與最大方差正交旋轉(zhuǎn)法,抽取出8個公共因子(特征值大于1),累積方差貢獻率達到65.409%。各公共因子在相應測量指標的載荷量較高,所選取的各驗證因子與研究假設結構具有一致性,量表設計滿足相關效度要求。

(0≤ai≤sC;i=1,2，…,l),

(2)

式(2)中：αi和αj為拉格朗日乘子；K(xi,xj)表示核函數(shù)，其一般形式為K(xi,xj)=φ(xi)Tφ(xi)。

FSVM與SVM之間的差異在于FSVM可以使用模糊權重si測量訓練數(shù)據(jù)的重要性。若使si=1，則FSVM便成為SVM。式(1)或式(2)所示的問題結構并不保證FSVM必定獲得良好的分類結果，因為模糊權重函數(shù)能否較好識別離群點與正常數(shù)據(jù)是影響 FSVM分類性能的一大關鍵因素。

4 模糊隸屬度函數(shù)

在模糊支持向量機的設計中,隸屬度函數(shù)的設計是整個模糊算法的關鍵。目前,構造隸屬度函數(shù)的方法很多,但還沒有一個可遵循的一般性準則。在目前的模糊支持向量機方法中,主要是采用基于樣本到類中心之間的距離來度量其隸屬度的大小[8]。支持向量機方法中,最優(yōu)分類面主要由支持向量決定,支持向量位于分類面附近,而離群點的樣本常常也位于類邊緣附近。依據(jù)樣本到類中心之間距離確定樣本的隸屬度,以致將含離群點與有效樣本賦予相同的隸屬度，對有效樣本與離群點樣本無法區(qū)分開，則求出的分類面不是真正的最優(yōu)分類面[10]。針對這種情況，本文采用基于聚合度的隸屬度函數(shù)[11,12,13]來估計模糊隸屬度，聚合度指的是類內(nèi)樣本的聚集程度。這種方法可以合理的區(qū)分離群點和有效樣本。

基于聚合度的隸屬度函數(shù)[14]可以表示為：

s(xi)=f(sd(xi),sk(xi,x))

(3)

a)式(3)中，sd(xi)為S型函數(shù)的隸屬度函數(shù)[10]，具體公式如式(4)，其中di為樣本與所在類中心之間的距離，參數(shù)a,b是一個預先定義的參數(shù),b=(a+b)/2，當di=b時,s(b;a,b,c)=0.5。

s(di;a,b,c)=

(4)

b)sk(xi,x))為樣本xi與所在類中心之間的模糊連接度[7],反映xi樣本與類中其他樣本之間的聚合度關系,其由下式確定:

(5)

式(5)中，ρ(xi,x)表示從xi到x的一條路徑，路經(jīng)的各點用ci表示，1≤i≤m。

c)f()表示為某種函數(shù)關系,本文取為乘積關系。

5 實驗步驟及結果分析

圖1是手寫數(shù)字串的分割識別過程。首先將待識圖像進行平滑去噪，然后對粘連數(shù)字串預分割得到分割候選者，這些分割碎片有的是單個數(shù)字，有的是分割錯誤的非數(shù)字，這些非數(shù)字樣本即為離群點。因此利用模糊支持向量機這種檢測器會使得這些非數(shù)字碎片的模糊隸屬度較低，正確排除非數(shù)字碎片，最后利用文獻[7]中的動態(tài)規(guī)劃[1]找到最佳分割路徑并得到識別結果，這里的樣本的模糊隸屬度即為文獻[7]中樣本的的置信度。 實驗樣本庫為搜集的票據(jù)樣本8000個，圖2是部分樣本的圖片。為了證明檢測器的設置對離群點樣本的的抑制作用，本文對樣本進行了篩選分類,A類樣本為所有的樣本庫樣本,其中3500個樣本作為訓練樣本,剩下的4500個樣本作為測試樣本；B類樣本為只包含0，2，4，6，9這五個容易產(chǎn)生過度分割和不足分割的數(shù)字的手寫數(shù)字串，其中訓練樣本為1600個,測試樣本為1000個；C類樣本為只包含1,3,5,7,8這些數(shù)字的樣本,其中訓練樣本為2000個,測試樣本為2500個。

首先對于有無設置檢測器以及檢測器類型進行對比實驗，檢測器的類型分別采用標準的支持向量機，模糊支持向量機作為檢測器。然后對模糊支持向量機的隸屬度函數(shù)的選擇進行實驗對比，分別采用基于線性距離的隸屬度，基于S型函數(shù)隸屬度和基于聚合度的隸屬度參數(shù)。識別模型中也采用支持向量機作為通用分類器，SVM選用性能良好的高斯函數(shù)作為核函數(shù)，對應參數(shù)為σ=0.4,C=1000，實驗數(shù)據(jù)如表1所示。

表1 不同檢測器的性能對比數(shù)據(jù)

圖1 手寫數(shù)字串分割流程

圖2 部分樣本原始圖片和預處理圖片對比

從表1可以看出,對A，B，C三類樣本,設置了檢測器后均可以顯著提高識別率；總體來說，模糊支持向量機作為檢測器得到識別率比傳統(tǒng)的支持向量機要高；但是模糊隸屬度函數(shù)的正確選擇才能保證模糊支持向量機的識別性能，比如采用線性距離這種隸屬度函數(shù)的模糊支持向量機反而不如傳統(tǒng)的支持向量機的識別效果好；采用基于聚合度的隸屬度函數(shù)的模糊支持向量機對各類樣本集的識別效果均較好；對于B類樣本集(含離群點比例最大的樣本集)而言，基于聚合度的模糊支持向量機的設置能顯著提升識別性能。

6 結論

由于手寫數(shù)字串的分割過程中常常產(chǎn)生離群點樣本，這些離群點樣本影響了分割正確率，最終影響了手寫數(shù)字串的識別效果。本文針對該問題在識別過程中增加了模糊支持向量機作為檢測器進行再次確認，并采用聚合度隸屬度函數(shù)進行隸屬度取值，實驗證明該方法能改善手寫數(shù)字串的識別效果，特別是對于帶離群點的樣本效果更加顯著。

[1]劉剛,魏鋒,吳銘.基于LDP算法的手寫數(shù)字串分割[J].北京郵電大學學報，2003,3(26):14-18.

[2]李佐，王姝華.一種基于前端預測識別的粘連字符分割方法[J].計算機研究與發(fā)展，2001，38(11)1337-1344.

[3]ChenYikai，WangJhingfa．Segmentationofsingle—ormultiple—touchinghandwrittennumeralstringusingbackgroundandforegroundanalysis[J]．IEEETransPAMI，2000，22(11)：1 304-1 317．

[4]雷云,劉長松,丁曉青.基于識別的粘連手寫數(shù)字串分割系統(tǒng)[J].清華大學學報，2005,45(4):433-436.

[5] 張洪剛,吳銘,劉剛，等. 基于模具的手寫數(shù)字串切分算法及其應用[J]. 計算機學報，2003，26(7)：819-824.

[6]RGCasey,GNagy.Recursivesegmentationandclassificationofcompositepatterns.In:Procofthe6thInt’lConfonPatternRecognition.Munich,Germany, 1982. 1023～1026.

[7]LUI.OLIVEIRA,ROBERTSABOURIN.AutomaticRecognitionofHandwrittenNumeralStrings:ARecognitionandVerificationStrateg[J].IEEETranszactionPatternAnalysisandMachineIntelligence, 2002,24(11): 1438-1454.

[8]LinCF，wangSD．Fuzzysupportvectormachine[J].IEEETransNeuralNetw,2002,13(2):464-471.

[9] 邊肇祺,張學工.模式識別[M].北京:清華大學出版社, 2000: 135-136.

[10]張翔,肖小玲.模糊支持向量機中隸屬度的確定與分析[J].中國圖象圖形學報，2006,11(8):1188-1192.

[11]申豐山，張軍英.用于FSVM抑噪的統(tǒng)計型模糊權重函數(shù) [J].華中科技大學學報，2012,40(12).

[12]Wenjuan,ManguiLiang.Fuzzysupportvectormachinebasedonwithin-classscatterforclassificationproblemswithoutliersornoises[J].Neurocomputing，2013：101-110 .

[13]C.F.Lin,S.D.Wang,Fuzzysupportvectormachines,IEEETrans.NeuralNetworks，2002，13 (2)：464-471.

[14]張翔,肖小玲.基于樣本之間緊密度的模糊支持向量機方法[J].軟件學報，2006,17(5):951-958.

Handwritten Numerical String Recognition Based on Fuzzy Support Vector Machine

SONG Wan-Juan

(School of Computer Science, Hubei University of Education, Wuhan 430205, China)

Due to the limitation of writing arbitrariness and segmentation technology, the segmentation and recognition of handwritten numerical string becomes a problem of handwritten character recognition. This paper adopts an effective model for handwritten numerical string recognition which could deal with the inaccuracy of segmentation problems by setting verifier based fuzzy support vector machine. The experiment results show that this method with verifier based fuzzy support vector machine can greatly reduce recognition error rate owing to the inaccurate segmentation. In addition, the sound implementation of fuzzy membership function will exploit the advantage of performance of fuzzy support vector machine to the full.

fuzzy support vector machine; verifier; fuzzy membership function; affinity; outliers

2016-12-20

2016年湖北省教育廳科學研究計劃項目(B2016226)

宋婉娟(1980-)，女，講師，研究方向為圖像處理與模式識別。

TP39

A

1674-344X(2017)2-0030-04