復(fù)雜背景下的點(diǎn)陣字符識(shí)別研究

吳慧瑩 陳 明 范晏君 黃 帥

(廣西師范大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院 廣西 桂林 541004)

0 引 言

食品包裝上的生產(chǎn)日期、保質(zhì)期和生產(chǎn)批次是保證食品安全的重要信息，食品廠家將這些信息以點(diǎn)陣字符的形式打印在包裝表面。目前，食品包裝行業(yè)一般采用噴墨技術(shù)對(duì)食品進(jìn)行生產(chǎn)信息標(biāo)注。但該技術(shù)在噴碼機(jī)振動(dòng)不穩(wěn)定、噴墨不均勻和油墨不足等情況下，容易產(chǎn)生字符傾斜、字符殘缺和字符模糊等問題。為避免這些問題對(duì)產(chǎn)品流通和銷售產(chǎn)生影響，需要對(duì)點(diǎn)陣字符進(jìn)行檢測(cè)和識(shí)別。

傳統(tǒng)檢測(cè)過程通常依賴人工完成，不僅檢測(cè)效率低、準(zhǔn)確度不可靠，而且需要耗費(fèi)大量的人力資源，增加了生產(chǎn)成本。因此，研究一種高效準(zhǔn)確的自動(dòng)化檢測(cè)識(shí)別方法來代替人工檢測(cè)，不僅有利于提高企業(yè)的生產(chǎn)效益，還有利于保證食品的安全。

1 相關(guān)工作

通常，研究人員將字符識(shí)別算法分為字符定位、字符分割和字符識(shí)別三個(gè)部分。字符定位和分割用于定位和分割字符所在的區(qū)域，字符識(shí)別用于對(duì)分割好的字符區(qū)域進(jìn)行識(shí)別，只有當(dāng)三個(gè)部分都發(fā)揮最好的性能時(shí)，字符識(shí)別算法才能獲得最優(yōu)的識(shí)別效果。字符分割常用的方法有垂直投影法、連通域法等[1-3]，這類方法對(duì)于連續(xù)字符具有較好的分割效果。然而，由于點(diǎn)陣字符的不連續(xù)性，直接采取上述方法難以準(zhǔn)確分割。針對(duì)字符識(shí)別而言，目前主要有基于模板匹配的識(shí)別方法、基于機(jī)器學(xué)習(xí)的識(shí)別方法和基于深度學(xué)習(xí)的識(shí)別方法三類。錢俞好等[4]提出了一種基于MATLAB圖像積分的改進(jìn)模板匹配算法，首先對(duì)圖像進(jìn)行積分處理再進(jìn)行模板匹配，不僅減少了內(nèi)存開銷，而且大大加快了檢測(cè)速度，但該方法存在個(gè)別字符識(shí)別不理想的情況。針對(duì)點(diǎn)陣字符不連續(xù)的問題，Vandana等[5]利用數(shù)學(xué)形態(tài)學(xué)對(duì)其進(jìn)行處理，能較好地分割點(diǎn)陣字符區(qū)域，在LED點(diǎn)陣字符上具有較好的識(shí)別結(jié)果，但該方法在字符分割時(shí)未考慮到字符粘連的情況。Ohyama等[6]提出了角點(diǎn)檢測(cè)和MQDF(Modified quadratic discriminant function)分類器結(jié)合的點(diǎn)陣字符識(shí)別方法，但在應(yīng)用于運(yùn)動(dòng)模糊圖像時(shí)，其魯棒性還需進(jìn)一步改進(jìn)。南陽(yáng)等[7]提出了一種基于深度學(xué)習(xí)的方法，使用Arimoto熵對(duì)圖像進(jìn)行閾值化，然后使用卷積神經(jīng)網(wǎng)絡(luò)隱式地提取字符特征，能夠較為完整地保留字符信息，該方法對(duì)于字符背景單一的圖像具有較好的識(shí)別效果，但不合適樣本數(shù)量少且復(fù)雜的圖像集。張國(guó)云等[8]提出了一種改進(jìn)的BP網(wǎng)絡(luò)，使用該網(wǎng)絡(luò)對(duì)車牌字符進(jìn)行識(shí)別具有較強(qiáng)的抗干擾能力和識(shí)別效果，對(duì)本文具有一定參考價(jià)值。

本文主要研究如何快速準(zhǔn)確地識(shí)別牛奶盒包裝頂部的生產(chǎn)日期，這部分信息由噴墨技術(shù)產(chǎn)生的點(diǎn)陣字符組成，存在背景復(fù)雜、字符不連續(xù)和不相關(guān)字符干擾等問題。面對(duì)此類問題，文獻(xiàn)[1-8]存在一定的局限性，不能達(dá)到較好的識(shí)別效果。因此，本文提出了一種基于改進(jìn)的連通域分割與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的字符識(shí)別方法。該方法首先對(duì)圖像進(jìn)行預(yù)處理，減少噪聲干擾，然后通過數(shù)學(xué)形態(tài)學(xué)與特征篩選定位點(diǎn)陣字符區(qū)域，接著對(duì)字符區(qū)域進(jìn)行基于連通域最小外接矩形等間距分割，最后將分割后的字符送入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。在定位與分割過程中，該方法能有效排除干擾區(qū)域，準(zhǔn)確快速分割粘連字符，提高了字符識(shí)別結(jié)果的準(zhǔn)確性，與傳統(tǒng)方法相比其適應(yīng)性更強(qiáng)。

2 方法設(shè)計(jì)

本文以牛奶包裝盒頂部的點(diǎn)陣字符圖像作為目標(biāo)研究對(duì)象。點(diǎn)陣字符識(shí)別的研究工作主要分為以下四個(gè)部分：(1) 預(yù)處理用于去除圖像噪聲、光照不均勻等客觀因素的干擾，增強(qiáng)圖像信息；(2) 字符定位用于獲取感興趣字符所在的區(qū)域，排除其他字符、圓形圖案和粗線條等的干擾；(3) 字符分割用于去除因膨脹操作造成的點(diǎn)陣字符間粘連問題，分割出單個(gè)字符；(4) 字符識(shí)別用于識(shí)別分割字符所表示的信息。

2.1 預(yù)處理

在灰度圖像中，目標(biāo)和背景之間有著較大的邊緣差異，故利用這一點(diǎn)對(duì)兩者進(jìn)行分離。首先，將采集到的圖像轉(zhuǎn)化為灰度圖像；其次，利用Canny算子對(duì)灰度圖像進(jìn)行邊緣檢測(cè)，Canny算子能夠有效地平滑圖像、濾除噪聲，且具有很強(qiáng)的魯棒性。預(yù)處理后的圖像如圖1所示。

圖1 預(yù)處理圖像

2.2 字符定位

為了定位圖像中的點(diǎn)陣字符區(qū)域，本文采用數(shù)學(xué)形態(tài)學(xué)與連通域分析組合的方式對(duì)預(yù)處理圖像進(jìn)行定位，選取行列位置信息和面積大小作為定位特征。經(jīng)過預(yù)處理之后，圖像中依舊存在大量非目標(biāo)區(qū)域，觀察圖1，可發(fā)現(xiàn)點(diǎn)陣字符與噪點(diǎn)、中文字符、粗線條等干擾區(qū)域的面積差異不明顯，不能直接使用面積特征。膨脹操作可擴(kuò)大圖像的邊緣，填充黑洞，使得面積特征差異化明顯。因此本文采用矩形結(jié)構(gòu)元素對(duì)預(yù)處理圖像進(jìn)行膨脹。設(shè)定矩形結(jié)構(gòu)元素大小為220×5，滿足點(diǎn)陣字符區(qū)域在水平方向能連接成一個(gè)連通域，并使其連通面積盡可能大，同時(shí)在垂直方向上避免上下兩行字符粘連形成一個(gè)連通域。膨脹操作后的圖像如圖2所示；將其填充為矩形區(qū)域，方便統(tǒng)計(jì)圖像的行列特征值和面積特征值，填充后的區(qū)域如圖3所示；其行列特征和面積特征如圖4和圖5所示。

圖2 膨脹圖像

圖3 填充圖像

圖4 連通域行列坐標(biāo)特征

圖5 連通域面積值特征

對(duì)數(shù)學(xué)形態(tài)學(xué)和連通域分析處理后的圖像進(jìn)行特征篩選的具體步驟如下：

(1) 根據(jù)多次實(shí)驗(yàn)結(jié)果，設(shè)定行列坐標(biāo)閾值為(C1，C2)和(R1，R2)，面積閾值為S1。填充圖像的點(diǎn)陣字符行列坐標(biāo)值應(yīng)在(C1，C2)和(R1，R2)范圍內(nèi)，其面積應(yīng)大于S1，而干擾區(qū)域面積應(yīng)小于S1。

(2) 計(jì)算特征值。計(jì)算填充圖像所有連通域的行列特征值和面積特征值，若特征值在設(shè)定閾值內(nèi)，則輸出該連通域，否則將其濾除。

(3) 定位。特征篩選的結(jié)果如圖6所示，將其與預(yù)處理圖像取交集，獲得點(diǎn)陣字符圖像，如圖7所示。

圖6 篩選結(jié)果

圖7 點(diǎn)陣字符

數(shù)學(xué)形態(tài)學(xué)與連通域分析組合的方法可有效地去除噪聲和其他非點(diǎn)陣字符干擾，快速準(zhǔn)確地定位到點(diǎn)陣字符區(qū)域。

在生產(chǎn)過程中，噴墨機(jī)噴墨角度或產(chǎn)品位置易發(fā)生變化，導(dǎo)致點(diǎn)陣字符傾斜，如圖8所示。

圖8 傾斜字符圖像

針對(duì)這種情況，本文采用二階矩[9]與雙線性插值法[10]對(duì)圖像進(jìn)行傾斜校正。點(diǎn)陣字符區(qū)域的傾斜角度φ計(jì)算如下：

φ=-0.5atan2(2M11,M02-M20)

(1)

式中：M11、M02、M20是篩選結(jié)果圖像的二階矩。

再根據(jù)仿射變換原理，求出傾斜校正矩陣，矩陣計(jì)算過程如下：

(1) 定義齊次變換矩陣M為：

(2)

(2) 利用字符傾斜角φ計(jì)算旋轉(zhuǎn)變換矩陣R：

(3)

(3) 選取字符區(qū)域的中心點(diǎn)(Px,Py)作為固定點(diǎn)，對(duì)矩陣M進(jìn)行平移變換，將固定點(diǎn)移動(dòng)到全局坐標(biāo)系的原點(diǎn)上，然后進(jìn)行旋轉(zhuǎn)變換，最后將固定點(diǎn)平移至其原始位置，得到變換矩陣Y：

(4)

將得到的變換矩陣應(yīng)用于仿射變換中，采用雙線性插值法計(jì)算校正后像素點(diǎn)的灰度值。校正結(jié)果如圖9所示。

圖9 校正結(jié)果

2.3 字符分割

接下來對(duì)定位得到的點(diǎn)陣字符進(jìn)行分割。傳統(tǒng)的連通域分割采用Two-Pass算法[11]對(duì)圖像進(jìn)行兩遍掃描，按照行或者列的方式遍歷像素。第一遍掃描對(duì)圖像中像素值相等且位置相鄰的前景像素點(diǎn)進(jìn)行標(biāo)記，同一個(gè)連通域的像素點(diǎn)可能會(huì)有一個(gè)或者多個(gè)不同的標(biāo)記，記錄像素點(diǎn)之間的相等關(guān)系；第二遍掃描就是將具有相等關(guān)系的不同標(biāo)記像素點(diǎn)賦予相同的標(biāo)記值并將其合并得到完整的連通域，從而實(shí)現(xiàn)連通域分割。該方法適用于不粘連且連續(xù)的字符，而本文的點(diǎn)陣字符具有不連續(xù)性。針對(duì)傳統(tǒng)連通域方法的局限性，本文提出了基于改進(jìn)的連通域分割方法。該方法在傳統(tǒng)連通分割的基礎(chǔ)上，對(duì)連通域最小外接矩形進(jìn)行二次等間距分割。點(diǎn)陣字符分割流程如圖10所示。

圖10 點(diǎn)陣字符分割流程

分割具體步驟如下：

1) 初次分割。對(duì)定位后的點(diǎn)陣字符進(jìn)行膨脹操作，得到連續(xù)的粘連字符。采用傳統(tǒng)的連通域分割方法對(duì)其進(jìn)行初次分割，分割后的連通域由不同的顏色標(biāo)記，如圖11所示。

圖11 初次分割

2) 交集操作。將初次分割結(jié)果與定位后的點(diǎn)陣字符做圖像交集操作，結(jié)果如圖12所示。交集結(jié)果按水平方向排序，第四個(gè)連通域包含“9”和“0”兩個(gè)字符，第五個(gè)連通域包含“6”“3”“0”三個(gè)字符。

圖12 交集結(jié)果

3) 矩形計(jì)算。設(shè)定一個(gè)大小為width1×height1的矩形，作為分割標(biāo)準(zhǔn)。找到并生成交集結(jié)果中每個(gè)連通域?qū)?yīng)的最小外接矩形，如圖13所示，記錄生成矩形的大小，用width2×height2表示。

圖13 連通域最小外接矩形

4) 二次等間距分割。依次判斷最小外接矩形的寬高是否大于標(biāo)準(zhǔn)矩形，如果大于，則按照標(biāo)準(zhǔn)矩形寬高將最小外接矩形劃分為幾個(gè)大小近似的矩形，僅當(dāng)最小外接矩形的大小至少是標(biāo)準(zhǔn)矩形的1.5倍時(shí)，才會(huì)進(jìn)行等間隔分割。如果最小外接矩形寬高小于標(biāo)準(zhǔn)矩形，則保持該矩形輸出不變。

5) 單個(gè)字符獲取。等間距分割后的圖像如圖14所示。將其與定位后的點(diǎn)陣字符圖像進(jìn)行交集操作，即可得到單個(gè)字符圖像，如圖15所示。

圖14 等間距分割矩形

圖15 單個(gè)字符分割圖像

2.4 字符識(shí)別

本文方法采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別。BP神經(jīng)網(wǎng)絡(luò)[12]是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層組成，如圖16所示。圖中：w0表示輸入層到隱藏層的權(quán)重，w1表示隱藏層到輸出層的權(quán)重，N、M、P分別表示輸入層、隱藏層和輸出層的神經(jīng)元個(gè)數(shù)。BP神經(jīng)網(wǎng)絡(luò)的工作過程主要分為兩個(gè)階段：第一個(gè)階段信號(hào)正向傳播，從輸入層經(jīng)過隱藏層，最后到達(dá)輸出層；第二個(gè)階段誤差反向傳播，誤差從輸出層通過隱藏層向輸入層反向傳遞，并依次調(diào)節(jié)各層之間的權(quán)重。

圖16 BP神經(jīng)網(wǎng)絡(luò)

對(duì)于訓(xùn)練數(shù)據(jù)樣本Xq，經(jīng)過隱藏層激活函數(shù)作用后輸出hjq為：

(5)

(6)

(7)

正向傳播完成后，得到的預(yù)測(cè)值y′與真實(shí)值y之間存在誤差，選用誤差平方和表示：

(8)

采用梯度下降法，并通過正向傳播和反向誤差傳播不斷更新各層之間的權(quán)重，將誤差降低到最小，權(quán)值修正為：

(9)

式中:ΔW(l)表示第l次訓(xùn)練的權(quán)重；α、η分別表示動(dòng)量系數(shù)和比例系數(shù)。

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)平臺(tái)和數(shù)據(jù)

本文針對(duì)牛奶盒頂部的點(diǎn)陣字符，提出了一種基于改進(jìn)的連通域分割與BP神經(jīng)網(wǎng)絡(luò)相結(jié)合的字符識(shí)別方法。為了驗(yàn)證該方法的性能，本文在VS2015實(shí)驗(yàn)平臺(tái)上聯(lián)合Halcon視覺庫(kù)對(duì)其進(jìn)行仿真實(shí)驗(yàn)。

為了驗(yàn)證本文算法在圖像背景復(fù)雜、字符粘連和字符傾斜等情況下的性能，本文采集了150幅牛奶盒外包裝頂部圖像作為數(shù)據(jù)集。其中，隨機(jī)選取80幅作為訓(xùn)練圖像，70幅作為測(cè)試圖像。每幅圖像共22或23個(gè)字符，其內(nèi)容為生產(chǎn)日期、生產(chǎn)時(shí)間、生產(chǎn)流水號(hào)和產(chǎn)品序號(hào)，由數(shù)字“0-9”，字符“A”“C”和特殊字符“：”組成，一共13個(gè)類別。

3.2 分類器訓(xùn)練

BP神經(jīng)網(wǎng)絡(luò)離線訓(xùn)練分類器過程如下：

1) 訓(xùn)練集準(zhǔn)備。通過采用本文提出的字符分割方法對(duì)80幅訓(xùn)練圖像進(jìn)行處理，得到單個(gè)字符圖像，建立對(duì)應(yīng)的字符標(biāo)簽，生成字符訓(xùn)練文件。

2) 由于本文采用BP神經(jīng)網(wǎng)絡(luò)對(duì)字符進(jìn)行識(shí)別，因此需要對(duì)網(wǎng)絡(luò)中各層的神經(jīng)元個(gè)數(shù)進(jìn)行設(shè)定。在輸入層，本文將字符圖像統(tǒng)一到8×10的大小進(jìn)行輸入，因此輸入層共包含80個(gè)神經(jīng)元。在隱藏層，神經(jīng)元的個(gè)數(shù)一般為輸入層的兩倍，經(jīng)本文實(shí)驗(yàn)驗(yàn)證得將其設(shè)置為180個(gè)時(shí)的效果最好。在輸出層，字符類別決定了神經(jīng)元的個(gè)數(shù)，因此輸出層包含13個(gè)神經(jīng)元。

3.3 粘連字符分割對(duì)比

為了進(jìn)一步驗(yàn)證本文字符分割算法對(duì)粘連字符的有效性，實(shí)驗(yàn)一共測(cè)試了70幅點(diǎn)陣字符圖像，與傳統(tǒng)分割方法進(jìn)行對(duì)比。例如，針對(duì)表1中點(diǎn)陣字符的粘連樣式，文獻(xiàn)[1]采用垂直投影法對(duì)其進(jìn)行處理，在字符間存在空隙的情況下，垂直投影為零，則可以分割字符，但在字符粘連的情況下，垂直投影不為零，則無法進(jìn)行分割。文獻(xiàn)[2]提出一種改進(jìn)的垂直投影法，該方法根據(jù)字符固定寬度對(duì)其進(jìn)行二次分割，有效提高了分割準(zhǔn)確度。文獻(xiàn)[3]采用連通域方法對(duì)其進(jìn)行分割，首先對(duì)不同的連通域進(jìn)行標(biāo)記，然后根據(jù)其坐標(biāo)信息對(duì)字符進(jìn)行分割，但該方法無法區(qū)分同一個(gè)連通域的多個(gè)字符，即無法分割粘連字符。而本文方法在連通域分割的基礎(chǔ)上進(jìn)行了二次分割，可以有效地分割同一行的相鄰粘連字符和不同行的粘連字符，如表1所示。

表1 不同粘連類型分割結(jié)果

本文采用分割準(zhǔn)確性來評(píng)估所提出的字符分割方法，如式(10)所示。實(shí)驗(yàn)結(jié)果如圖17所示，本文算法的分割準(zhǔn)確性達(dá)到了98.64%，明顯優(yōu)于其他三種方法，具有更好的分割效果，可以應(yīng)用于實(shí)際牛奶生產(chǎn)日期字符的分割。

圖17 不同方法間的分割準(zhǔn)確性比較

(10)

3.4 點(diǎn)陣字符識(shí)別準(zhǔn)確率比較

為了驗(yàn)證本文方法的有效性，本文測(cè)試了70幅圖像與文獻(xiàn)[13-15]的方法進(jìn)行對(duì)比，并且采用式(11)對(duì)BP神經(jīng)網(wǎng)絡(luò)的字符識(shí)別準(zhǔn)確性進(jìn)行評(píng)估，實(shí)驗(yàn)結(jié)果如圖18所示。

圖18 不同方法識(shí)別準(zhǔn)確率比較

(11)

文獻(xiàn)[13]提出的基于模板匹配與SVM的點(diǎn)陣字符識(shí)別方法，考慮到了字符的離散性質(zhì)且通過兩次識(shí)別操作保證了識(shí)別結(jié)果的準(zhǔn)確性。文獻(xiàn)[14]結(jié)合網(wǎng)格統(tǒng)計(jì)方法和投影密度法來提取特征向量，然后利用SVM來識(shí)別點(diǎn)陣字符。文獻(xiàn)[15]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)陣字符識(shí)別方法，保留了字符的原始特征。上述方法在字符分割階段未考慮字符的粘連性，而本文提出的基于改進(jìn)的連通域分割與BP神經(jīng)網(wǎng)絡(luò)結(jié)合的字符識(shí)別方法，綜合考慮了圖像背景的復(fù)雜性和點(diǎn)陣字符經(jīng)形態(tài)學(xué)處理后的粘連情況，能準(zhǔn)確快速地定位和分割字符，從而有效地提高了字符識(shí)別準(zhǔn)確率。

4 結(jié) 語(yǔ)

目前大多數(shù)字符識(shí)別方法主要針對(duì)字符背景單一、字符清晰和字符連續(xù)等情況，沒有考慮到點(diǎn)陣字符的不連續(xù)性、圖像背景復(fù)雜性及字符的粘連性等問題。針對(duì)上述問題，本文提出的基于改進(jìn)連通域分割與BP神經(jīng)網(wǎng)絡(luò)結(jié)合的點(diǎn)陣字符識(shí)別方法通過數(shù)學(xué)形態(tài)學(xué)定位點(diǎn)陣字符區(qū)域，有效地去除了干擾區(qū)域，然后基于連通域的最小外接矩形對(duì)粘連字符進(jìn)行二次分割，得到較為完整的單個(gè)字符。與傳統(tǒng)分割方法相比，本文字符分割方法的準(zhǔn)確性提高了7百分點(diǎn)以上。最后將分割好的單個(gè)字符輸入到BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率達(dá)到了98.03%，每幅圖像識(shí)別平均耗時(shí)大約為220 ms，可快速地對(duì)點(diǎn)陣字符進(jìn)行識(shí)別。