基于iPhone手機的數(shù)字碼實時識別與應用*

?

基于iPhone手機的數(shù)字碼實時識別與應用*

通信地址：102249 北京市中國石油大學地球物理與信息工程學院Address:College of Geophysics and Information Engineering,China University of Petroleum,Beijing 102249,P.R.China

成一功1,2，李國和1,2,3，林仁杰1,2，何云1,2，吳衛(wèi)江1,2,3，洪云峰3，周曉明3

(1.中國石油大學(北京)地球物理與信息工程學院，北京 102249；

2.中國石油大學(北京)油氣數(shù)據(jù)挖掘北京市重點實驗室，北京 102249；

3.石大兆信數(shù)字身份管理與物聯(lián)網(wǎng)技術研究院，北京 100029)

摘要：根據(jù)蘋果手機拍攝防偽標簽數(shù)字實時識別的需要，針對防偽數(shù)字字號較小的因素和蘋果手機因拍攝距離的原因造成的圖像縮小、數(shù)字模糊、背景復雜等問題進行處理，提高識別精度。首先通過人工選取數(shù)字碼區(qū)域，并進行背景數(shù)字分離，定位獲取數(shù)字圖像；其次采用灰度化和二值化得到黑白圖像；然后通過投影對數(shù)字碼圖像進行分割，并對每個數(shù)字圖像進行歸一化、銳化和細化；基于統(tǒng)計學抽取數(shù)字碼的特征，采用最近鄰域判別函數(shù)進行數(shù)字碼識別，取得很好的識別效果。

關鍵詞：數(shù)字碼標簽；圖像處理；數(shù)字碼識別；iPhone手機

1引言

通過手機拍照識別條形碼、二維碼已廣泛應用，而通過手機進行其他類型的識別并未普及。同時，由于數(shù)字碼標簽有著成本低、人易讀取等優(yōu)點，所以在產(chǎn)品溯源、真?zhèn)尾樵儭⒂歇勪N售等領域還大量存在并使用。這些數(shù)字碼標簽形狀各異，但數(shù)字碼一般為七號字左右的黑體。數(shù)字碼標簽由圖案區(qū)域和數(shù)字碼區(qū)域構(gòu)成。數(shù)字碼有單排和多排排列形式。有別于面向機器識別的條形碼和二維碼，數(shù)字碼標簽是面向人識別的，因此研發(fā)手機拍照識別數(shù)字碼標簽系統(tǒng)，可方便消費者提交數(shù)字碼驗證。

常見的Android智能手機對數(shù)字碼標簽進行拍照時聚焦只需5 cm左右，而且圖像較為清晰(如圖1所示，在6.5 cm高度下的拍攝，參與對比實驗的手機包括iPhone4、iPhone4s、iPhone5、iPhone5s、iTouch5和三星Note4、三星Note3、三星S3、華為P1、小米1、小米2)，而iPhone手機則需要在7~8 cm才可聚焦，此外iPhone手機獲取的標簽圖像有以下特點：(1)圖像復雜，數(shù)字區(qū)域難以定位；(2)圖像質(zhì)量差，亮度不均勻；(3)圖像分辨率低，數(shù)字太小等。而成熟的識別方法大部分側(cè)重于提高識別率，降低算法復雜度，對圖像質(zhì)量要求高，難于直接應用于手機圖像識別。針對這一問題，本文綜合應用和改進多種圖像處理方法，實現(xiàn)iPhone手機對數(shù)字碼標簽的快速識別[1]。

Figure 1　Pictures taken by iPhone and Android mobile phones圖1　iPhone手機與Android手機拍攝

2圖像預處理

手機數(shù)字碼識別過程包括手機攝像、圖像預處理和數(shù)字識別(如圖2所示)。圖像預處理還包括數(shù)字區(qū)域定位、圖像二值化、數(shù)字分割、數(shù)字細化和特征提取[2,3]。

Figure 2　Digital recognition process圖2 數(shù)字識別流程

2.1　圖像灰度化和二值化

局部閾值二值化Niblack算法根據(jù)區(qū)域灰度分布特性自適應調(diào)節(jié)閾值，有效抑制噪聲和不均勻光照[4]。假設點p為(x，y)，N為常數(shù)，那么在N×N大小的點p鄰域范圍內(nèi)，由所有像素的灰度值確定每個點的灰度閾值T(x，y)：

其中，m(x，y)和s(x，y)分別為點p的N×N鄰域的灰度平均值和標準差。

對點p的二值化為：

其中，f(x，y)為點p的灰度值。

2.2　圖像數(shù)字區(qū)域定位和裁剪

由于防偽標簽的復雜性，通過采用定位并裁剪獲取數(shù)字區(qū)域，以交互方式在手機上涂抹截取圖像，定位到可能帶有邊界噪聲的數(shù)字區(qū)域，因此需要去除邊界噪聲截取數(shù)字區(qū)域。方法如下：

設w、h分別為圖像的寬W和高H的1/10，用w*h大小的矩形方框以較小的步長(不超過方框邊長)移動并尋找坐標。

步驟1從左上角開始，w*h矩形方框從左向右移動，移動距離為w/10(過程如圖3a所示)。

步驟2從左上角開始，w*h矩形方框從上向下移動，移動距離為h/10。

步驟3如果w*h矩形方框內(nèi)的黑色像素小于ε，則得到數(shù)字區(qū)域的左上角坐標(x，y)，如果不是，則返回步驟1。其中，ε為閾值，為了保證獲得的數(shù)字區(qū)域沒有邊界噪聲，盡可能使w*h矩形框內(nèi)黑色像素最少，這里取ε=5。用相同方法獲得右下角的坐標，就可以得到完整的數(shù)字區(qū)域(結(jié)果如圖3b所示)。

Figure 3　Location and cut result圖3　定位與裁剪

2.3　圖像銳化

iPhone手機在近距離對焦和拍攝清晰度低，數(shù)字字號較小，使圖像更加模糊。此外，在圖像中數(shù)字所占像素少，而且灰度化和二值化不均勻，銳化后導致數(shù)字局部缺失和數(shù)字輪廓有粗有細。因此，圖像預處理過程中加入圖像銳化，可補償圖像輪廓、突出圖像邊緣，使圖像更為清晰[5,6]，尤其對于6、9、5等強化缺口邊緣。f(x，y)在點p處梯度矢量為：

梯度方向的幅度G(x，y)為：

上式按差分運算近似的梯度幅度：

采用絕對差算法近似為：

(1)

設定一個閾值T∈[0,50]，建立e(x，y)來包含圖像的主要輪廓和邊緣的梯度幅值：

得到e(x，y),結(jié)合公式(1)，得到后圖像的灰度值f(x，y)為：

對圖像任一點p，若e(x，y)>0，則邊緣較粗，對該像素進行銳化，其中常數(shù)C∈[0,1]使邊緣變亮；若e(x，y)=0，則邊緣較細，不需銳化，像素值不變。通過多次測試，對比圖像結(jié)果和識別結(jié)果，可設置本文程序中銳化閾值T=30，常數(shù)C=0.5 (對比結(jié)果如圖4所示) 。

Figure 4　Comparison before and after sharpening圖4　銳化前后對比

2.4　數(shù)字圖像分割

為了加強容噪能力和提高分割準確性，數(shù)字圖像分割采用像素統(tǒng)計和歸一化處理。圖像二值化后，設：

像素統(tǒng)計為：

像素統(tǒng)計歸一化：

其中，vm=max{Px(x)|x∈[0,w]}。

根據(jù)像素統(tǒng)計歸一化(如圖5所示)，數(shù)字圖像分割點集為：

其中，〈x2i，x2i+1〉為第i個數(shù)字圖像的起始坐標和終止坐標。

Figure 5　Digital projection areas圖5　數(shù)字區(qū)域投影

2.5　數(shù)字細化

通過數(shù)字細化，保持數(shù)字拓撲結(jié)構(gòu)，并將線條寬度轉(zhuǎn)換為單個像素(以數(shù)字3為例，結(jié)果如圖6所示)。新圖像由兩遍掃描原圖像得到[7]。第一遍按列掃描，自左向右，細化橫線的寬度，其像素點為：

第二遍按行掃描，自上而下，細化縱線的寬度，其像素點為：

Figure 6　Feature extraction圖6　特征提取

2.6　數(shù)字圖像歸一化

通過歸一化處理，使不同尺寸的數(shù)字圖像為相同尺寸。設(i，j)為規(guī)范化后圖像的像素f′(i，j)(i=1,2,…,h′；j=1,2,…,w′)，原始圖像中點(x，y)在新圖像中坐標(i，j)的關系式為：

i=x×h/h′

j=y×w/w′

其中，w′和h′分別為新圖像的寬和高。

3特征提取與識別

3.1　特征提取

根據(jù)特征向量的模板匹配法，結(jié)合統(tǒng)計學和字形拓撲結(jié)構(gòu)，提取特征值a1a2…a9h1h2v1v2。數(shù)字字符圖像均勻地分成九個區(qū)域(如圖6所示)，其中ai(i=1,2,…,9)為單位面積的黑色像素數(shù)，即面特征。h1、h2分別為上下水平線單位長度的黑色像素數(shù)，v1、v2分別為左右垂直線單位長度的黑色像素數(shù)，即線特征[8]。

3.2　數(shù)字匹配識別

根據(jù)數(shù)字圖像特征提取方法，建立10個數(shù)字模式特征向量pi(其中i=0,1,…,9)。對于任一數(shù)字特征向量D進行相似性計算，采用最近鄰域判別法：

其中，Sim為相似性函數(shù)，n為識別的數(shù)字[9]。

由于在識別中特征向量的各分量重要性不同，采用分量加權設計相似性函數(shù)Sim：

其中，γ、μ為面積特征和線性特征的權重，且γ+μ=1。api、adi、hpi、hdi、vpi、vdi分別為數(shù)字模式p和數(shù)字數(shù)據(jù)D的第i個面特征、水平線特征和垂直線特征。

3.3　二級匹配識別

不同于身份證數(shù)字，光照、噪聲、數(shù)字小等導致灰度化、二值化、細化等處理后，提取數(shù)字特征向量很接近，如6、9、8和6、5等引起誤判，為此采用二級識別，將數(shù)字進一步分割。例如，對于識別結(jié)果n∈[5,6]，數(shù)字5左下方的缺口進行第二次劃分來統(tǒng)計缺口大小，然后和數(shù)字6進行對比識別；對于識別結(jié)果n∈[6,9,8]，對含n的數(shù)字圖片進行“十”字線劃分，并形成a1、a2、a3、a4依次為左上、右上、左下、右下單位面積黑色像素數(shù)，對n進行以下判斷：

elsen=6；

4基于iOS的數(shù)字碼識別實現(xiàn)

iOS是iPhone等產(chǎn)品的移動操作系統(tǒng)，其以Darwin為基礎，屬于類Unix的商業(yè)操作系統(tǒng)，支持C語言、C++、Objective-C。本文軟件為C和OC兩種語言的混編，可由企業(yè)或個人上傳給蘋果公司，審核通過后，即可在App Store上下載安裝。

4.1　數(shù)字識別系統(tǒng)框架

IOS圖像處理主要涉及類:ImagePickerController(攝像頭類)、UIImage(圖片類)、UIImageView(圖片加載控件)、UIView(窗口類)、UIBezierPath(線段類)、CGPoint(點類)等；還包括自定義MainActivity(界面繪制類)、GetRect(數(shù)字區(qū)域定位類)、RGBToGray(圖像灰度化)、GrayToBW(圖像二值化類)、Sharpening(圖像銳化類)、NumberCut(數(shù)字圖像分割類)、NumThining(數(shù)字細化類)、NumOne(數(shù)字歸一化類)、DetectFeature(特征提取類)和CompFeature(對比特征類)[10](調(diào)用關系如圖7所示)。

Figure 7　Digital recognition system圖7　數(shù)字識別系統(tǒng)

4.2　數(shù)字識別系統(tǒng)實現(xiàn)流程

(1)數(shù)字模式構(gòu)建。

①編輯數(shù)字圖像文件：用圖像編輯軟件建立0~9標準印刷體數(shù)字模板圖片文件。

②建立數(shù)字模式特征矩陣：系統(tǒng)運行時，將以上提取的數(shù)字模板圖片通過調(diào)用DetectFeature讀取數(shù)字信息，并依次提取每個數(shù)字模板的特征向量，以矩陣形式存儲為數(shù)字模式特征向量。

③插入數(shù)字模板特征矩陣：將得到的數(shù)字特征矩陣放到ComFeature中，作為以后識別對比的標準模板。

(2)數(shù)字碼識別。

①拍照：圖像數(shù)據(jù)通過手機攝像頭自動對焦，通過ImagePickerController進行拍攝獲取，獲取的圖像數(shù)據(jù)為以UIImage的形式存儲并信息傳遞給UIImageView顯示。

②數(shù)字區(qū)定位與分割：在UIImageView的UIImage上通過UIBezierPath方法分別在屏幕上畫取路徑，得到路徑范圍內(nèi)的矩形區(qū)域，通過CGPoint定位出數(shù)字區(qū)域并截取該矩形區(qū)，然后定位結(jié)果以UIImage的形式返回UIImageView中顯示。

③圖像灰度化二值化：將UIImage圖像傳遞給RGBToGray，通過CreatRGBBitmapContext方法獲得UIImage中RGB信息，進行灰度化處理，傳遞給GrayToBW二值化處理，并將二值化結(jié)果以矩陣的形式傳遞給GetRect。

④數(shù)字區(qū)域分割：通過GetRect實現(xiàn)數(shù)字區(qū)域定位并進行數(shù)字區(qū)域分割，把得到的數(shù)字圖像矩陣傳遞到Sharpening。

⑤數(shù)字圖像銳化：Sharpening得到數(shù)字圖像矩陣，對里面的每一個像素點進行黑白分析對比，重新對像素點進行黑白賦值，然后將新生成的數(shù)字圖像矩陣傳遞給NumberCut。

⑥數(shù)字圖像分割：NumberCut接收數(shù)字圖像的矩陣，并先橫向再縱向依次分割，并以數(shù)組ArrayList形式傳遞給NumThining。

⑦數(shù)字細化和歸一化：將存儲在數(shù)組ArrayList的單個數(shù)字圖像傳遞給NumThining，依次對單個數(shù)字圖像進行細化處理，然后在NumOne中將數(shù)字歸一到統(tǒng)一大小，并以數(shù)組形式傳遞給DetectFeature。

⑧特征向量提取：DetectFeature從接收到細化后單字圖像數(shù)組，依次對每個單字圖像進行特征向量提取，并將特征向量以數(shù)組形式傳遞給CompFeature。

⑨數(shù)字識別：每一個數(shù)字的特征向量在CompFeature中與之前寫入的模板矩陣對比，通過最鄰近判別方法進行匹配，識別結(jié)果以NSString的形式傳遞給MainActivity，并通過UILabel控件顯示在手機界面中。

5應用效果

測試環(huán)境為iPhone5S，處理器型號為Apple A7 64位(雙核)，CPU主頻1.3 GHz，內(nèi)存1 GB，系統(tǒng)為IOS7.0，攝像頭為800萬像素，支持自動對焦，主屏4.0英寸，分辨率為1136×640像素。

(1)打印數(shù)字碼識別。

在標準打印紙上，隨機打印四組不同字號的數(shù)字碼樣本進行識別測試。測試時，將手機攝像頭置于正上方，無傾斜對準數(shù)字碼，待攝像頭自動對焦清楚后按下識別按鈕，整個識別過程在2 s內(nèi)完成。測試結(jié)果如表1所示(每張數(shù)字碼樣本中有10個數(shù)字，部分含有空格)。

Table 1　Test results of sample identification for

(2)數(shù)字碼標簽識別。

用于真實數(shù)字碼標簽識別時，將手機攝像頭置于正上方，無傾斜對準數(shù)字碼標簽，使數(shù)字碼標簽放在掃描框內(nèi)，待攝像頭自動對焦清楚后按下識別按鈕，整個識別過程在1 s左右完成(如圖8所示，左圖為拍照后在屏幕上人工劃線定位，右圖為定位后直接識別得到結(jié)果)。選取50張不同形狀、大小、背景的數(shù)字碼標簽樣本進行測試，測試結(jié)果如表2所示(每張標簽中有16個數(shù)字)。

Figure 8　Screenshots of the application process 圖8　程序過程截圖

從表2看出數(shù)字碼標簽的識別正確率達到94.25%。實驗結(jié)果表明，識別結(jié)果與數(shù)字碼標簽的形狀大小、數(shù)字碼排數(shù)、數(shù)字碼顏色無關，而且圖像預處理中加入圖像銳化后，圖像得到優(yōu)化，提高了識別精度，正確率達到97%，很好地解決了手機拍攝數(shù)字碼標簽實時識別問題。

Table 2　Recognition test results of digital code labels

(3)應用分析說明。

在實際應用中，真實數(shù)字碼標簽較打印數(shù)字碼標簽存在背景復雜、噪聲較多(涂層沒刮干凈)、標簽表面反光等因素，而打印數(shù)字字符采用沒有反光的打印紙，因此真實彩印標簽數(shù)字字符識別正確率低于打印數(shù)字字符識別正確率。

6結(jié)束語

智能手機逐步成為功能強大的可移動終端設備。智能手機的實時拍攝與圖像識別是其交互與識別的重要應用領域之一。數(shù)字防偽標簽在商品流通和防偽領域得到廣泛的應用，根據(jù)iPhone手機拍攝標簽數(shù)字碼實時識別的需要，針對拍攝圖像分辨率低、亮度不均勻、圖像模糊等特點，研發(fā)手機數(shù)字碼標簽識別系統(tǒng)。目前，條形碼、二維碼已相當流行，這些碼是面向機器識別的，在應用上充分考慮到符號的特點，采用規(guī)范標準化幾何特征的編碼和定位圖形，確保了識別的效率和精度。而市面上大量存在的數(shù)字碼是面向人識別的，主要利用數(shù)字的拓撲特征，使得機器識別難度較大。此外，除了噪聲(涂層沒刮干凈等)外，手機拍照識別還受到傾斜、旋轉(zhuǎn)、變形等影響，而且數(shù)字字號的降低也會影響識別的精度，這些都是提高手機實時識別率要進一步研究的重要內(nèi)容。

參考文獻:附中文

[1]Zhou Ze-hua, Hu Xue-you, Tan Min, et al. A method based on BP neural network to realize printed numeric character diagnosis[J]. Automation & Instrumentation, 2009(5)：110-112.(in Chinese)

[2]He Song,Qi Jian-yu. Handwritten digit recognition based on the improved BP neural network[J]. Computer Science,2011,38(10A):204-205.(in Chinese)

[3]Zhang Wei,Wang Ke-jian,Qin Zhen. Digital recognition research based on neural network [J]. Microelectronics & Computer,2006,23(8):206-208.(in Chinese)

[4]Tong Li-jing,Zhang Yan,Shu Wei,et al. The comparison and analysis of several kinds of binarization methods of the document image[J].Journal of North China University of Technology,2011,23(1):25-33. (in Chinese)

[5]Du Zhao-bin,Luo Xiao-hui. Image sharpening algorithm of adaptive template [J]. Engineering Geology Computer Application, 2007(3)：21-24.(in Chinese)

[6]Zeng Jia-liang. Image sharpening algorithm based on edge detection[J].Modern Electronics Technique,2006,29(12)：90-91.(in Chinese)

[7]Mei Yuan, Sun Huai-jiang, Xia De-shen. An image fast thinning algorithm based on improved template[J].Journal of Image and Graphics, 2006(9)：1306-1311.(in Chinese)

[8]Chen Ai-bin,Lu Li-na. Printed digit recognition based on the characteristics[J]. Computing Technology and Automation,2011,30(3):105-108.(in Chinese)

[9]Chen Wei,Cao Zhi-guang,Li Jian-ping. Improved template matching method in the application of license plate recognition [J]. Computer Engineering and Design,2013,34(5):1808-1811.(in Chinese)

[10]Xu Ling,Jiang Xin-zhi,Zhang Jie. The design and implementation of QR code identification system on mobile [J]. Journal of Computer Applications,2012,32(5):1474-1476.(in Chinese)

[1]周澤華,胡學友,譚敏,等.基于神經(jīng)網(wǎng)絡的印刷體數(shù)字字符的識別[J].自動化與儀器儀表,2009(5)：110-112.

[2]何松,戚建宇. 基于改進BP神經(jīng)網(wǎng)絡的手寫體數(shù)字識別[J]. 計算機科學,2011,38(10A):204-205.

[3]張偉,王克儉,秦臻. 基于神經(jīng)網(wǎng)絡的數(shù)字識別的研究[J]. 微電子學與計算機,2006,23(8):206-208.

[4]童立靖,張艷,舒巍,等. 幾種文本圖像二值化方法的對比分析[J]. 北方工業(yè)大學學報,2011,23(1):25-33.

[5]杜召彬,羅曉暉.自適應模板的圖像銳化算法[J]. 工程地質(zhì)計算機應用,2007(3)：21-24.

[6]曾嘉亮.基于邊緣檢測的圖像銳化算法[J]. 現(xiàn)代電子技術, 2006,29(12)：90-91.

[7]梅園,孫懷江,夏德深.一種基于改進后模板的圖像快速細化算法[J]. 中國圖象圖形學報, 2006(9)：1306-1311.

[8]陳愛斌,陸麗娜. 基于多特征的印刷體數(shù)字識別[J]. 計算技術與自動化,2011,30(3):105-108.

[9]陳瑋,曹志廣,李劍平. 改進的模板匹配方法在車牌識別中的應用[J]. 計算機工程與設計,2013,34(5):1808-1811.

[10]徐玲,蔣欣志,張杰.手機二維碼識別系統(tǒng)的設計與實現(xiàn)[J]. 計算機應用,2012,32(5):1474-1476.

成一功(1989-),男，山東德州人，碩士生，研究方向為知識發(fā)現(xiàn)。E-mail:cygsam@126.com

CHENG Yi-gong,born in 1989,MS candidate,his research interest includes knowledge discovery.

Recognition of printed-numerical codes and its application based on iPhones

CHENG Yi-gong1,2,LI Guo-he1,2,3,LIN Ren-jie1,2,HE Yun1,2,

WU Wei-jiang1,2,3,HONG Yun-feng3,ZHOU Xiao-ming3

(1.College of Geophysics and Information Engineering,China University of Petroleum,Beijing 102249;

2.Beijing Key Lab of Data Mining for Petroleum Data,China University of Petroleum,Beijing 102249;

3.PanPass Institute of Digital Identification Management and Internet of Things,Beijing 100029,China)

Abstract:To meet the need of real-time shoot and identification of numerical codes printed on goods labels, due to the small size of numerical codes and the small, fuzzy, complex images taken by iPhones from long distance, we propose a series of image processing to improve the recognition accuracy. First, we choose numerical regions manually, and then separate numerical codes from the background, thus obtaining a numerical image. Then the numerical image is transformed to a white-black one by graying and binaryzation. Each numerical code image is segmented by projection method, and then they are normalized, sharpened, and thinned. We finally adopt the nearest neighbor method to recognize the numerical codes based on the extracted statistical features. Experimental results prove the high recognition accuracy.

Key words:numerical code label;image processing;numeral recognition;iPhone

作者簡介:

doi:10.3969/j.issn.1007-130X.2015.12.031

中圖分類號：TP391.4

文獻標志碼：A

基金項目：國家高新技術研究發(fā)展計劃資助項目(2009AA062802)；國家自然科學基金資助項目(60473125)；中國石油(CNPC)石油科技中青年創(chuàng)新基金資助項目(05E7013)；國家重大專項子課題資助項目(G5800-08-ZS-WX)

收稿日期：修回日期：2015-03-12

文章編號：1007-130X(2015)12-2399-06