柱面噴碼字符的自動(dòng)識(shí)別算法

王學(xué)華，王華龍，馬凡杰，李安翼，劉蘇

武漢工程大學(xué)材料科學(xué)與工程學(xué)院，湖北 武漢 430074

柱面噴碼字符的自動(dòng)識(shí)別算法

王學(xué)華，王華龍，馬凡杰，李安翼，劉蘇

武漢工程大學(xué)材料科學(xué)與工程學(xué)院，湖北 武漢 430074

在大規(guī)模工業(yè)生產(chǎn)過程中，幾乎所有產(chǎn)品表面都會(huì)負(fù)載產(chǎn)品標(biāo)示的字符信息.采取字符識(shí)別的方式對(duì)產(chǎn)品信息進(jìn)行自動(dòng)采集及判別在產(chǎn)品的整個(gè)生命周期中起著重要作用，因此滿足工業(yè)現(xiàn)場(chǎng)工況要求的字符識(shí)別系統(tǒng)必須具備識(shí)別速度快，辨識(shí)效率高、魯棒性好的特點(diǎn).基于機(jī)器視覺平臺(tái)MVTec HALCON，結(jié)合高級(jí)語言編程，設(shè)計(jì)和開發(fā)了銅環(huán)產(chǎn)品柱面噴碼信息的自動(dòng)采集及在線識(shí)別系統(tǒng)，包含物料輸送、圖像采集、信息判斷及分揀，解決了工業(yè)銅環(huán)柱面不規(guī)則排列字符、扭曲變形字符和模糊字符信息的圖像處理和OCR（Optical Character Recognition）字符識(shí)別問題.運(yùn)行結(jié)果表明不規(guī)則字符信息一次識(shí)別率達(dá)到99%以上，實(shí)現(xiàn)了銅環(huán)產(chǎn)品的生產(chǎn)與檢測(cè)過程一體化.

字符識(shí)別；HALCON；圖像處理；字符圖像分割

0 引言

在工業(yè)生產(chǎn)中，許多產(chǎn)品上都記錄著大量與產(chǎn)品相關(guān)的信息，如產(chǎn)品的質(zhì)量精度、批次號(hào)、生產(chǎn)地、生產(chǎn)商等，這些信息有的用壓鑄或印刷噴碼直接刻印到產(chǎn)品表面上去，不同的產(chǎn)品、不同的工藝流程及制造會(huì)造成刻印的文字信息不同，因此采取的識(shí)別方式也不同，如二維碼掃描、條碼掃描、字符識(shí)別等.其中字符信息由于工藝、字體、磨損等原因會(huì)出現(xiàn)字符模糊、破損、扭曲變形等缺陷，造成識(shí)別難度大，準(zhǔn)確率不高.因此開發(fā)快速準(zhǔn)確、辨別率高、魯棒性好的字符識(shí)別產(chǎn)品信息采集系統(tǒng)具有非常重要的理論價(jià)值和工程應(yīng)用價(jià)值［1］.

隨著制造過程自動(dòng)化及計(jì)算機(jī)技術(shù)在產(chǎn)品制造過程中的迅速普及，機(jī)器視覺也越來越多的貫穿到產(chǎn)品的整個(gè)生命周期，特別是制造過程和管理過程的監(jiān)控.MVTec HALCON是德國MVTec Software Gmbh公司開發(fā)的專門用于圖像處理的軟件，具有功能強(qiáng)大的視覺處理函數(shù)庫，包含了所有標(biāo)準(zhǔn)和高級(jí)的圖像處理算法，覆蓋了從不同的硬件圖像采集到高級(jí)的模式匹配算法［2］.黃劍航等人［3］采用HALCON中極坐標(biāo)變換算子將圓弧形排列的字符變換成直線排列字符，實(shí)現(xiàn)了圓環(huán)平面區(qū)域內(nèi)字符的識(shí)別，識(shí)別率高達(dá)96%.

由于柱面噴碼容易呈現(xiàn)不規(guī)則和扭曲變形字符，識(shí)別難度較大.本文采用HALCON機(jī)器視覺系統(tǒng)中的中值濾波算子，結(jié)合高級(jí)語言開發(fā)了銅環(huán)圓面不規(guī)則字符的圖像處理及OCR字符識(shí)別系統(tǒng)，實(shí)現(xiàn)了柱面不規(guī)則排列字符的在線自動(dòng)識(shí)別.

1 系統(tǒng)設(shè)計(jì)

工業(yè)銅環(huán)信息自動(dòng)采集檢測(cè)系統(tǒng)需要將生產(chǎn)線上銅環(huán)柱面已經(jīng)噴碼好的字符信息采集和識(shí)別.在采集的過程中，需要根據(jù)表面字符信息的不同對(duì)銅環(huán)產(chǎn)品進(jìn)行產(chǎn)品分類，對(duì)于字符信息存在缺漏或完全無法識(shí)別的產(chǎn)品進(jìn)行剔除.整個(gè)采集檢測(cè)系統(tǒng)包含配光系統(tǒng)、采集平臺(tái)、傳感器、圖像采集及處理、自動(dòng)送件和分揀機(jī)構(gòu)等，總體結(jié)構(gòu)圖如圖1所示.

2 圖像處理

在上述系統(tǒng)中通過工業(yè)相機(jī)獲取字符區(qū)域的原始圖像，在對(duì)其進(jìn)行光學(xué)字符識(shí)別（OCR）.識(shí)別字符圖像包含兩個(gè)關(guān)鍵任務(wù)：一是將圖像中單個(gè)字符分割，二是將分割出來的單個(gè)字符進(jìn)行分類.在分類時(shí)要為分割得到的區(qū)域分配一個(gè)符號(hào)標(biāo)記，再通過BP（Back Propagation）三層神經(jīng)網(wǎng)絡(luò)分配器進(jìn)行字符識(shí)別［3］.OCR識(shí)別的主要步驟為圖像采集，處理圖像，OCR字符識(shí)別和結(jié)果顯示.

圖1 系統(tǒng)總體結(jié)構(gòu)圖Flg.1O verall structural diagram of the acquisition system

2.1 圖像采集

圖像采集設(shè)備采用以太網(wǎng)數(shù)字信號(hào)CMOS相機(jī)（方誠FC－IU030M－30相機(jī)，配備鏡頭），如圖2（a）所示的光源采用正面明場(chǎng)同軸漫反射LED環(huán)形白光光源，防止產(chǎn)生陰影，減少或防止鏡面反射，使字符圖像對(duì)比度增強(qiáng)［4］.在HALCON軟件平臺(tái)上采用open＿framegrabber算子連接相機(jī)，使用grab＿image＿start算子采集圖像，結(jié)果如圖2（b）所示.

圖2 照明系統(tǒng)示意圖及獲取的原始圖像Fig.2 Lighting schematic and raw image acquisited

2.2 處理圖像

將采集得到的圖像要經(jīng)過處理，以便得到字符輪廓，再進(jìn)行識(shí)別，包括獲取OCR字符區(qū)域、OCR字符閾值分割、OCR字符區(qū)域排序.因?yàn)殂~環(huán)產(chǎn)品上面的噴碼是印刷在圓柱面上，攝像機(jī)只是采集到的面陣圖像，各字符區(qū)域間存在連通且布局稍有變形，因此對(duì)這些連通區(qū)域要進(jìn)行圖像分割，將變形的區(qū)域進(jìn)行校正，再提取圖像中的目標(biāo)區(qū)域.

2.2.1 獲取OCR字符區(qū)域每幅圖像都包含某種程度的噪聲，必須通過圖像平滑、均值濾波處理進(jìn)行抑制.常用的降噪方法就是采集同一場(chǎng)景的多幅圖像并對(duì)這些圖像進(jìn)行平均，計(jì)算公式如式（1）.

式（1）中g(shù)?r，c；i代表第i幅圖像位置（r，c）處的灰度值，計(jì)算得到的圖像為時(shí)域平均圖像.實(shí)際情況下，希望在僅僅一幅圖像上就可以對(duì)灰度值真值進(jìn)行估計(jì)，可以大大提高圖像采集效率.式（2）提供了一種空間平均操作的方法，即均值濾波［5］，它通過估算像素為（2n＋1）×（2m＋1）窗口內(nèi)的像素真值，再用原始圖像與之求差達(dá)到降噪的目的.

HALCON中選擇目標(biāo)區(qū)域并提取字符輪廓的具體步驟操作如下：

a．采用HALCON的decompose3（R、G、B）算子將采集得到的圖像分成紅（R）、綠（G）、藍(lán)（B）三個(gè)單通道圖像，如圖3（a）、3（b）、3（c）所示.

圖3 R、G、B單通道圖像Fig.3 R、G and B single channel images

b．調(diào)用HALCON的gen＿rectangle1算子函數(shù)提取目標(biāo)區(qū)域ROI＿0，再用mean＿image算子對(duì)圖像做均值濾波降噪處理，得到的圖像如圖4（a）所示.

c．調(diào)用HALCON的sub＿image（Mult，Add：）算子對(duì)前兩幅圖像做減法，調(diào)整參數(shù)得到的清晰圖像如圖4（b）所示.

d．調(diào)用HALCON的reduce＿domain算子截取目標(biāo)區(qū)域圖像，如圖4（c）所示.

圖4 OCR字符區(qū)域的獲取Fig.4 Character region acquisition of OCR

2.2.2 OCR字符閾值分割為了得到更加清晰醒目的OCR字符輪廓，因此我們需要調(diào)節(jié)ROI＿0圖灰度值，進(jìn)行閾值分割及形態(tài)學(xué)處理［6］.圖像閾值分割是基于圖像灰度值自身的，只要被分割的物體與背景之間存在非常明顯的灰度差時(shí)，都能使用閾值分割.閾值分割操作定義為如式（3）所示的形式.

式（3）中R表示輸入圖像fr，c灰度值在（gmin，gmax）的集合，閾值分割時(shí)將圖像ROI＿0內(nèi)灰度值處于某一指定灰度值范圍（0，2b－1）內(nèi)的全部點(diǎn)選到輸出區(qū)域S中，其中b為位深，起閾值調(diào)節(jié)作用.閾值分割后，必須調(diào)整區(qū)域的形狀以獲取預(yù)期的結(jié)果，所有的區(qū)域形態(tài)學(xué)處理根據(jù)并集、交集、差集、補(bǔ)集、平移和轉(zhuǎn)置操作來定義［7］.

在HALCON里面調(diào)用threshold算子或者直接在灰度直方圖中對(duì)ROI＿0圖進(jìn)行調(diào)整，再調(diào)用dilation＿rectangle1算子對(duì)ROI＿0圖進(jìn)行形態(tài)學(xué)膨脹處理，后調(diào)用connection算子計(jì)算區(qū)域的連通域.本文中當(dāng)gmin＝0，gmax＝70時(shí)，ROI＿0圖經(jīng)過形態(tài)學(xué)處理后得到的圖像如圖5所示，合理的閾值范圍能夠提取較清晰的字符輪廓.

圖5 提取的目標(biāo)字符輪廓Fig.5 Obtained outline of character objects

圖6 目標(biāo)區(qū)域進(jìn)行膨脹腐蝕、分割排序后的結(jié)果Fig.6 Result of character objects after dilation，erosion，segmentation and sorting operations

2.2.3 OCR字符區(qū)域排序?yàn)榱朔奖愫罄m(xù)的字符識(shí)別，需要將字符區(qū)域排序，首先調(diào)用gen＿empty＿obj算子創(chuàng)建一個(gè)空對(duì)象，通過循環(huán)搜索學(xué)習(xí)得到需要的字符，之后調(diào)用select＿obj算子選擇字符對(duì)象，再調(diào)intersection算子將要學(xué)習(xí)的字符返回給對(duì)象.在這里還需要進(jìn)行字符分割，調(diào)用connection和partition＿rectangle算子對(duì)圖像膨脹腐蝕，以便得到更加清晰的字符區(qū)域，再調(diào)用sort＿region算子將區(qū)域字符進(jìn)行排列，再次對(duì)字符區(qū)域進(jìn)行形態(tài)學(xué)字符分割，調(diào)用concat＿obj算子對(duì)區(qū)域進(jìn)行圖像膨脹，將獨(dú)立區(qū)域連成一個(gè)整體區(qū)域，經(jīng)過圖像處理后得到的圖像如圖6所示.

2.3 OCR字符識(shí)別

OCR字符識(shí)別是利用BP（Back propagation）三層神經(jīng)網(wǎng)絡(luò)將采集得到的圖像經(jīng)圖像處理后與HALCON軟件系統(tǒng)中自帶的字體模板進(jìn)行分類匹配，自行判斷識(shí)別，然后輸出識(shí)別內(nèi)容.本文中調(diào)用了算子read＿ocr＿class＿mlp分類器，再調(diào)用do＿ocr＿multi＿class＿mlp算子將處理后的字符輪廓與HALCON軟件字符庫自行逐個(gè)匹配識(shí)別，并返回結(jié)果和置信度.

經(jīng)過圖像處理、OCR字符識(shí)別之后，調(diào)用area＿center算子對(duì)字符區(qū)域做行和列的坐標(biāo)計(jì)算，再利用循環(huán)將do＿ocr＿multi＿class＿mlp算子得到的字符串顯示在窗口上，結(jié)果如圖7所示.

圖7 OCR識(shí)別結(jié)果顯示Fig.7 OCR recognition results shown in original image

3 結(jié)語

采用HALCON的圖像處理算子結(jié)合高級(jí)語言開發(fā)了柱面噴碼字符自動(dòng)識(shí)別算法，實(shí)現(xiàn)了流水線上銅環(huán)柱面不規(guī)則噴碼信息的連續(xù)自動(dòng)采集及判別，運(yùn)行結(jié)果表明采用均值濾波算法結(jié)合圖像分割技術(shù)可以有效處理模糊及形狀不規(guī)則字符的識(shí)別問題，一次識(shí)別率可到99%以上，該系統(tǒng)已成功應(yīng)用于銅環(huán)制造生產(chǎn)線，避免了人工采集效率低、容易疲勞導(dǎo)致誤判的風(fēng)險(xiǎn).

致謝

感謝武漢桑普瑞奇科技有限公司提供的研究平臺(tái)和武漢工程大學(xué)研究生創(chuàng)新基金的支持！

［1］孫懷遠(yuǎn)，楊麗英，周夫之．基于機(jī)器視覺技術(shù)的藥品瓶包裝在線檢測(cè)系統(tǒng)［J］．機(jī)電信息，2011（2）：46－50，55．

SUN Huai－yuan，YANG Li－ying，ZHOU Fu－zhi．The real－time detection System of pharmaceutical bottles based on machine vision technology［J］．Mechanical and Electrical Information，2011（2）：46－50，55．（in Chinese）

［2］郭佳寅，岳秀江，吳雙，等．基于HALCON的乳制品箱體噴碼字符識(shí)別方法研究［J］．制造業(yè)自動(dòng)化，2013（3）：21－22，30．

GUO Jia－yin，YUE Xiu－jiang，WU Shuang，et al．Study of print character recognition of dairy box batch Information based on HALCON［J］．Manufacturing Automation．2013（3）：21－22，30．（in Chinese）

［3］黃劍航．基于HALCON的圓環(huán)區(qū)域字符識(shí)別實(shí)現(xiàn)［J］．現(xiàn)代計(jì)算機(jī)：專業(yè)版，2010（7）：58－60，71．

HUANG Jian－h(huán)ang．Implementation of character recognition in annular region based on HALCON［J］．Modern Computer，2010（7）：58－60，71．（in Chinese）

［4］朱正禮．基于三層BP神經(jīng)網(wǎng)絡(luò)的字符識(shí)別系統(tǒng)的實(shí)現(xiàn)［J］．現(xiàn)代計(jì)算機(jī)，2006（10）：93－95．

ZHU Zheng－li．Realization of character recognition system used by three layer back－propagation neural networks［J］．Modern Computer，2006（10）：93－95．（in Chinese）

［5］肖?？。饛V英，姚坤，等．基于HALCON的噴碼字符識(shí)別技術(shù)的研究與實(shí)現(xiàn)［J］．現(xiàn)代電子技術(shù)，2015，15：95－98．

XIAO Hai－jun，GE Guang－ying，YAO Kun，et al．Research and implementation of ink－jetted code character recognition technology based on HALCON［J］．Modern Electronics Technique，2015，15：95－98．（in Chinese）

［6］彭曉輝．基于HALCON的IC卡噴碼符號(hào)識(shí)別技術(shù)研究與實(shí)現(xiàn)［D］．廣州：廣東工業(yè)大學(xué)，2006．

PENG Xiaohui．The Research and implementation of symbol recognition technology of IC card printing based on HALCON［D］．Guangzhou：Guangdong University of Technology，2006．（in Chinese）

［7］肖暉，王宏麗，趙不賄，等．基于HALCON的燃?xì)獗肀肀P字符識(shí)別方法研究［J］．計(jì)量技術(shù)，2015（6）：15－17．

XIAO Hui，WANG Hong－li，ZHAO Bu－h(huán)ui，et al．The research of gas meter dial character recognition method based on HALCON［J］．Measurement Technique，2015（6）：15－17．（in Chinese）

［8］張銀蘋，葛廣英．基于HALCON的車牌識(shí)別研究［J］．現(xiàn)代電子技術(shù)，2014，16：92－95．

ZHANG Yin－ping，GE Guang－ying．Study on license plate recognition based on HALCON［J］．Modern Electronics Technique，2014，16：92－95．（in Chinese）

Automatic recognition algorithm of cylindrical printing character

WANG Xue-hua，WANG Hua-long，MA Fan-jie，LI An-yi，LIU Su
School of Materials Science and Engineering，Wuhan Institute of Technology，Wuhan 430074，China

The character information about product ID will be attached on the surfaces of almost all of the products in the large－scale industrial production process，and the automatic collection and identification of product ID in the way of character recognition plays an important role in the whole life cycle of the products．To meet the workshop working applications，the character recognition system must have the characteristics of rapid recognition speed，high identification efficiency and good robustness．Combined with advanced language programming，an automatic data collection and online recognition system for the information printed on the dylinder surface copper ring product was proposed based on MVTec HALCON machine vision platform.The proposed system includes parts automated delivery，image acquisition，information judgment and sorting，in which the problems of image processing and optical character recognition（OCR）of characters with irregular arrangement，distortion and blur on the cylinder surface of copper ring was solved．The result indicates that the recognition rate of the irregular character information is up to 99%，and the integration of products producing and detecting process is realized for the copper ring production．

character recognition；HALCON；image processing；character image segmentation

TP391

A

10.3969/j.issn.1674-2869.2015.11.009

1674－2869（2015）11－0043－04

本文編輯：龔曉寧

2015－10－13

武漢工程大學(xué)研究生教育創(chuàng)新基金（CX2014068）

王學(xué)華（1976－），男，湖北襄陽人，教授，碩士生導(dǎo)師.研究方向：材料加工.