基于機器視覺的機器人辨識及分揀盒裝香煙的系統(tǒng)①

盧振利 謝亞飛 周立志 單長考 波羅瓦茨·布朗尼斯拉夫 李 斌

(*常熟理工學院電氣與自動化工程學院 常熟 215500) (**中國科學院沈陽自動化研究所機器人學國家重點實驗室 沈陽 110014) (***中國礦業(yè)大學信息與電氣工程學院 徐州 221116) (****諾維薩德大學技術(shù)科學學院 諾維薩德 21000， 塞爾維亞)

?

基于機器視覺的機器人辨識及分揀盒裝香煙的系統(tǒng)①

盧振利②***謝亞飛****周立志*單長考*波羅瓦茨·布朗尼斯拉夫****李 斌**

(*常熟理工學院電氣與自動化工程學院 常熟 215500) (**中國科學院沈陽自動化研究所機器人學國家重點實驗室 沈陽 110014) (***中國礦業(yè)大學信息與電氣工程學院 徐州 221116) (****諾維薩德大學技術(shù)科學學院 諾維薩德 21000， 塞爾維亞)

運用機器視覺技術(shù)和機器人技術(shù)設(shè)計并實現(xiàn)了一種識別、分揀盒裝香煙的系統(tǒng)，以提高識別準確率和分揀效率。該系統(tǒng)通過USB攝像頭采集煙盒圖像信息，從煙盒的特征檢測入手，利用Matlab工具對香煙條形碼、煙盒顏色和字跡字符三個方面進行處理分析，識別出真?zhèn)蜗銦?，并隨即通過控制機器人手爪對識別出的香煙進行分揀。

USB攝像頭， Matlab， 香煙真?zhèn)巫R別， 機器人手爪

0 引 言

機器視覺技術(shù)和機器人技術(shù)的出現(xiàn)，為設(shè)計能取代工業(yè)制造中高成本人工操作的機器人系統(tǒng)提供了可能。本研究聯(lián)系香煙生產(chǎn)的實際，設(shè)計了一種基于機器視覺的自動辨識和分棟拿裝香煙的機器人系統(tǒng)。該系統(tǒng)從香煙盒的特征檢測入手，對香煙條形碼、煙盒顏色和字跡字符三個方面進行處理，識別出真?zhèn)蜗銦煟S后通過控制機器人手爪來對識別出的香煙進行分揀操作。機器人能從煙盒上找到辨別偽劣香煙的基本辦法，從而幫助企業(yè)提高生產(chǎn)效率，提升產(chǎn)品質(zhì)量，減少劣質(zhì)品流入市場，進一步增強企業(yè)的競爭力[1-6]。

1 系統(tǒng)架構(gòu)設(shè)計

系統(tǒng)架構(gòu)包括硬件和軟件兩部分：硬件由USB光源視頻展臺和機器人手爪組成；軟件部分采用Matlab工具對采集的圖像進行處理分析[7-9]。USB視頻展臺、機器人手爪分別如圖1(a)、(b)所示，系統(tǒng)整體框架如圖2所示。

(a) USB視頻展臺

(b) 機器人手爪

圖2 系統(tǒng)整體框架

2 盒裝香煙圖像不同特征識別

本文主要對煙盒的條形碼、顏色和字跡字符三個特征進行識別處理。

2.1 一維條形碼識別

煙盒上條形碼是13個數(shù)字組成的一維條形碼，又叫EAN-13條形碼。它是一組根據(jù)不同厚度的空間的黑白線，以及一定排列規(guī)則的平行線圖形號碼[10-12]。

對于一個條碼圖像我們先要對其進行一定的處理才能達到正確譯碼的目的。而要對其進行處理，首先是要將其讀入并灰度化。由于有噪聲的存在，必須對其進行濾波，也可以人為地加入一定類型的噪聲仿真，然后用合適的濾波方法進行濾波，這樣有助于理解各種濾波方法所針對的噪聲類型。本文濾波方法采用中值濾波，能克服采集圖像模糊問題和濾除噪聲。最后就是要二值化，得到二值圖像。條碼圖像預處理流程圖如圖3所示。

圖3 條碼圖像預處理流程圖

以最常見的“黃鶴樓”香煙條形碼為例，預處理后的結(jié)果見下面幾幅圖。

灰度化圖如圖4所示。

圖4 灰度化圖

添加噪聲圖如圖5所示。

圖5 添加噪聲

中值濾波圖如圖6所示。

圖6 中值濾波

二值化圖如圖7所示。

圖7 二值化圖

實驗結(jié)果：

對條形碼圖像作相應(yīng)的圖像預處理之后,結(jié)合條形碼譯碼原理和判別方法,在Matlab軟件環(huán)境下編寫了相應(yīng)的軟件程序。如圖8所示，(a)、(b)分別是香煙“黃鶴樓”條碼圖像及其識別結(jié)果實例。

圖8 條碼圖像及識別結(jié)果

通過識別結(jié)果的分析判斷，發(fā)送指令給機器人手抓，從而執(zhí)行相應(yīng)的分揀動作。

2.2 顏色識別

眾所周知，各種顏色都是由紅(R)、綠(G)、藍(B)三個顏色調(diào)配而成。一幅彩色圖像的數(shù)據(jù)非常龐大，圖像中的一個像素點由R、G、B三種顏色按照不同比例組成。

2.2.1 圖像RGB分量分解

如果一幅圖像的底色不均勻或者底色與字跡的色差不是很明顯的話，它的信噪比太低導致RGB分量數(shù)值相差不大，會給識別帶來很大困難，因此我們選擇黃鶴樓香煙作為識別的對象，并在圖像上截取一部分比較明顯的區(qū)域，如圖9所示。

圖9 待識別的圖片區(qū)域

通過程序處理得出這幅圖RGB分量的灰度直方圖。其中紅色分量、綠色分量、藍色分量的灰度直方圖分別如圖10(a)、(b)、(c)所示。

2.2.2 顏色識別結(jié)果及判斷

純黃色圖像的R、G、B分量分別是1、1、0，因此當圖像的紅色和綠色分量遠大于藍色分量時，我們便認為這幅圖為黃色，實際識別的過程中會分別設(shè)定一定的閾值以便區(qū)分。一般都要將圖像從RGB轉(zhuǎn)換到HSV空間(rgb2hsv)，避免普通RGB空間易于受到亮度影響判定結(jié)果的弊端。采用像素點統(tǒng)計的方法來識別是哪種顏色，當某個顏色像素點數(shù)量最多時我們便默認其為該圖像的顏色。顏色識別處理流程如圖11所示。

(a) 紅色分量灰度直方圖

(b) 綠色分量灰度直方圖

(c) 藍色分量灰度直方圖

圖11 顏色識別處理流程

統(tǒng)計結(jié)果及識別結(jié)果如圖12所示。

圖12 統(tǒng)計結(jié)果及識別結(jié)果

從統(tǒng)計結(jié)果可以看出，黃色像素點的數(shù)量遠遠大于其他像素點的數(shù)量，也符合我們感官看到的結(jié)果。

2.3 字符字跡辨識

根據(jù)營銷和外觀設(shè)計的需要，不同品牌的香煙煙盒上的字體有很大區(qū)別，很多并不是正楷或者比較常見和規(guī)范的字體，甚至是草體的英文，這就給識別帶來非常大的困難，因此我們選擇有常見字體的煙盒進行字跡特征的檢測。采集煙盒圖像如圖13所示。

字符識別具體流程如圖14所示。

2.3.1 英文字符識別

實驗選取英文截取圖像如圖15所示。圖像經(jīng)過預處理后呈現(xiàn)出的圖像如圖16(a)、(b)所示。

在采集圖像過程中，由于文檔紙張擺放不正等原因，很容易出現(xiàn)采集到的圖像發(fā)生程度較小的傾斜現(xiàn)象，圖像傾斜必然會造成其中的字符傾斜，這會給后續(xù)的字符分割、識別等帶來帶來困難，因此，要對圖像進一步分析前對其傾斜進行檢測與校正。因此實驗過程中采用霍夫變換來校正傾斜圖像，傾斜校正后圖像如圖17所示。

進行字符分割過程，行字切分結(jié)果和生成字符模板分別如圖18、圖19所示。

經(jīng)過模板匹配識別，最終的識別結(jié)果如圖20所示。

2.3.2 中文字符識別

中文字符的識別和英文字符的識別雖然程序的實現(xiàn)上有很多差異，但在原理依據(jù)、方法等方面大同小異。實驗中選取要處理的中文字符圖像如圖21所示。

字符預處理過程中產(chǎn)生的圖像如圖22所示。

一些基本的形態(tài)學變換后，對圖像字符進行5次切割分離過程如圖23所示。

圖14 字符識別流程

圖15 待識別英文字符

圖16 英文預處理圖像

圖17 傾斜校正圖像

圖18 行字切分結(jié)果

圖19 生成的字符模板

圖20 識別結(jié)果

圖21 待辨識中文字符圖像

圖22 預處理圖像

漢字切分結(jié)果如圖24所示。

最終，經(jīng)模板匹配后的識別結(jié)果如圖25所示。

從最終識別結(jié)果的文字信息我們可以看到，經(jīng)過多次復雜的調(diào)試，程序的實現(xiàn)上能基本上識別出圖像中文字的結(jié)果。

圖23 五次分割后圖像

圖24 漢字切分結(jié)果

圖25 識別結(jié)果

3 機器人手爪抓取實驗

在上面的機器視覺系統(tǒng)中，我們通過數(shù)字圖像處理實現(xiàn)了真品香煙的識別以及真假香煙的對比辨別，在機器人控制的系統(tǒng)中，我們通過舵機控制板規(guī)劃了機器人的運動步驟和各關(guān)節(jié)機械臂的運動位置及機械手抓的開閉，通過Matlab軟件向串口發(fā)送數(shù)據(jù)指令實現(xiàn)其對機器人的直接操作。

實驗中我們設(shè)定了兩個位置，分別用黃色膠帶和紅色膠帶做標記，黃色膠帶處為真品放置處，紅色膠帶處為偽品放置處。

真品抓取實驗序列如圖26所示。

圖26 真品分揀過程

香煙被反面放置，煙盒背面做了相應(yīng)處理，識別結(jié)果為假。偽品實驗序列如圖27所示。

圖27 偽品分揀過程

4 結(jié) 論

本研究設(shè)計了通過從香煙條形碼、煙盒顏色和字跡字符三個方面進行真?zhèn)闻袆e的香煙真?zhèn)伪孀R及分揀系統(tǒng)。通過實驗分析，驗證了此系統(tǒng)的可行性。雖然在系統(tǒng)辨識過程中會有其它因素的干擾，可能造成識別不精確，但系統(tǒng)的整體識別穩(wěn)定度較高，基本能分揀出真?zhèn)萎a(chǎn)品，為香煙真?zhèn)蔚谋孀R提供了設(shè)計經(jīng)驗。

[1] 薛紅. 條碼技術(shù)及商業(yè)自動化系統(tǒng)-條碼技術(shù). 北京：中國輕工業(yè)出版社， 2008. 67-69

[2] 何紅莊. 基于圖像識別模式的條碼譯碼系統(tǒng)的研究:[碩士論文]. 南京：河海大學機電工程學院, 2003.15-21

[3] 范永法，郭艷萍. 條碼圖像處理及識別的軟件開發(fā). 計算機應(yīng)用研究，2003, 20(2):86-87

[4] 于娓等. 一維條碼引入圖書館應(yīng)用的可行性初探. 開封教育學院學報，2005，12：22-24

[5] Mallat S G. A theory for multiresolution signal decomposition：the wavelet representation.IEEETransactionsonPatternAnalysis&MachineIntelligence, 2010, 11(7):674-693

[6] 王雅靜. 基于圖像處理的EAN-13條碼識別算法. 山東理工大學學報(自然科學版)，2005,19(4)：3-5

[7] 楊淑瑩. 圖像處理與項目實踐——VC++、MATLAB技術(shù)實現(xiàn). 北京：電子工業(yè)出版社，2014. 5

[8] 王曉紅,趙榮椿. 圖像規(guī)格化的一種新方法. 計算機應(yīng)用與軟件, 2002,19(3):51-53

[9] 劉志海. 條形碼技術(shù)及程序設(shè)計. 重慶：重慶大學出版社，1991. 41-48

[10] 趙素霞. 基于數(shù)字圖像處理方式的EAN-13條碼識讀算法研究:[碩士論文]. 濟南：山東大學信息科學與工程學院, 2005. 48-60

[11] 中國自動識別技術(shù)協(xié)會. 條碼技術(shù)基礎(chǔ). 武漢：武漢大學出版社，2008. 15-16

[12] 鄒永星. 條碼國家標準匯編. 北京：中國標準出版社，2004. 12-21

Design and implementation of a system for identifying and sorting cigarettes in case based on machine vision

Lu Zhenli***, Xie Yafei****, Zhou Lizhi*, Shan Changkao*, Borovac Branislav****, Li Bin**

(*School of Electrical Engineering and Automation, Changshu Institute of Technology, Changshu 215500) (**State Key Laboratory of Robotics, Shenyang Institute of Automation, CAS, Shenyang 110014) (***China University of Mining and Technology, Xuzhou 221116) (****Faculty of Technical Sciences, University of Novi Sad, Novi Sad 21000, Serbia)

A system for identifying and sorting of cigarettes in case was designed and implemented by using the machine vision technique and the application of robot to improve the identification accuracy and the sorting efficiency. The system collects cigarette cases’ image information by using the USB camera, then, starting from detection of the characteristics of the cigarette cases, uses the Matlab tool to analyze and deal with the three features of barcode, color and handwriting to identify the authenticity, and finally controls the gripper to do cigarette sorting.

USB camera, Matlab, authenticity recognition, gripper

10.3772/j.issn.1002-0470.2016.06.009

①國家自然科學基金(61473283)，機器人學國家重點實驗室開放基金(2014-O08)，校新引進教師科研啟動項目(XZ1306)和中國-塞爾維亞政府間科技合作委員會第三屆例會項目(國科外字[2015]266號3-1)資助。

2015-08-24)

②男，1974年生，博士，碩士生導師；研究方向：機器人智能控制；聯(lián)系人，E-mail: zhenlilu@cslg.cn