基于機(jī)器視覺的藥片表面缺陷識別與分揀系統(tǒng)設(shè)計

許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650000)

基于機(jī)器視覺的藥片表面缺陷識別與分揀系統(tǒng)設(shè)計

許江淳， 岳秋燕， 任向陽， 王 晴

(昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明 650000)

針對制藥企業(yè)采用人眼識別藥片表面缺陷受光線強(qiáng)度及視覺疲勞影響，存在漏檢和低效等問題，利用機(jī)器視覺技術(shù)，進(jìn)行了藥片圖像預(yù)處理，設(shè)計了藥片缺陷檢測及分類、異色處理算法并處理；在此基礎(chǔ)上，利用反問題的最小二乘解算法確定缺陷藥片的物理位置，控制3自由度 Delta機(jī)器人實現(xiàn)缺陷藥片的分揀。經(jīng)過測試，系統(tǒng)分揀成功率高，且易于實施，達(dá)到了設(shè)計要求。

缺陷藥片； 缺陷分類； Delta機(jī)器人； 識別分揀系統(tǒng)

0 引 言

目前，很多藥廠生產(chǎn)線仍在使用人工肉眼觀察的方法識別出有缺陷的藥片。藥片在其生產(chǎn)加工過程當(dāng)中，不可避免會產(chǎn)生各種各樣的瑕癡缺陷，例如斷裂、漏印、異色及長短不一等等[1]。由于工作人員的視覺疲勞以及人眼對細(xì)微部分的識別極限，往往會有漏檢而且速度較慢。如何高效檢測并能在檢測過程中保持較高的檢測合格率，這是目前各制藥企業(yè)面臨的困難。為了保障企業(yè)的生產(chǎn)效率，以機(jī)械檢測分揀方式代替人工檢測及分揀方式已迫不及待[2]?；谝陨媳尘?，本文研制一種藥片表面缺陷自動識別和分揀系統(tǒng)，對藥片的缺陷能夠在線識別，減少識別過程中產(chǎn)生的誤差，并根據(jù)結(jié)果分揀出質(zhì)量合格的藥片，提高藥片出廠的質(zhì)量等級[3]。

1 系統(tǒng)設(shè)計

1.1 系統(tǒng)原理與工作流程

藥片缺陷識別與分揀系統(tǒng)原理框圖如圖1所示。電荷藕合器件(charge coupled device,CCD)攝像機(jī)拍攝的藥片檢測場景圖像送入計算機(jī)，實時圖像經(jīng)過缺陷檢測、異色檢測和缺陷藥片定位后，發(fā)出控制命令控制Delta機(jī)器人，實現(xiàn)缺陷藥片的分揀剔除。

圖1 藥片缺陷識別與分揀系統(tǒng)原理框圖

1.2 系統(tǒng)的硬件組成

硬件主要是自主設(shè)計組建的Delta機(jī)器人，計算機(jī)、 Arduino單片機(jī)、相機(jī)、鏡頭及氣泵組成。其中相機(jī)和計算機(jī)是用傳輸線連接在一起，Arduino單片機(jī)和計算機(jī)通過RS—232相連。Arduino單片機(jī)和delta機(jī)器人實物如圖2所示。

CCD攝像機(jī)，具有體積小、重量輕、耗電小、壽命長、靈敏度高、動態(tài)范圍大、抗振動沖擊性、沒有幾何畸變及對光響應(yīng)高度線性的等特點[4]，在工業(yè)中得到廣泛的應(yīng)用。本系統(tǒng)選用維視公司型號為MV—VD030SM/SC的攝像機(jī)，其具體參數(shù)如表1所示。

圖2 Arduino單片機(jī)和 Delta機(jī)器人實物

表1 MV—VD030SM/SC攝像機(jī)參數(shù)表

選用Arduino單片機(jī)控制機(jī)器人運動。Arduino是一種便捷靈活、方便上手的開源電子原型平臺[5]，包含硬件(各種型號的Arduino板)和軟件(Arduino IDE)。

設(shè)計組裝的Delta機(jī)器人由靜止的平臺(上平臺)、移動的平臺(下平臺),3根主動臂及3個平行四邊形從動桿組成[6]。運動平臺的運動特性由這3個運動桿決定[7]。動平臺不能旋轉(zhuǎn)，但是它可以在空間的x,y,z坐標(biāo)系內(nèi)平移移動，即3空間平移自由度。

2 藥片表面缺陷識別

藥片缺陷識別主要是基于圖像處理技術(shù)和圖像的模式識別。機(jī)器視覺系統(tǒng)中, 視覺信息的處理主要是圖像處理，它包括圖像增強(qiáng)、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內(nèi)容[8]。經(jīng)過處理后, 輸出圖像的質(zhì)量得到相當(dāng)程度的改善,便于計算機(jī)對圖像進(jìn)行分析、處理和識別。

2.1 圖像預(yù)處理

圖像預(yù)處理通常包括圖像的旋轉(zhuǎn)定位、去除噪聲、二值化及圖像邊緣檢測幾個方面。

1)去除噪聲：采用了中值濾波的方法，去除由于燈光、環(huán)境等因素所產(chǎn)生的噪聲，中值濾波法較好地保留了圖像的邊緣, 使其輪廓比較清晰，為后面的圖像識別做好了準(zhǔn)備[9]。

2)邊緣檢測和閾值分割：采用最優(yōu)的階梯型邊緣檢測算法(Canny邊緣檢測)[10]。確定瑕疵的灰度閾值，超過閾值的判斷為存在瑕疵的區(qū)域[11]。Canny邊緣檢測算法：用高斯濾波器平滑圖像；用一階偏導(dǎo)的有限差分來計算梯度的幅值和方向；對梯度幅值進(jìn)行非極大值抑制；用雙閾值算法檢測和連接邊緣。能有效地抑制噪聲并盡量精確確定邊緣的位置；根據(jù)對信噪比與定位乘積進(jìn)行測度，得到最優(yōu)化逼近算子。

2.2 缺陷的檢測算法

缺陷的圖像識別采取的算法為支持向量機(jī)(SVM)的方法[12]，該算法先獲取流水線上合格產(chǎn)品的圖像，構(gòu)造出模板，再采集待檢測產(chǎn)品的圖像，將標(biāo)準(zhǔn)模板圖像與實際采集的產(chǎn)品圖像進(jìn)行匹配和相減操作，之后把圖像劃分成子塊，提取灰度直方圖作為特征向量輸入SVM，事先訓(xùn)練SVM，由SVM進(jìn)行分類。

2.2.1 缺陷特征計提取

藥片表面缺陷的具有斷裂、漏印、異色及長短不一等特點，并且缺陷大小是隨機(jī)的，需要特征不隨尺寸大小變化而變化，這里選擇灰度特征、形狀特征、幾何特征來建立特征數(shù)據(jù)庫，作為模式分類系統(tǒng)的輸入特征向量，提取的特征量及計算公式如表2所示。其中WMER和LMER分為MER(最小外接矩形)的短邊和長邊，(x0，y0)和(x1，y1)是一條長邊上的兩個點，A0和AMER為缺陷和MER的面積，f(i，j)是缺陷在像素點(i，j)的灰度值[13]。

表2 特征量計算公式

2.2.2 識別計算

采用處理算法結(jié)合多個二分類器，完成對缺陷的分類識別。x為n維特征向量，w為類別標(biāo)簽，都滿足判別函數(shù)w·x+b=0。為了最大化間隔，不發(fā)生重疊[14]，定義兩平行的超平面w·x+b=1，w·x+b=-1，當(dāng)xi滿足

wi(w·x+b)≥1

(1)

時SVM進(jìn)入訓(xùn)練模式。

優(yōu)化運算過程，根據(jù)拉格朗日原理，得到最大化間隔的判別式

(2)

其中,超平面的距離為2/‖w‖，w為類別標(biāo)簽，即分類越少，識別的準(zhǔn)確率越高。

因為在線識別藥品缺陷為非線性可分的問題[15]，運用非線性核函數(shù)代替線性支持向量分類器的點積，即k(xi,xj)=Φ(xi)·Φ(xj)可得判別函數(shù)(3)如下

(3)

以200組藥片表面缺陷作為訓(xùn)練樣本，采用SVM方法訓(xùn)練樣本得到缺陷分類器，其中非線性核函數(shù)為Sig-moid函數(shù)，并對50組測試樣本進(jìn)行分類[16]。

2.2.3 檢測流程與通信

與分揀系統(tǒng)進(jìn)行通信，通過輸出控制信號來控制分揀部分進(jìn)行自動分揀，檢測核心流程如圖3所示。

圖3 檢測核心算法流程

2.3 異色缺陷檢測識別結(jié)果展示

毛澤東作為一位出色的政治家詩人，其詩詞作品始終洋溢著樂觀的革命精神，飽含著深厚的人民情懷，蘊(yùn)藏著巨大的精神力量。在他的眾多詩詞作品中，《菩薩蠻·大柏地》一詞尤其引起筆者關(guān)注。一是因為這首詞在一定的程度上反映了毛澤東領(lǐng)導(dǎo)工農(nóng)紅軍開辟、創(chuàng)建和鞏固中央紅色政權(quán)的歷史過程；二是因為筆者好奇，是什么樣的力量能讓毛澤東在逆境中始終昂揚著樂觀豪邁的革命精神，從而抒寫出恢弘大氣的壯麗詩篇？古人云：詩言志。意謂詩詞的創(chuàng)作是詩人理想抱負(fù)、感情意志的自然流露，最能反映詩人的內(nèi)心世界。下面，筆者試著聯(lián)系這首詞背后的歷史細(xì)節(jié)來探究毛澤東的革命情懷。

1)預(yù)處理結(jié)果

對異色藥片進(jìn)行模板匹配和特征提取之前，為了減少干擾進(jìn)行的預(yù)處理的結(jié)果如圖4和圖5所示。

圖4 異色缺陷預(yù)處理圖

圖5 HSV顏色空間直方圖

2)異色檢測結(jié)果

圖6分別展示的是在異色缺陷檢測中根據(jù)圖像處理結(jié)果中灰度值的不同檢驗出的不同顏色的藥片。

圖6 異色識別

3 工業(yè)機(jī)器人的分揀

3.1 優(yōu)化的反問題的最小二乘解

坐標(biāo)轉(zhuǎn)換是世界坐標(biāo)轉(zhuǎn)換成像素坐標(biāo)。已知特征點的圖像坐標(biāo)和世界坐標(biāo)，由矩陣反問題的最小二乘逼近解的方法得到投影矩陣H[17]。投影矩陣H的精確度跟藥片數(shù)量正相關(guān)。H的解與相機(jī)參數(shù)無關(guān)，系統(tǒng)搭建靈活[18]。

證明存在與世界坐標(biāo)對應(yīng)的像素坐標(biāo)。E為單位矩陣，EH為單位矩陣的共軛轉(zhuǎn)置，G為行滿秩矩陣，Cn×n為復(fù)數(shù)矩陣空間。設(shè)E∈Cn×n，?G∈HCn×n，根據(jù)不等式

(4)

(5)

(6)

可得惟一的最優(yōu)解

表3為求單應(yīng)性矩陣時使用的數(shù)據(jù)，世界坐標(biāo)和圖像的像素坐標(biāo)的對應(yīng)，求出單應(yīng)性矩陣。

表3 坐標(biāo)對應(yīng)關(guān)系

求出的單應(yīng)性矩陣H為

(7)

由于此次的設(shè)計原因，相機(jī)不能夠垂直于物體平面，所以,在求出的單應(yīng)性矩陣有一定的誤差，但是也能滿足藥品分揀的要求。表4為仿真結(jié)果。

表4 測試結(jié)果 mm

由表4可以看出結(jié)果誤差小于等于1 mm，當(dāng)選取的點達(dá)到一定數(shù)量時，得到的結(jié)果誤差最小，可以很好地實現(xiàn)藥品的分揀工作。

3.2 機(jī)器人控制程序軟件實現(xiàn)

機(jī)器人控制程序軟件流程如圖7所示，其工作流程可描述為: 首先相機(jī)對傳送帶上的藥片進(jìn)行圖像采集，然后進(jìn)行缺陷識別定位，確定圖像坐標(biāo)進(jìn)行轉(zhuǎn)換，機(jī)器人通過Arduino單片機(jī)控制進(jìn)行分揀動作。

圖7 機(jī)器人控制程序軟件流程圖

4 系統(tǒng)運行測試

在機(jī)器人前方的傳送帶上隨意放置藥片，分揀作業(yè)要求將缺陷藥片放置在玻璃容器中，啟動機(jī)器人分揀系統(tǒng)后，機(jī)器人末端執(zhí)行器立刻運動到X方向像素坐標(biāo)最小的缺陷上方3 mm處→真空吸盤吸附缺陷藥片→機(jī)器人末端執(zhí)行器運動到玻璃容器上方2 cm處→電磁真空吸盤缺陷藥片放入到玻璃容器中→機(jī)器人末端執(zhí)行器運行到下一顆缺陷藥片上方3 mm處，并重復(fù)上述過程。機(jī)器人重復(fù)上述過程缺陷藥片全部放入另一個玻璃容器中。實驗結(jié)果表明，該分揀系統(tǒng)識別并分揀的正確率達(dá)到約100 %，所使用的方法簡單有效，實驗效果如圖8所示。

圖8 實驗效果

5 結(jié)束語

以制藥企業(yè)的缺陷藥片識別分揀為研究對象，設(shè)計了缺陷藥片識別分揀系統(tǒng)的軟硬件平臺，進(jìn)行了基于缺陷藥片檢測分類算法及識別的方法研究。在此基礎(chǔ)上，運用反問題的最小二乘法確定了缺陷藥片的物理位置。系統(tǒng)能在檢測過程中保持較高的檢測合格率以及較低的錯誤分揀率，該系統(tǒng)方案能為制藥企業(yè)的缺陷藥片自動識別和分揀提供解決思路。由于機(jī)器人的高效作業(yè)替代了繁重的體力勞動，提高了自動化水平和作業(yè)質(zhì)量[19]，機(jī)器人自動分揀將會越來越廣泛地應(yīng)用于生產(chǎn)領(lǐng)域。

[1] 志 江,孫立寧,富歷新.醫(yī)療機(jī)器人發(fā)展概況綜述[J].機(jī)器人,2013,25(2):182-187.

[2] RaoA C.Topological characteristics of linkage mechanisms[J].Mech Mach Thewy,1995,30(1):33-42.

[3] 李樹軍,杜立群,張國忠.運動鏈和機(jī)構(gòu)的拓?fù)涮匦约捌湫阅茉u價[J].東北大學(xué)學(xué)報:自然科學(xué)版,1997,18(6):671-675.

[4] 杜高峰,劉辛軍.五自由度五軸并聯(lián)虛擬軸機(jī)床:中國,ZL00100193_0.[P]2000—07—05.

[5] 呂傳毅,朱 均,曹惟慶.齒輪連桿機(jī)構(gòu)結(jié)構(gòu)拓?fù)涮卣骱妥詣由煞椒ㄌ接慬J].西安交通大學(xué)學(xué)報,1997,31(10):78-82.

[6] Rosheim M E.Robotic manipulator:US,6,105,455[P].2000—08—22.

[7] Merlet J P.Jacobian,manipulability,condition number, and accuracy of parallel robots[J].Journal of Mechanical Design,2006,128(1):199-206.

[8] Tsai L W,Walsh G C,Stamper R E.Kinematics of a novel three DOF translational platform[C]∥Proceedings of 1996 IEEE International Conference on Robotics and Automation,IEEE,1996:3446-3451.

[9] 張利敏,梅江平,趙學(xué)滿.Delta機(jī)械手動力尺度綜合[J].機(jī)械工程學(xué)報，2010,46(3):1-6.

[10] Qiu H,Lin C J,Li Z Y,et al.An universal optimal approach to cam curve design and its applications[J].Mechanism and Machine Theory,2005,40(6):669-692.

[11] Nabat V,Company O,Krut S,et al.Very high speed parallel robot for pick-and-place[C]∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems,NewYork:IEEE,2009:202-207.

[12] Huang T,Mei J,Li Z,et al.A method for estimating servomotor parameters of a parallel robot for rapid pick-and-place operation-s[J].Journal of Mechanical Design,2015,127(4):596-601.

[13] 張利敏,梅江平,趙學(xué)滿,等.Delta機(jī)械手動力尺度綜合[J].機(jī)械工程學(xué)報,2010(3):1-7.

[14] 張利敏.基于動力學(xué)指標(biāo)的Delta高速并聯(lián)機(jī)械手集成優(yōu)化設(shè)計方法研究[D].天津:天津大學(xué),2011.

[15] Pierrot F.Company O.H4:A new family of 4-DOF parallel robot-s[C]∥1999.Proceedings of 1999 IEEE/ASME International Conference on Advanced Intelligent Mechatronics,IEEE,1999:508-513.

[16] 阮曉鋼,李亞磊,朱曉慶.兩輪機(jī)器人在坡面上的運動平衡控制[J].傳感器與微系統(tǒng),2014,33(3):44-47.

[17] 張廣軍.視覺測量[M].北京:科學(xué)出版社,2008:33.

[18] Li Ge.Cache architecture for high-speed multidimensional packet processing[C]∥The 6th International Conference on Internet Computing for Science and Engineering,2012:60-65.

[19] 陳 庚,李 擎,時佳斌,等.未知環(huán)境中機(jī)器人可行區(qū)域的認(rèn)知研究[J].傳感器與微系統(tǒng),2015,34(1):66-68，72.

Design of tablet form merohedral stuffing identification and sorting system based on machine vision

XU Jiang-chun, YUE Qiu-yan，REN Xiang-yang,WANG Qing

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000,China)

Aiming at problem that pharmaceutical companies use human eye to identify tablet surface defects which cause visual fatigue affected by light intensity,undetected and inefficient problems exist,use machine vision technology for tablet image pre-processing,tablet defect detection and classification of different color processing algorithms and processing;on this basis,the least squares solution of inverse problems for the use of algorithms to determine the physical location of the defect tablets,3 DOF Delta robot control pills sort of defect.By testing,the system has high sorting success rate,and easy to implement,and meet design requirements.

defect pills; defect classification; Delta robots; identifying sorting system

2016—06—02

10.13873/J.1000—9787(2017)06—0090—04

TP 311

A

1000—9787(2017)06—0090—04

許江淳(1962-)，男，副教授，碩士生導(dǎo)師，從事嵌入式系統(tǒng)技術(shù)及應(yīng)用，SOC及FPGA系統(tǒng)技術(shù)應(yīng)用等研究工作。