一般光照條件下鋁塑泡罩藥品包裝檢測系統(tǒng)

張中然 焦波 孫志勇 丁明娜

摘要：鋁塑泡罩包裝是目前主要的藥品包裝形式，其表面在不同的光照和拍攝角度下成像情況變化較大。為了解決包裝過程中產(chǎn)生的漏粒問題，采用視覺在線檢測技術(shù)代替?zhèn)鹘y(tǒng)人工檢測，設(shè)計了目標區(qū)域分割算法，對不同尺寸、形狀的鋁塑泡罩包裝的藥品快速準確提取目標區(qū)域。針對實際檢測中光照情況不穩(wěn)定和藥品包裝表面復(fù)雜的反射情況，設(shè)計了圖像分割算法，可在準確分辨藥片位置。開發(fā)了基于OpenCV和Qt的視覺檢測系統(tǒng)，并搭建實驗平臺，采用30萬像素200幀攝像機拍攝，圖像檢測速度在150ms以內(nèi)，能適應(yīng)非白色藥品的多種鋁塑泡罩包裝的檢測。系統(tǒng)對照明要求低、適應(yīng)性強?？梢源嫒斯z測。

關(guān)鍵詞：

藥品包裝檢測；圖像分割；圖像處理

DOI：1015938/jjhust201705012

中圖分類號： TP216

文獻標志碼： A

文章編號： 1007-2683（2017）05-0065-05

Detecting System for Pharmaceutical AluminumPlastic Blister

Packaging under Common Lighting Conditions

ZHANG ZHongran1，JIAO Bo1，SUN Zhiyong2，DING Mingna1

（1Rongcheng Campus，Harbin University of Science and Technology，Rongcheng 264300，China；

2Shandong Dynemarine Biopharmaceutical Limited by Share Ltd，Rongcheng 264300，China）

Abstract：At present，aluminumplastic blister packaging is the main method of pharmaceutical packaging， whose imaging changes greatly as the light or shooting angle varies on its surface Therefore， the visual lineinspection technology， instead of traditional manual inspection， is adopted in this paper to solve the grainleaking problem during the packaging process An segmentation algorithm of target region is designed to precisely extract the target region of aluminumplastic blister packaging with different sizes or shapes At the same time， an image segmentation algorithm is designed to distinguish the position of tablets accurately under the unstable light and complicated surface reflections in the actual detection And then， the visual inspection system based on Open CV and Qt has been developed Using 200 million pixels 30frame camera， an experiment platform has been set up， which can adapt to a variety of nonwhite pharmaceutical packaging of aluminumplastic blister detection， as its image detection speed must be within 150m/s Besides， the system has lower requirement for illumination and can replace manual inspection with its great adaptability

Keywords：detection for medicine packaging； image segmentation； image processing

收稿日期： 2016-01-17

基金項目： 山東省高等學校科技計劃項目（J16LB62）

作者簡介：

張中然（1983—），男，碩士；

孫志勇（1986—），男，學士

通信作者： 焦波（1981—），女，博士，Email：jiaobo@hrbust.edu.cn

0引言

鋁塑泡罩包裝是目前發(fā)展前景最好的藥品包裝材料之一，由于在包裝過程中會出現(xiàn)藥品漏裝、缺損等情況，因此藥品包裝質(zhì)量檢測成為藥品生產(chǎn)中的重要環(huán)節(jié)[1-2]。目前國內(nèi)的許多制藥廠家，還是采用人工檢測的辦法來檢測藥品包裝質(zhì)量。人工挑選成本高、分選差異性大，勞動強度大，難以保證準確度。因此代替人工實現(xiàn)藥品鋁塑泡罩包裝檢測自動化設(shè)備很有必要。

近年來發(fā)達國家在藥品包裝在線質(zhì)量檢測方面不斷開展研究。例如，美國康耐視公司開發(fā)InSight視覺系統(tǒng)可在藥片封裝前進行檢測，但系統(tǒng)操作復(fù)雜，價格高，并要求操作者具備一定的專業(yè)知識[3]。美國 PTI公司的泡罩藥品檢測系統(tǒng)，可以檢測泡罩缺粒、破損、藥片顏色、形狀基本功能，其檢測速度有待提高[4]。德國的MVTec公司，加拿大的達爾薩（DALSA）公司分別推出了視覺檢測產(chǎn)品。我國視覺檢測產(chǎn)品的研究尚處于起步階段，天津大學搭建了基于DSP了泡罩藥品視覺檢測系統(tǒng)，西安至信控制系統(tǒng)集成有限責任公司推出的基于工控機的藥品包裝檢測產(chǎn)品，文[4]指出以上產(chǎn)品或未投入實際工業(yè)應(yīng)用或者系統(tǒng)對拍攝環(huán)境要求高致使產(chǎn)品結(jié)構(gòu)復(fù)雜，且需要工控機完成處理過程，系統(tǒng)體積過大。大恒圖像研發(fā)的藥片檢測機，文[3]指出其檢測精度過高，對拍照條件要求高，致使機構(gòu)復(fù)雜不易對生產(chǎn)線直接進行改造。endprint

很多圖像檢測系統(tǒng)未投入實際使用的一個主要原因是對照明條件變化非常敏感，檢測結(jié)果在不同的光照下不穩(wěn)定[5-6]。對于藥品鋁塑泡罩包裝而言，其情況更加復(fù)雜，因為藥品泡罩包裝鋁塑表面為強反射，凸起的藥片會在周圍產(chǎn)生陰影，凸起的弧面頂端會反射周圍光源形成光斑，而且由于封裝工藝，包裝本身不平整，背景反光不均勻，這都進一步增加了檢測的難度[7-12]。以黃色藥片為例，提取能區(qū)分背景和藥片的藍色分量，在照射條件中改變環(huán)境光，其最佳的灰度分割值會放生變化，如圖1所示。第一組圖片的灰度分割值是85取得了很好的效果，但由于環(huán)境光的變化，后面兩組圖片分割效果不是很好，為后續(xù)的處理帶來了很大的困難。所以很多檢測系統(tǒng)為了可以提高實踐檢測的穩(wěn)定性，都設(shè)計了特定的光源以及拍攝環(huán)境，這樣做使得檢測機構(gòu)復(fù)雜，不易對現(xiàn)有生產(chǎn)線進行改造，限制了檢測系統(tǒng)的使用[3，13-14]。另外，如圖2所示，相同的照明環(huán)境下，由于藥板的強反射，加上彎曲情況和擺放情況不同，表面成像也會有較大差異。

檢測速度也是制約檢測系統(tǒng)應(yīng)用的因素之一。隨生產(chǎn)的集成和自動化程度越來越高，實時控制，體積小巧，有自主知識產(chǎn)權(quán)的智能化設(shè)備已經(jīng)成為發(fā)展趨勢，所以越來越多的嵌入式系統(tǒng)代替?zhèn)鹘y(tǒng)工控機，由于一般的嵌入式系統(tǒng)相對與工控機來說運算速度較低，這就對圖像處理算法提出了更高的要求[4，15-16]。

本文開發(fā)了基于視覺的鋁塑泡罩藥品包裝檢測系統(tǒng)，對非白色藥品缺粒進行檢測，設(shè)計了不需要圖像前期處理直接對藥品包裝進行定位的二維間隔掃描法，提高了算法的處理速度，設(shè)計了在一般照明條件下，對藥片進行分割和個數(shù)統(tǒng)計的圖像算法，并搭建了試驗平臺對檢測效果進行檢驗。

1二維間隔掃描法目標區(qū)域提取

圖像檢測只需要處理藥品包裝的區(qū)域，無需對相機拍攝的整幅圖片進行處理，而且在實際生產(chǎn)線上藥品包裝的排列是大致規(guī)律的，如圖3所示，所以本文應(yīng)用了平行于相機坐標XY軸的圖像切割提取方式，雖然由于相機坐標和實際藥品包裝邊緣會有一定傾斜，使提取區(qū)域增大，但實際當中增加值比較小。本文研究中，相機的X軸方向與包裝機運行方向大致相同，藥板長邊與包裝機運行方向大致平行。將拍攝的圖片在X軸方向間隔t個像素取1列，共取n列，n的數(shù)值如式1所示：

n=nxt（1）

式中：nx為圖像列數(shù)。分別求出各列像素和Sx（j）如式2所示

Sx（j）=∑nyi=1f（i，tj），j=1，2，3，4，……，n，i=1，2，3，4，……，ny（2）

式中：f為原圖像像素灰度值，Sx（j）為在寬度方向上間隔t個像素選取一列的所有像素灰度值之和，ny為圖像行數(shù)。當t=6時，Sx（j）值的分布如圖4所示，可以看到所取列的灰度值和在藥品區(qū)域比較高，背景區(qū)域較低，而且由于藥品包裝的表面強反射，光照越強這種差別也會越大。之所以高低值之間不是突然變化，是因為藥板相對于相機坐標存在一定傾斜，調(diào)整傳動機構(gòu)可以減小這種誤差。截取精度取決于選擇t的大小，可以根據(jù)實際情況進行選擇。

然后用最小二乘法以多項式（3）對離散數(shù)據(jù)進行曲線擬合。在實驗階段中，對100張圖片數(shù)據(jù)進行了數(shù)據(jù)擬合，當擬合函數(shù)次數(shù)k=20時，F(xiàn)（j）在數(shù)據(jù)點（j，Sx（j））處的偏差平方和最小，擬合效果最優(yōu)，得到擬合函數(shù)F（j）如圖5所示。

F（j）=a0+a1j+a2j2+…+akjk（3）

求一階導數(shù)F′（j）為零的所有根，并取相鄰根的縱坐標值進行依次求差，找出最大值Um和最小值Un，如式（4）所示，對應(yīng)的tjm和tjn就為目標所在列的范圍。這種方法可以使數(shù)據(jù)波形變得平緩，起到近似濾波的作用，使受到外界環(huán)境的因素大大降低。目標所在行范圍求法相同與列范圍相同，這樣就可以確定檢測目標所在的區(qū)域。

F′（j）=a1+2a2j+…+kakjk-1（4）

Um=max{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤m≤k-1）

Un=min{[F（j1）-F（j2）]，[F（j2）-F（j3）]，…[F（jk-2）-F（jk-1）]}，（1≤n≤k-1）

2一般光照條件下的圖像分割

所謂一般光照條件是指不需要使用復(fù)雜的工業(yè)光源，如漫散圓頂光源、平頂光源等，而使用普通光源，如平板LED燈、日光燈管，對攝像鏡頭也沒有經(jīng)過特殊的調(diào)整。

21圖像的預(yù)處理

由于泡罩包裝藥品的圓弧凸起表面會反射光源等發(fā)光體，呈現(xiàn)光斑，給后期的圖像處理帶來不便，實驗時通過濾波方式減少光斑的影響，再與后面介紹的圖像處理算法配合，得到了比較滿意的結(jié)果。經(jīng)對多種濾波方式進行比較后，最后選擇了高斯濾波。

高斯濾波器對圖像初步降噪，其是對每一個像素點做高斯卷積。在高斯濾波器中，像素的權(quán)重與它離開中心像素點的距離成正比。二維高斯函數(shù)如式（5）所示[17]：

G0（x，y）=Ae-（x-ux）22σ2x+-（y-uy）22σ2y（5）

歸一化系數(shù)A使得不同權(quán)重之和為一，σ值控制高斯函數(shù)的高度。這個值越大，生成的函數(shù)越平坦，該處理使得圖像看起來變得模糊。

22圖像分割

通過遍歷圖像，比較每一個點與目標顏色點的距離，選擇其中距離低于某一閾值的部分保留下來[18]。結(jié)果如圖6中以白色區(qū)域所示。

在準備使用分水嶺算法獲得圖像的邊緣之前，為了避免均值區(qū)過多，首先生成前景圖和背景圖，疊加后再進行分割。通過多次膨脹獲得背景圖，如圖7（a）所示；通過多次腐蝕后，顏色取反得到前景圖，如圖7（b）所示。通過使用腐蝕與膨脹，濾除了圖像中的噪點與孔洞[19-20]。

使用分水嶺算法，通過對背景圖與前景圖的范洪處理，得到比較準確的目標提取區(qū)域，如圖8所示。在一般光照射環(huán)境下，成功地將背景圖像與前景藥片分離，為后處理輪廓檢測與形狀描述奠定了基礎(chǔ)。endprint

3連通區(qū)域輪廓檢測及數(shù)量統(tǒng)計

為了計算藥片的個數(shù)，對連通區(qū)域進行輪廓檢測。使用了OpenCV的FindContours函數(shù)用于檢測連通區(qū)域的輪廓。對圖像進行連通區(qū)域輪廓提取，需要首先聲明輪廓向量與輪廓參數(shù)向量，然后通過繪制輪廓函數(shù)繪制圖像，即連通區(qū)域的輪廓，結(jié)果如圖9所示，由于采用普通LED平板燈照明，所以藥品輪廓提取精確度不高。計算出連通區(qū)域的輪廓后，通過迭代器對輪廓向量進行遍歷，得到檢測出的輪廓數(shù)量，從而統(tǒng)計出藥片個數(shù)。

4藥品泡罩包裝檢測實驗平臺

檢測平臺主要針對泡罩包裝生產(chǎn)過程中出現(xiàn)的缺粒問題實現(xiàn)了檢測與剔除功能，其包含五個部分：工控機、下位機控制單元、工業(yè)相機、光源、分選裝置，結(jié)構(gòu)如圖10所示。相機下方的光電傳感器檢測的藥片位置，通過下位機傳遞給上位機軟件，上位機軟件控制工業(yè)相機拍攝，并對圖像進行分析，分析完成后將結(jié)果傳遞給下位機，由下位機控制分選裝置執(zhí)行相應(yīng)動作。工控機用戶界面分為下位機串口設(shè)置、相機設(shè)置、藥品設(shè)置、傳送帶控制、分選裝置控制、檢測狀態(tài)顯示、圖像采集結(jié)果顯示、視覺檢測處理結(jié)果顯示等部分，如圖11所示。

在實驗平臺上，反復(fù)使用藥品樣本（如圖12所示）進行檢測，每次1000次檢測，其中500次檢測的為不合格品。分別在8：00、12：00和17：00在進行實驗，表1為該實驗平臺在實驗室環(huán)境下統(tǒng)計結(jié)果，其中第二次實驗誤檢是由于中午光線直射過強，藥片包裝表面強反射，引起的傳感器誤動作，在實際應(yīng)用中經(jīng)調(diào)整后可以改善。

5結(jié)論

本文針對藥品鋁塑泡罩包裝在一般光照條件下檢測的問題，設(shè)計了快速提取目標區(qū)域和反光不均勻背景下的目標識別方法。二維間隔掃描法可以不經(jīng)過前期處理，快速提取目標區(qū)域，減小了處理圖片的尺寸，從而提高了計算速度。采用30萬像素200幀攝像機拍攝，圖像檢測速度在150ms以內(nèi)，如提高工控機性能，速度可進一步提高，滿足了大多數(shù)檢測的需求。設(shè)計目標識別方法其對拍攝環(huán)境要求低，設(shè)備簡單，增強了檢測系統(tǒng)的適應(yīng)性，可以便捷的對現(xiàn)有生產(chǎn)線進行改造。搭建了藥品包裝質(zhì)量檢測系統(tǒng)實驗平臺，對系統(tǒng)的有效性進行了驗證。

參 考 文 獻：

[1]朱俊.藥品鋁塑泡罩包裝印刷材料的發(fā)展創(chuàng)新引領(lǐng)未來[J].印刷質(zhì)量與標準化，2014（9）：16-22

[2]楊忠敏 解讀藥品的鋁塑泡罩包裝的應(yīng)用與發(fā)展[J]. 機電信息，2015（5）： 56-59

[3]符翔 泡罩包裝藥品視覺檢測系統(tǒng)圖像處理方法研究[D]. 湘潭： 湖南科技大學，2014：5-18

[4]呂忠偉 泡罩藥丸包裝缺陷的機器視覺檢測技術(shù)研究 [D]. 武漢： 華中科技大學，2011：8-20

[5]JOHN A， HUDE W， SCALZETTI E M， et al Performance of a Single Lookup Table for Displaying Chest CT images[J]. Academic Radiology， 2004， 11（6）：609-616

[6]RESENDIZE， HART J M， AHUJA N Automated Visual Inspection of Railroad Tracks[J]. IEEE Transactions on Intelligent Transportation Systems， 2013， 14（2）：751-760

[7]賀振東 基于反向PM擴散的鋼軌表面缺陷視覺檢測[J]. 自動化學報，2014，40（8）： 1667-1679

[8]曹頻 球面光學元件表面疵病評價系統(tǒng)中關(guān)鍵技術(shù)研究[D]. 浙江大學， 2015：10-50

[9]汪佛池， 閆康， 張重遠，等 采用圖像分析與神經(jīng)網(wǎng)絡(luò)識別絕緣子憎水性[J]. 電機與控制學報， 2014， 18（11）：78-83

[10]ZHANG Y， TANG J， YANG D Detection of Defects on A Shiningmetal Surface Using Reflective Fringe Pattern[J]. Metrology & Measurement Technology， 2013（33）：100-102

[11]SU P， KHREISHI M， SU T， et al Aspheric and Freeform Surfaces Metrology with Software Configurable Optical Test System： A Computerized Reverse Hartmann Test[J]. Optical Engineering， 2013， 53（3）：123-128

[12]YU D， HAN J， JIN X， et al Efficient Highlight Removal of Metal Surfaces[J]. Journal of Signal Processing， 2013， 103（10）：367-379

[13]王義文， 藺勇智， 賈冬開， 等 空氣與油液介質(zhì)下鋼球表面缺陷檢測效果對比分析[J]. 軸承， 2010（5）：37-39

[14]張怡卓， 許雷， 丁亮， 等 基于圖像融合分割的實木地板表面缺陷檢測方法[J]. 電機與控制學報， 2014（7）：113-118

[15]周祖德，龍毅宏 嵌入式網(wǎng)絡(luò)數(shù)控技術(shù)與系統(tǒng)[J]. 機械工程學報，2007，43（5）： 1-7

[16]趙繼焊縫磨拋機器人視覺算法實現(xiàn)及其試驗研究[J]. 機械工程學報，2013，49（20）： 42-48

[17]孫慧利用特征空間主分量分解實現(xiàn)自適應(yīng)小目標檢測算法[J]. 哈爾濱理工大學學報， 2011， 16（3）： 62-67

[18]JIANG M H， KIM SW， FALOUTSOS C et al.Accurate Approximation of the Earth Movers Distance in Linear Time[J]. Journal of Computer Science and Technology， 2014， 29（1）：142～154

[19]VACHIER C， MEYER F The Viscous Watershed Transform[J]. Journal of Mathematical Imaging and Vision， 2005， 22（2-3）：251-267

[20]佘青山， 楊偉健， 田卓， 等 基于運動輪廓標記提取的分水嶺運動目標檢測[J]. 大連理工大學學報， 2014（6）：656-661

（編輯：關(guān)毅）endprint