基于機(jī)器視覺的平板式數(shù)粒機(jī)檢測方法

姚 瑩, 蔡錦達(dá), 劉 倩

(上海理工大學(xué) 出版印刷與藝術(shù)設(shè)計(jì)學(xué)院, 上海 200093)

引 言

隨著現(xiàn)代生活對醫(yī)藥的依賴性逐漸增強(qiáng),對藥品需求量不斷增加,醫(yī)藥生產(chǎn)設(shè)備、包裝設(shè)備等已被大量研發(fā)并投入市場使用[1]。數(shù)粒機(jī)主要用來對藥品顆粒進(jìn)行計(jì)數(shù)和包裝,是藥品包裝生產(chǎn)的關(guān)鍵設(shè)備之一[2]。藥品主要以瓶裝和袋裝方式為主,易在生產(chǎn)、包裝過程中發(fā)生摩擦、碰撞等導(dǎo)致藥品缺損。藥品包裝的好壞直接影響藥品質(zhì)量及其銷售。為提高藥品包裝質(zhì)量,增加產(chǎn)品競爭力,必須在藥品檢測和計(jì)數(shù)上嚴(yán)格控制,因此藥品包裝至少滿足以下要求:藥品顆粒完好,無明顯的外觀缺損;藥品顆粒計(jì)數(shù)準(zhǔn)確,無缺粒等情況的出現(xiàn);外觀包裝完好[3]。為達(dá)到上述要求,需對藥品計(jì)數(shù)的同時(shí)進(jìn)行缺陷檢測。目前國內(nèi)數(shù)粒機(jī)大多為多通道式、光電式,采用傳統(tǒng)的檢測計(jì)數(shù)方式,無法滿足高效的計(jì)數(shù)檢測要求。國外雖已研制出較成熟的高速平板式數(shù)粒機(jī),但價(jià)格昂貴,無法在國內(nèi)普及[4-5]。

基于機(jī)器視覺的檢測技術(shù)作為當(dāng)前最重要的檢測技術(shù)之一,近年來已廣泛應(yīng)用在藥品包裝檢測上[6-8]。由于機(jī)器視覺檢測技術(shù)受到檢測算法、硬件等限制,使其難以達(dá)到高精度、實(shí)時(shí)性的要求,因此研究一種穩(wěn)定性好、檢測精度高、實(shí)時(shí)性好的在線藥品檢測方法具有較高的研究價(jià)值和市場前景。

因此本文提出一種基于機(jī)器視覺的平板式數(shù)粒機(jī)檢測方法,其關(guān)鍵技術(shù)為高效的在線計(jì)數(shù)檢測算法。

1 平板式數(shù)粒機(jī)工作原理

圖1為平板式數(shù)粒機(jī)的結(jié)構(gòu)圖,其主要包括以下四個(gè)部分:給粒裝置、數(shù)粒裝置、升降裝置和機(jī)架。給粒裝置包括給料斗、多級平板式振動臺;數(shù)粒裝置包括檢測區(qū)、補(bǔ)粒區(qū)、裝瓶區(qū),其中,檢測區(qū)是鄰近振動臺的下落邊緣區(qū)域,補(bǔ)粒區(qū)是主閥門與裝瓶閥門、補(bǔ)料閥門三者之間的區(qū)域,裝瓶區(qū)是裝瓶閥門到空瓶口之間的區(qū)域;升降裝置主要用來調(diào)節(jié)數(shù)粒機(jī)機(jī)架的高度。

圖2是平板式數(shù)粒機(jī)給料結(jié)構(gòu)圖。藥品經(jīng)過給料斗、多級平板式振動臺、主閥門、補(bǔ)粒閥門、裝瓶閥門,最后到達(dá)空瓶。藥品運(yùn)動路線如下:經(jīng)給料斗進(jìn)入多級平板式振動臺,振動臺按一定的頻率振動將堆積的藥品分散,以便后續(xù)操作;隨后到達(dá)振動臺邊緣經(jīng)檢測通道、主閥門到達(dá)補(bǔ)粒區(qū),補(bǔ)粒閥門打開進(jìn)行補(bǔ)粒;補(bǔ)粒結(jié)束后,打開裝瓶閥門,顆粒進(jìn)入空瓶完成一次裝瓶操作。

圖1 平板式數(shù)粒機(jī)整體結(jié)構(gòu)圖Fig.1 The overall structure of tablet counting machine

圖2 平板式數(shù)粒機(jī)給料結(jié)構(gòu)圖Fig.2 The feeding structure of tablet counting machine

2 藥品顆粒缺陷檢測與計(jì)數(shù)算法實(shí)現(xiàn)

2.1 基于面積和圓度的檢測方法

本文選用白色圓形藥品顆粒為實(shí)驗(yàn)對象。對于藥品缺陷檢測,不僅表現(xiàn)在邊緣的缺損,而且還表現(xiàn)在不同類型藥品的摻雜,因此,需綜合多種檢測方法進(jìn)行缺陷檢測以提高檢測精度。根據(jù)多次實(shí)驗(yàn)對比,本文最終選取基于面積和圓度相結(jié)合的缺陷檢測方法。

檢測步驟為:首先將待測顆粒與標(biāo)準(zhǔn)顆粒進(jìn)行面積值匹配,若待測顆粒的面積值在閾值范圍內(nèi),則表示該顆粒符合面積要求;隨后進(jìn)行圓度檢測,采用最小外接矩形的長寬比代表待測顆粒的圓度,若圓度符合要求則判斷該顆粒為完整顆粒,否則為缺陷顆粒,并計(jì)算顆粒的殘缺程度值。

(1) 最小外接矩形長寬比

經(jīng)目標(biāo)提取算法處理后,計(jì)算每個(gè)目標(biāo)區(qū)域的最小外接矩形,進(jìn)而得到其外接矩形的長寬比,該長寬比可在一定程度上反映目標(biāo)顆粒的特征。最小外接矩形長寬比可表示為

(1)

式中a、b分別為最小外接矩形的長和寬。R的取值范圍為(0,1],R越接近于1時(shí),即a、b趨于相等,表示該顆粒目標(biāo)越接近于圓形,反之,則表明該顆粒為缺陷藥品或其他類型的藥品顆粒。因此,可根據(jù)藥品顆粒最小外接矩形的長寬比來確定藥品顆粒是否為圓形。

(2) 殘缺程度

缺陷程度可以用待測顆粒面積與標(biāo)準(zhǔn)顆粒面積之比來表示,其計(jì)算表達(dá)式為

(2)

式中:Ad為待測顆粒面積;Ab為標(biāo)準(zhǔn)顆粒面積。

根據(jù)檢測要求,檢測標(biāo)準(zhǔn)為待測顆粒的面積值與標(biāo)準(zhǔn)顆粒面積值之差的絕對值不大于200個(gè)像素點(diǎn)。由此確定當(dāng)殘缺程度值低于70%時(shí),則需要進(jìn)行藥品補(bǔ)粒,殘缺程度值大于等于70%則不需要補(bǔ)粒。

2.2 藥品顆粒計(jì)數(shù)算法實(shí)現(xiàn)

隨著機(jī)器視覺技術(shù)的發(fā)展,藥品在線計(jì)數(shù)的方法發(fā)生了改變,常見的機(jī)器視覺在線計(jì)數(shù)算法有面積統(tǒng)計(jì)法[9]、連通域計(jì)數(shù)法[10]、虛擬線圈法[11]、基于目標(biāo)跟蹤的位置狀態(tài)檢測方法[12]等,但這些方法均不滿足平板式數(shù)粒機(jī)的檢測要求,為對藥品進(jìn)行精確計(jì)數(shù),本文提出了一種基于檢測線的目標(biāo)位置預(yù)測計(jì)數(shù)方法。

本文相機(jī)獲取的圖像區(qū)域?qū)挾葹?00 mm,由于相鄰兩幀之間時(shí)間間隔短,同一顆粒的運(yùn)動位移小,有利于目標(biāo)匹配。經(jīng)多次試驗(yàn)可知,目標(biāo)顆粒運(yùn)行至振動臺邊緣時(shí)其運(yùn)動速度變化較小,可看作勻速直線運(yùn)動,因此利用直線差值跟蹤方法[13]可對某個(gè)目標(biāo)顆粒的整個(gè)運(yùn)行軌跡進(jìn)行跟蹤,跟蹤軌跡如圖3所示。

圖3 目標(biāo)顆粒軌跡圖Fig.3 Target particle trajectories

由圖3可知,顆粒在運(yùn)行過程中速度逐漸趨于平穩(wěn),且運(yùn)動軌跡趨于直線,根據(jù)顆粒運(yùn)動的特性可以進(jìn)行前后幀圖像的目標(biāo)匹配和瞬時(shí)速度的計(jì)算。因此,在獲取圖像的振動臺邊緣處創(chuàng)建一條計(jì)數(shù)檢測線,藥片在圖像中由上至下運(yùn)動,當(dāng)其完全進(jìn)入圖像區(qū)域時(shí)實(shí)時(shí)獲取該目標(biāo)在每個(gè)時(shí)刻的中心點(diǎn)坐標(biāo)和當(dāng)前運(yùn)行的瞬時(shí)速度,并計(jì)算其下一幀可能出現(xiàn)的位置。圖4顯示了本文藥品的計(jì)數(shù)算法。

圖4 計(jì)數(shù)算法簡圖Fig.4 The diagram of counting algorithm

圖4中虛線表示檢測計(jì)數(shù)線,其位置在實(shí)驗(yàn)振動臺邊緣處,實(shí)線圓表示當(dāng)前幀目標(biāo)所在位置,虛線圓表示當(dāng)前目標(biāo)的下一幀所在位置。當(dāng)出現(xiàn)(a)狀態(tài)時(shí),表明該藥品顆粒在下一幀不會下落,則系統(tǒng)不會進(jìn)行計(jì)數(shù),繼續(xù)進(jìn)行下一時(shí)刻的狀態(tài)判定;當(dāng)出現(xiàn)(b)和(c)狀態(tài)時(shí),表明該藥品顆粒在下一幀時(shí)開始或已經(jīng)下落,系統(tǒng)自動加1計(jì)數(shù)。每一個(gè)出現(xiàn)在場景中的目標(biāo)總能檢測出其在當(dāng)前時(shí)刻的中心點(diǎn)坐標(biāo)和瞬時(shí)速度。假設(shè)檢測計(jì)數(shù)線的方程為Ax+By+C=0,當(dāng)前幀中目標(biāo)中心點(diǎn)的坐標(biāo)為(i,j),瞬時(shí)速度為vi,則目標(biāo)在第n幀時(shí)中心點(diǎn)與檢測計(jì)數(shù)線的距離和n+1幀時(shí)該目標(biāo)的預(yù)測位移分別為:

式中:Δt為每幀圖像的獲取時(shí)間;S為該目標(biāo)顆粒中心點(diǎn)與檢測計(jì)數(shù)線的距離;L為n+1幀該目標(biāo)的預(yù)測位移。當(dāng)目標(biāo)在某一時(shí)刻與檢測計(jì)數(shù)線的實(shí)際距離S大于下一幀預(yù)測位移L時(shí),表示該目標(biāo)在下一幀時(shí)刻不會越過檢測計(jì)數(shù)線;當(dāng)預(yù)測位移L大于或等于實(shí)際距離S時(shí),則表示該目標(biāo)在下一時(shí)刻會通過檢測計(jì)數(shù)線,即可將計(jì)數(shù)問題轉(zhuǎn)化為距離問題。表1記錄了目標(biāo)的運(yùn)動狀態(tài)和計(jì)數(shù)情況。

圖5 計(jì)數(shù)算法流程圖Fig.5 Chart of counting algorithm

計(jì)數(shù)點(diǎn)目標(biāo)中心點(diǎn)與檢測線的距離下一幀預(yù)測距離距離比較是否計(jì)數(shù)n-1Sn-1Ln-1Sn-1>Ln-1否nSnLnSn>Ln否n+1Sn+1Ln+1Sn+1≤Ln+1是

通過計(jì)算,比較當(dāng)前幀中目標(biāo)到檢測計(jì)數(shù)線的實(shí)際距離S和預(yù)測的下一幀目標(biāo)移動距離L的大小,判斷當(dāng)前幀中目標(biāo)距離滿足S≤L的情況,滿足判別情況的目標(biāo)個(gè)數(shù)即為當(dāng)前幀通過檢測計(jì)數(shù)線的目標(biāo)個(gè)數(shù),這種計(jì)數(shù)方法簡單且滿足實(shí)時(shí)性的要求。具體計(jì)數(shù)實(shí)現(xiàn)流程圖如圖5所示。

3 實(shí)驗(yàn)測試及結(jié)果分析

3.1 測試裝置與環(huán)境

如圖6所示:①為計(jì)算機(jī);②為藥片;③為帶有異步發(fā)電機(jī)的震動臺;④為可調(diào)節(jié)相機(jī)支架;⑤為CMOS工業(yè)相機(jī),工業(yè)相機(jī)固定于相機(jī)支架上。振動臺能產(chǎn)生不同頻率的振動,以帶動通道內(nèi)的藥品沿一定方向移動。當(dāng)藥品經(jīng)過相機(jī)視野范圍時(shí),相機(jī)實(shí)時(shí)記錄其移動過程,計(jì)算機(jī)中的圖像處理系統(tǒng)與檢測系統(tǒng)負(fù)責(zé)對采集到的圖像進(jìn)行實(shí)時(shí)處理,并生成控制命令。

圖6 檢測系統(tǒng)實(shí)驗(yàn)裝置Fig.6 Experimental device of detection system

3.2 實(shí)驗(yàn)結(jié)果與分析

顆粒計(jì)數(shù)與缺陷檢測是整個(gè)系統(tǒng)的主要功能,為進(jìn)一步驗(yàn)證顆粒計(jì)數(shù)與缺陷檢測效果,本文選取邊緣不同程度缺損的藥品進(jìn)行計(jì)數(shù)與檢測,選用的視頻幀率為60幀/s,像素尺寸為1 024×500,圖7為截取的部分序列圖像的第37、81、124幀的檢測結(jié)果。表2為選取的3幀視頻圖像的藥品檢測計(jì)數(shù)的數(shù)據(jù)。

圖7 截取序列圖像Fig.7 Intercept sequence image

表2中:S是目標(biāo)中心點(diǎn)與檢測線的距離;L是下一幀預(yù)測距離;V是目標(biāo)顆粒瞬時(shí)速度。缺陷度為待檢測藥品占標(biāo)準(zhǔn)藥品的面積百分比,缺陷計(jì)數(shù)是指圓度滿足要求但面積不滿足的顆粒數(shù),系統(tǒng)將面積小于標(biāo)準(zhǔn)顆粒70%的待測顆粒作為不合格藥品,并進(jìn)行后期補(bǔ)粒,以保證裝瓶量的精確性。經(jīng)過試驗(yàn)可知在124幀和148幀檢測出即將越過檢測線的顆粒面積不合格,因此后續(xù)無需進(jìn)行圓度檢測;所有目標(biāo)無漏檢情況,顆粒檢測與計(jì)數(shù)的準(zhǔn)確率達(dá)到99%以上,說明本文檢測方法對單通道數(shù)粒機(jī)的藥品檢測精確。

表2 顆粒檢測與計(jì)數(shù)結(jié)果表Tab.2 Results of particle detection and counting

4 結(jié) 論

本文以藥品包裝在線檢測為應(yīng)用背景,以機(jī)器視覺檢測與計(jì)數(shù)為研究基礎(chǔ),將機(jī)器視覺檢測技術(shù)應(yīng)用于藥品包裝檢測過程中。采用機(jī)器視覺的檢測方法對藥品顆粒進(jìn)行在線缺陷檢測與計(jì)數(shù),研究了一種適用于平板式數(shù)粒機(jī)檢測方法,為我國藥品包裝技術(shù)的進(jìn)一步發(fā)展和高精度數(shù)粒機(jī)設(shè)備的研制提供了參考。通過實(shí)驗(yàn)測試分析了檢測系統(tǒng)的性能,驗(yàn)證了本文缺陷檢測的有效性和檢測精度,證明了本文方法滿足藥品的實(shí)時(shí)在線檢測要求。