軟膠囊藥板的機(jī)器視覺(jué)檢測(cè)系統(tǒng)關(guān)鍵技術(shù)研究

彭彥卿楊永通陳李清

（1.廈門理工學(xué)院電氣工程與自動(dòng)化學(xué)院，廈門 361024；2.國(guó)藥控股星鯊制藥（廈門）有限公司，廈門 361026 ）

?

軟膠囊藥板的機(jī)器視覺(jué)檢測(cè)系統(tǒng)關(guān)鍵技術(shù)研究

彭彥卿1楊永通1陳李清2

（1.廈門理工學(xué)院電氣工程與自動(dòng)化學(xué)院，廈門 361024；2.國(guó)藥控股星鯊制藥（廈門）有限公司，廈門 361026 ）

摘 要基于機(jī)器視覺(jué)的軟膠囊產(chǎn)品質(zhì)量檢測(cè)系統(tǒng)通過(guò)圖像采集硬件將被檢測(cè)軟膠囊產(chǎn)品藥板轉(zhuǎn)換成圖像信號(hào)，并傳達(dá)給專用的圖像處理系統(tǒng)。圖像處理系統(tǒng)根據(jù)像素亮度、顏色分布等信息，抽取目標(biāo)特征進(jìn)行建模，建立缺陷圖像數(shù)據(jù)庫(kù)，通過(guò)圖像處理和模式識(shí)別算法，判斷藥板是否存在質(zhì)量問(wèn)題，并將存在質(zhì)量問(wèn)題的藥板從生產(chǎn)線上自動(dòng)剔除。大量實(shí)驗(yàn)表明，檢測(cè)準(zhǔn)確率為99.7%以上，識(shí)別速率達(dá)2 400粒/ min。

關(guān)鍵詞機(jī)器視覺(jué)；軟膠囊藥板；圖像采集；缺陷監(jiān)測(cè)

軟膠囊產(chǎn)品是制藥行業(yè)中一種量大面廣的產(chǎn)品，在生產(chǎn)過(guò)程中由于產(chǎn)量大、單粒價(jià)格低，不合格品情況非常復(fù)雜。具體而言：有因厚薄邊引起的歪形丸、歪頭丸及其它異形丸，有漏油丸、空殼丸、扁平丸、汽泡丸，還有多粒粘結(jié)在一起的膠丸、有黑點(diǎn)或其它雜質(zhì)的膠丸，及含油量不足的瘦丸和含油量太多的胖丸等多種不合格膠丸。長(zhǎng)久以來(lái)國(guó)內(nèi)軟膠囊產(chǎn)品的廠家一直都是采用人工篩選的方法。由于工人受情緒、環(huán)境、自身視力等因素影響，加上勞動(dòng)強(qiáng)度大，會(huì)降低檢測(cè)效率，致使部分不合格產(chǎn)品無(wú)法及時(shí)剔除。國(guó)內(nèi)外也無(wú)相關(guān)設(shè)備的信息，多年來(lái)參加國(guó)內(nèi)、國(guó)際藥機(jī)展，咨詢國(guó)內(nèi)外設(shè)備產(chǎn)商，尚未發(fā)現(xiàn)用于軟膠囊生產(chǎn)線上的自動(dòng)檢測(cè)系統(tǒng)[1]?；跈C(jī)器視覺(jué)的軟膠囊藥板質(zhì)量檢測(cè)系統(tǒng)的開(kāi)發(fā)，克服了人工檢測(cè)效率低、勞動(dòng)強(qiáng)度大等方面的不足，將實(shí)現(xiàn)軟膠囊產(chǎn)品的完全自動(dòng)化生產(chǎn)，節(jié)約人力成本，提高生產(chǎn)效率和產(chǎn)品的合格率及穩(wěn)定性，具有非常重要的意義。

1 軟膠囊藥板機(jī)器視覺(jué)檢測(cè)系統(tǒng)的平臺(tái)構(gòu)成

1.1 機(jī)器視覺(jué)檢測(cè)系統(tǒng)的結(jié)構(gòu)構(gòu)成

設(shè)計(jì)硬件系統(tǒng)首先必須保證原有生產(chǎn)線的生產(chǎn)速度，目前用于軟膠囊產(chǎn)品生產(chǎn)線的鋁塑泡罩機(jī)最快包裝速度為300板/ min，兩板同時(shí)檢測(cè)的算法檢測(cè)時(shí)間必須小于200 ms /片（1 ms = 0.001 s）。光學(xué)設(shè)備選型需考慮目標(biāo)呈透明狀、生產(chǎn)線震動(dòng)、背景環(huán)境多變等問(wèn)題，實(shí)現(xiàn)該系統(tǒng)的光學(xué)設(shè)備對(duì)生產(chǎn)線環(huán)境具有自適應(yīng)性，能夠根據(jù)生產(chǎn)環(huán)境的光線及生產(chǎn)線速度進(jìn)行自適應(yīng)調(diào)整。根據(jù)長(zhǎng)期測(cè)試選擇采用德國(guó)IDS 200萬(wàn)像素工業(yè)相機(jī)，日本Computar工業(yè)鏡頭，專用光源和閃光控制器的效果比較好。

計(jì)算機(jī)處理與控制系統(tǒng)主要由圖像處理、計(jì)算機(jī)系統(tǒng)智能處理、控制輸出三個(gè)部分組成，功能是將圖像采集系統(tǒng)采集的圖像特征信息輸入到計(jì)算機(jī)系統(tǒng)里面，經(jīng)過(guò)計(jì)算機(jī)的運(yùn)算處理，通過(guò)控制輸出單元輸出控制信號(hào)。它包含電源分配系統(tǒng)、計(jì)算機(jī)主機(jī)、像機(jī)觸發(fā)電路、延時(shí)電路、輸出脈沖調(diào)理電路和各種外圍接口電路及相應(yīng)的鍵盤鼠標(biāo)。

輸出執(zhí)行系統(tǒng)有PLC 和機(jī)電執(zhí)行機(jī)構(gòu)二個(gè)部分，功能是將控制輸出單元的控制信號(hào)經(jīng)過(guò)PLC運(yùn)算，運(yùn)算的指令經(jīng)PLC的I/O口，控制機(jī)電剔除機(jī)構(gòu)執(zhí)行，將不合格的軟膠囊產(chǎn)品剔除，保證合格的產(chǎn)品輸出。

視覺(jué)檢測(cè)系統(tǒng)硬件架構(gòu)如圖1所示。

1.2 機(jī)器視覺(jué)檢測(cè)系統(tǒng)的工作原理

軟膠囊產(chǎn)品進(jìn)入沖填的泡罩后，泡罩在封合前，利用機(jī)器視覺(jué)檢測(cè)系統(tǒng)的CCD照相機(jī)將被檢測(cè)的目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)，圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征實(shí)現(xiàn)自動(dòng)識(shí)別功能。

圖1 視覺(jué)檢測(cè)系統(tǒng)硬件架構(gòu)Fig.1 The hardware architecture of visual inspection system

機(jī)器視覺(jué)檢測(cè)系統(tǒng)的處理流程圖如圖2所示，首先利用傳感器啟動(dòng)觸發(fā)拍照，獲取圖片。然后進(jìn)行模板匹配，獲得泡罩具體位置。并對(duì)泡罩內(nèi)部的藥丸進(jìn)行自動(dòng)閾值分割[2]，獲得藥丸外輪廓，計(jì)算藥丸面積。若泡罩內(nèi)無(wú)分割結(jié)果，則判為缺粒。若藥丸面積未在設(shè)定范圍內(nèi)，則判為藥丸異形。

在此基礎(chǔ)上，分離軟膠囊膠丸丸身及丸尾。計(jì)算丸身的長(zhǎng)、寬、圓度，丸尾的長(zhǎng)、寬、與水平線的夾角等參數(shù)。若計(jì)算結(jié)果未在設(shè)定范圍內(nèi)，則判斷為藥丸異形。此部分需分兩步來(lái)實(shí)現(xiàn)：首先是獲得丸身上半部分，計(jì)算丸身上半槽的長(zhǎng)、寬參數(shù)，若計(jì)算結(jié)果不在設(shè)定范圍內(nèi)，則判斷為藥丸異形；然后是獲得丸身上半弧線。計(jì)算弧線的長(zhǎng)度、弧線的峰數(shù)（極大值個(gè)數(shù)）、弧線峰點(diǎn)距弧線最左端、最右端的距離，若計(jì)算結(jié)果未在設(shè)定范圍內(nèi)，則判斷為藥丸異形。

對(duì)非異形軟膠囊膠丸，只需獲得丸身內(nèi)部檢測(cè)區(qū)域。用內(nèi)部區(qū)域?yàn)V波值對(duì)內(nèi)部檢測(cè)區(qū)域進(jìn)行濾波，并進(jìn)行閾值分割，提取分割結(jié)果面積大于內(nèi)部其它缺陷最小面積的部分。濾波值越小，圖像越清晰，檢測(cè)越嚴(yán)格。若提取結(jié)果不為空，則判為內(nèi)部缺陷。

在此基礎(chǔ)上，對(duì)內(nèi)部區(qū)域進(jìn)行灰度增強(qiáng)，提取灰度小于小黑點(diǎn)提取閾值的區(qū)域，再篩選出不在縫合線內(nèi)且區(qū)域直徑大于最小黑點(diǎn)直徑（單位為mm）的區(qū)域。小黑點(diǎn)提取閾值越大，檢測(cè)越嚴(yán)格，越容易檢測(cè)出黑點(diǎn)。若篩選結(jié)果不為空，則判斷該粒藥丸為內(nèi)部缺陷藥丸。最終對(duì)缺陷檢測(cè)結(jié)果整合、統(tǒng)計(jì)、顯示。

圖 2 視覺(jué)檢測(cè)系統(tǒng)的處理流程圖Fig.2 The processing flow chart of visual inspection system

2 軟膠囊藥板機(jī)器視覺(jué)檢測(cè)軟件系統(tǒng)的研究

2.1 藥板區(qū)域圖像提取

通過(guò)原始圖像提取藥板區(qū)域的過(guò)程中主要采取基于邊緣的分割方法[3]?；谶吘壍姆指钜蕾囉谟蛇吘墮z測(cè)算子找到的圖像邊緣，這些邊緣標(biāo)示出了圖像在灰度、彩色、紋理等方面不連續(xù)的位置。目的是將局部邊緣聚合到一幅圖像中，使其中只出現(xiàn)對(duì)應(yīng)于存在的物體或圖像部分的邊緣鏈。

常用的邊緣檢測(cè)算法有Laplacian變換、Prewitt變換、Diff變換和Roberts變換等。其中Laplacian變換對(duì)噪聲很敏感，Diff差分算子帶有較強(qiáng)的方向性和噪聲敏感性，容易造成輪廓失真。經(jīng)過(guò)反復(fù)試驗(yàn)發(fā)現(xiàn)Roberts算法對(duì)膠囊的邊緣提取效果最好。它的卷積掩膜是：

邊緣的幅值計(jì)算如下：

式中 f (i, j )表示對(duì)應(yīng)于第 i 行、第 j 列的像素點(diǎn)灰度值。

檢測(cè)系統(tǒng)對(duì)藥板采用邊緣分割的算法，在原始圖像中提取了藥板區(qū)域圖像，減少了檢測(cè)的計(jì)算量，提高了檢測(cè)精度。此外邊緣切割提供了對(duì)泡罩里軟膠囊膠丸的處理模板匹配，獲得泡罩里在測(cè)的每粒軟膠囊的具體位置。如圖3所示：

圖 3 提取后藥板區(qū)域圖像Fig.3 The image of medicine plate area after extracting

2.2 藥板圖像預(yù)處理

在監(jiān)測(cè)過(guò)程中，由于光源的不穩(wěn)定性以及噪聲的污染，容易造成圖像質(zhì)量不清晰的結(jié)果，給圖像分析造成了難度。因此在圖像分析之前需對(duì)藥品圖像進(jìn)行預(yù)處理，一般包括圖像增強(qiáng)、圖像復(fù)原、圖像編碼等，常用圖像增強(qiáng)和復(fù)原消除圖像噪聲。圖像增強(qiáng)是指通過(guò)對(duì)圖像進(jìn)行相應(yīng)操作使其能夠更適合特定應(yīng)用的處理方法，常用的圖像增強(qiáng)技術(shù)有灰度變換、濾波和直方圖均衡化等。

面對(duì)原始圖像的灰度分布不均勻，采用直方圖均衡化解決這一問(wèn)題。直方圖均衡化是創(chuàng)建一副在整個(gè)亮度范圍內(nèi)具有相同分布的亮度圖像，增強(qiáng)了靠近直方圖極大值附近亮度的對(duì)比度，減小了極小值附近的對(duì)比度，采用灰度統(tǒng)計(jì)特征將原始圖像由灰度不均勻、較集中于某個(gè)區(qū)間范圍變成灰度在全部范圍內(nèi)均勻分布[4]。

輸入的直方圖用H ( p )表示，輸入的灰度級(jí)范圍是[ p0，pk]，目的是找到一個(gè)單調(diào)的像素亮度變換q =T ( p )，使得輸出的直方圖G ( q )在整個(gè)輸出亮度范圍[ p0，pk]是均勻的。

2.3 圖像分割

在軟膠囊藥板圖像預(yù)處理過(guò)程中已經(jīng)用直方圖來(lái)分析圖像中灰度值的分布，現(xiàn)在采用最大類間方差法確定合理的閾值。最大類間方差法是由Ostu基于最小二乘法[5]推導(dǎo)而成，并對(duì)泡罩內(nèi)部的藥丸進(jìn)行自動(dòng)閾值分割，獲得藥丸外輪廓，計(jì)算藥丸面積。在此基礎(chǔ)上，分離軟膠囊膠丸丸身及丸尾，并計(jì)算丸身的長(zhǎng)、寬、圓度，丸尾的長(zhǎng)、寬、與水平線的夾角等參數(shù)。此部分需分兩步來(lái)實(shí)現(xiàn)：首先是獲得丸身上半部分，計(jì)算丸身上半槽的長(zhǎng)、寬參數(shù)；然后是獲得丸身上半弧線。

3 缺陷特征的提取與識(shí)別

（1）對(duì)泡罩內(nèi)部的藥丸進(jìn)行自動(dòng)閾值分割，獲得藥丸外輪廓，計(jì)算藥丸面積。若泡罩內(nèi)無(wú)分割結(jié)果，則判為缺粒。若藥丸面積未在設(shè)定范圍內(nèi)，則判為藥丸異形。檢測(cè)結(jié)果如圖4所示。

圖 4 軟膠囊缺粒、多粒檢測(cè)Fig.4 The detection figure of soft capsule quantity

（2）分離軟膠囊膠丸丸身及丸尾。計(jì)算丸身的長(zhǎng)、寬、圓度，丸尾的長(zhǎng)、寬、與水平線的夾角等參數(shù)。此外獲得丸身上半部分，計(jì)算丸身上半槽的長(zhǎng)、寬參數(shù)。若計(jì)算結(jié)果未在設(shè)定范圍內(nèi)，則判斷為藥丸異形。檢測(cè)結(jié)果如圖5所示。

圖 5 軟膠囊膠丸丸身、丸尾檢測(cè)Fig.5 The detection figure of soft capsule shape

（3）獲得丸身上半弧線。計(jì)算弧線的長(zhǎng)度、弧線的峰數(shù)（極大值個(gè)數(shù)）、弧線峰點(diǎn)距弧線最左端、最右端的距離。若計(jì)算結(jié)果未在設(shè)定范圍內(nèi)，則判斷為藥丸異形。檢測(cè)結(jié)果如圖6所示。

圖 6 軟膠囊邊緣弧線檢測(cè)Fig.6 The detection figure of soft capsule edge arc

（4）對(duì)非異形軟膠囊膠丸，獲得丸身內(nèi)部檢測(cè)區(qū)域。檢測(cè)軟膠囊內(nèi)是否存在黑點(diǎn)。接測(cè)結(jié)果如圖7所示。

圖 7 軟膠囊內(nèi)部黑點(diǎn)檢測(cè)Fig.7 The detection figure of soft capsule inside

用內(nèi)部區(qū)域?yàn)V波值對(duì)內(nèi)部檢測(cè)區(qū)域進(jìn)行濾波，并進(jìn)行閾值分割，提取分割結(jié)果面積大于內(nèi)部其它缺陷最小面積的部分。濾波值越小，圖像越清晰，檢測(cè)越嚴(yán)格。

4 結(jié)論

針對(duì)基于機(jī)器視覺(jué)的軟膠囊產(chǎn)品質(zhì)量檢測(cè)系統(tǒng)的在線監(jiān)測(cè)，進(jìn)行了如下研究：軟膠囊圖像采集硬件、軟件的設(shè)計(jì)，抽取目標(biāo)特征進(jìn)行建模，并對(duì)軟膠囊產(chǎn)品進(jìn)行分類，判斷藥板是否存在質(zhì)量問(wèn)題。對(duì)大量的軟膠囊圖像進(jìn)行試驗(yàn)，檢測(cè)準(zhǔn)確率為99.7 %以上，識(shí)別速率達(dá)2 400粒/ min。整個(gè)產(chǎn)品檢測(cè)系統(tǒng)適用性強(qiáng)，有很高的使用價(jià)值。

參考文獻(xiàn)

[1]嚴(yán)海領(lǐng).泡罩藥品自動(dòng)視覺(jué)監(jiān)測(cè)系統(tǒng)關(guān)鍵技術(shù)研究[D].天津：天津大學(xué)，2009.1-7.

[2]Dail Chen，YangQuan chen，Dingyu Xue.Adaptive Image Enhancement Based on Fractional Differential Mask[J]，IEEE，2012：1043-1047.

[3]Milan Sonka，Vaclav Hlavac，Roger Boyle.艾海舟，蘇延超等譯.圖像處理、分析與機(jī)器視覺(jué)[M].北京，清華大學(xué)出版社，2011.130-166.

[4]吳婉.機(jī)器視覺(jué)中泡罩藥品包裝缺陷監(jiān)測(cè)算法研究[D].湖南：湖南工業(yè)大學(xué)，2014.14-17.

[5]左奇.基于機(jī)器視覺(jué)的膠囊完整性檢測(cè)系統(tǒng)研究[J].西安交通大學(xué)學(xué)報(bào)，2002，36（12）： 1262-1265.

中圖分類號(hào)：TQ 460.5

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-817X（2016）02-0039-000

收稿日期：2015-12-11

基金項(xiàng)目：廈門市科技計(jì)劃項(xiàng)目（3502Z20141150）資助。

作者簡(jiǎn)介：彭彥卿（1966—），女，教授，博士，主要研究方向：自動(dòng)化，智能控制。

Study of Key Technology Used in Machine Vision Inspection System for Soft Capsule

Peng Yanqing1, Yang Yongtong1, Chen Liqing2
（1. School of Electrical Engineering & Automation, Xiamen University of Technology, Xiamen 361024; 2. Sinopharm Xingsha Pharmaceutical (Xiamen) Co., Ltd, Xiamen 361026）

Abstract:In machine vision based soft capsule quality inspection system, by using collection hardware, soft capsule sheet inspected is transformed into image signals which are conveyed to image treatment system. In image treatment system, based on the information, such as brightness and color of images, the features of the objective are extracted and model establishment is finished. With these models the defected image database is established. By using the methods of image treatment and model recognition, capsule sheet is inspected if there is quality defect and unqualified capsule sheet can be automatically removed from production line. From the results of great number of experiment, it has been shown that using this system the precision rate may reach above 99.7% and speed rate of recognition may reach 2400 capsule/min.

Keywords:machine vision; soft capsule sheet; image collection; defect monitor