基于視覺(jué)膠囊藥板檢測(cè)系統(tǒng)的關(guān)鍵技術(shù)應(yīng)用

于玲 杜向軍

1.天津輕工職業(yè)技術(shù)學(xué)院；2.天津工業(yè)大學(xué)

藥品安全一直是人們非常關(guān)心的問(wèn)題，且藥品的質(zhì)量檢測(cè)也是藥品生產(chǎn)過(guò)程中的重要環(huán)節(jié)，從而可以保證藥品的安全生產(chǎn)與使用。同時(shí)，藥品的外觀檢測(cè)也是重要環(huán)節(jié)之一，由于藥品的需求量大，質(zhì)量檢測(cè)要求很高，人力檢測(cè)具有不確定性，缺乏準(zhǔn)確度。因此，采用機(jī)器視覺(jué)技術(shù)應(yīng)用于藥品的外觀檢測(cè)既克服人工檢測(cè)的弊端，又提高了其準(zhǔn)確度與工作效率，同時(shí)也能降低企業(yè)的成本，是藥品檢測(cè)發(fā)展的趨勢(shì)。而隨著藥品檢測(cè)標(biāo)準(zhǔn)的提高，以及膠囊藥物越來(lái)越大的檢測(cè)量，傳統(tǒng)的人工檢法已經(jīng)難以滿足膠囊生產(chǎn)廠家的需求。使用計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)來(lái)代替人工已經(jīng)是一種趨勢(shì)，機(jī)器視覺(jué)作為一種無(wú)損、非接觸式的檢測(cè)手段，能在提高膠囊生產(chǎn)效率的同時(shí)，保證膠囊的整體質(zhì)量。

本文提出基于機(jī)器視覺(jué)的膠囊板缺陷檢測(cè)系統(tǒng)，是由光源模塊、攝像頭采集模塊、輸送帶檢測(cè)模塊、計(jì)算機(jī)處理模塊、輸出控制以及報(bào)警顯示等模塊組成。采用了攝像頭視頻采集，對(duì)視頻文件進(jìn)行去噪、去霧、濾波增強(qiáng)，在HSV 空間提取出膠囊的信息，利用開(kāi)閉運(yùn)算、圖像重建、連通域識(shí)別獲取膠囊的位置及其外接矩形的大小[1]。對(duì)膠囊位置進(jìn)行矩陣式重排列，并利用模板對(duì)待檢測(cè)的膠囊位置進(jìn)行位置校正、對(duì)膠囊的外接矩形大小進(jìn)行校正；利用校正后的膠囊位置和外接矩形將每一個(gè)膠囊從原始圖像和中間二值圖像中截取出來(lái)原始膠囊圖集和二值膠囊圖集；對(duì)二值膠囊圖集中的每一個(gè)膠囊進(jìn)行面積檢測(cè)，通過(guò)判斷面積占比來(lái)檢測(cè)漏裝膠囊、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形這三種缺陷；對(duì)原始膠囊圖集中的每一個(gè)膠囊進(jìn)行RGB 檢測(cè)，通過(guò)計(jì)算RGB 三個(gè)通道的直方圖相似性獲取每一張圖片相互比對(duì)后的相似性系數(shù)矩陣，分析矩陣來(lái)檢測(cè)膠囊放置在錯(cuò)誤位置的這種缺陷；最后將正確的膠囊標(biāo)綠色方框，錯(cuò)誤的膠囊標(biāo)紅色方框[2]。

1 檢測(cè)裝置組成及工作原理

膠囊生產(chǎn)過(guò)程中難免出現(xiàn)缺失、漏粉、磨損、外觀變形等問(wèn)題，在檢測(cè)過(guò)程中可能因?yàn)槿藶橐蛩?、機(jī)器故障、堆壓等因素致使膠囊出現(xiàn)了破損和表面磨損。按照破損和磨損程度的不同，系統(tǒng)必須把那些破損或磨損較大的膠囊剔除出來(lái)，從而提高產(chǎn)品質(zhì)量。因此，需要對(duì)在線的膠囊進(jìn)行圖像處理與識(shí)別，從而實(shí)現(xiàn)對(duì)膠囊生產(chǎn)的在線檢測(cè)[3]。在整個(gè)圖像處理過(guò)程中，首先要通過(guò)CCD 圖像傳感器獲取圖像，并將圖像轉(zhuǎn)換為計(jì)算機(jī)或微處理器能夠識(shí)別且運(yùn)行的數(shù)字信號(hào)，并傳送給專用的圖像處理系統(tǒng)。獲取到圖像后對(duì)膠囊藥板進(jìn)行濾波、圖像增強(qiáng)等預(yù)處理，并根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)，圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目算法分析；找到所有膠囊的位置，正確的膠囊標(biāo)綠色的方框，錯(cuò)誤的膠囊標(biāo)紅色。錯(cuò)誤的膠囊存在如下缺陷：漏裝膠囊、膠囊放置在錯(cuò)誤的位置、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形等。

如圖1 所示，分別代表四種不同的缺陷：（a）為漏裝膠囊；（b）為錯(cuò)誤的位置；（c）為膠囊漏藥粉；（d）為膠囊變形對(duì)應(yīng)的實(shí)物圖。系統(tǒng)首先識(shí)別出膠囊板的位置，將其進(jìn)行定位并從背景中提取分離出來(lái)。再次識(shí)別出每一個(gè)膠囊的位置，對(duì)其進(jìn)行定位并從膠囊板背景中準(zhǔn)確提取出來(lái)。提取后，對(duì)每一個(gè)膠囊進(jìn)行缺陷檢測(cè)，并將正確的膠囊標(biāo)綠色方框，錯(cuò)誤的膠囊標(biāo)記紅色方框，從而實(shí)現(xiàn)自動(dòng)識(shí)別功能[4]。

圖1 四種不同的缺陷Fig.1 Four different defects

2 檢測(cè)系統(tǒng)的硬件構(gòu)成

2.1 機(jī)器視覺(jué)檢測(cè)系統(tǒng)的構(gòu)成

膠囊缺陷檢測(cè)系統(tǒng)的硬件架構(gòu)主要包括機(jī)器視覺(jué)光學(xué)系統(tǒng)、傳送帶及傳感觸發(fā)裝置、基于PC 的圖像處理平臺(tái)、剔除裝置及上下料硬件控制模塊。其中機(jī)器視覺(jué)光學(xué)系統(tǒng)由三臺(tái)工業(yè)相機(jī)配上光學(xué)鏡頭及適配的光源組成[5]。圖像處理平臺(tái)包括工控上位機(jī)、擴(kuò)展圖像采集卡(本系統(tǒng)為千兆網(wǎng)卡)和串口卡。傳送帶與傳感觸發(fā)裝置有序地傳送膠囊進(jìn)入相機(jī)視野，膠囊借助底板摩擦滾動(dòng)，滿足了360°拍攝需要。工控機(jī)與外部硬件控制模塊的交互由串口協(xié)議通信完成，包括硬件系統(tǒng)中振動(dòng)槽的振動(dòng)、排序輪的轉(zhuǎn)動(dòng)、傳送帶的啟停及狀態(tài)監(jiān)測(cè)的報(bào)警等。系統(tǒng)設(shè)計(jì)如圖2 所示。

圖2 系統(tǒng)組成Fig.2 System composition

2.2 機(jī)器視覺(jué)檢測(cè)系統(tǒng)的工作原理

正常工作狀態(tài)下，藥物在傳送帶上向前傳遞，工業(yè)相機(jī)采集圖像信息，并傳遞給計(jì)算機(jī)。計(jì)算機(jī)經(jīng)過(guò)檢測(cè)算法，可以檢測(cè)出正常膠囊板和缺陷膠囊板并做好標(biāo)記。當(dāng)系統(tǒng)檢測(cè)出缺陷膠囊后，計(jì)算機(jī)發(fā)出信號(hào)給PLC 控制器，控制器即刻啟動(dòng)剔除裝置，撥走缺陷膠囊板入次品收集器，并通過(guò)顯示模塊在控制平臺(tái)上顯示出來(lái)[6]。

3 軟膠囊藥板機(jī)器視覺(jué)檢測(cè)軟件系統(tǒng)的研究

進(jìn)行圖像預(yù)處理的目的是為了去除干擾、噪聲和差異，將原始彩色圖像變成適合于計(jì)算機(jī)進(jìn)行特征提取的形式，以便為特征提取做好必要的準(zhǔn)備。圖像預(yù)處理的質(zhì)量直接影響到整個(gè)系統(tǒng)的識(shí)別準(zhǔn)確率。

3.1 膠囊板位置獲取

為了提高分辨精度與速度，背景選用對(duì)比較強(qiáng)的黑色背板，有利于分離，讀入后的原圖因?yàn)槭遣噬珗D像，為了加快運(yùn)算速度，轉(zhuǎn)后為灰度圖[7]。形態(tài)學(xué)的開(kāi)閉運(yùn)算可以有效地實(shí)現(xiàn)圖像的運(yùn)算提取，膨脹與腐蝕運(yùn)算是一對(duì)反動(dòng)作，可以控制區(qū)域內(nèi)的亮度范圍，再利用開(kāi)閉運(yùn)算和連通域識(shí)別來(lái)獲取膠囊板的位置，具體流程如圖3所示，運(yùn)行結(jié)果如圖4 所示。

圖3 二值化運(yùn)算Fig.3 Binarization operation

圖4 膠囊板定位結(jié)果Fig.4 Capsule plate positioning results

3.2 去霧算法增強(qiáng)對(duì)比度

對(duì)于提取完畢的膠囊板，膠囊板的背景各有不同，彩色膠囊的背景相對(duì)復(fù)雜，同時(shí)伴有不同程度的反光，從而無(wú)法使用RGB 閾值將膠囊從背景中提取出來(lái)。并且膠囊板透明的塑料類似于霧，并且對(duì)提取精度產(chǎn)生了干擾，本文采用去霧算法來(lái)提高膠囊與背景之間的對(duì)比度。運(yùn)行結(jié)果如圖5 所示，去霧后的圖像可以清晰呈現(xiàn)膠囊狀態(tài)，如圖6 所示，有助于后面的膠囊提取。

圖5 去霧及其圖像重構(gòu)Fig.5 Defogging and image reconstructio

圖6 去霧后效果Fig.6 Effect of defogging

去霧后的圖片，由于RGB 顏色閾值難以分辨，且無(wú)法提取不同顏色的膠囊，經(jīng)過(guò)HSV 轉(zhuǎn)換（HSV 分別是色彩、深度、明暗），按著圖中方向的變化，其對(duì)應(yīng)的顏色也會(huì)改變，所以利用不同的取值范圍設(shè)定合理的閾值可以有效地用于膠囊提取，轉(zhuǎn)換后的圖形，并對(duì)膠囊成分進(jìn)行濾波、圖像重建、二值化處理，從而得到待定位的膠囊圖片，如圖7 所示。

圖7 膠囊顆粒與背景分離結(jié)果Fig.7 Capsule particles and results of background separation

3.3 膠囊位置獲取

經(jīng)過(guò)對(duì)處理后圖像的研究，發(fā)現(xiàn)膠囊二值化后的圖像上存在很多離散的點(diǎn)，為了獲得一個(gè)個(gè)鄰域連通的膠囊，只有這樣才能使用連通域識(shí)別函數(shù)對(duì)每一個(gè)膠囊進(jìn)行定位，然后再次利用開(kāi)閉運(yùn)算、圖像重建、連通域識(shí)別獲取膠囊的位置及其外接矩形的大小,如圖8 所示。

圖8 膠囊重定構(gòu)流程Fig.8 Capsule restructuring process

3.4 膠囊位置校正

本文采用模板標(biāo)記，通過(guò)對(duì)模板標(biāo)記獲取膠囊的位置以及外接矩尺寸，并將數(shù)據(jù)作為模板來(lái)校正待檢測(cè)膠囊位置及其外接矩尺寸。

為了模板匹配和待檢測(cè)膠囊位置匹配，對(duì)膠囊位置進(jìn)行矩陣式重排列，找出待測(cè)膠囊的中心點(diǎn)坐標(biāo)，再找出同一行的其他膠囊位置，并將這組膠囊中心坐標(biāo)另存為一組，數(shù)據(jù)表按照列坐標(biāo)由大到小排列，然后將這組膠囊的坐標(biāo)設(shè)為原始坐標(biāo)，其余膠囊重新排列，得到矩陣式重排列后位置。使用模板的位置信息為參考值，以偏移里量為閾值，判斷標(biāo)記待檢測(cè)膠囊的位置是否在中心位置，如果不在，中心坐標(biāo)替換模中心坐標(biāo)，同時(shí)不在此區(qū)間的圖片外接矩形替換為模板中外接矩形數(shù)據(jù)，完成數(shù)據(jù)的處理變換。通過(guò)上述步驟就可以將膠囊的位置進(jìn)行校正，如圖9 所示。

圖9 膠囊定位校準(zhǔn)流程Fig.9 Capsule positioning calibration process

3.5 基于二值圖像面積占比的檢測(cè)膠囊缺陷

獲得每個(gè)膠囊的圖片，再利用校正后的位置和外接矩形，截取出來(lái)二值膠囊圖集，并將每個(gè)膠囊從圖片中提取，從而得到原始膠囊圖集。接著通過(guò)二值圖像集中每張膠囊圖片統(tǒng)計(jì)白色點(diǎn)數(shù)，在整張圖片像素比例來(lái)判斷膠囊是否完整，但是在圖像運(yùn)算的過(guò)程中會(huì)出現(xiàn)膠囊信息的丟失。如圖10 所示，白色點(diǎn)數(shù)占比達(dá)不到閾值，會(huì)判定為缺陷。本文引入基于灰度強(qiáng)度差權(quán)重來(lái)分離背景，由此可以得到背景點(diǎn)數(shù)集，再計(jì)算面積占比，當(dāng)每一個(gè)膠囊的面積占比低于0.45 時(shí)，判定為缺陷膠囊。經(jīng)過(guò)計(jì)算校正后的膠囊位置，以及外接矩形出來(lái)的二值膠囊圖集和原始膠囊圖集，經(jīng)過(guò)統(tǒng)計(jì)，計(jì)算每張子圖片中的白色點(diǎn)數(shù)，并且計(jì)算截圖中每張圖片的灰度強(qiáng)度差權(quán)重，從而分離背景，然后統(tǒng)計(jì)每張子圖片中背景點(diǎn)數(shù)，并計(jì)算面積占比，如果膠囊的面積占比不大于0.45 時(shí)，判定此圖為缺陷膠囊。

圖10 膠囊信息丟失Fig.10 Capsule information lost

3.6 基于RGB 直方圖相似性的膠囊缺陷檢測(cè)

對(duì)原始圖形進(jìn)行RGB 直方圖相似性判斷，對(duì)于在每一行膠囊，進(jìn)行相似性比對(duì)，并對(duì)每個(gè)膠囊與同行膠囊進(jìn)行RGB 直方圖相似性計(jì)算，獲得相似性矩陣。

選取該表中相似性系數(shù)最大的值為參考值，并以(max-0.2,0]U(0.4,0]為閾值區(qū)間判斷相似性，可以得到相似性矩陣，當(dāng)某一列“1”的個(gè)數(shù)比行數(shù)少1 時(shí)，判斷該列對(duì)應(yīng)的膠即為缺陷膠囊。再將面積缺陷檢測(cè)和RGB直方圖缺陷檢測(cè)的結(jié)果進(jìn)行或運(yùn)算，從而得到最終的缺陷檢測(cè)結(jié)果，并將判定的結(jié)果在原始圖片中標(biāo)記，綠色代表正常膠囊，紅色代表缺陷膠囊，如圖11 所示。

圖11 驗(yàn)證結(jié)果標(biāo)識(shí)Fig.11 Verification result identification

4 實(shí)驗(yàn)和結(jié)果分析

為了驗(yàn)證膠囊自動(dòng)檢測(cè)系統(tǒng)的測(cè)試效果，選用了22板不同程度的膠囊，其中的膠囊分別有漏裝15 顆、錯(cuò)位20 顆、漏藥20 顆、變形15 顆的膠囊，經(jīng)過(guò)五次實(shí)驗(yàn)檢測(cè)，結(jié)果如表1 所示，正確率95.63%，識(shí)別速度達(dá)1400粒/秒，具有一定的實(shí)際應(yīng)用價(jià)值。

表1 自動(dòng)檢測(cè)系統(tǒng)的測(cè)試效果Tab.1 Testing effectiveness of automatic detection systems

5 結(jié)語(yǔ)

本文提出基于機(jī)器視覺(jué)的膠囊板缺陷檢測(cè)系統(tǒng)，通過(guò)攝像頭視頻采集，對(duì)視頻文件進(jìn)行去噪、去霧、濾波增強(qiáng)，利用HSV 提取膠囊并進(jìn)行圖像處理運(yùn)算形成二值圖像，再對(duì)二值圖像進(jìn)行計(jì)算，檢測(cè)出漏裝、漏藥以及變形三種缺陷，利用RGB 通道相似矩陣檢測(cè)出錯(cuò)放缺陷，具有95.63%正確率，1400 粒/秒的運(yùn)行速度，同時(shí)還具有低成本、高效率、維護(hù)簡(jiǎn)單、實(shí)用性高的特點(diǎn)，擁有一定的實(shí)用價(jià)值。