于玲 杜向軍
1.天津輕工職業(yè)技術(shù)學(xué)院;2.天津工業(yè)大學(xué)
藥品安全一直是人們非常關(guān)心的問(wèn)題,且藥品的質(zhì)量檢測(cè)也是藥品生產(chǎn)過(guò)程中的重要環(huán)節(jié),從而可以保證藥品的安全生產(chǎn)與使用。同時(shí),藥品的外觀檢測(cè)也是重要環(huán)節(jié)之一,由于藥品的需求量大,質(zhì)量檢測(cè)要求很高,人力檢測(cè)具有不確定性,缺乏準(zhǔn)確度。因此,采用機(jī)器視覺(jué)技術(shù)應(yīng)用于藥品的外觀檢測(cè)既克服人工檢測(cè)的弊端,又提高了其準(zhǔn)確度與工作效率,同時(shí)也能降低企業(yè)的成本,是藥品檢測(cè)發(fā)展的趨勢(shì)。而隨著藥品檢測(cè)標(biāo)準(zhǔn)的提高,以及膠囊藥物越來(lái)越大的檢測(cè)量,傳統(tǒng)的人工檢法已經(jīng)難以滿足膠囊生產(chǎn)廠家的需求。使用計(jì)算機(jī)視覺(jué)檢測(cè)技術(shù)來(lái)代替人工已經(jīng)是一種趨勢(shì),機(jī)器視覺(jué)作為一種無(wú)損、非接觸式的檢測(cè)手段,能在提高膠囊生產(chǎn)效率的同時(shí),保證膠囊的整體質(zhì)量。
本文提出基于機(jī)器視覺(jué)的膠囊板缺陷檢測(cè)系統(tǒng),是由光源模塊、攝像頭采集模塊、輸送帶檢測(cè)模塊、計(jì)算機(jī)處理模塊、輸出控制以及報(bào)警顯示等模塊組成。采用了攝像頭視頻采集,對(duì)視頻文件進(jìn)行去噪、去霧、濾波增強(qiáng),在HSV 空間提取出膠囊的信息,利用開(kāi)閉運(yùn)算、圖像重建、連通域識(shí)別獲取膠囊的位置及其外接矩形的大小[1]。對(duì)膠囊位置進(jìn)行矩陣式重排列,并利用模板對(duì)待檢測(cè)的膠囊位置進(jìn)行位置校正、對(duì)膠囊的外接矩形大小進(jìn)行校正;利用校正后的膠囊位置和外接矩形將每一個(gè)膠囊從原始圖像和中間二值圖像中截取出來(lái)原始膠囊圖集和二值膠囊圖集;對(duì)二值膠囊圖集中的每一個(gè)膠囊進(jìn)行面積檢測(cè),通過(guò)判斷面積占比來(lái)檢測(cè)漏裝膠囊、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形這三種缺陷;對(duì)原始膠囊圖集中的每一個(gè)膠囊進(jìn)行RGB 檢測(cè),通過(guò)計(jì)算RGB 三個(gè)通道的直方圖相似性獲取每一張圖片相互比對(duì)后的相似性系數(shù)矩陣,分析矩陣來(lái)檢測(cè)膠囊放置在錯(cuò)誤位置的這種缺陷;最后將正確的膠囊標(biāo)綠色方框,錯(cuò)誤的膠囊標(biāo)紅色方框[2]。
膠囊生產(chǎn)過(guò)程中難免出現(xiàn)缺失、漏粉、磨損、外觀變形等問(wèn)題,在檢測(cè)過(guò)程中可能因?yàn)槿藶橐蛩?、機(jī)器故障、堆壓等因素致使膠囊出現(xiàn)了破損和表面磨損。按照破損和磨損程度的不同,系統(tǒng)必須把那些破損或磨損較大的膠囊剔除出來(lái),從而提高產(chǎn)品質(zhì)量。因此,需要對(duì)在線的膠囊進(jìn)行圖像處理與識(shí)別,從而實(shí)現(xiàn)對(duì)膠囊生產(chǎn)的在線檢測(cè)[3]。在整個(gè)圖像處理過(guò)程中,首先要通過(guò)CCD 圖像傳感器獲取圖像,并將圖像轉(zhuǎn)換為計(jì)算機(jī)或微處理器能夠識(shí)別且運(yùn)行的數(shù)字信號(hào),并傳送給專用的圖像處理系統(tǒng)。獲取到圖像后對(duì)膠囊藥板進(jìn)行濾波、圖像增強(qiáng)等預(yù)處理,并根據(jù)像素分布和亮度、顏色等信息,轉(zhuǎn)變成數(shù)字化信號(hào),圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目算法分析;找到所有膠囊的位置,正確的膠囊標(biāo)綠色的方框,錯(cuò)誤的膠囊標(biāo)紅色。錯(cuò)誤的膠囊存在如下缺陷:漏裝膠囊、膠囊放置在錯(cuò)誤的位置、膠囊泄漏內(nèi)部藥粉、膠囊被擠壓變形等。
如圖1 所示,分別代表四種不同的缺陷:(a)為漏裝膠囊;(b)為錯(cuò)誤的位置;(c)為膠囊漏藥粉;(d)為膠囊變形對(duì)應(yīng)的實(shí)物圖。系統(tǒng)首先識(shí)別出膠囊板的位置,將其進(jìn)行定位并從背景中提取分離出來(lái)。再次識(shí)別出每一個(gè)膠囊的位置,對(duì)其進(jìn)行定位并從膠囊板背景中準(zhǔn)確提取出來(lái)。提取后,對(duì)每一個(gè)膠囊進(jìn)行缺陷檢測(cè),并將正確的膠囊標(biāo)綠色方框,錯(cuò)誤的膠囊標(biāo)記紅色方框,從而實(shí)現(xiàn)自動(dòng)識(shí)別功能[4]。
圖1 四種不同的缺陷Fig.1 Four different defects
膠囊缺陷檢測(cè)系統(tǒng)的硬件架構(gòu)主要包括機(jī)器視覺(jué)光學(xué)系統(tǒng)、傳送帶及傳感觸發(fā)裝置、基于PC 的圖像處理平臺(tái)、剔除裝置及上下料硬件控制模塊。其中機(jī)器視覺(jué)光學(xué)系統(tǒng)由三臺(tái)工業(yè)相機(jī)配上光學(xué)鏡頭及適配的光源組成[5]。圖像處理平臺(tái)包括工控上位機(jī)、擴(kuò)展圖像采集卡(本系統(tǒng)為千兆網(wǎng)卡)和串口卡。傳送帶與傳感觸發(fā)裝置有序地傳送膠囊進(jìn)入相機(jī)視野,膠囊借助底板摩擦滾動(dòng),滿足了360°拍攝需要。工控機(jī)與外部硬件控制模塊的交互由串口協(xié)議通信完成,包括硬件系統(tǒng)中振動(dòng)槽的振動(dòng)、排序輪的轉(zhuǎn)動(dòng)、傳送帶的啟停及狀態(tài)監(jiān)測(cè)的報(bào)警等。系統(tǒng)設(shè)計(jì)如圖2 所示。
圖2 系統(tǒng)組成Fig.2 System composition
正常工作狀態(tài)下,藥物在傳送帶上向前傳遞,工業(yè)相機(jī)采集圖像信息,并傳遞給計(jì)算機(jī)。計(jì)算機(jī)經(jīng)過(guò)檢測(cè)算法,可以檢測(cè)出正常膠囊板和缺陷膠囊板并做好標(biāo)記。當(dāng)系統(tǒng)檢測(cè)出缺陷膠囊后,計(jì)算機(jī)發(fā)出信號(hào)給PLC 控制器,控制器即刻啟動(dòng)剔除裝置,撥走缺陷膠囊板入次品收集器,并通過(guò)顯示模塊在控制平臺(tái)上顯示出來(lái)[6]。
進(jìn)行圖像預(yù)處理的目的是為了去除干擾、噪聲和差異,將原始彩色圖像變成適合于計(jì)算機(jī)進(jìn)行特征提取的形式,以便為特征提取做好必要的準(zhǔn)備。圖像預(yù)處理的質(zhì)量直接影響到整個(gè)系統(tǒng)的識(shí)別準(zhǔn)確率。
為了提高分辨精度與速度,背景選用對(duì)比較強(qiáng)的黑色背板,有利于分離,讀入后的原圖因?yàn)槭遣噬珗D像,為了加快運(yùn)算速度,轉(zhuǎn)后為灰度圖[7]。形態(tài)學(xué)的開(kāi)閉運(yùn)算可以有效地實(shí)現(xiàn)圖像的運(yùn)算提取,膨脹與腐蝕運(yùn)算是一對(duì)反動(dòng)作,可以控制區(qū)域內(nèi)的亮度范圍,再利用開(kāi)閉運(yùn)算和連通域識(shí)別來(lái)獲取膠囊板的位置,具體流程如圖3所示,運(yùn)行結(jié)果如圖4 所示。
圖3 二值化運(yùn)算Fig.3 Binarization operation
圖4 膠囊板定位結(jié)果Fig.4 Capsule plate positioning results
對(duì)于提取完畢的膠囊板,膠囊板的背景各有不同,彩色膠囊的背景相對(duì)復(fù)雜,同時(shí)伴有不同程度的反光,從而無(wú)法使用RGB 閾值將膠囊從背景中提取出來(lái)。并且膠囊板透明的塑料類似于霧,并且對(duì)提取精度產(chǎn)生了干擾,本文采用去霧算法來(lái)提高膠囊與背景之間的對(duì)比度。運(yùn)行結(jié)果如圖5 所示,去霧后的圖像可以清晰呈現(xiàn)膠囊狀態(tài),如圖6 所示,有助于后面的膠囊提取。
圖5 去霧及其圖像重構(gòu)Fig.5 Defogging and image reconstructio
圖6 去霧后效果Fig.6 Effect of defogging
去霧后的圖片,由于RGB 顏色閾值難以分辨,且無(wú)法提取不同顏色的膠囊,經(jīng)過(guò)HSV 轉(zhuǎn)換(HSV 分別是色彩、深度、明暗),按著圖中方向的變化,其對(duì)應(yīng)的顏色也會(huì)改變,所以利用不同的取值范圍設(shè)定合理的閾值可以有效地用于膠囊提取,轉(zhuǎn)換后的圖形,并對(duì)膠囊成分進(jìn)行濾波、圖像重建、二值化處理,從而得到待定位的膠囊圖片,如圖7 所示。
圖7 膠囊顆粒與背景分離結(jié)果Fig.7 Capsule particles and results of background separation
經(jīng)過(guò)對(duì)處理后圖像的研究,發(fā)現(xiàn)膠囊二值化后的圖像上存在很多離散的點(diǎn),為了獲得一個(gè)個(gè)鄰域連通的膠囊,只有這樣才能使用連通域識(shí)別函數(shù)對(duì)每一個(gè)膠囊進(jìn)行定位,然后再次利用開(kāi)閉運(yùn)算、圖像重建、連通域識(shí)別獲取膠囊的位置及其外接矩形的大小,如圖8 所示。
圖8 膠囊重定構(gòu)流程Fig.8 Capsule restructuring process
本文采用模板標(biāo)記,通過(guò)對(duì)模板標(biāo)記獲取膠囊的位置以及外接矩尺寸,并將數(shù)據(jù)作為模板來(lái)校正待檢測(cè)膠囊位置及其外接矩尺寸。
為了模板匹配和待檢測(cè)膠囊位置匹配,對(duì)膠囊位置進(jìn)行矩陣式重排列,找出待測(cè)膠囊的中心點(diǎn)坐標(biāo),再找出同一行的其他膠囊位置,并將這組膠囊中心坐標(biāo)另存為一組,數(shù)據(jù)表按照列坐標(biāo)由大到小排列,然后將這組膠囊的坐標(biāo)設(shè)為原始坐標(biāo),其余膠囊重新排列,得到矩陣式重排列后位置。使用模板的位置信息為參考值,以偏移里量為閾值,判斷標(biāo)記待檢測(cè)膠囊的位置是否在中心位置,如果不在,中心坐標(biāo)替換模中心坐標(biāo),同時(shí)不在此區(qū)間的圖片外接矩形替換為模板中外接矩形數(shù)據(jù),完成數(shù)據(jù)的處理變換。通過(guò)上述步驟就可以將膠囊的位置進(jìn)行校正,如圖9 所示。
圖9 膠囊定位校準(zhǔn)流程Fig.9 Capsule positioning calibration process
獲得每個(gè)膠囊的圖片,再利用校正后的位置和外接矩形,截取出來(lái)二值膠囊圖集,并將每個(gè)膠囊從圖片中提取,從而得到原始膠囊圖集。接著通過(guò)二值圖像集中每張膠囊圖片統(tǒng)計(jì)白色點(diǎn)數(shù),在整張圖片像素比例來(lái)判斷膠囊是否完整,但是在圖像運(yùn)算的過(guò)程中會(huì)出現(xiàn)膠囊信息的丟失。如圖10 所示,白色點(diǎn)數(shù)占比達(dá)不到閾值,會(huì)判定為缺陷。本文引入基于灰度強(qiáng)度差權(quán)重來(lái)分離背景,由此可以得到背景點(diǎn)數(shù)集,再計(jì)算面積占比,當(dāng)每一個(gè)膠囊的面積占比低于0.45 時(shí),判定為缺陷膠囊。經(jīng)過(guò)計(jì)算校正后的膠囊位置,以及外接矩形出來(lái)的二值膠囊圖集和原始膠囊圖集,經(jīng)過(guò)統(tǒng)計(jì),計(jì)算每張子圖片中的白色點(diǎn)數(shù),并且計(jì)算截圖中每張圖片的灰度強(qiáng)度差權(quán)重,從而分離背景,然后統(tǒng)計(jì)每張子圖片中背景點(diǎn)數(shù),并計(jì)算面積占比,如果膠囊的面積占比不大于0.45 時(shí),判定此圖為缺陷膠囊。
圖10 膠囊信息丟失Fig.10 Capsule information lost
對(duì)原始圖形進(jìn)行RGB 直方圖相似性判斷,對(duì)于在每一行膠囊,進(jìn)行相似性比對(duì),并對(duì)每個(gè)膠囊與同行膠囊進(jìn)行RGB 直方圖相似性計(jì)算,獲得相似性矩陣。
選取該表中相似性系數(shù)最大的值為參考值,并以(max-0.2,0]U(0.4,0]為閾值區(qū)間判斷相似性,可以得到相似性矩陣,當(dāng)某一列“1”的個(gè)數(shù)比行數(shù)少1 時(shí),判斷該列對(duì)應(yīng)的膠即為缺陷膠囊。再將面積缺陷檢測(cè)和RGB直方圖缺陷檢測(cè)的結(jié)果進(jìn)行或運(yùn)算,從而得到最終的缺陷檢測(cè)結(jié)果,并將判定的結(jié)果在原始圖片中標(biāo)記,綠色代表正常膠囊,紅色代表缺陷膠囊,如圖11 所示。
圖11 驗(yàn)證結(jié)果標(biāo)識(shí)Fig.11 Verification result identification
為了驗(yàn)證膠囊自動(dòng)檢測(cè)系統(tǒng)的測(cè)試效果,選用了22板不同程度的膠囊,其中的膠囊分別有漏裝15 顆、錯(cuò)位20 顆、漏藥20 顆、變形15 顆的膠囊,經(jīng)過(guò)五次實(shí)驗(yàn)檢測(cè),結(jié)果如表1 所示,正確率95.63%,識(shí)別速度達(dá)1400粒/秒,具有一定的實(shí)際應(yīng)用價(jià)值。
表1 自動(dòng)檢測(cè)系統(tǒng)的測(cè)試效果Tab.1 Testing effectiveness of automatic detection systems
本文提出基于機(jī)器視覺(jué)的膠囊板缺陷檢測(cè)系統(tǒng),通過(guò)攝像頭視頻采集,對(duì)視頻文件進(jìn)行去噪、去霧、濾波增強(qiáng),利用HSV 提取膠囊并進(jìn)行圖像處理運(yùn)算形成二值圖像,再對(duì)二值圖像進(jìn)行計(jì)算,檢測(cè)出漏裝、漏藥以及變形三種缺陷,利用RGB 通道相似矩陣檢測(cè)出錯(cuò)放缺陷,具有95.63%正確率,1400 粒/秒的運(yùn)行速度,同時(shí)還具有低成本、高效率、維護(hù)簡(jiǎn)單、實(shí)用性高的特點(diǎn),擁有一定的實(shí)用價(jià)值。