基于Blob分析的紅棗表面缺陷在線檢測(cè)技術(shù)

海 潮 趙鳳霞 - 孫 爍

(鄭州大學(xué)機(jī)械工程學(xué)院，河南 鄭州 450001)

紅棗作為中國(guó)獨(dú)特的經(jīng)濟(jì)作物，具有很高的營(yíng)養(yǎng)價(jià)值和藥用價(jià)值，受到廣大民眾的青睞。但一些自然因素會(huì)導(dǎo)致紅棗產(chǎn)生霉變、蟲(chóng)蛀、破頭、裂痕等表皮缺陷，這些缺陷會(huì)直接導(dǎo)致紅棗的品質(zhì)和等級(jí)降低，為了達(dá)到上市要求，必須把它們從正常紅棗中篩選出來(lái)，表面缺陷檢測(cè)是紅棗深精加工過(guò)程中的一個(gè)重要環(huán)節(jié)。目前紅棗表面缺陷檢測(cè)主要是靠人工，這種作業(yè)方式勞動(dòng)強(qiáng)度大、分選效率低，分選質(zhì)量受主觀因素影響比較大，難以實(shí)現(xiàn)標(biāo)準(zhǔn)化，嚴(yán)重影響分選的準(zhǔn)確性，同時(shí)工人與棗果直接接觸，不符合食品加工生產(chǎn)衛(wèi)生要求。因此，尋找智能、快速的紅棗檢測(cè)分選技術(shù)十分迫切。

機(jī)器視覺(jué)是代替人眼視覺(jué)的以相機(jī)、計(jì)算機(jī)、處理軟件等為基礎(chǔ)的高效識(shí)別系統(tǒng)，具有無(wú)損檢測(cè)、判斷精度高、安全等優(yōu)點(diǎn)，目前利用機(jī)器視覺(jué)技術(shù)對(duì)農(nóng)產(chǎn)品品質(zhì)分選檢測(cè)已經(jīng)是一種主流技術(shù)手段。國(guó)外自20世紀(jì)70年代起就將機(jī)器視覺(jué)技術(shù)應(yīng)用于農(nóng)產(chǎn)品品質(zhì)的研究，并將部分成果產(chǎn)業(yè)化。其中美國(guó)AUTOLINE公司、法國(guó)MAF RODA公司和新西蘭COMPAC公司是機(jī)器視覺(jué)果品分級(jí)設(shè)備研制的主力軍，研究對(duì)象主要是一些流通性好、普及性高的水果，如蘋果、柑橘、獼猴桃等。由于紅棗與其它水果的物料特性差異，這些設(shè)備不能直接應(yīng)用于紅棗的自動(dòng)化檢測(cè)中，因此國(guó)內(nèi)外學(xué)者針對(duì)紅棗品質(zhì)檢測(cè)進(jìn)行了一系列的研究。如李運(yùn)志等[1]提出了一種以機(jī)器視覺(jué)為基礎(chǔ)的缺陷識(shí)別方法，依據(jù)半干棗在病害和非病害區(qū)域色調(diào)值差異提取病害區(qū)域,用提取的病害區(qū)域與棗表面積的比作為閾值來(lái)確定識(shí)別精度，以識(shí)別病害和裂痕棗；馬學(xué)武等[2]利用機(jī)器視覺(jué)技術(shù)獲取紅棗圖像，然后對(duì)圖像進(jìn)行處理后輸出檢測(cè)分級(jí)信號(hào)，信號(hào)傳遞給光電開(kāi)關(guān)定位后控制步進(jìn)電機(jī)的啟停,最后實(shí)現(xiàn)大棗無(wú)損分級(jí)；李景彬等[3]利用MATLAB軟件編程實(shí)現(xiàn)了樣本圖像的灰度化、二值化、圖像分割、圖像濾波、圖像形態(tài)學(xué)處理、邊緣檢測(cè)和特征量提取等處理來(lái)實(shí)現(xiàn)紅棗的分級(jí)；張萌等[4]針對(duì)紅棗表面灰度不均勻問(wèn)題提出一種表面灰度快速補(bǔ)償方法，解決了表面缺陷難以快速定位的問(wèn)題，顯著地增強(qiáng)了果面缺陷特征，提高了紅棗缺陷檢測(cè)的準(zhǔn)確率；Wu等[5]通過(guò)使用高光譜成像技術(shù)獲取反射圖像，以識(shí)別棗果實(shí)的常見(jiàn)缺陷如淤傷，昆蟲(chóng)感染和裂紋；Lee等[6]基于紅外成像對(duì)自然干燥或烘干的椰棗的大小和外觀進(jìn)行了研究，開(kāi)發(fā)了一套椰棗在線檢測(cè)機(jī)器視覺(jué)系統(tǒng)；Wang等[7]采用在400～720 nm光譜區(qū)域內(nèi)的高光譜反射率成像方法檢測(cè)鮮棗果實(shí)的外部損傷和昆蟲(chóng)缺陷。

本試驗(yàn)搭建了基于機(jī)器視覺(jué)的紅棗表面缺陷在線檢測(cè)平臺(tái)，實(shí)現(xiàn)了紅棗全表面信息的呈現(xiàn)；基于顏色空間模型將紅棗R、G、B圖像轉(zhuǎn)換到HSV顏色空間，進(jìn)行紅棗與背景的分割；最后基于Blob分析技術(shù)進(jìn)行了紅棗典型表面缺陷的識(shí)別。

1 紅棗表面缺陷檢測(cè)系統(tǒng)

圖1為基于機(jī)器視覺(jué)設(shè)計(jì)的紅棗表面缺陷自動(dòng)檢測(cè)系統(tǒng)。該檢測(cè)系統(tǒng)整體是由上料機(jī)構(gòu)、傳送裝置、圖像采集裝置、圖像處理系統(tǒng)、控制系統(tǒng)和分選系統(tǒng)等組成。其中，上料機(jī)構(gòu)將紅棗從無(wú)序散亂喂入狀態(tài)變成單一喂入狀態(tài)，且紅棗能夠有序?qū)雮魉脱b置的輥?zhàn)雨嚵?。傳送裝置由同時(shí)具有自轉(zhuǎn)和公轉(zhuǎn)運(yùn)動(dòng)的陣列轉(zhuǎn)動(dòng)輥組成，實(shí)現(xiàn)紅棗多通道向前輸送和自動(dòng)翻轉(zhuǎn)，達(dá)到紅棗在向前輸送的同時(shí)，各表面都能呈現(xiàn)在相機(jī)的采集范圍內(nèi)，通過(guò)相機(jī)的多次圖像采集，獲得紅棗的全表面信息。圖像采集裝置由MER-503-20GC-P工業(yè)相機(jī)、日本Computar公司的M0814-MP2型號(hào)的鏡頭、LED環(huán)形光源等組成。為了避免來(lái)自其他光源的散射效應(yīng)，圖像采集裝置放置在由不銹鋼板材組成的暗箱中，光照采用正面明場(chǎng)漫反射的方式，布置在箱體四周略低于相機(jī)鏡頭?？刂葡到y(tǒng)實(shí)現(xiàn)當(dāng)每個(gè)紅棗樣本被傳送至相機(jī)采集范圍內(nèi)時(shí)觸發(fā)相機(jī)進(jìn)行拍照，處理過(guò)程在由圖像處理系統(tǒng)中進(jìn)行，處理結(jié)果引導(dǎo)分選系統(tǒng)作出反應(yīng)，最后實(shí)現(xiàn)各類紅棗的分選。

1. 上料機(jī)構(gòu) 2. 傳送裝置 3. 圖像處理系統(tǒng) 4. 圖像采集裝置5. 控制系統(tǒng) 6. 相機(jī) 7. 光源圖1 紅棗缺陷檢測(cè)系統(tǒng)Figure 1 Jujube defect detection system

2 紅棗表面缺陷檢測(cè)技術(shù)

2.1 圖像獲取

采用觸發(fā)抓拍來(lái)獲取紅棗圖像。調(diào)節(jié)光圈大小為1.4，快門速度設(shè)定為1/8 s。在圖像采集區(qū)域內(nèi)安裝紅棗運(yùn)動(dòng)檢測(cè)傳感器，當(dāng)紅棗到達(dá)預(yù)定的位置時(shí)，傳感器檢測(cè)到并向相機(jī)發(fā)出觸發(fā)信號(hào)，抓取圖像進(jìn)而作下一步的處理。圖2是在線采集到的紅棗圖像，原圖像像素大小為2 448×2 048。

圖2 在線采集的紅棗圖像Figure 2 Online collection of jujube images

2.2 背景去除

獲取圖像后，在進(jìn)行表面缺陷識(shí)別之前，需要去掉背景，把紅棗從其輸送裝置背景中分離出來(lái)。本試驗(yàn)采用Blob分析方法進(jìn)行背景去除。Blob分析流程見(jiàn)圖3。

圖3 Blob分析流程Figure 3 Blob analysis process

2.2.1 顏色空間轉(zhuǎn)換 由于紅棗顏色與輸送裝置的顏色處于不同色調(diào)范圍，因此可以利用顏色空間進(jìn)行前景目標(biāo)的提取。當(dāng)前常用的顏色空間模型有RGB顏色空間、HSV顏色空間、YIQ顏色空間等。相機(jī)采集的圖像即為RGB模型。HSV顏色空間中，H表示色調(diào)、S表示飽和度、V表示明度；其中H分量以角度為度量單位，范圍0°～360°。飽和度S和明度V取值范圍均為0～255。紅棗的顏色一般為褐色、紫紅色等，色調(diào)大約在0°～20°。因此，可將圖像的RGB模型轉(zhuǎn)換到HSV顏色空間中，通過(guò)設(shè)定紅棗色調(diào)閾值，進(jìn)行背景與紅棗的分割。

H、S、V分量可以用式(1)從圖像的R、G、B三通道中計(jì)算得到：

(1)

2.2.2 圖像分割 在HSV顏色空間分別對(duì)H分量和S分量的圖像進(jìn)行處理。

目前最為常用的方法是基于閾值的分割方法，包括全局閾值法和局部閾值法2種。本試驗(yàn)采用全局閾值法對(duì)H分量和S分量分別進(jìn)行閾值分割，然后對(duì)H、S分量的分割結(jié)果進(jìn)行運(yùn)算，即將圖像分割為目標(biāo)像素(Blob區(qū)域，紅棗區(qū)域)和背景像素，見(jiàn)圖4。

2.2.3 形態(tài)學(xué)處理 由于在進(jìn)行區(qū)域分割時(shí)紅棗的表面缺陷可能造成一個(gè)棗被分割形成多個(gè)不連續(xù)的區(qū)域，為了避免后續(xù)發(fā)生計(jì)算錯(cuò)誤，去除分割區(qū)域內(nèi)的雜點(diǎn)和干擾，形態(tài)學(xué)處理這一環(huán)節(jié)顯得十分重要。為去除紅棗區(qū)域周圍不必要的干擾，首先用圓形結(jié)構(gòu)元素S1對(duì)分割后的圖像I進(jìn)行開(kāi)運(yùn)算獲得圖像I1，其定義見(jiàn)式(2)；然后對(duì)圖像I1用圓形結(jié)構(gòu)元素S2進(jìn)行閉運(yùn)算，將一個(gè)紅棗區(qū)域中斷開(kāi)的縫隙閉合，以保證紅棗目標(biāo)區(qū)域的完整性，定義見(jiàn)式(3)。

圖4 圖2的圖像分割結(jié)果Figure 4 The image segmentation results in Fig. 2

I1=I°S1=(IΘS1)⊕S1，

(2)

I2=I·S2=(I⊕S2)ΘS2，

(3)

式中：

°——開(kāi)運(yùn)算；

·——閉運(yùn)算；

Θ——腐蝕運(yùn)算；

⊕——膨脹運(yùn)算。

2.2.4 連通域分析 在進(jìn)行閾值分割后，得到由目標(biāo)像素和背景像素構(gòu)成的圖像，因?yàn)橐獙?duì)目標(biāo)像素進(jìn)行提取，所以需要進(jìn)行連通性分析以得到目標(biāo)像素連接體。本試驗(yàn)采用8鄰域標(biāo)記算法掃描圖像進(jìn)行連通域分析。連通域分析后，得到每個(gè)紅棗的Blob區(qū)域。

2.2.5 特征提取 得到Blob區(qū)域后，根據(jù)紅棗區(qū)域的面積特征，進(jìn)行特征提取，由此得到去除背景的紅棗區(qū)域圖像。圖5為特征提取得到的去除背景的紅棗二值化圖像。

圖5 圖2去除背景的紅棗二值化圖像Figure 5 The jujubes binarized image without background of Fig. 2

2.3 缺陷識(shí)別

缺陷識(shí)別也就是對(duì)缺陷的有效分割，根據(jù)GB/T 12947—2009規(guī)定，常見(jiàn)的缺陷類型有霉變果、破頭果、漿頭果、蟲(chóng)蛀果等。破頭果是指果皮出現(xiàn)破口，破口不變色無(wú)霉變。霉變果的果實(shí)表面留有明顯發(fā)霉痕跡，暴露的果肉部分發(fā)黑變質(zhì)。漿頭果是由于未達(dá)到適當(dāng)干燥導(dǎo)致兩頭或局部含水率高，果顏色呈現(xiàn)灰暗色澤。蟲(chóng)蛀果的果肉受害蟲(chóng)危害，傷及果肉。因此，可以根據(jù)缺陷的顏色不同，將霉變果、破頭果、漿頭果、蟲(chóng)蛀果等缺陷果分為兩類，即破頭果是果肉暴露的一類，缺陷部分顏色呈現(xiàn)為淡黃色；霉變果、蟲(chóng)蛀果和漿頭果是變色變質(zhì)的一類，缺陷部分顏色呈現(xiàn)為暗色。根據(jù)這一特征，同樣可采用Blob分析方法進(jìn)行缺陷識(shí)別。

2.3.1 顏色空間轉(zhuǎn)換 選擇要檢測(cè)的目標(biāo)紅棗，首先要進(jìn)行顏色空間的轉(zhuǎn)換，將圖像轉(zhuǎn)換到最適合處理的空間。

在HSV顏色空間模型中，當(dāng)V=0時(shí)，顏色為黑色，這與霉變果、蟲(chóng)蛀果和漿頭果的缺陷顏色相近。因此，本試驗(yàn)采用HSV顏色空間的V分量進(jìn)行霉變果、蟲(chóng)蛀果和漿頭果的缺陷識(shí)別。由圖6可以看出，在V分量中，變色變質(zhì)缺陷棗與正常棗具有明顯不同的灰度特征。

圖6 圖2的V分量圖像Figure 6 The V component image of Fig. 2

由式(4)從R、G、B通道中計(jì)算得到Y(jié)、I、Q分量。根據(jù)這一特征，采用YIQ顏色空間的Q分量進(jìn)行破頭缺陷識(shí)別，由圖7可以看出，在Q分量中，破頭果缺陷特征被凸顯出來(lái)。

(4)

圖7 圖2的Q分量圖像Figure 7 The Q component image of Fig. 2

2.3.2 缺陷特征識(shí)別 對(duì)圖像進(jìn)行顏色空間轉(zhuǎn)換后，可以依據(jù)缺陷棗區(qū)域的灰度變化范圍與正常棗的灰度變化范圍的差異，采用固定閾值法進(jìn)行圖像閾值分割。由圖8可以看出，最大的分割閾值應(yīng)小于80，分割閾值應(yīng)選擇在120左右。

閾值分割后，對(duì)每個(gè)棗區(qū)域進(jìn)行連通性分析，如果棗表面有缺陷，便得到具有一定面積大小的Blob區(qū)域，然后根據(jù)設(shè)定的面積閾值進(jìn)行缺陷特征識(shí)別。圖9是圖2的缺陷識(shí)別結(jié)果。

3 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本試驗(yàn)所述方法的普適性，采用本試驗(yàn)所搭建的機(jī)器視覺(jué)檢測(cè)平臺(tái)對(duì)多個(gè)新鄭灰棗樣品進(jìn)行了實(shí)驗(yàn)驗(yàn)證。選取400個(gè)紅棗，其中包括200個(gè)正常棗，60個(gè)破頭類缺陷棗，霉變和蟲(chóng)蛀類缺陷棗80個(gè)，裂紋類缺陷棗60個(gè)，檢測(cè)出破頭果59個(gè)，正確率98.3%；霉變蟲(chóng)蛀果74個(gè)，正確率92.5%；裂紋果55個(gè)，正確率91.6%。由于破頭果具有較明顯的缺陷特征，所以檢測(cè)準(zhǔn)確度較高；部分霉變蟲(chóng)蛀果缺陷部分顏色特征不突出，光照雖然照射均勻但還是會(huì)產(chǎn)生一小部分陰影，導(dǎo)致一定程度誤判；裂紋果的判定標(biāo)準(zhǔn)也相對(duì)模糊，稍微放寬了這類的檢測(cè)要求，只針對(duì)特別明顯的裂紋進(jìn)行篩選。結(jié)果表明：基于顏色空間轉(zhuǎn)換和Blob分析方法可以滿足對(duì)各類紅棗表面缺陷的檢測(cè)，準(zhǔn)確率在90%以上。圖10 是幾種典型紅棗樣品的檢測(cè)結(jié)果。

圖8 圖6、7的灰度直方圖Figure 8 Histogram of Fig. 6 and Fig. 7

圖9 圖2的缺陷識(shí)別結(jié)果Figure 9 Detecting results of Fig. 2

4 結(jié)論

本試驗(yàn)搭建了一個(gè)基于機(jī)器視覺(jué)的紅棗表面缺陷在線檢測(cè)平臺(tái)，該平臺(tái)的傳輸裝置是由能自轉(zhuǎn)和公轉(zhuǎn)紅棗仿形輥?zhàn)雨嚵薪M成，保證了紅棗全表面信息的呈現(xiàn)，平臺(tái)的傳輸裝置、機(jī)器視覺(jué)系統(tǒng)、控制系統(tǒng)協(xié)調(diào)工作，實(shí)現(xiàn)了紅棗全表面信息的自動(dòng)化在線實(shí)時(shí)測(cè)量。根據(jù)紅棗及其表面缺陷的特征，提出了采用顏色空間模型和Blob分析方法進(jìn)行紅棗與背景的分離，并進(jìn)行了紅棗表面缺陷的識(shí)別；所采用的方法可以準(zhǔn)確快速地識(shí)別出破頭果、霉變果、漿頭果、蟲(chóng)蛀果等典型的缺陷紅棗。通過(guò)大量的實(shí)驗(yàn)驗(yàn)證，檢測(cè)結(jié)果穩(wěn)健可靠，準(zhǔn)確率可達(dá)到90%以上。本試驗(yàn)的研究增強(qiáng)了紅棗采后的深加工能力，加快了紅棗的智能化、產(chǎn)業(yè)化發(fā)展。

圖10 紅棗樣品及其檢測(cè)結(jié)果Figure 10 Jujube samples and detecting results

[1] 李運(yùn)志, QIANG Zhang, 陳弘毅, 等. 基于機(jī)器視覺(jué)的半干棗病害和裂紋識(shí)別研究[J]. 農(nóng)機(jī)化研究, 2016, 38(8): 120-125.

[2] 馬學(xué)武, 何建國(guó). 基于機(jī)器視覺(jué)紅棗無(wú)損自動(dòng)分級(jí)設(shè)備的研制[J]. 寧夏工程技術(shù), 2008(3): 213-215, 220.

[3] 李景彬, 鄧向武, 坎雜, 等. 基于機(jī)器視覺(jué)的干制紅棗大小分級(jí)方法研究[J]. 農(nóng)機(jī)化研究, 2014, 36(2): 55-59.

[4] 張萌, 許敏. 紅棗表面缺陷快速檢測(cè)方法研究[J]. 江蘇農(nóng)業(yè)科學(xué), 2015, 43(7): 331-334.

[5] WU Long-guo, HE Jian-guo, LIU Gui-shan, et al. Detection of common defects on jujube using Vis-NIR and NIR hyperspectral imaging[J]. Postharvest Biology and Technology, 2016, 112: 134-142.

[6] LEE Dah-jye, SCHOENBERGER R, ARCHIBALD J, et al. Development of a machine vision system for automatic date grading using digital reflective near-infrared imaging[J]. Journal of Food Engineering, 2008, 86: 388-398.

[7] WANG J, NAKANO K, OHASHI S, et al. Detection of external insect infestations in jujube fruit using hyperspectral reflectance imaging[J]. Biosystems Engineering, 2011, 108: 345-351.