基于機(jī)器視覺技術(shù)的棉籽破損檢測*

劉媛杰，張澤亮，張洪洲，李勇，李偉強(qiáng)

(塔里木大學(xué)機(jī)械電氣化工程學(xué)院，新疆阿拉爾,843300)

0 引言

棉花作為新疆生產(chǎn)建設(shè)兵團(tuán)的主要農(nóng)作物之一，2020年新疆棉花的總產(chǎn)量達(dá)5 161 kt，占全國棉花總產(chǎn)量的87.3%，其種子質(zhì)量的問題直接影響棉花的產(chǎn)量，其中種子是否破損是評價種子質(zhì)量的重要指標(biāo)之一[1]。為了避免因種子質(zhì)量的問題導(dǎo)致產(chǎn)量降低，需要在播種前對棉花種子進(jìn)行精選。

20世紀(jì)80年代以前，我國對棉花種子的精選一般都是人工選取[2]，其勞動強(qiáng)度大、生產(chǎn)效率低、投入成本高, 且選種效果受人為因素的影響。近年來，隨著計算機(jī)軟硬件與圖像處理技術(shù)的發(fā)展，機(jī)器視覺技術(shù)在理論和實(shí)踐上都取得了重大突破。色選機(jī)、介電篩選機(jī)等棉籽精選機(jī)的問世，使得精選變得更加快速、準(zhǔn)確、無損等人工無法比擬的特點(diǎn)。Gunasekarans等[3]利用商業(yè)視覺系統(tǒng)對種子的內(nèi)部裂紋進(jìn)行了檢測，準(zhǔn)確率達(dá)90%以上。Yie等[4]將sobel、laplacian算子應(yīng)用于玉米種子應(yīng)力裂紋的檢測。余淑華等[5]基于機(jī)器視覺技術(shù)設(shè)計了一種脫絨棉種雙側(cè)雙CCD(Charge coupled device)色選檢測系統(tǒng)，試驗(yàn)結(jié)果表明能夠滿足分選時的穩(wěn)定性和實(shí)時性。張俊雄等[6]基于機(jī)器視覺技術(shù)采用平拋和氣吹的方式實(shí)現(xiàn)紅棕色和黑色脫絨棉種的識別，分選精度為88.6%，選出率為80.7%。張洪洲等[7]基于機(jī)器視覺和PLC設(shè)計了一種脫絨棉籽自動分級裝置，結(jié)果表明整體誤差小于5%?？搽s等基于兩次中值濾波、robbert算子和機(jī)器視覺技術(shù)搭建了破碎棉種檢測技術(shù)，隨機(jī)挑選了100粒新陸早-24#棉種進(jìn)行試驗(yàn)，檢測精度為87.5%。然而，大多數(shù)學(xué)者采用傳統(tǒng)、單一的邊緣檢測方法，容易產(chǎn)生大量噪聲，且圖像與噪聲混合在一起，不易進(jìn)行圖像特征的提取[8]。用傳統(tǒng)的濾波器雖然能夠抑制噪聲，但存在忽略圖像特征細(xì)節(jié)的問題。

基于一種改進(jìn)閾值的小波去噪方法對圖像進(jìn)行增強(qiáng)，且能對單粒棉籽自動提取和自動檢測。該方法對基于機(jī)器視覺技術(shù)的棉籽種子外觀品質(zhì)分級裝備的設(shè)計具有重要的指導(dǎo)作用。

1 材料與方法

1.1 試驗(yàn)材料

選取新疆長絨棉“新海-63號”脫絨棉籽，隨機(jī)挑選破損和無損棉籽共200粒，比例為1∶1，由于實(shí)際情況中存在棉籽籽粒斷裂破損和表皮破損兩種情況，本文將其統(tǒng)一歸為破損棉籽。通過觀察脫絨棉籽表面可明顯看出，破損棉籽表面存在部分白色棉籽籽仁，而非破損棉籽則不存在，顏色為棕黑色，且破損棉籽表面存在坑洼，而非破損棉籽表面則較為光滑。

1.2 圖像采集與分選裝置

破損識別系統(tǒng)主要是由傳送帶、工業(yè)相機(jī)、背景板、空氣槍、收集箱和計算機(jī)組成，使用MV-CE120-10UC工業(yè)相機(jī)(分辨率為4 000像素×3 036像素，最大幀率為31.9 fps),鏡頭使用MVL-MF0828M-8MP-8 mm型號。光源為最大12 W的正白光LED環(huán)形可調(diào)光源。

傳送帶(實(shí)際生產(chǎn)過程傳送帶情況如圖1所示)將被檢測的棉籽傳送到CDD攝像頭(系統(tǒng)采用兩個CDD攝像頭，保證全方位檢測棉籽)下方時，由攝像頭將采集到的棉籽信息傳送給計算機(jī)，計算機(jī)通過進(jìn)一步的分析判斷棉籽的品質(zhì)，并將棉籽品質(zhì)信息反饋到空氣槍，若為破損棉籽，空氣槍啟動，將棉籽打入到不合格品收集箱中，反之不啟動，棉籽自動落到合格品收集箱中。

圖1 傳送帶實(shí)際工作示意圖Fig. 1 Diagram of actual work of conveyor belt1.擋板 2.傳送帶 3.棉籽

2 棉籽破損檢測算法

2.1 單粒棉籽的自動提取

在采集破損棉籽圖像時，使用彩色面陣CDD相機(jī)拍攝了多張多粒棉籽圖像，圖2為其中一張包含多粒棉籽的RGB圖像。實(shí)現(xiàn)單粒棉籽的破損檢測，需要確定單粒棉籽的位置信息并基于位置信息將其提取出來。

圖2 多粒棉籽的RGB圖像Fig. 2 RGB image of multiple cottonseeds

2.1.1 多粒棉籽二值圖像的獲取

棉籽區(qū)域二值圖像進(jìn)行獲取[9]。選用顏色空間轉(zhuǎn)換算法，即RGB轉(zhuǎn)換為HSV并確定在哪一分量下棉籽區(qū)域與背景區(qū)域的灰度值差異最大，轉(zhuǎn)換結(jié)果如圖3所示，V分量下種子區(qū)域與背景區(qū)域的灰度值差異最大，因此在V分量采用最大類間法自動確定閾值，對棉籽區(qū)域和背景區(qū)域進(jìn)行分割。對得到的二值圖像取反，即可得到棉籽區(qū)域的二值圖像，結(jié)果如圖4所示。

(a) HSV空間H分量圖像

(b) HSV空間S分量圖像

(c) HSV空間V分量圖像圖3 多粒棉籽HSV各分量圖像Fig. 3 Image of multiple cottonseed HSV components

圖4 多粒棉籽的二值圖像Fig. 4 Binary image of multiple cottonseeds

2.1.2 種子輪廓的獲取與單粒種子的提取

圖5中，多粒棉籽區(qū)域之外還存在著非棉籽區(qū)域的噪聲，需將其去除。結(jié)合圖片像素，任選取5副多粒棉籽的RGB圖像在經(jīng)過2.1.1節(jié)的方法處理之后，確定了非棉籽區(qū)域噪聲去除方法為：找出所有連通區(qū)域，去除面積小于1 000個像素的連通區(qū)域，結(jié)果如圖5(a)所示。對得到的新的二值圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理—膨脹[10],結(jié)果如圖5(b)所示，目的是確保完整的剪切出每粒種子，使二值圖像中單粒種子區(qū)域面積略大于實(shí)際占據(jù)的面積。對膨脹過后的二值圖像使用區(qū)域?qū)傩远攘亢瘮?shù)標(biāo)記各個棉籽的位置信息，將位置信息在原RGB圖像中用紅色的框顯示，結(jié)果如圖6(a)所示?；谒鶚?biāo)記的各矩形框的位置信息，對單粒棉籽自動剪裁，并隨機(jī)人工挑選一張剪裁后的單粒棉籽，結(jié)果如圖6(b)所示。

(a) 去除種子外噪聲

(b) 膨脹圖像圖5 位置信息獲取各階段二值圖像Fig. 5 Position information is used to obtain binary images of each stage

(a) 棉籽位置信息

(b) 剪裁后的單粒棉籽圖6 標(biāo)記位置并自動剪裁Fig. 6 Mark position and auto-crop

2.2 圖像的增強(qiáng)和特征區(qū)域的提取

2.2.1 傳統(tǒng)小波去噪

小波閾值去噪方法是圖像處理中常用的方法之一[11-13]，去噪流程如圖7所示。

圖7 小波閾值去噪流程圖Fig. 7 Wavelet threshold denoising flow chart

目前常用的閾值計算模型主要是由Donoho等研究得出的

(1)

式中：λ——閾值參數(shù)；

δ——高斯方差；

M×N——圖像大小。

高斯噪聲方差δ在實(shí)際中無法得知，需要對其進(jìn)行事先估計

(2)

式中：ω(j,l)——小波系數(shù)。

但此閾值計算方法使得閾值限定在了一個固定的值。常用的閾值函數(shù)主要有三種：軟閾值函數(shù)如式(3)所示；硬閾值函數(shù)如式(4)所示；軟硬閾值折衷函數(shù)[14]如式(5)所示。

(3)

(4)

(5)

sgn()——符號函數(shù)。

例如一個-5到5線性變化的一維數(shù)據(jù)，閾值設(shè)定為1，其軟閾值函數(shù)、硬閾值函數(shù)和軟硬折衷閾值函數(shù)的圖像如圖8所示。軟閾值函數(shù)具有很好的連續(xù)性，但其系數(shù)和估計系數(shù)之間存在偏差，因此圖像重構(gòu)效果不是理想。硬閾值函數(shù)的連續(xù)性很差，估計系數(shù)在±1處是不連續(xù)的，重構(gòu)后的圖像會產(chǎn)生震蕩等不利影響。軟硬折衷閾值函數(shù)與傳統(tǒng)的軟閾值函數(shù)和硬閾值函數(shù)相比，雖然減少了軟閾值函數(shù)系數(shù)和估計系數(shù)之間的偏差，克服了硬閾值函數(shù)的不連續(xù)性，但是對于圖像的重構(gòu)效果并沒有達(dá)到想要的效果。

圖8 三種閾值函數(shù)圖像Fig. 8 Three kinds of threshold function images

2.2.2 改進(jìn)后小波去噪

為了使閾值不限定在某一固定值，使用一種改進(jìn)的閾值選取方法[15]如式(6)所示。針對傳統(tǒng)的閾值去噪函數(shù)所存在的問題，使用一種新的閾值函數(shù)[16-17]如式(7)所示。

(6)

式中：λnew——新閾值參數(shù)；

n——小波總分解層數(shù)。

(7)

式中：μ——調(diào)節(jié)因子,μ=1-e-b×(|ω(j,l)-λnew|)2；

a,b,m,t——可調(diào)參數(shù)，且都為正數(shù)。

在|ω(j,l)|≥λ區(qū)間內(nèi)通過調(diào)節(jié)參數(shù)a、b的值來達(dá)到最佳去噪效果，|ω(j,l)|<λ區(qū)間，通過一個非線性的函數(shù)實(shí)現(xiàn)對閾值的壓縮，可以避免振蕩效應(yīng)，解決恒定偏差的問題。當(dāng)為a=1,b=1,m=2,t=1時去噪效果最佳，圖9為閾值為0.5時此函數(shù)的圖像，圖10(a)為剪切后的棉籽的二值圖像，圖10(b)為該小波閾值去噪后的棉籽圖像?？梢钥闯?，邊緣更加清晰，且細(xì)節(jié)呈現(xiàn)效果更好。

圖9 改進(jìn)的小波閾值函數(shù)圖像Fig. 9 Improved wavelet threshold function image

(a) 剪切后棉籽灰度圖像

(b) 此函數(shù)去噪后的灰度圖像圖10 棉籽灰度圖和改進(jìn)小波閾值函數(shù)圖像增強(qiáng)結(jié)果Fig. 10 Image enhancement results of cottonseed grayscale image and improved wavelet threshold function

2.2.3 圖像特征提取

對200幅去噪后的單粒棉籽圖像中隨機(jī)選取的20幅有破損棉籽和20幅無破損棉籽的圖像進(jìn)行分析，當(dāng)閾值為0.45時，可分割出破損區(qū)域和背景區(qū)域，分割后圖像如11(a)所示，當(dāng)閾值為0.6時，可分割出整粒棉籽的二值圖像。

由圖11(a)可以看出：要想對棉籽破損區(qū)域進(jìn)行準(zhǔn)確提取還需去除破損區(qū)域外非破損區(qū)域的噪聲、破損區(qū)域內(nèi)的噪聲和輪廓噪聲。對圖11(a)的所有連通區(qū)域面積進(jìn)行計算，發(fā)現(xiàn)面積小于500的連通區(qū)域即為非破損區(qū)域(即棉籽區(qū)域內(nèi))的噪聲，將其去除得到圖11(b)，至此非破損區(qū)域噪聲已經(jīng)全部去除。去除破損區(qū)域噪聲的方法：將圖11(b)取反并去除面積小于100個像素的連通區(qū)域，對得到的圖像再取反，得到圖11(c)，至此非破損區(qū)域的噪聲已經(jīng)全部去除。為了去除輪廓噪聲和得到破損區(qū)域的特征，首先對原增強(qiáng)圖像進(jìn)行閾值分割并選取閾值為0.6，且去除面積小于1 000個像素的連通區(qū)域得到新的二值圖像11(d)(防止背景噪聲干擾)，對圖11(d)取反并且進(jìn)行腐蝕操作，得到圖11(e)。將圖11(e)與圖11(c)進(jìn)行相乘，結(jié)果如圖11(f)所示。可以看出，種子輪廓區(qū)域已經(jīng)被去除，并且破損區(qū)域也已經(jīng)顯現(xiàn)出來。

2.3 棉籽破損識別

通過以上算法實(shí)現(xiàn)了對棉籽破損特征的識別。本文對這些特征進(jìn)行研究發(fā)現(xiàn)，破損棉籽經(jīng)過以上算法處理之后連通區(qū)域的個數(shù)至少有一個，而非破損棉籽經(jīng)過以上算法處理之后并沒有連通區(qū)域，所以根據(jù)此特性將連通區(qū)域個數(shù)大于或等于1的棉籽圖像特征記為破損棉籽，連通區(qū)域個數(shù)小于1的棉籽圖像特征記為非破損棉籽進(jìn)而達(dá)到實(shí)現(xiàn)破損棉籽識別的目的。

3 軟件界面的設(shè)計

通過上述檢測算法設(shè)計了一個基于Matlab APP Designer跨平臺應(yīng)用程序框架的脫絨棉籽圖像處理軟件，采用交互式圖形用戶界面，布局簡介，各功能區(qū)域劃分清晰，且易于操作。

此軟件界面一共6個區(qū)域，分別為圖像輸入、圖像預(yù)處理、特征提取、棉籽識別、顯示區(qū)域和初始化/退出區(qū)域，圖像輸入?yún)^(qū)域用于輸入工業(yè)相機(jī)采集到的圖像，圖像預(yù)處理的是為了便于顯示特征參數(shù)，棉籽識別的結(jié)果顯示在顯示區(qū)域。其破損檢測結(jié)果如圖12所示。

圖12 棉籽檢測結(jié)果Fig. 12 Cottonseed test results

4 結(jié)果與分析

人工隨機(jī)挑選破損棉籽和完整棉籽200粒，比例為1∶1，混合均勻后隨機(jī)將其均分為十等份，每份20個棉籽，構(gòu)成驗(yàn)證集。用上述檢測方法對棉籽進(jìn)行破損檢測，使用平均準(zhǔn)確率當(dāng)作模型的檢測指標(biāo)。結(jié)果如表1所示。平均準(zhǔn)確率定義如式(8)所示。

(8)

式中：M——平均準(zhǔn)確率；

N——棉籽總數(shù)；

J——正確識別棉籽數(shù)量。

對10副圖像選用以上算法參數(shù)數(shù)值保持一致，只將去噪方法改為三種傳統(tǒng)小波去噪方法。結(jié)果如表2所示。分別對四種函數(shù)選用以上算法且參數(shù)保持一致，并記錄其檢測時間。結(jié)果表3所示。

由表1和表2可知：本文去噪方法對于對200個棉籽的平均準(zhǔn)確率為89%，要高于軟閾值函數(shù)、硬閾值函數(shù)和軟硬閾值折衷函數(shù)的平均準(zhǔn)確率83.5%、85%和87.5%。使用改進(jìn)閾值去噪函數(shù)過程中，將破損棉籽錯判為無損棉籽的原因?yàn)椴糠制茡p棉籽的裂紋過細(xì)，導(dǎo)致誤判，將非破損棉籽錯判的原因?yàn)槊摻q不凈。傳統(tǒng)的閾值函數(shù)平均準(zhǔn)確率較低的原因除了上述原因外，還包括在去噪過程中對邊緣或者對于種子內(nèi)噪聲去除不明顯。由表3可知，改進(jìn)后的閾值函數(shù)對單張圖像中20個棉籽的檢測時間為2.484 s要高于其他三種傳統(tǒng)閾值函數(shù)，原因是改進(jìn)后函數(shù)較為復(fù)雜其代碼運(yùn)行時間變慢為正常，但檢測時間增加的幅度并不高。因此，綜合總平均準(zhǔn)確率和檢測時間考慮使用一種改進(jìn)的閾值的小波去噪并且結(jié)合此方法對棉籽破損檢測的效果最佳。

試驗(yàn)發(fā)現(xiàn)，影響檢測的主要原因可能是由于CDD相機(jī)存在拍攝死角和光照不均勻的問題，個別種子表面粘連污物也是主要原因之一。

表1 棉籽破損檢測結(jié)果Tab. 1 Cotton seed breakage test results

表2 傳統(tǒng)去噪方式檢測結(jié)果Tab. 2 Detection results of traditional denoising methods

表3 四種函數(shù)檢測時間Tab. 3 Four functions detect time

5 結(jié)論

基于機(jī)器視覺與數(shù)字圖像處理技術(shù)，在V分量下使用最大類間法自動選取閾值，結(jié)合膨脹處理與區(qū)域?qū)傩远攘亢瘮?shù)對單粒棉籽進(jìn)行剪裁。采用一種改進(jìn)閾值的小波去噪方法對圖像增強(qiáng)，通過對多幅單粒棉籽圖像的研究找到對破損區(qū)域進(jìn)行閾值分割的最佳閾值為0.45，對整個棉籽進(jìn)行閾值分割的最佳閾值為0.6，然后對分割后的圖像進(jìn)行相乘和數(shù)學(xué)形態(tài)學(xué)處理等方法得到破損區(qū)域特征，利用數(shù)學(xué)形態(tài)學(xué)處理和刪除非目標(biāo)區(qū)域的像素等方法去除非破損區(qū)域噪聲并得到完整的得到破損區(qū)域特征，最后利用獲取二值圖像連通區(qū)域的方法實(shí)現(xiàn)破損棉籽的識別，并且對破損棉籽不進(jìn)行標(biāo)記，完整棉籽用紅色框標(biāo)記。

對“新海-63號”脫絨棉籽進(jìn)行了破損檢測，得到平均檢測率為89%。檢測結(jié)果表明：該方法對脫絨棉籽破損檢測效果明顯。本研究為棉籽破損檢測提供了一種新的方法，對于提高棉籽質(zhì)量具有非常重要的意義和后續(xù)相關(guān)的脫絨棉籽智能檢測裝備研發(fā)提供了技術(shù)支持。