基于機(jī)器視覺(jué)的蘋(píng)果缺陷快速檢測(cè)方法研究

高 輝馬國(guó)峰劉偉杰

(1. 鄭州鐵路職業(yè)技術(shù)學(xué)院人工智能學(xué)院，河南 鄭州 451460； 2. 河南工業(yè)大學(xué)機(jī)電工程學(xué)院，河南 鄭州 450001)

缺陷檢測(cè)是水果等級(jí)劃分的重要組成部分，而水果缺陷多樣復(fù)雜，所以水果缺陷的快速檢測(cè)一直是研究的熱點(diǎn)問(wèn)題[1]。目前，中國(guó)蘋(píng)果分揀仍以手工為主，成本高、效率低。隨著計(jì)算機(jī)視覺(jué)技術(shù)的不斷發(fā)展，在農(nóng)產(chǎn)品的檢測(cè)中應(yīng)用越來(lái)越廣泛。機(jī)器視覺(jué)工作模式更加主動(dòng)，質(zhì)量判斷標(biāo)準(zhǔn)更加客觀具體，具有較強(qiáng)的可執(zhí)行性和非接觸工作模式[2]。

近年來(lái)，國(guó)內(nèi)外的研究人員對(duì)水果缺陷檢測(cè)技術(shù)進(jìn)行了大量研究，并取得了許多優(yōu)異的成果，但很少有研究能夠快速檢測(cè)出水果缺陷。項(xiàng)輝宇等[3]使用基于Halcon的圖像處理方法對(duì)蘋(píng)果的大小、顏色和缺陷進(jìn)行研究，完成了水果輪廓的提取及面積的計(jì)算。結(jié)果表明，該算法對(duì)蘋(píng)果大小、缺陷等檢測(cè)效果較好。薛勇等[4]提出了一種基于Google Le Net的深度遷移模型來(lái)檢測(cè)蘋(píng)果缺陷，并將Google Le Net與淺層卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)進(jìn)行了比較。結(jié)果表明，與常用的蘋(píng)果缺陷檢測(cè)算法相比，該方法具有更好的泛化能力和魯棒性。李紅娟等[5]將混沌多空間算法應(yīng)用于蘋(píng)果的缺陷檢測(cè)，利用邏輯映射對(duì)個(gè)體進(jìn)行混沌優(yōu)化，利用改良的Otsu算法分割蘋(píng)果的缺陷區(qū)域。經(jīng)試驗(yàn)驗(yàn)證該算法對(duì)蘋(píng)果表面缺陷檢測(cè)效果清晰，各種缺陷檢測(cè)準(zhǔn)確率高。劉云等[6]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于蘋(píng)果缺陷檢測(cè)中，背景分割算法基于RGB顏色分量，并使用漸進(jìn)學(xué)習(xí)方法確定訓(xùn)練樣本的數(shù)目。經(jīng)試驗(yàn)驗(yàn)證該算法的檢測(cè)速度為5次/s，準(zhǔn)確率高達(dá)97.3%。上述研究為基于機(jī)器視覺(jué)的快速缺陷檢測(cè)技術(shù)提供了理論依據(jù)，但存在分級(jí)過(guò)程復(fù)雜、效率低等缺點(diǎn)。

基于上述研究，文中擬提出一種基于機(jī)械視覺(jué)的蘋(píng)果缺陷快速檢測(cè)方法，采用自動(dòng)亮度校正技術(shù)消除蘋(píng)果表面亮度的不均勻性，根據(jù)缺陷候選區(qū)域的數(shù)量對(duì)蘋(píng)果進(jìn)行初步判斷，并使用加權(quán)相關(guān)向量機(jī)進(jìn)一步對(duì)有缺陷的蘋(píng)果進(jìn)行判斷，以期為蘋(píng)果缺陷檢測(cè)技術(shù)的發(fā)展提供依據(jù)。

1 機(jī)器視覺(jué)系統(tǒng)概述

為了解決手動(dòng)分類(lèi)精度差的問(wèn)題，國(guó)內(nèi)外制造商已開(kāi)始使用機(jī)器視覺(jué)對(duì)蘋(píng)果質(zhì)量進(jìn)行分類(lèi)。機(jī)器視覺(jué)技術(shù)具有高速、高精度和性能穩(wěn)定等優(yōu)點(diǎn)[7]。在醫(yī)學(xué)和農(nóng)業(yè)等領(lǐng)域應(yīng)用廣泛，并取得了巨大的經(jīng)濟(jì)效益。

常規(guī)識(shí)別中，首先通過(guò)照相機(jī)捕獲樣本圖像，然后將圖像發(fā)送到處理單元(例如計(jì)算機(jī))。通過(guò)數(shù)字處理可以掌握目標(biāo)區(qū)域的顏色、紋理、大小和形狀等特征[8]。然后通過(guò)一系列判斷條件獲得識(shí)別結(jié)果，從而實(shí)現(xiàn)機(jī)器視覺(jué)系統(tǒng)的識(shí)別功能。機(jī)器視覺(jué)系統(tǒng)通常由相機(jī)、光源、計(jì)算機(jī)和圖像處理軟件等組成。圖1為系統(tǒng)結(jié)構(gòu)圖。

2 缺陷檢測(cè)

缺陷檢測(cè)過(guò)程[9]如圖2所示。

2.1 圖像預(yù)處理和背景分割

缺陷檢測(cè)的正確性除了取決于特征選擇，還取決于圖像質(zhì)量。在圖像處理前采用3×3高斯濾波器降低噪音對(duì)特征提取和選擇的影響[10]。為了提高處理速度和降低環(huán)境干擾，得到了蘋(píng)果圖像的掩模圖像，掩模圖像僅包含蘋(píng)果本身，背景被分割并移除。由于試驗(yàn)圖像背景為黑色，背景亮度低于蘋(píng)果區(qū)域的亮度[11]?？紤]到NIR圖像中背景和蘋(píng)果區(qū)域亮度對(duì)比度明顯，將蘋(píng)果NIR圖像進(jìn)行二值化(閾值28)，構(gòu)建蘋(píng)果掩模圖像。同時(shí)，使用形態(tài)填充算法來(lái)消除背景分割的缺陷區(qū)域。在試驗(yàn)過(guò)程中，<500像素的連接區(qū)域被視為較小的連接區(qū)域，這些區(qū)域被填充。

通過(guò)式(1)可以得到NIR蘋(píng)果圖像的背景分割。

(1)

式中：

IMGBgr(x,y)——背景移除圖片；

IMGOrg(x,y)——原始彩色圖像；

1. 相機(jī) 2. 光源 3. 被檢測(cè)物體 4. 輸送結(jié)構(gòu)

IMGMask(x,y)——掩膜圖像。

2.2 亮度校正

蘋(píng)果可以近似地看成朗伯體。根據(jù)朗伯反射定律，蘋(píng)果表面任意一點(diǎn)的亮度ID為入射光的強(qiáng)度IL與點(diǎn)法向量和光源形成的角θ余弦值乘積，如式(2)所示[12]。

ID=IL×cosθ。

(2)

在機(jī)器視覺(jué)系統(tǒng)中，蘋(píng)果入射光強(qiáng)度近似相等，夾角θ為蘋(píng)果表面亮度不均勻的最主要原因。亮度校正方法如圖3所示。蘋(píng)果表面不同區(qū)域的點(diǎn)是不同的，蘋(píng)果邊緣區(qū)域的點(diǎn)θ值小于中心區(qū)域。因此，邊緣的亮度低于中心亮度。這與蘋(píng)果圖像中心亮度高、邊緣亮度低的現(xiàn)象是一致的。以朗伯體頂部中心為圓心，半徑r和寬度Δr的圓環(huán)A內(nèi)近似的認(rèn)為所有元素的亮度相同。

因此，可以根據(jù)式(3)計(jì)算出環(huán)A中所有像素的平均亮度[13]。

圖2 缺陷檢測(cè)流程

圖3 亮度校正方法

(3)

式中：

IM——圓中所有像素的平均強(qiáng)度；

Ii——圓A中第i個(gè)元素的亮度值；

N——圓A中像素的總個(gè)數(shù)。

環(huán)A中像素的亮度校正通過(guò)式(4)計(jì)算[14]。

(4)

式中：

IRi——第i個(gè)像素通過(guò)校正的亮度值。

當(dāng)Ii>IM時(shí)IRi=255，當(dāng)Ii

2.3 初步分類(lèi)

校正后，缺陷、花梗和萼片這些區(qū)域亮度較低，正常區(qū)域亮度增加。試驗(yàn)過(guò)程中，將真正的蘋(píng)果、果梗和花萼等作為蘋(píng)果初步分類(lèi)的候選區(qū)域。采用單閾值分割算法可以輕松地從修改后的圖像中分割出候選缺陷區(qū)域[15]。

根據(jù)從蘋(píng)果圖像分割的缺陷候選區(qū)域的數(shù)量可以預(yù)測(cè)蘋(píng)果是否存在缺陷。如果候選缺陷數(shù)量為2個(gè)或更多，該蘋(píng)果存在缺陷；如果候選缺陷數(shù)量為1個(gè)，則無(wú)法確定蘋(píng)果是否存在缺陷。

為了將缺陷候選區(qū)域與實(shí)際缺陷、果梗和花萼區(qū)分開(kāi)，需要提取特征進(jìn)行訓(xùn)練，文中選擇6個(gè)平均顏色特征、1個(gè)R通道圖像統(tǒng)計(jì)特征和5個(gè)紋理特征。

從樣品的彩色RGB圖像中，通過(guò)直接或顏色空間轉(zhuǎn)換可以得到缺陷候選區(qū)域的6個(gè)顏色特征(R、G、B、H、S、I分量的平均值)?？梢詮膶?duì)應(yīng)像素的RGB分量中得到H分量的值，如式(5)所示[16]。

(5)

θ通過(guò)式(6)求得。

(6)

飽和度分量S通過(guò)式(7)求得[17]。

(7)

強(qiáng)度分量I通過(guò)式(8)求得。

(8)

候選區(qū)域的統(tǒng)計(jì)特征選擇與缺陷候選區(qū)域相對(duì)應(yīng)的R分量的標(biāo)準(zhǔn)偏差，特征統(tǒng)計(jì)量如式(9)所示。

(9)

式中：

ti——缺陷候選區(qū)域?qū)?yīng)的通道圖像中第i個(gè)像素的灰度值；

M——缺陷候選區(qū)域中的像素?cái)?shù)。

在R通道圖像中，通過(guò)灰度共生矩陣提取紋理特征。包括熵、能量、相關(guān)性、轉(zhuǎn)動(dòng)慣量和局部平穩(wěn)性。

2.4 進(jìn)一步分類(lèi)

文中選擇相關(guān)向量機(jī)為缺陷候選區(qū)域分類(lèi)算法。相關(guān)向量機(jī)(Relevance Vector Machine，RVM)是由Michael E. Tipping在貝葉斯模型基礎(chǔ)上提出的監(jiān)督式機(jī)械學(xué)習(xí)算法[18]。

ti=y(xi;w)+εi。

(10)

則目標(biāo)值遵循高斯概率分布，如式(11)所示。

p(ti|x)=N(ti|y(xi；w),σ2)，

(11)

式中：

N(ti|y(xi;w),σ2)——正態(tài)分布函數(shù)，其分布由ti、y(xi;w)以及方差σ2決定；

y(xi;w)——核函數(shù)確定的值，核函數(shù)由訓(xùn)練樣本Φi(x)≡K(x,xi)確定，如式(12)所示[19]。

(12)

假設(shè)ti彼此獨(dú)立，在w和σ2條件下目標(biāo)值t的完整概率如式(13)所示。

(13)

式中：

t=[t1,t2,…,tN]T——目標(biāo)函數(shù)向量；

w——wi組成的權(quán)向量，w=[w1,w2,…,wN]T；

Φ——N×N的設(shè)計(jì)矩陣，Φ=[Φ(x1),Φ(x2),…,Φ(xN)]T。

(14)

對(duì)于每個(gè)權(quán)重，式(14)都有一個(gè)獨(dú)立的分布參數(shù)，可以降低先前分布的復(fù)雜度。

式(13)中，為了與最終函數(shù)匹配，需要在超參數(shù)α中加入噪聲函數(shù)σ2。該函數(shù)滿足如式(15)所示的伽馬分布比例函數(shù)。

(15)

為了保證這些參數(shù)無(wú)先驗(yàn)知識(shí)，通常將其定為a=b=0。遵循基于貝葉斯定理的樣本先驗(yàn)和似然分布，可以通過(guò)式(16)獲得w后驗(yàn)概率分布。

(16)

式中：

Σ=(σ-2ΦTΦ+A)-1；

μ=σ-2ΣΦTt；

Ω=σ-2I+ΦA(chǔ)-1ΦT；

A=diag(α0,α1,…,αN)。

RVM算法中的模型權(quán)值的最大后驗(yàn)估計(jì)依賴(lài)于參數(shù)α和方差σ2，通過(guò)最大似然邊界分布得到α∧和σ2∧。最優(yōu)權(quán)值的不確定性可以表示模型預(yù)測(cè)中的不確定性。預(yù)測(cè)目標(biāo)值如式(17)所示。

(17)

在此，需要通過(guò)最大后驗(yàn)估計(jì)來(lái)預(yù)測(cè)α和σ2，如式(18) 所示[20]。

(αMAP,σ2MAP)=argmaxα,σ2p(t|α,σ2)，

(18)

式中：

通過(guò)將獲得的參數(shù)α和σ2估計(jì)值引入公式中，可以獲得如式(19)所示的目標(biāo)值。

p(t*|t)=N(t*|y*,σ2*)，

(19)

式中：

y*=μTΦ(x*)；

3 試驗(yàn)結(jié)果與分析

為了驗(yàn)證校正與分割的效果，以不同尺寸、形狀和外觀缺陷不同的蘋(píng)果為例，驗(yàn)證了亮度校正和候選缺陷分割算法的有效性。校正與分割圖如圖4所示。

從圖4(a)可以看出，試驗(yàn)樣品存在不同的缺陷位置和數(shù)量，并且蘋(píng)果姿勢(shì)是隨機(jī)分布的。邊緣也有缺陷存在且接近正常表皮的亮度，使其難以直接分離。

為了對(duì)亮度效果進(jìn)行加強(qiáng)，直接在R中使用閾值分割方法，未校正即從通道圖像中提取缺陷候選區(qū)域，結(jié)果如圖4(b)所示。由于蘋(píng)果圖像的亮度分布不均，通常無(wú)法檢測(cè)出蘋(píng)果圖像邊緣區(qū)域的缺陷。并且很容易被錯(cuò)誤地判定為缺陷。

從圖4(c)可以看出，即使對(duì)亮度進(jìn)行了校正，缺陷、果柄和花萼的亮度仍然較低，缺陷與正常果皮對(duì)比度增加。特別是在邊緣區(qū)域，對(duì)比度更大，這在提取缺陷候選區(qū)域方面是有利的。

圖4(d)為亮度校正后蘋(píng)果圖像中缺陷候選區(qū)域的分割結(jié)果。相比之下，該方法可以準(zhǔn)確地識(shí)別出果實(shí)、果梗和花萼，可以很好地識(shí)別出蘋(píng)果邊緣缺陷，不會(huì)誤分割果實(shí)的邊緣。

先對(duì)缺陷候選區(qū)域進(jìn)行分割，然后對(duì)缺陷候選區(qū)域的數(shù)量進(jìn)行計(jì)數(shù)，標(biāo)記為N。將蘋(píng)果樣品可分為3類(lèi)：正常水果(N=0)，缺陷水果(N≥2)和待處理水果(N=1)。這3種典型形式，以及原始RGB圖像、亮度校正和分割結(jié)果如圖5所示。從圖5可以看出，經(jīng)過(guò)校正和分割后，蘋(píng)果圖像第一列中的候選區(qū)域數(shù)量為0。即在相機(jī)的視場(chǎng)中沒(méi)有真實(shí)的缺陷、果梗、花萼等低亮區(qū)域，初步判斷樣品正常。

圖4 校正與分割

第2列和第3列分割缺陷候選區(qū)域后，分割的候選區(qū)域數(shù)N=1，缺陷可以為實(shí)際缺陷、果梗、花萼等。因此，不可能預(yù)先確定這種蘋(píng)果是否有缺陷或正常。因此，需要進(jìn)一步的判斷。在蘋(píng)果圖像的第4列中，經(jīng)過(guò)亮度校正和缺陷候選區(qū)域分割。分割出的候選區(qū)域的數(shù)量為N=2。

考慮到果梗和花萼不能在相機(jī)的同一視野中出現(xiàn)。蘋(píng)果樣品可以初步確定為有缺陷的水果。選擇區(qū)域數(shù)≥2的蘋(píng)果樣本也可以初步判斷為缺陷果。果梗和花萼在同一視野中無(wú)法同時(shí)出現(xiàn)。經(jīng)證實(shí)，蘋(píng)果樣品是有缺陷的水果。

為了檢驗(yàn)算法的性能，分別測(cè)試了500個(gè)無(wú)缺陷蘋(píng)果、250個(gè)只有一個(gè)缺陷的蘋(píng)果和250個(gè)不同缺陷數(shù)量的蘋(píng)果。每個(gè)蘋(píng)果采集一個(gè)圖像，然后人為控制水果的位置和姿勢(shì)。測(cè)試結(jié)果見(jiàn)表1。根據(jù)候選區(qū)域數(shù)N=0，在算法的初始識(shí)別階段，將照相機(jī)視場(chǎng)內(nèi)的所有(250個(gè))無(wú)果梗和花萼的蘋(píng)果正確判定為正常水果。當(dāng)N≥2時(shí)，所有(250個(gè))缺陷蘋(píng)果均被判定為有缺陷的水果。當(dāng)N=1時(shí)，進(jìn)一步判斷250個(gè)僅在相機(jī)視野中具有果柄或花萼的蘋(píng)果，其中，有246個(gè)為正常果實(shí)，有4個(gè)被判定為有缺陷蘋(píng)果。該檢測(cè)算法還確定了相機(jī)視野中的250個(gè)缺陷蘋(píng)果，其中245個(gè)是缺陷水果，5個(gè)誤判為正常水果。在1 000個(gè)樣本中，有991個(gè)被正確分類(lèi)，總體識(shí)別準(zhǔn)確率達(dá)到99.1%。

圖5 品質(zhì)初步判斷

表1 檢測(cè)結(jié)果

4 結(jié)論

將自動(dòng)亮度校正技術(shù)和加權(quán)矢量機(jī)相結(jié)合，實(shí)現(xiàn)了基于機(jī)器視覺(jué)的蘋(píng)果缺陷快速檢測(cè)。該檢測(cè)方法對(duì)1 000個(gè)測(cè)試樣本的識(shí)別準(zhǔn)確率為99.1%。表明該方法對(duì)蘋(píng)果缺陷檢測(cè)效果較為清晰，各種缺陷檢測(cè)準(zhǔn)確率比較高?？紤]到試驗(yàn)裝置和數(shù)據(jù)的規(guī)模，這項(xiàng)研究仍處于起步階段。后續(xù)將不斷改進(jìn)和完善基于機(jī)器視覺(jué)的蘋(píng)果缺陷快速檢測(cè)方法。