基于計算機視覺的蘋果樹果實缺陷探測研究

徐廣飛

摘要：蘋果分級是將其自身的大小、缺陷作為關(guān)鍵性的評估指標，文章根據(jù)計算機視覺技術(shù)蘋果分級研究現(xiàn)狀，結(jié)合實際需要探討一種能夠?qū)μO果進行分選的檢測系統(tǒng)，并對R通道方法進行簡單的介紹，同時對檢測系統(tǒng)的應(yīng)用效果進行試驗。結(jié)果顯示，這種算法具備可行性，可以取得良好的應(yīng)用效果?；诖耍恼乱蕴O果樹發(fā)病時葉片顏色、紋理呈現(xiàn)的差異作為依據(jù)，巧妙地使用計算機視覺技術(shù)，研發(fā)出一套可以診斷蘋果樹病害的檢測系統(tǒng)。

關(guān)鍵詞：計算機視覺；蘋果分級；檢測系統(tǒng)；應(yīng)用效果

中圖分類號：TP39? 文獻標志碼：A

0 引言

蘋果樹病害控制的科學方法是在蘋果發(fā)育的早期階段及時發(fā)現(xiàn)病害，判斷蘋果病害的類型。以傳統(tǒng)型的果蔬種植狀況進行分析，在對果蔬的病害進行診斷時，基本上都是依靠個人的既往經(jīng)驗進行判斷，這種方法雖然不具備科學性，但確定可以有效地解決部分問題。但是我們也應(yīng)該清楚地認識到，農(nóng)戶的肉眼分辨能力是有限的，當農(nóng)戶判斷果樹出現(xiàn)病害時，其實果樹的病害已經(jīng)處于一個非常嚴重的狀態(tài)。

1 蘋果分選和缺陷檢測系統(tǒng)設(shè)計

1.1 圖像采集與系統(tǒng)結(jié)構(gòu)

蘋果樹果實探測研究的圖像采集流程為：啟動系統(tǒng)內(nèi)置的攝像頭，系統(tǒng)會自動將攝像頭的運行方式調(diào)整為連續(xù)多幀工作方式。攝像頭應(yīng)用軟件的技術(shù)參數(shù)可以進行調(diào)整，且攝像范圍可以根據(jù)實際需要進行調(diào)整，還能夠?qū)崿F(xiàn)自動變焦功能；攝像頭在掃描蘋果果實的過程中，將蘋果果實的整個外形全部掃描，當一個蘋果果實掃描完成以后，轉(zhuǎn)而對下一個目標進行掃描。攝像頭的掃描速度為25幀/s，掃描一幀圖像的時間大概為40 ms［1］。檢測系統(tǒng)的結(jié)構(gòu)組成如圖1所示。

1.2 系統(tǒng)工作原理

為了能夠?qū)崿F(xiàn)對蘋果果實的體積、缺陷進行檢測，此次研究使用了圖像RGB通道中的R通道進行處理。究其原因，主要是：（1）假若使用灰度圖，那么則可能導(dǎo)致掃描結(jié)果圖像丟失非常多的元素信息，導(dǎo)致蘋果果實分級不夠精準；（2）選擇使用R通道可以縮短一定的處理時間，且處理結(jié)果相對更為精準，可以滿足實際應(yīng)用的需求。

對檢測系統(tǒng)收集到的R通道采取閾值處理，提前將檢測系統(tǒng)的閾值設(shè)置為70，將t=70作為標準，按照以下表達式對圖像的R通道進行處理，由此就可以獲取到二值圖像g（x， y）：

g（x，y）=255若f（x，y）≥T

0若f（x，y）

在經(jīng)過閾值處理以后，R通道就會轉(zhuǎn)變?yōu)楹诎锥祱D，在此基礎(chǔ)上對R通道進行處理，其處理效率可以得到大幅度的提升。攝像頭在攝像時使用的黑色背景，便于對圖像進行降噪、運算等處理。

蘋果果實的RGB圖像內(nèi)的R通道在經(jīng)過閾值處理以后，其數(shù)值均為255，統(tǒng)計圖像中的R通道數(shù)值為255像素。經(jīng)過數(shù)據(jù)的全面統(tǒng)計以后得出，可以將蘋果果實的分級直徑標定不同的像素范圍。

在對采集到的蘋果圖像進行閾值處理以后，檢測系統(tǒng)則可以對蘋果的缺陷進行檢測，缺陷檢測分級的整個過程分為兩個檢測階段：一是缺陷分割檢測階段；二是缺陷識別檢測階段。分割算法主要負責檢測出蘋果存在缺陷的具體區(qū)域，主要包括真實缺陷區(qū)與梗萼區(qū)；識別算法則是對缺陷區(qū)域做進一步的檢測，判斷其是屬于真實缺陷區(qū)，還是屬于梗萼區(qū)。具體的檢測流程如下：

（1）對蘋果果實的RGB圖像中R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進行編號處理，同時標注出不同的缺陷區(qū)域；

（2）計算出缺陷區(qū)域的面積，借助底層處理措施將圖像中的小噪聲點消除，并對真實缺陷區(qū)、梗萼區(qū)進行區(qū)分；

（3）使用識別算法對缺陷區(qū)域做進一步的檢測，判斷其是屬于真實缺陷區(qū)，還是屬于梗萼區(qū)。

1.3 缺陷檢測算法流程

通過檢測以后發(fā)現(xiàn)，蘋果果實的缺陷基本上都是集中在凸出面，主要是因為凸出面更容易受到外部作用力。當攝像頭在采集到蘋果圖像以后，結(jié)合圖像的RGB數(shù)值判斷出蘋果病害發(fā)生的區(qū)域。對蘋果果實RGB圖像中的R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進行編號處理，同時標注出不同的缺陷區(qū)域，這種算法是游程標記算法。

2 蘋果檢測及分級實驗

2.1 缺陷檢測實驗

此次試驗選擇使用紅富士蘋果作為試驗樣品，對蘋果的缺陷進行統(tǒng)計分析。

對蘋果果實RGB圖像中的R通道做二值化處理，處理過程中會對圖像的不同區(qū)域進行編號處理，同時標注出不同的缺陷區(qū)域，下文中使用黑白二值對蘋果缺陷區(qū)域確定全過程進行簡單的介紹，具體情況如圖2所示。

圖2（a）為攝像頭采集到的原圖像，而圖2（b）為R通道處理以后的圖像。蘋果缺陷區(qū)域與果梗區(qū)域全部標識出來；圖2（c）是原圖像轉(zhuǎn)化獲取到的灰度圖，圖2（d）為二值圖像。二值圖像是基于原圖像進行R通道處理

后獲取到的，使用游程標記算法以標記出蘋果的缺陷區(qū)域。

2.2 蘋果大小分級實驗

為保證試驗結(jié)果的精準性與可靠性，我們確定出

如下實驗對象：蘋果的直徑60～65 mm，65～70 mm，70～75 mm，75～80 mm，80 mm的蘋果各準備20個。

在經(jīng)過多次試驗以后，檢測系統(tǒng)采集到的蘋果圖像數(shù)據(jù)整理如表1所示。

通過對以上數(shù)據(jù)進行整理統(tǒng)計以后，整理出如表2所示的信息。不難發(fā)現(xiàn)，檢測系統(tǒng)的分級標準可以按照蘋果果實的體積大小進行處理。

通過試驗結(jié)果可以發(fā)現(xiàn)：（1）分級檢測系統(tǒng)能夠精準地分選出不同大小的蘋果；（2）分級檢測系統(tǒng)的作業(yè)效率非常高。

分級系統(tǒng)會存在對應(yīng)的誤差，主要是因為：（1）蘋果的位置不固定；（2）蘋果的陰影未全部消除。

精準性的蘋果果實目標區(qū)域探測是保證蘋果果實實現(xiàn)精準定位的前提，結(jié)合實際情況而言，目標區(qū)域探測的實際情況是否能夠有效地滿足檢測系統(tǒng)的需求，其核心問題在于是否能夠保證分割算法的合理性。現(xiàn)階段，可供使用的圖像分割算法雖然非常多，但是大部分的算法都是針對固定環(huán)境而搭建出來的，鮮有算法能夠適用于所有的應(yīng)用場景。以蘋果果實目標區(qū)域分割問題而言，因蘋果果實處在自然環(huán)境內(nèi)，會受到太陽光的照射，而太陽光變化多端，所以不同的果實圖像中，果實的亮度會存在一定的差異性，這種差異性會導(dǎo)致圖像分割受到影響。鑒于此，文章提出自適應(yīng)G-B色差法實現(xiàn)自動調(diào)節(jié)顏色差異，提高蘋果果實圖像分割的精準性［2］。

為了精準地論證出算法模型的綜合性能，我們將現(xiàn)階段使用較為頻繁的GLOM，BLP等紋理特征理論作為SVM的特征分類與此次設(shè)計的研究模型進行對比分析，在經(jīng)過全面的對比分析以后發(fā)現(xiàn)，此次使用的研究模型在果實探測結(jié)果的精準性方面有很大的提升。研究模型的綜合評價指標高達90.29%，可以輕易地發(fā)現(xiàn)，此次設(shè)計的研究模型明顯優(yōu)于前兩種模型。

3 蘋果目標探測與定位系統(tǒng)的設(shè)計與實現(xiàn)

3.1 系統(tǒng)功能結(jié)構(gòu)設(shè)計

蘋果目標探測、定位系統(tǒng)主要是由以下模塊構(gòu)成：圖像數(shù)據(jù)I/O模塊、重疊果實目標探測與定位模塊、枝葉遮擋探測與定位模塊等。借助以上不同的功能模塊，檢測系統(tǒng)可以高效地實現(xiàn)對不同生長周期的蘋果果實目標的精準探測與定位。

圖像數(shù)據(jù)I/O模塊的功能主要包括：獲取蘋果果實圖像數(shù)據(jù)、存儲蘋果果實圖像數(shù)據(jù)、輸出蘋果果實圖像數(shù)據(jù)。首先，系統(tǒng)會自動獲取到設(shè)備內(nèi)尚未及時處理的蘋果果實圖像數(shù)據(jù)，存儲在系統(tǒng)內(nèi)，并將蘋果果實圖像數(shù)據(jù)輸出至系統(tǒng)內(nèi)的其他功能模塊，待其他功能模塊應(yīng)用完成以后，對蘋果果實圖像數(shù)據(jù)進行保存，而后將蘋果果實圖像數(shù)據(jù)的處理結(jié)果輸出［3］。

小體積蘋果目標探測與定位模塊的功能主要為：實現(xiàn)對蘋果目標的探測與定位。使用ITS方法探測繪制出果實圖像的色差圖，然后使用CHI方法精準地定位出果實目標。使用HOG-SVM研究模型對果實目標進行定位。

重疊蘋果目標的探測與定位功能模塊的功能主要是對發(fā)育成熟且重疊的果實進行探測與定位。使用經(jīng)過優(yōu)化處理的GrabCut方法探測出蘋果圖像的ROI區(qū)域，然后使用關(guān)鍵點檢測方法探測出重疊區(qū)域，使用DLS方法描繪出被遮擋果實的外形輪廓。

枝葉遮擋蘋果目標探測與定位模塊的功能為：該功能主要是針對發(fā)育成熟的果實，因果樹枝葉繁茂，導(dǎo)致果實圖像會被枝葉遮擋。使用經(jīng)過優(yōu)化處理的K-means方法探測定位出果實圖像的ROI區(qū)域，然后使用QuickHull方法定位出果實凸出部分的輪廓。

3.2 系統(tǒng)功能實現(xiàn)與運行界面

此次研究在對檢測系統(tǒng)進行設(shè)計時，充分地考慮到不同用戶的應(yīng)用需求，對于部分專業(yè)性非常高的用戶而言，系統(tǒng)可以提供分布式處理作業(yè)方式，其能夠在檢測系統(tǒng)中分步驟地獲取蘋果探測、定位過程，為后續(xù)的研究提供便利。針對一般性的用戶而言，檢測系統(tǒng)提供了一鍵處理功能，用戶只需要在檢測系統(tǒng)的操作界面中點擊功能按鈕即可達到理想中的處理效果，這種功能可以簡化用戶的操作流程，提高果實目標檢測的效率。

檢測系統(tǒng)運行以后，系統(tǒng)會自動跳轉(zhuǎn)至系統(tǒng)的功能界面，該界面中提供以下功能按鈕：幼小青蘋果目標探測與定位功能按鈕、重疊蘋果目標探測與定位功能按鈕、枝葉遮擋蘋果目標探測與定位功能按鈕和退出功能按鈕等導(dǎo)航按鈕，用戶可以根據(jù)自身的實際需求有針對性地進行選擇按鈕。

當用戶按下目標探測與定位功能按鈕時，系統(tǒng)會自動跳轉(zhuǎn)至該模塊界面內(nèi)，圖像會經(jīng)初始化加載，而后系統(tǒng)會自動顯示窗口信息及各種不同功能服務(wù)。假若用戶僅僅只是需要獲取最終的處理結(jié)果，那么其只需要點擊一鍵處理按鈕即可。

但蘋果果實目標圖像探測與定位完成以后，其還可以根據(jù)自身的需求選擇點擊其他不同的功能按鈕，那么系統(tǒng)則會根據(jù)不同的按鈕進入不同的操作頁面，同時開啟不同的任務(wù)。此外，在實際操作過程中，用戶還可以在不同的操作界面中隨意進行切換，切換以后系統(tǒng)仍然會對前期的操作進行異步啟動，且保存最終的處理結(jié)果。

4 結(jié)語

結(jié)合前文中的介紹可以發(fā)現(xiàn)，在經(jīng)過科學的試驗以后，文章提出了一種基于RGB三基色的R通道處理方法，這種處理方法能夠?qū)崿F(xiàn)對蘋果果實的大小、缺陷精準識別，且檢測系統(tǒng)的可靠性與穩(wěn)定性能夠得到很好的保障。試驗過程中，攝像頭采集到的蘋果的果?；蚬饝?yīng)該是處于相互垂直，假若二者并未保持垂直狀態(tài)，我們可以使用連續(xù)采集方法獲取到果實圖像，然后利用幀數(shù)圖像計算出蘋果缺陷的面積，建議可以研發(fā)出一種新型的輸送單元，提高蘋果分級的精準性。

參考文獻

［1］馬占杰.果實表面顏色計算機視覺分級技術(shù)研究［J］.電子測試，2021（2）：59-60.

［2］李偉強，王東，寧政通，等.計算機視覺下的果實目標檢測算法綜述［J］.計算機與現(xiàn)代化，2022（6）：87-95.

［3］吳修國.基于計算機視覺技術(shù)的蘋果樹健康診斷系統(tǒng)研究［J］.農(nóng)機化研究，2018（8）：218-222.

（編輯 王雪芬）

Research on apple fruit defect detection based on computer vision

Xu? Guangfei

（Tangshan Polytechnic College， Tangshan 063299， China）

Abstract：? Apple grading takes its own size and defects as key evaluation indicators. According to the research status of apple grading based on computer vision technology and combined with the actual needs， this paper discusses a detection system that can sort apples， briefly introduces the R-channel method， and tests the application effect of the detection system. Through the test results， it is found that this algorithm is feasible， good application effect can be achieved. Based on this， this paper combines the differences in the color and texture of the leaves when apple trees are infected， and cleverly uses computer vision technology to develop a detection system that can diagnose apple tree diseases.

Key words： computer vision; apple grading; detection system; application effect