基于圖像處理的成熟草莓檢測(cè)技術(shù)研究

崔明 蔣其友 薛小松

(江蘇農(nóng)林職業(yè)技術(shù)學(xué)院，江蘇 鎮(zhèn)江 212400)

引言

隨著我國設(shè)施農(nóng)業(yè)的快速發(fā)展，草莓種植已經(jīng)由傳統(tǒng)的露天種植向大棚種植轉(zhuǎn)變，并進(jìn)一步向智慧種植方向發(fā)展。當(dāng)前我國的草莓種植已經(jīng)部分實(shí)現(xiàn)了設(shè)施智能化，主要包括溫室內(nèi)的環(huán)境參數(shù)控制，但在草莓采摘、草莓生長信息監(jiān)測(cè)等方面的智能化程度較低，仍主要采用人工方式進(jìn)行。成熟草莓檢測(cè)對(duì)草莓自動(dòng)采摘和生長信息監(jiān)測(cè)具有重要的意義。在草莓采摘領(lǐng)域，成熟草莓檢測(cè)是草莓采摘機(jī)器人目標(biāo)定位的前提。在草莓生長信息監(jiān)測(cè)方面，成熟草莓檢測(cè)能夠?yàn)椴葺纳L控制提供狀態(tài)參數(shù)信息，有利于提高草莓溫室控制的自動(dòng)化水平，并可以為產(chǎn)量預(yù)測(cè)提供技術(shù)支持。因此，成熟草莓檢測(cè)是草莓目標(biāo)檢測(cè)的關(guān)鍵技術(shù)，對(duì)我國草莓產(chǎn)業(yè)的智慧化發(fā)展具有非常重要的意義。

隨著圖像處理技術(shù)和人工智能技術(shù)的快速發(fā)展，當(dāng)前針對(duì)草莓目標(biāo)檢測(cè)已經(jīng)開展了一些研究，且取得了一定的研究成果。覃磊[1]提出了一種基于RGB顏色相似度和形態(tài)學(xué)處理的成熟草莓圖像分割算法，通過對(duì)比目標(biāo)區(qū)域和成熟草莓主顏色的顏色相似度，并結(jié)合閾值分類和形態(tài)學(xué)處理方法實(shí)現(xiàn)了成熟草莓分割，實(shí)驗(yàn)結(jié)果表明，該方法可以實(shí)現(xiàn)草莓的實(shí)時(shí)快速檢測(cè)，能夠應(yīng)用于草莓采摘機(jī)器人的目標(biāo)定位中。趙玲[2]提出了一種基于HIS顏色空間特征和BP神經(jīng)網(wǎng)絡(luò)的草莓成熟度檢測(cè)方法，通過提取H分量的相關(guān)特征參數(shù)建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，實(shí)驗(yàn)結(jié)果表明，該方法對(duì)草莓成熟度的檢測(cè)準(zhǔn)確率達(dá)到90%。趙世達(dá)[3]提出了一種基于“HOG+SVM+NMS”的成熟草莓識(shí)別方法，分別對(duì)正負(fù)樣本圖像提取HOG特征，并送入SVM訓(xùn)練器中進(jìn)行訓(xùn)練，采用NMS方法提升草莓重疊目標(biāo)的檢測(cè)精度。李鑫[4]提出了一種基于CaffeNet深度學(xué)習(xí)網(wǎng)絡(luò)的成熟草莓度檢測(cè)方法，實(shí)驗(yàn)結(jié)果表明，該方法對(duì)成熟草莓的檢測(cè)準(zhǔn)確率高、檢測(cè)速度快，且對(duì)相互重疊情況具有較好的魯棒性。

雖然當(dāng)前針對(duì)成熟草莓檢測(cè)開展了很多研究，但主要停留在理論研究階段，且存在復(fù)雜環(huán)境下的成熟果實(shí)檢測(cè)精度不高等問題。本文針對(duì)成熟草莓檢測(cè)技術(shù)進(jìn)行研究，提出了一種基于圖像處理的成熟草莓檢測(cè)方法，以實(shí)現(xiàn)成熟草莓的快速準(zhǔn)確檢測(cè)。

1 硬件系統(tǒng)構(gòu)成

成熟草莓檢測(cè)系統(tǒng)可以分為硬件系統(tǒng)和軟件算法2部分，其中硬件系統(tǒng)是基礎(chǔ)。本文根據(jù)實(shí)際檢測(cè)需求，采用相機(jī)、鏡頭、處理器等硬件設(shè)備完成硬件系統(tǒng)搭建，如圖1所示。

1.1 相機(jī)和鏡頭

相機(jī)是圖像采集的核心元件，其選型主要包括感光元件類型和分辨率的選擇。按照感光元件類型，相機(jī)可分為CCD和CMOS 2種類型，其中CCD相機(jī)的圖像采集噪聲小，但價(jià)格較貴，相比之下CMOS相機(jī)的性價(jià)比更高。相機(jī)分辨率主要根據(jù)檢測(cè)精度進(jìn)行選擇，考慮到檢測(cè)算法的誤差影響，相機(jī)實(shí)際分辨率要比理論計(jì)算值大。鏡頭的選擇要根據(jù)相機(jī)感光元件尺寸、視野大小和物距進(jìn)行確定，同時(shí)還需要考慮景深影響。

1.2 處理器

處理器是圖像處理的核心硬件，對(duì)圖像處理速度具有直接的影響。處理器對(duì)相機(jī)傳輸過來的圖像數(shù)據(jù)，采用圖像處理算法進(jìn)行分析，并將處理結(jié)果進(jìn)行顯示或者發(fā)送到執(zhí)行機(jī)構(gòu)進(jìn)行控制。常用的圖像處理器有DSP、樹莓派、工控機(jī)等，其中DSP和樹莓派適用于小空間環(huán)境下的嵌入式開發(fā)，而工控機(jī)適用于大空間環(huán)境下的高處理速度開發(fā)，本文選擇工控機(jī)進(jìn)行圖像處理分析。

圖1 硬件系統(tǒng)結(jié)構(gòu)圖

2 圖像檢測(cè)算法

作為成熟草莓檢測(cè)系統(tǒng)的核心，圖像檢測(cè)算法的好壞直接決定了成熟草莓的檢測(cè)精度。

本文針對(duì)成熟草莓的圖像處理算法進(jìn)行分析，具體檢測(cè)流程包括圖像預(yù)處理、Lab顏色空間變換、固定閾值分割、形態(tài)學(xué)處理、區(qū)域特征提取和目標(biāo)區(qū)域定位等步驟。

2.1 圖像預(yù)處理

圖像在采集過程中由于硬件和實(shí)際環(huán)境干擾等原因，導(dǎo)致圖像中存在噪聲干擾信息，因此需要進(jìn)行圖像預(yù)處理以提高圖像的信噪比。本文采用圖像濾波方法祛除圖像中的噪聲信息。通過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，高斯濾波器在濾除圖像噪聲信息的同時(shí)能更好地保留目標(biāo)細(xì)節(jié)信息，其中高斯濾波模板尺寸為5×5。

2.2 顏色空間變換

顏色空間特征分析法是圖像特征提取的主要方法之一，常用的顏色空間包括RGB、HSV、NTSC、CMY、Lab等。顏色空間特征分析法的目標(biāo)是提取目標(biāo)相對(duì)背景灰度對(duì)比最明顯的顏色空間分量圖像，能夠有效降低后續(xù)圖像處理的難度。同時(shí)，經(jīng)過顏色空間變換后，圖像由彩色圖像變?yōu)榛叶葓D像，降低了后續(xù)圖像處理的時(shí)間。

圖2 Lab顏色空間特征變換

針對(duì)草莓目標(biāo)圖像特點(diǎn)，經(jīng)過對(duì)比分析，本文采用Lab顏色空間特征提取方法。Lab是一種基于人類視覺感應(yīng)的設(shè)備無關(guān)顏色空間系統(tǒng)。Lab顏色空間特征中，每個(gè)像素參數(shù)可以由L、a、b 3個(gè)參數(shù)分量構(gòu)成，分別表示亮度分量、綠色到紅色分量和藍(lán)色到黃色分量。考慮到草莓成熟過程中顏色由綠色向紅色轉(zhuǎn)變，因此本文提取a參數(shù)分量進(jìn)行分析，如圖2所示?？梢钥闯?，相比背景區(qū)域，成熟草莓的灰度值更高，且相比背景區(qū)域的灰度差異較大。

2.3 閾值分割

圖像分割是圖像處理的關(guān)鍵技術(shù)，本文針對(duì)成熟草莓圖像特點(diǎn)，采用閾值法實(shí)現(xiàn)圖像區(qū)域的分割，常用的閾值分割方法包括固定閾值法和局部閾值法[5]。固定閾值法主要適用于圖像目標(biāo)和背景灰度值差異較大的情況，閾值可以根據(jù)圖像灰度直方圖分布自動(dòng)設(shè)置或者手動(dòng)設(shè)置。局部閾值法主要適用于圖像背景灰度不穩(wěn)定的情況，相比于固定閾值法計(jì)算量較大?？紤]到草莓圖像背景穩(wěn)定，且目標(biāo)區(qū)域相比背景區(qū)域的灰度差較大，因此這里采用固定閾值方法進(jìn)行圖像分割。本文通過對(duì)實(shí)際圖像灰度直方圖的分析，設(shè)置固定閾值為130，圖像分割結(jié)果如圖3所示，可以看出，成熟草莓區(qū)域被精確的分割出來。

圖3 閾值分割結(jié)果

2.4 形態(tài)學(xué)處理

形態(tài)學(xué)處理是基于集合論基礎(chǔ)的一種圖像處理方法，主要包括膨脹、腐蝕、開和閉等形態(tài)學(xué)運(yùn)算。形態(tài)學(xué)處理采用結(jié)構(gòu)體元素對(duì)圖像區(qū)域進(jìn)行像素運(yùn)算處理，常用的結(jié)構(gòu)體元素包括矩形、圓形等類型。膨脹運(yùn)算能夠擴(kuò)展目標(biāo)區(qū)域邊界，將位置靠近的區(qū)域連接起來，可以用來彌合區(qū)域間的小縫隙。腐蝕運(yùn)算能夠消融目標(biāo)區(qū)域邊界，并能夠消除尺寸小于結(jié)構(gòu)體的區(qū)域，可以用于切斷區(qū)域間的細(xì)小連通部分。開運(yùn)算和閉運(yùn)算是基于膨脹和腐蝕操作組合形成的。開運(yùn)算是先腐蝕后膨脹，可以切斷連通區(qū)域間的細(xì)窄連接和消除邊緣毛刺。閉運(yùn)算是先膨脹后腐蝕，除了能夠平滑目標(biāo)輪廓外，還能夠彌合區(qū)域間的狹窄縫隙，并具有填充孔洞的效果[6]。考慮到部分草莓之間存在粘連和重疊情況，本文采用開運(yùn)算腐蝕草莓間的粘連區(qū)域，并消除圖像中小于結(jié)構(gòu)體的噪聲干擾區(qū)域。在此基礎(chǔ)上，考慮到草莓存在因遮擋導(dǎo)致內(nèi)部區(qū)域不完整的情況，采用閉運(yùn)算結(jié)合孔洞填充算法彌合草莓內(nèi)部的縫隙，形態(tài)學(xué)處理結(jié)果如圖4所示。

圖4 形態(tài)學(xué)處理結(jié)果

2.5 區(qū)域特征分析與提取

經(jīng)過形態(tài)學(xué)處理后得到的目標(biāo)區(qū)域包含一些噪聲干擾區(qū)域，因此需進(jìn)一步進(jìn)行區(qū)域提取。這里定義灰度值一致且像素位置8連通的區(qū)域?yàn)檫B通區(qū)域，連通區(qū)域的常用特征包括面積、周長、矩形度、最小外接矩形等?？紤]到草莓的生長環(huán)境復(fù)雜，存在葉片遮擋、相互重疊等情況，成熟草莓區(qū)域的形狀特征變化較大，因此本文采用面積特征分析法。具體來說，根據(jù)公式(1)提取出像素面積在(SMin,SMax)的目標(biāo)特征區(qū)域O，其中Zi表示第i個(gè)連通區(qū)域，面積閾值上下限要根據(jù)草莓區(qū)域的實(shí)際像素大小確定，同時(shí)要考慮到不同位置距離對(duì)像素面積的影響，目標(biāo)提取結(jié)果如圖5所示。經(jīng)過區(qū)域特征分析和提取后，面積較小的噪聲區(qū)域被濾除，獲得了成熟草莓目標(biāo)區(qū)域。

(1)

圖5 區(qū)域特征提取結(jié)果

2.6 目標(biāo)區(qū)域定位

經(jīng)過區(qū)域特征分析和提取后獲得的草莓目標(biāo)區(qū)域存在粘連和重疊等情況，對(duì)實(shí)際草莓機(jī)器人的采摘定位造成干擾。因此，需要進(jìn)一步進(jìn)行草莓目標(biāo)區(qū)域定位，獲取單個(gè)草莓的區(qū)域位置。根據(jù)圖像特點(diǎn)，本文提出了一種基于距離變換的分水嶺分割方法。分水嶺變化是基于地理學(xué)中的分水嶺集水原理，將圖像分割過程模擬為山脊中的集水過程，集水盆地即為圖像分割后的目標(biāo)區(qū)域。距離變換方法計(jì)算目標(biāo)區(qū)域與背景像素間的位置關(guān)系，具體來說，對(duì)二值圖像尋找背景區(qū)域中與目標(biāo)區(qū)域像素距離最近的像素，并將距離信息轉(zhuǎn)換為相應(yīng)的灰度值，通過距離變換可以清晰地反映出目標(biāo)區(qū)域與背景區(qū)域的位置分布[6]。這里定義二值圖像I的連通區(qū)域?yàn)镾，目標(biāo)區(qū)域?yàn)镺，背景區(qū)域?yàn)锽，距離變換D的計(jì)算公式：

D(p)=Min(disf(p,q))p∈O,q∈B

(2)

(3)

經(jīng)過距離變換后的圖像灰度值范圍較小，不易于處理，為了擴(kuò)展灰度值范圍，這里對(duì)圖像灰度值做線性變換，將灰度值范圍擴(kuò)展到0～255的范圍，公式：

(4)

通過距離變換，獲得了成熟草莓目標(biāo)區(qū)域與背景區(qū)域的分布特征，在強(qiáng)化了目標(biāo)區(qū)域中心位置灰度強(qiáng)度的同時(shí)，弱化了其與背景區(qū)域接觸位置的灰度強(qiáng)度，使得相互粘連的草莓目標(biāo)更容易分割。在距離變換的基礎(chǔ)上，本文利用分水嶺算法實(shí)現(xiàn)不同草莓區(qū)域的分割，圖像分割結(jié)果如圖6a所示，可以看出，相互粘連的草莓區(qū)域經(jīng)過分水嶺分割后相互分離。本文采用分水嶺分割算法將成熟草莓的粘連區(qū)域切斷，但仍然存在著噪聲干擾區(qū)域。因此，需要進(jìn)一步對(duì)分水嶺分割結(jié)果進(jìn)行連通區(qū)域特征分析，以濾除噪聲干擾信息。這里采用連通區(qū)域面積特征分析法，通過設(shè)置合適的面積上下限閾值，提取真實(shí)的成熟草莓目標(biāo)區(qū)域，區(qū)域特征提取結(jié)果如圖6b所示，可以看出，成熟草莓目標(biāo)區(qū)域被準(zhǔn)確的檢測(cè)出來。

3 軟件系統(tǒng)開發(fā)與測(cè)試

為了驗(yàn)證算法的實(shí)現(xiàn)效果，本文基于VS2010平臺(tái)結(jié)合C#語言完成了成熟草莓圖像檢測(cè)軟件系統(tǒng)的開發(fā)，系統(tǒng)運(yùn)行結(jié)果如圖7所示。本文所用工控機(jī)CPU為Inter Core i7-3517UE CPU2.20GHz，內(nèi)存為8GB，操作系統(tǒng)為Windows7。

圖6 目標(biāo)區(qū)域定位

圖7 系統(tǒng)運(yùn)行結(jié)果

軟件系統(tǒng)界面針對(duì)實(shí)際檢測(cè)需求設(shè)計(jì)了“相機(jī)連接”、“手動(dòng)模式”、“自動(dòng)模式”、“設(shè)置”等功能。“相機(jī)連接”功能用于建立相機(jī)與工控機(jī)的通訊，實(shí)現(xiàn)工控機(jī)對(duì)相機(jī)圖像采集的控制，并將圖像數(shù)據(jù)傳輸?shù)焦た貦C(jī)進(jìn)行處理分析?！笆謩?dòng)模式”功能用于手動(dòng)單張圖像的采集和自動(dòng)處理，一般用于參數(shù)調(diào)整和軟件算法測(cè)試?！白詣?dòng)模式”功能用于軟件系統(tǒng)運(yùn)行時(shí)的圖像連續(xù)采集，并實(shí)時(shí)輸出圖像處理和檢測(cè)結(jié)果，是軟件系統(tǒng)的主要工作模式?！霸O(shè)置”功能用于檢測(cè)參數(shù)的調(diào)整，包括圖像濾波尺寸、區(qū)域特征面積閾值、分水嶺閾值等參數(shù)，實(shí)際現(xiàn)場(chǎng)參數(shù)的調(diào)整有利于提高成熟果實(shí)的識(shí)別效果。同時(shí)，軟件系統(tǒng)展示了成熟草莓目標(biāo)的檢測(cè)數(shù)量和像素位置坐標(biāo)，可以為草莓采摘機(jī)器人提供目標(biāo)圖像位置信息。

為了驗(yàn)證軟件算法的檢測(cè)效果，本文分別對(duì)粘連、遮擋和果實(shí)重疊3種情況的檢測(cè)效果進(jìn)行分析，如圖8所示?？梢钥闯?，本文算法對(duì)粘連、遮擋和果實(shí)重疊情況具有較好的自適應(yīng)性。在對(duì)粘連果實(shí)的檢測(cè)結(jié)果分析時(shí)發(fā)現(xiàn)，本文算法能夠?qū)崿F(xiàn)草莓果實(shí)的準(zhǔn)確分割和定位。在對(duì)遮擋果實(shí)檢測(cè)情況分析時(shí)發(fā)現(xiàn)，連通區(qū)域面積閾值對(duì)檢測(cè)結(jié)果有重要影響，需要根據(jù)實(shí)際環(huán)境和檢測(cè)需求調(diào)整面積閾值上下限。在對(duì)果實(shí)重疊情況進(jìn)行分析時(shí)發(fā)現(xiàn)，分水嶺算法的閾值選擇會(huì)影響檢測(cè)結(jié)果，因此需要根據(jù)實(shí)際檢測(cè)環(huán)境調(diào)整分水嶺閾值參數(shù)。經(jīng)測(cè)試，單張圖像的檢測(cè)時(shí)間為0.061s，能夠滿足成熟草莓的在線檢測(cè)需求。

圖8 檢測(cè)結(jié)果分析

4 結(jié)論

本文針對(duì)成熟草莓檢測(cè)技術(shù)進(jìn)行研究，提出了一種基于圖像處理的成熟草莓識(shí)別方法。針對(duì)成熟草莓的顏色空間特點(diǎn)，對(duì)Lab顏色空間下的a顏色分量圖像進(jìn)行特征提取以提高成熟草莓目標(biāo)和背景的對(duì)比度，并在此基礎(chǔ)上進(jìn)行圖像閾值分割。為了獲取成熟草莓目標(biāo)區(qū)域，對(duì)分割區(qū)域進(jìn)行形態(tài)學(xué)處理和連通區(qū)域特征分析以祛除噪聲區(qū)域干擾和填充孔洞，并利用基于距離變換的分水嶺分割算法解決果實(shí)粘連和重疊問題。本文在圖像算法研究的基礎(chǔ)上，開發(fā)了成熟草莓圖像檢測(cè)系統(tǒng)，實(shí)現(xiàn)了草莓的實(shí)時(shí)在線檢測(cè)。