基于背景飽和度壓縮與差異閾值分割融合的香蕉串識別*

付根平，陳天賜，張世昂，黃偉鋒，楊塵宇，朱立學

(1. 仲愷農(nóng)業(yè)工程學院自動化學院，廣州市，510225； 2. 仲愷農(nóng)業(yè)工程學院機電工程學院，廣州市，510225)

0 引言

香蕉作為嶺南的特色水果和經(jīng)濟作物，種植規(guī)模大，適收期的香蕉串質(zhì)量約30 kg，目前香蕉串采收為人工方式，勞動強度大、采摘效率低、人工成本高，嚴重制約香蕉的產(chǎn)業(yè)發(fā)展和經(jīng)濟效益[1-2]。而機器人可實現(xiàn)香蕉串采摘的機械化和智能化，不僅可以提高采摘效率、降低生產(chǎn)成本，還能解決勞動力短缺問題[3-4]。然而，準確、快速地識別香蕉串是機器人完成采摘作業(yè)的前提和關鍵。

國內(nèi)外學者對柑橘、香蕉等果蔬識別方法[5-17]進行了研究，主要采用傳統(tǒng)的圖像處理技術，基于果蔬與環(huán)境背景的顏色差異以及果蔬規(guī)整的形狀進行識別，如Zhuang等[11]利用柑橘與環(huán)境背景的顏色差異通過增強色差取得了較好的識別效果；趙相飛[13]基于紋理顏色對溫室大棚內(nèi)與背景顏色相近的黃瓜進行識別，但大棚中光照等環(huán)境因素較為理想，干擾較少；Lü等[14]利用局部極值法和蘋果的形狀特征進行了較好的識別；吳佩等[15]提出了基于形狀擬合與顏色模糊評判的香蕉識別方法，能夠較好地識別出香蕉，但試驗環(huán)境不是自然香蕉園，而且該方法需依賴香蕉的外形；Peng等[16]利用邊緣檢測算法和支持向量機對水果進行識別和分類，香蕉的識別準確度較高。

上述果蔬識別方法對于自然環(huán)境中香蕉串的識別存在以下問題：(1)適收期的香蕉顏色與環(huán)境背景相似，比蘋果、柑橘等顏色差異明顯的水果識別難度更大；(2)香蕉串外形不規(guī)則，難以像蘋果、柑橘等采用類圓形擬合；(3)自然香蕉園環(huán)境的不確定性和光照變化的干擾，如蕉葉容易反光、透光及遮擋香蕉串，從而影響香蕉串的圖像采集質(zhì)量和識別準確度。

基于卷積神經(jīng)網(wǎng)絡的圖像識別已被廣泛應用于農(nóng)業(yè)等領域。部分學者采用卷積神經(jīng)網(wǎng)絡等深度學習方法對水果進行識別，取得了較好的結果[18-23]。例如，Yu等[23]通過掩膜區(qū)域卷積神經(jīng)網(wǎng)絡在非結構化環(huán)境下進行草莓識別，準確率較高。Chen等[24]基于深度學習方法對蘋果和橘子進行識別并計數(shù)，采用英偉達泰坦X級別GPU，其成本較高，且網(wǎng)絡模型需迭代多次才能收斂，訓練時間較長。雖然卷積神經(jīng)網(wǎng)絡能獲得較好的識別效果，但耗時、費力、應用成本高。此外，卷積神經(jīng)網(wǎng)絡結構復雜，訓練的參數(shù)很多，故圖像樣本量巨大、訓練時間較長；而且訓練好的卷積神經(jīng)網(wǎng)絡部署到采摘機器人上難度也很大，因為它對系統(tǒng)的硬件配置和兼容性要求較高。

而傳統(tǒng)圖像識別方法對硬件要求不高，實時性好，在機器人上部署便捷，但容易受光照變化以及莖葉顏色與香蕉串相似度高等環(huán)境因素影響，導致香蕉串識別的準確度不高，因此，提出一種基于圖像背景飽和度壓縮與差異閾值范圍分割融合的方法，對自然香蕉園環(huán)境中適收期的香蕉串進行識別。根據(jù)香蕉串圖像HSV空間飽和度分量各灰度等級的像素比例自適應提取香蕉串區(qū)域的飽和度閾值并據(jù)此確定伽馬系數(shù)，然后對圖像背景做伽馬變換或半值壓縮以降低灰度值，增強香蕉串對比度；接著以大、小閾值范圍分別對背景壓縮后飽和度分量與色調(diào)分量的差值圖像進行分割，并做孔洞填充和連通域提取，將獲取的背景噪聲與大、小閾值范圍的分割結果做差值融合去噪，從而得到噪聲點少、準確度高的香蕉串。

1 背景飽和度壓縮與差異閾值分割融合的香蕉串識別

由于適收期的香蕉串顏色與環(huán)境背景相似度較高，同時光照變化、葉片和香蕉串反光等因素的影響，使得在RGB圖像中識別香蕉串準確度低、噪聲點多。而通過分析HSV顏色空間發(fā)現(xiàn)，香蕉串的飽和度S值較大，超過大部分的環(huán)境背景，可以通過飽和度閾值進行分割；香蕉串的色調(diào)H值與環(huán)境背景基本一致，難以直接通過閾值識別；此外，光照對圖像的影響主要體現(xiàn)在強度分量V中，所以為了減少光照影響，在香蕉串識別時不考慮強度分量。因此，選擇在飽和度分量S和色調(diào)分量H的差值圖像中進行香蕉串識別。顯然，要先將采集的香蕉串圖像從RGB顏色空間轉(zhuǎn)換成HSV，為便于計算，將HSV顏色空間各分量歸一化成0～255范圍。

為了提高香蕉串的識別準確度和魯棒性，提出基于圖像背景飽和度壓縮和差異閾值分割與融合的香蕉串識別方法，實現(xiàn)流程如圖1所示。為了減少計算量，提高識別速度，先壓縮原始香蕉串RGB圖像分辨率，再將圖像轉(zhuǎn)換到HSV顏色空間，然后對圖像背景飽和度做伽馬變換和半值壓縮以增強香蕉串區(qū)域與環(huán)境背景的對比度，接著以差異閾值范圍，結合孔洞填充和連通域提取形態(tài)學處理方法對飽和度分量與色調(diào)分量的差值圖進行分割、提取、融合，從而得到準確度高、噪聲點少的香蕉串。

圖1 香蕉串識別流程

1.1 基于自適應閾值提取的圖像背景飽和度壓縮

分析發(fā)現(xiàn)，HSV顏色空間香蕉串的飽和度值高于大部分環(huán)境背景，而色調(diào)值較為相似，強度空間受光照影響較大。因此，對不同飽和度閾值區(qū)域的圖像背景做伽馬變換或半值壓縮以降低其灰度值，增強香蕉串區(qū)域的對比度、提高可分割性，其流程如圖2所示。

圖2 伽馬變換和半值壓縮的圖像背景飽和度壓縮流程

1.1.1 香蕉串區(qū)域的飽和度閾值自適應提取

為了只壓縮圖像背景的飽和度而保持香蕉串區(qū)域的不變，必須先確定香蕉串區(qū)域的飽和度閾值。而基于圖像樣本自適應提取香蕉串的飽和度閾值，先根據(jù)圖像飽和度分量中各灰度等級的像素個數(shù)及其所占比率確定香蕉串區(qū)域的飽和度參考閾值，然后做相應的修正，進而得到香蕉串區(qū)域的飽和度閾值。

若飽和度圖像分辨率為M×N，統(tǒng)計出灰度等級k的像素個數(shù)為nk，則其在圖像中所占比率

(1)

式中：L——飽和度的最高灰度等級，L=255。

由于飽和度圖像中香蕉串區(qū)域的灰度等級較高，故可剔除低灰度等級區(qū)域，以縮小統(tǒng)計范圍，提高圖像處理速度，因此，選取合適的灰度等級c，僅在高于c的灰度等級區(qū)域(c,L)內(nèi)提取香蕉串區(qū)域的飽和度參考閾值m。為了增強可靠性，采用區(qū)域灰度等級比率總和最大法來確定香蕉串的飽和度參考閾值m。將灰度等級區(qū)域(c,L)按順序以長度r均分成q個子區(qū)域，然后分別統(tǒng)計各子區(qū)域中r個灰度等級在圖像中所占比率的總和

(2)

考慮到香蕉串區(qū)域的灰度等級在圖像中所占比例均較大，由概率統(tǒng)計可知，比率總和最大的子區(qū)域即為香蕉串飽和度參考閾值的潛在區(qū)域。因此，先由式(3)遍歷出q個灰度等級子區(qū)域中比率總和最大值P(t)所對應的子區(qū)域t，再由式(4)遍歷出子區(qū)域t內(nèi)所占圖像比率最高的灰度等級，即為香蕉串區(qū)域的飽和度參考閾值m。

P(t)=max(P(i)),i=1, 2, …,q

(3)

m?max(p(k)),k=r×(t-1),…,(r×t)-1

(4)

接著按式(5)、式(6)修正飽和度參考閾值m，即得香蕉串區(qū)域的低飽和度閾值η、高飽和度閾值μ。

η=m-δ

(5)

μ=m+δ

(6)

式中：δ——飽和度閾值的修正量。

1.1.2 低飽和度圖像背景自適應伽馬變換

伽馬變換的基本形式

s=auγ

(7)

式中：u——伽馬變換輸入灰度值；

s——伽馬變換輸出灰度值；

γ——伽馬系數(shù)；

a——伽馬變換常數(shù)。

當式(7)中伽馬系數(shù)γ取不同值時可得到圖3所示的伽馬變換曲線，其中伽馬系數(shù)γ大于1時，對灰度等級較低的區(qū)域壓縮效果明顯，符合對香蕉串低飽和度圖像背景區(qū)域的壓縮要求。

為了實現(xiàn)飽和度空間的自適應伽馬變換，由低飽和度閾值η確定伽馬系數(shù)γ。由圖3可知，伽馬變換的輸入和輸出灰度值范圍均為0～1，而低飽和度閾值η的范圍為0～255，故須先歸一化，即η/255。通過試驗可知，η的壓縮率取5/6時可較好地壓縮圖像背景飽和度，將其代入式(7)可得求解伽馬系數(shù)γ的方程式

(8)

由式(8)解出伽馬系數(shù)γ后，進行圖像遍歷，對小于低飽和度閾值η的背景飽和度按式(7)做伽馬變換以降低其灰度值，從而增強與香蕉串區(qū)域的對比度。

圖3 伽馬變換示意圖

1.1.3 高飽和度圖像背景的半值壓縮

香蕉葉片經(jīng)透光會大幅提高其飽和度值，甚至超過香蕉串，但與香蕉串區(qū)域的飽和度值差異并不明顯，這將對香蕉串的識別產(chǎn)生干擾。因此，需對高飽和度的圖像背景區(qū)域進行壓縮以提高香蕉串的對比度。

分析圖像中高飽和度的背景區(qū)域發(fā)現(xiàn)，其灰度值歸一化后通常大于0.9，由圖3可知，該區(qū)域的灰度值經(jīng)伽馬變換后壓縮率較小，其輸出灰度值可能落在香蕉串區(qū)域，將會影響香蕉串的識別準確度，因此，高飽和度的圖像背景不宜采用伽馬變換壓縮。由于香蕉串區(qū)域的飽和度值處在180～230的區(qū)域，而高飽和度圖像背景處在230～255的區(qū)域，半值壓縮后其飽和度區(qū)域為115～128。顯然，高飽和度背景區(qū)域半值壓縮后與香蕉串區(qū)域的飽和度存在一定差值，所以對高飽和度區(qū)域采用半值壓縮，即

(9)

式中：x——半值壓縮的輸入飽和度值；

y——半值壓縮的輸出飽和度值。

1.2 差異閾值范圍分割與融合的香蕉串識別

為了盡可能減少光照影響，同時進一步提高對比度，將背景壓縮后的飽和度分量S和色調(diào)分量H做差值，然后對該S-H差值圖像進行香蕉串識別。

由于不同閾值范圍對香蕉串的分割效果影響較大。大閾值范圍分割的香蕉串完整度較高，但背景噪聲較多，需要進一步濾除噪聲；而小閾值范圍分割的香蕉串完整度相對較差，但背景噪聲也相對減少。然而，可采用孔洞填充、連通域提取等形態(tài)學處理技術先從大、小閾值范圍的分割結果中提取背景噪聲，再與分割結果做差值融合以濾除其中的背景噪聲，即差異閾值范圍分割與融合的香蕉串識別方法，實現(xiàn)流程如圖4所示，主要操作步驟如下。

圖4 差異閾值范圍分割與融合的香蕉串識別流程

Step1：以大閾值范圍對S-H差值圖像進行分割，提取出完整度高但噪聲點多的香蕉串。

Step2：以小閾值范圍對S-H差值圖像進行分割，提取出完整度較差但噪聲點少的香蕉串。

Step3：對Step2分割結果進行孔洞填充、連通域提取，并去除最大的連通域，從而獲取部分背景噪聲。

Step4：由于Step3獲取的背景噪聲同樣存在Step1分割結果中，故將Step1分割結果與Step3獲取的背景噪聲做差值融合，減少部分背景噪聲與香蕉串區(qū)域的連通。

Step5：對Step4的結果再做孔洞填充、連通域提取，并去除最大的連通域，即得Step4結果中的背景噪聲。

Step6：將Step4的分割結果與Step5提取的背景噪聲做差值融合，得到準確度高、噪聲點少的香蕉串。

該方法通過連續(xù)對大、小閾值范圍分割的結果進行孔洞填充和連通域提取，獲取背景噪聲，并做差值融合去噪，從而識別出準確度較高的香蕉串。此外，閾值范圍的確定與自適應確定飽和度閾值方法類似，根據(jù)各灰度等級像素個數(shù)在S-H差值圖像中所占比率最大確定香蕉串區(qū)域的中心閾值，再進行修正得到大、小閾值范圍。

為了評估本文方法對香蕉串的識別效果，采用交并比方式定義香蕉串的識別準確度

(10)

式中：T——香蕉串分割區(qū)域與實際區(qū)域的交集像素；

R——香蕉串分割區(qū)域與實際區(qū)域的并集像素。

準確度ρ的取值范圍為0～1，其值越大表明本文方法對香蕉串識別的準確度越高。

2 試驗及結果分析

為了驗證本文方法對香蕉串的識別效果，在自然香蕉園中強光、弱光、遮光、反光、透光等環(huán)境下采集適收期香蕉串的RGB圖像樣本，并將其分辨率壓縮至560像素×300像素。所用計算機的CPU型號為英特爾i7-9750H、6核12線程、基準頻率為2.6 GHz，內(nèi)存為16 G，在MATLAB2018b軟件平臺下進行試驗。

2.1 香蕉串圖像背景的飽和度壓縮試驗

選取圖5(a)所示RGB圖像樣本，其中香蕉串與香蕉莖葉等環(huán)境背景的顏色非常接近，轉(zhuǎn)換至HSV顏色空間后各分量如圖5所示。其中，圖5(b)所示色調(diào)分量H中香蕉串與環(huán)境背景的差異性不大，故難以直接進行分割；圖5(c)所示飽和度分量S中香蕉串亮度高于環(huán)境背景，表明其飽和度值較大；而光照的影響主要體現(xiàn)在圖5(d)所示強度分量V中。

(a) RGB

為說明香蕉葉片透光對圖像背景的影響，將圖6(a)、圖6(c)所示RGB圖像轉(zhuǎn)換至HSV顏色空間，并做差值運算、區(qū)間提取和二值化處理生成圖6(b)、圖6(d)所示二值圖，其中白色區(qū)域主要是香蕉串，但還有部分是葉片透光區(qū)域，因為強光照射蕉葉產(chǎn)生透光而增強了飽和度，使其接近甚至高于香蕉串，難以直接通過香蕉串閾值將其濾除，故需要壓縮葉片透光區(qū)域的飽和度，增強與香蕉串的對比度。

以圖5(c)所示飽和度圖像為例，采用本文所述飽和度閾值自適應提取方法在灰度等級大于c=150的區(qū)域提取出參考閾值m=204、低飽和度閾值η=191、高飽和度閾值μ=217，如直方圖7所示。將η值代入式(8)解得伽馬系數(shù)γ=1.63，然后對小于閾值η的低飽和度區(qū)域做伽馬變換，對大于閾值μ的高飽和度區(qū)域做半值壓縮。

(a) RGB圖1

圖7 飽和度閾值自適應提取示意圖

背景飽和度壓縮前、后的直方圖如圖8、圖9所示，對比可知，香蕉串潛在區(qū)域的灰度等級基本不變，而壓縮后大部分背景飽和度的灰度等級分布在160以內(nèi)，其中在80以內(nèi)和115～125范圍內(nèi)的像素個數(shù)明顯增多。顯然，背景飽和度壓縮較好地增強了香蕉串潛在區(qū)域的對比度。

圖8 圖像背景未壓縮的飽和度直方圖

圖9 圖像背景壓縮后的飽和度直方圖

為進一步說明伽馬變換和半值壓縮的效果，對圖5(c)中背景飽和度做不同程度的壓縮，再與圖5(b)色調(diào)分量做差值，并進行閾值分割和二值化處理，結果如圖10所示。圖10(a)中背景飽和度未壓縮，分割出了較多的區(qū)域，對香蕉串的分割識別干擾較大；圖10(b)只做伽馬變換，噪聲區(qū)域明顯減少，表明伽馬變換降低了大部分環(huán)境背景的飽和度值；圖10(c)中香蕉葉片透光區(qū)域進一步減少，表明半值壓縮能有效降低光照在飽和度空間的影響。

(a) 未壓縮

由圖5(c)飽和度分量做伽馬變換和半值壓縮后，與圖5(b)色調(diào)分量做差值S-H，其直方圖如圖11所示，呈雙峰狀，其中，香蕉串潛在區(qū)域的灰度等級集中在110～170區(qū)域內(nèi)，而噪聲區(qū)域的灰度等級分布在100以內(nèi)，因此，能較好地對香蕉串進行分割。

圖11 飽和度分量和色調(diào)分量差值直方圖

2.2 差異閾值分割與融合的香蕉串識別試驗

由圖11可知，香蕉串潛在區(qū)域位于飽和度分量與色調(diào)分量差值直方圖中灰度等級較大的峰值區(qū)域，先由灰度等級比率最大法提取出峰值152，再以±20對其修正得到132～172的小閾值范圍，然后對香蕉串進行閾值分割、孔洞填充和連通域提取，結果如圖12所示。同理，以±30對峰值修正得到122～182的大閾值范圍，對香蕉串進行分割，結果如圖13所示。

(a) 小閾值范圍分割

(a) 大閾值范圍分割

圖12中，小閾值范圍分割的香蕉串噪聲相對較少，但完整度較差。而圖13中大閾值范圍分割的香蕉串完整度較好，但背景噪聲較多，這表明以單個閾值范圍難以分割出理想的香蕉串。因此，采用本文大、小閾值范圍分割與融合的香蕉串識別方法，實現(xiàn)過程如圖14所示，其中大閾值范圍分割后香蕉串的識別準確度ρ為0.512 9，經(jīng)第一次差值融合后ρ為0.696 5，而第二次差值融合后ρ為0.844 1。由圖12～圖14的結果對比可知，本文方法識別的香蕉串不僅準確度較高，而且有效濾除了背景噪聲。

為了驗證本文方法的適用性和魯棒性，選取環(huán)境背景與香蕉串顏色相似度較高，以及存在光照不均、反光、透光的112個圖像樣本進行試驗，并由式(10)計算香蕉串的識別準確度ρ，統(tǒng)計結果如表1所示，其中，高于0.85的占比39.29%；介于0.80～0.85的占比46.43%；低于0.80的占比14.28%；而高于0.80的占比超過85%。

圖14 差異閾值分割與融合識別香蕉串的流程

表1 香蕉串的識別準確度Tab. 1 Accuracy of recognition for bunch of bananas

將圖像樣本的識別結果用包含香蕉串所有像素的最小外接矩形標記，如圖15所示，紅色矩形下的數(shù)字表示香蕉串的識別準確度ρ，示例圖像樣本香蕉串的識別準確度大部分高于0.80，其中最高的為0.877 5。試驗結果表明，本文方法魯棒性較強，能較好地適應不同光照和環(huán)境顏色，香蕉串的識別準確度較高。

圖15 香蕉串識別示例

為進一步說明本文方法的優(yōu)越性，與直接采用閾值分割方法(簡稱“直接分割法”)識別香蕉串的時間和準確度ρ進行對比，隨機選取10個圖像樣本，試驗結果如表2所示。其中，本文方法對香蕉串的識別準確度均高于0.81，最高的為0.864 2，而直接分割法的識別準確度大部分低于0.80，最低的僅為0.571 4。由于本文方法需要先壓縮圖像背景飽和度，并且通過大、小閾值范圍分割的結果融合去噪得到香蕉串，增加了處理步驟，故耗時更長。據(jù)表2可知，本文方法的耗時在0.51～0.57 s之間，而直接分割法的耗時相對較短，在0.45 s以內(nèi)，最短的約0.29 s。相比之下，本文方法增加了一定的耗時，但香蕉串的識別準確度ρ提高幅度較大，因此，在滿足機器人采摘作業(yè)實時性要求下，能夠提高香蕉串的采摘作業(yè)效率和可靠性。

表2 不同方法的香蕉串識別結果Tab. 2 Result for bunch of bananas recognition by different methods

3 結論

本文研究了基于圖像背景飽和度壓縮與差異閾值范圍分割融合的香蕉串識別方法。

1) 分析了香蕉串圖像HSV顏色空間各分量特征、區(qū)域灰度等級以及像素分布特點。根據(jù)香蕉串飽和度圖像中各灰度等級的像素比例自適應提取香蕉串潛在區(qū)域的高飽和度閾值μ=217、低飽和度閾值η=191，然后由低飽和度閾值η求解出伽馬系數(shù)γ=1.63，并對小于低飽和度閾值η的區(qū)域做伽馬變換，對大于高飽和度閾值μ的區(qū)域做半值壓縮，從而增強了香蕉串的對比度。

2)以大、小閾值范圍分別對飽和度分量與色調(diào)分量的差值圖像進行分割，然后對分割結果進行孔洞填充和連通域提取，并將獲取的背景噪聲與大、小閾值范圍的分割結果做差值融合去噪，從而得到準確度較高、噪聲點少的香蕉串。

3) 試驗表明，對自然香蕉園環(huán)境中不同光照下采集的圖像樣本，香蕉串的識別準確度高于0.85的占比39.29%，介于0.80～0.85的占比46.43%，低于0.80的占比14.28%。本文方法具有較好的適用性和魯棒性，香蕉串的識別準確度較高，滿足采摘機器人的作業(yè)要求。