自然場景下花椒果實(shí)分割算法研究

徐志博， 黃 元， 孫浩博， 萬芳新， 馬國軍

(甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，甘肅 蘭州 730070)

花椒(ZanthoxylumbungeanumMaxim)又名川椒，蕓香科花椒屬落葉小喬木，是中國西部地區(qū)重要的經(jīng)濟(jì)作物，具有溫中散寒、除濕等用途，是生活中的重要調(diào)味品。甘肅省是我國花椒主產(chǎn)區(qū)之一，2020年花椒種植面積約有178.76萬hm2[1，2]。目前，我國花椒采摘主要采用高枝剪切法、機(jī)械振動法、負(fù)壓虹吸法等，其勞動強(qiáng)度大、作業(yè)效率低、人工成本高，嚴(yán)重制約了我國花椒產(chǎn)業(yè)的發(fā)展，因此花椒收獲機(jī)器人的開發(fā)成為了必然?；ń凡烧鳂I(yè)因其背景復(fù)雜、光暗條件變化、果實(shí)串重疊等因素，造成視覺系統(tǒng)對采摘對象的識別定位不準(zhǔn)確。因此，有必要對花椒進(jìn)行目標(biāo)識別與圖像分割，以實(shí)現(xiàn)花椒智能采摘的高效識別定位。

近年來，隨著深度學(xué)習(xí)算法的不斷成熟，許多學(xué)者利用深度學(xué)習(xí)，機(jī)器學(xué)習(xí)的方法在林果采摘機(jī)器人中進(jìn)行目標(biāo)檢測、目標(biāo)定位、算法定位。齊銳麗[3]等研究了R-G色差法、Its法及k-means法等聚類算法得出使用outs能很好地分割花椒果實(shí)，使用Canny算法提取果實(shí)輪廓后使用雙目視覺算法與形心匹配法可得到花椒三維坐標(biāo)。萬芳新[4]等在RGB顏色空間下對花椒果實(shí)串進(jìn)行一系列圖像形態(tài)學(xué)處理并進(jìn)行圖像識別，使用優(yōu)化腐蝕噪點(diǎn)和隔離帶法去除非目標(biāo)，再求取花椒串的位置。張永梅[5]等對比了花椒果實(shí)在HSV和RGB顏色空間分量結(jié)合使用合適的閾值進(jìn)行分割，將形心偏差法與慣性主軸結(jié)合得到果實(shí)的采摘點(diǎn)。楊萍[6]等結(jié)合使用k-means算法和Ostu算法進(jìn)行圖像相減得到主枝位置，將小孔成像與凸包理論結(jié)合得出花椒的深度信息。付隆生[7]等采用LeNet卷積神經(jīng)網(wǎng)絡(luò)對多簇獼猴桃圖像識別，對遮擋果實(shí)、重疊果實(shí)、相鄰果實(shí)和獨(dú)立果實(shí)的識別率分別達(dá)到78.97%、83.11%、91.01%和94.78%。RAKUN[8]等使用將果實(shí)的紋理和顏色結(jié)合的方法識別蘋果果實(shí)。Fu[9]等提出基于R-G顏色特性對果實(shí)圖像分割，并結(jié)合最小外接矩形法和Hough變換識別果實(shí)。Ji[10]等利用矢量中位數(shù)濾光片去除蘋果的彩色圖像噪聲，研究基于區(qū)域生長和色彩特征的圖像分割，成功率約為89%。上述研究主要是在成簇果實(shí)串且背景復(fù)雜形態(tài)特征差異大[11-16]的情況下進(jìn)行，對果實(shí)的識別受樣本和人為主觀性影響，自然場景下的花椒果實(shí)圖像特征多樣、背景多變且多受到枝葉的遮擋，特別是光照陰影的不確定性使得花椒果實(shí)串的識別率以及定位精度受到了一定影響[17-19]，很難具有普適性，魯棒性差，不能滿足果實(shí)采摘機(jī)器人在花椒園中的作業(yè)要求。

本文在采集大量林間花椒果實(shí)樣本圖像的基礎(chǔ)上，基于HSV顏色空間對不同拍攝時(shí)間、不同遮蓋程度、不同光暗條件下成熟花椒果實(shí)串進(jìn)行圖像分割，然后使用HED優(yōu)化網(wǎng)絡(luò)模型對圖像進(jìn)行邊緣提取，為后續(xù)實(shí)現(xiàn)花椒采摘機(jī)器人采摘作業(yè)的研究提供理論依據(jù)。

1 花椒果實(shí)區(qū)域分割

1.1 基于漫水填充算法的花椒果實(shí)區(qū)域分割

漫水填充算法是選取與種子點(diǎn)周圍相連的區(qū)域并將該區(qū)域填充為相同的顏色。即在聯(lián)通的區(qū)域內(nèi)用同一種顏色填充，設(shè)置可連通像素的上下限和改變連通方式以達(dá)到填充效果。

在圖像分割算法中，漫水填充算法是最受研究者歡迎的算法模型之一。漫水填充算法包含了不帶掩膜和帶掩膜的兩種算法模型，掩膜(mask)用于對區(qū)域進(jìn)行填充顏色控制(對同一圖像進(jìn)行多次填充時(shí)進(jìn)行控制)。無論是不帶掩膜版本還是帶掩膜的版本，首先都需要在圖像中選擇一個(gè)像素點(diǎn)作為填充的中心元素點(diǎn)，然后模型會將相鄰區(qū)域內(nèi)所有像素值相近的點(diǎn)用同樣的顏色進(jìn)行填充操作。當(dāng)鄰近像素點(diǎn)位于給定的像素閾值范圍內(nèi)時(shí)，就會對這個(gè)像素點(diǎn)填充相同的顏色，分割效果如圖1所示。

圖1 漫水填充分割圖

1.2 基于K-means算法的花椒果實(shí)區(qū)域分割

基于k-means的圖像分割算法模型，是將每個(gè)像素點(diǎn)聚集出不同的類別，形成不同的簇，并將每個(gè)簇的質(zhì)心(簇質(zhì)心的計(jì)算特指簇中所含值的均值)的值來代替這個(gè)簇的所有像素點(diǎn)的值，以完成對目標(biāo)圖像的區(qū)域分割，分割效果如圖2所示。

圖2 K-means算法分割圖

式中：i表示第i個(gè)樣本，c表示第c個(gè)聚類中心；j表示rgb的第j個(gè)通道值。

K-means算法具有原理簡單、編碼容易實(shí)現(xiàn)、對低維數(shù)據(jù)具有較好的聚類效果等優(yōu)點(diǎn)，但該算法在運(yùn)行之前需輸入所聚類的數(shù)目K值，而對于一個(gè)沒有進(jìn)行過先驗(yàn)操作的數(shù)據(jù)而言，其聚類的簇是不可知的，增加了實(shí)驗(yàn)的繁復(fù)性。除此之外，K-means算法在運(yùn)行之初隨機(jī)從數(shù)據(jù)集中選取樣本作為運(yùn)算初始的聚類中心，若選取的聚類中心并不能很好的對類簇進(jìn)行表達(dá)，則會造成算法收斂變慢，效果變差。

1.3 基于HSV顏色空間的閾值分割

HSV顏色空間模形相比于RGB顏色空間模型更具顏色的直觀特性，也被稱之為六角錐模形，分別對應(yīng)色調(diào)、飽和度和透明度等參數(shù)分量。色調(diào)H在360°～0°之間調(diào)節(jié)，0°表示為紅色色調(diào)，120°表示為綠色色調(diào)，240°表示為藍(lán)色色調(diào)；飽和度s在0～1之間表示顏色濃淡程度，例如黃色(255，255，0)、綠色(0，255，0)飽和度為1，而黑色(0，0，0，)飽和度為0；明度V在0%～100%間調(diào)節(jié)，黑色為0%，白色為100%。由于在自然條件下花椒生長環(huán)境有不同的光暗條件，因此使用HSV顏色空間的分量調(diào)節(jié)對圖像進(jìn)行分割，可以很好地解決因?yàn)楣饩€造成的分割誤差。

通過查閱HSV顏色范圍表可知H明暗分量在0～10和156～180區(qū)間紅色會較突出，S色調(diào)分量、V分量在43～255區(qū)間表達(dá)紅色。大紅袍花椒成熟果實(shí)串表現(xiàn)為大紅色，因此以表現(xiàn)紅色為閾值分割條件，對三組不同光暗條件下的花椒圖進(jìn)行對比分割，效果如圖3所示。

圖3 分量閾值調(diào)節(jié)圖

通過對比分析三種算法的分割效果，基于定閾值區(qū)間的HSV顏色空間對花椒串圖像分割效果表現(xiàn)較好，因此采用該方法對花椒果實(shí)進(jìn)行圖像分割如圖3所示，為了有利于后續(xù)采摘點(diǎn)的確定，對分割后的多組圖像進(jìn)行開運(yùn)算擦除小的干擾塊、閉運(yùn)算填充空洞區(qū)域、黑白轉(zhuǎn)換等圖像形態(tài)學(xué)算法對圖像預(yù)處理，得到果實(shí)串的大致范圍如圖4所示。

圖4 形態(tài)學(xué)處理圖

2 果實(shí)邊緣提取

目前對于花椒果實(shí)串的邊緣提取大多使用Canny邊緣檢測，本文提出了一種基于VGG網(wǎng)絡(luò)與HED網(wǎng)絡(luò)的HED優(yōu)化網(wǎng)絡(luò)模型。HED是從Traning independent inputs中演化而來類似于一個(gè)相互獨(dú)立的多網(wǎng)絡(luò)多尺度的預(yù)測系統(tǒng)，主要是對整體圖片的訓(xùn)練和預(yù)測，以及具有多尺度的特征。HED有效地使用了中間層的輸出，由于在五個(gè)不同層側(cè)面生成的特征圖的大小有所區(qū)別，因此可以在不同的尺度上輸出圖像，增加了一個(gè)混合權(quán)重層，將所有輸出層側(cè)面鏈接訓(xùn)練學(xué)習(xí)，同時(shí)利用高層網(wǎng)絡(luò)豐富的數(shù)據(jù)和低層網(wǎng)絡(luò)準(zhǔn)確的位置數(shù)據(jù)，得到更準(zhǔn)確的邊緣檢測結(jié)果。

HED構(gòu)建了一個(gè)將同一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)的不同層級側(cè)面提取并混合權(quán)重的整體嵌套結(jié)構(gòu)。側(cè)面輸出層的結(jié)果由于卷積次數(shù)的不同感受野也不同，HED在感受野大的、具有豐富信息的高特征層上采樣，與感受野大的、具有詳細(xì)信息的低特征層通過混合權(quán)重學(xué)習(xí)訓(xùn)練，得到更準(zhǔn)確的邊緣檢測結(jié)果。Canny算法使用高斯函數(shù)對圖像平滑處理，同時(shí)將邊緣鏈接與雙閾值算法相結(jié)合進(jìn)行邊緣檢測，雖然較好地抑制了噪聲，減小了噪聲的干擾，能夠檢測到部分的弱邊緣且連續(xù)性較好，但是Canny算子也同時(shí)將一些高頻邊緣平滑處理，造成邊緣丟失。HED邊緣檢測網(wǎng)絡(luò)可以將許多弱邊緣顯示出的同時(shí)沒有受到環(huán)境的影響，很完整地顯示出花椒果實(shí)串的整個(gè)邊緣，且加入了獨(dú)立的思考預(yù)測并對每一層的結(jié)果特征進(jìn)行融合，使精度得到提升，不會出現(xiàn)斷線等精度問題。

HED優(yōu)化網(wǎng)絡(luò)模型基于VGG網(wǎng)絡(luò)與HED網(wǎng)絡(luò)思想，去除第五層網(wǎng)絡(luò)后的池化層，連接五層網(wǎng)絡(luò)最后的卷積層并進(jìn)行卷積、池化處理后通過混合權(quán)重得到花椒果實(shí)串的邊緣輪廓。其中4個(gè)側(cè)輸出層鏈接了監(jiān)督信息層，即進(jìn)行卷積操作，另一個(gè)直接鏈接池化層與另四層在混合權(quán)重訓(xùn)練中起互補(bǔ)作用，該算法將每一層網(wǎng)絡(luò)獨(dú)立而又互相連接，將不同感受野下的訓(xùn)練結(jié)果產(chǎn)生映射，如圖5、6所示。選取600張光暗條件不同的花椒果實(shí)圖像對比HED優(yōu)化模型與HED模型、Canny模型邊緣提取結(jié)果，420幅圖片為訓(xùn)練集，120幅圖片為測試集，60張幅圖片檢驗(yàn)集。在BSDS500上對比ODS實(shí)時(shí)輪廓檢測效果值與OIS評估訓(xùn)練中的最高值。如表1與圖7所示，優(yōu)化HED相比于Canny算法與傳統(tǒng)HED網(wǎng)絡(luò)效果更好，輪廓更精細(xì)。

圖5 HED優(yōu)化模形流程圖

圖6 HED優(yōu)化模形網(wǎng)絡(luò)圖

圖7 canny與HED處理效果圖

表1 模型結(jié)果對比

3 結(jié)論

本文提出融合多種算法的識別定位方法，對比多種分割算法后采用基于定閾值區(qū)間的HSV顏色空間對花椒果實(shí)串進(jìn)行圖像分割，然后對分割圖像做圖像形態(tài)學(xué)操作去除噪音；提出了一種基于VGG網(wǎng)絡(luò)與HED網(wǎng)絡(luò)的HED優(yōu)化網(wǎng)絡(luò)模型，在BSDS500上其ODS達(dá)到0.765。所用模型可以應(yīng)用于花椒園多花椒串識別，為實(shí)現(xiàn)花椒采摘機(jī)器人采摘作業(yè)的研究提供理論依據(jù)。