改進Otsu算法與ELM融合的自然場景棉桃自適應(yīng)分割方法

王 見，周 勤，尹愛軍

?

改進Otsu算法與ELM融合的自然場景棉桃自適應(yīng)分割方法

王 見1,2，周 勤1,2，尹愛軍1,2

（1. 重慶大學(xué)機械傳動國家重點實驗室，重慶 400044；2. 重慶大學(xué)機械工程學(xué)院，重慶 400044）

針對動態(tài)行進過程中拍攝的自然棉田場景圖像的棉桃分割問題，提出了一種改進的自適應(yīng)優(yōu)化分割方法。首先利用改進的Otsu分割算法定位棉桃區(qū)域，對棉桃和背景區(qū)域像素點的RGB值分別采樣；將樣本用于訓(xùn)練ELM（extreme learning machine）分類模型；把圖像分割轉(zhuǎn)化為像素分類問題，用分類模型對棉桃圖像進行像素分類以實現(xiàn)棉桃圖像的分割。對晴天和陰天場景下自然棉田的圖像進行了算法驗證，能正確分割棉桃并定位棉桃位置，實現(xiàn)了非結(jié)構(gòu)光環(huán)境下對棉桃的無監(jiān)督的采樣和分割定位，每幅圖像的平均分割時間為0.58 s，晴天和陰天狀況下棉桃的平均識別率分別達到94.18%和97.56%。將該算法與經(jīng)典分類算法SVM（support vector machine）和BP在增加紋理特征和采用RGB特征的情況下進行對比，并分析了該算法在分割速度和識別率上都有較大優(yōu)勢的原因。試驗證明該算法在棉桃分割中有很好的實時性、準確性和適應(yīng)性，可為智能采棉機的棉桃識別算法提供參考。

圖像分割；作物；圖像識別；改進的Otsu算法；極限學(xué)習(xí)機；自適應(yīng)

0 引 言

隨著人工智能的發(fā)展，國內(nèi)外相關(guān)學(xué)者進行了大量有關(guān)機器視覺在農(nóng)機應(yīng)用方面的研究[1-5]。農(nóng)田環(huán)境屬于非結(jié)構(gòu)化的自然環(huán)境，對目標農(nóng)作物的準確分割和定位是長期以來的技術(shù)難點[6-10]。在圖像領(lǐng)域，圖像分割算法已由R-CNN經(jīng)Fast R-CNN和Faster R-CNN發(fā)展到了Mask R-CNN，圖像的分割已達到高精度的像素級別。由于目前還沒有已標注的相關(guān)農(nóng)作物的圖像數(shù)據(jù)集，對于農(nóng)作物的分割算法主要有2種方式：第一種是通過人工在圖像中標注來獲取樣本，再訓(xùn)練分類器進行分割或者識別，如王星等[11]通過選取像素點的YCbCr特征訓(xùn)練GA（genetic algorithm）神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了簡單背景下棉花圖像的分割，分割準確率達到91.9%；張成梁等通過利用人工交互選點的方式，對選定點的5×5鄰域計算顏色特征均值及紋理特征，訓(xùn)練GA-SVM分類器對機采籽棉雜質(zhì)進行分割識別[12]，識別率達到92.6%；第二種是不需要人工標注的自適應(yīng)分割算法，如王麗麗等[13]采用基于Niblack自適應(yīng)修正系數(shù)的溫室成熟番茄目標提取方法，該方法對溫室成熟番茄圖像有較好的分割效果；李凱等設(shè)計了一種聯(lián)合分割算法對棉花苗葉片圖像進行自動分割[14]，對晴天、陰天、雨后天氣下的圖像分割精度分別達到84.8%、87.7%和91.6%；賀付亮等[15]提出基于視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚圖像分割方法，對小目標桑葚識別有較好的效果。第一種方式原理較簡單，但是需要人工進行大量標注，且對于非結(jié)構(gòu)化環(huán)境的適應(yīng)性差；第二種方式不需要人工標注，對非結(jié)構(gòu)化環(huán)境適應(yīng)性較好，但是算法原理復(fù)雜，調(diào)參過程困難且耗時，可移植性低。因此提高圖像分割算法的運行速度和非結(jié)構(gòu)化環(huán)境的適應(yīng)性是人工智能應(yīng)用在農(nóng)業(yè)實際生產(chǎn)中亟待解決的問題[16-18]。

棉桃的視覺分割，相對于其他果蔬分割，具有植株密集，形狀不規(guī)則，顏色受光照影響大的特點[19-20]。本文結(jié)合上述2種方式的優(yōu)點，改進了Otsu分割算法分離棉桃和背景區(qū)域，對分割結(jié)果分別采樣得到訓(xùn)練樣本，避免了人工標注的過程；再選擇在訓(xùn)練速度、準確率和穩(wěn)定性上都表現(xiàn)較好的ELM（extreme learning machine）算法[21-26]作為分類判別器分割圖像；最后與第一種方式中常用的分類算法SVM、BP（back propagation neural network）對比，以證明改進Otsu與ELM融合的方法在分割速度、準確性和穩(wěn)定性上是否具優(yōu)勢。

1 自適應(yīng)分割算法原理

自然環(huán)境下棉田圖像的棉桃像素點和背景像素點的RGB顏色特征差異明顯，但是在不同光照條件下各類像素點RGB值變化也較大。如果能根據(jù)光照情況實時自動采樣訓(xùn)練分類器，就能實現(xiàn)非結(jié)構(gòu)光環(huán)境下自適應(yīng)棉桃分割。以此為思路，提出基于改進Otsu算法初步分割棉桃，從分割結(jié)果中采樣得到以像素點RGB值為特征向量的訓(xùn)練樣本。將樣本用于訓(xùn)練ELM分類器，再對圖像進行逐像素分類，最后對分類結(jié)果進行處理即可完成棉桃的識別。

1.1 基于改進Otsu算法的自適應(yīng)樣本采集

1.1.1 改進Otsu算法

Otsu是運用統(tǒng)計學(xué)的原理，選定分割閾值使前景和背景的類間方差最大的一種自適應(yīng)閾值確定方法[27]。設(shè)表示一幅圖像的灰度級，根據(jù)閾值將圖像像素點分成2類。

式中p表示像素點灰度值為的概率，()表示像素點灰度值小于等于的概率，0和1分別表示背景和前景的概率。

以0和1分別表示背景和前景的灰度均值：

前景和背景的類間方差σ2表示

最佳閾值為：

此種方法只適合前景和背景面積相差不大，灰度直方圖呈雙峰狀態(tài)的圖像分割。由于棉桃目標與背景面積相差太大，灰度直方圖沒有明顯的雙峰，呈現(xiàn)多峰狀態(tài)，使用傳統(tǒng)的Otsu不能將棉桃從背景中分割出來。

針對棉田圖像灰度直方圖分布呈多峰分布，本文改進了Otsu算法對圖像進行棉桃分割。

1）將灰度范圍為0~255之間的圖像、、值歸一化到0~1；

3）根據(jù)閾值t將背景像素點置0，得到新的圖像；

4）統(tǒng)計得到非零像素點的灰度直方圖；

5）重復(fù)上述2）、3）、4）步驟次，直至直方圖分布為陡峭的單峰分布，分割過程結(jié)束，t即為最終的分割閾值。

改進后的Otsu算法通過多次迭代，以非0像素的直方圖分布形狀作為判別標準，能在不同光照場景中自適應(yīng)地分割出大部分棉桃。

1.1.2 基于灰度值統(tǒng)計的分割結(jié)果優(yōu)化

通過改進Otsu算法分割后，有一部分圖像的分割結(jié)果中會剩余較少部分反光薄膜、泥土等背景。為提高樣本質(zhì)量，將600幅圖像用改進Otsu分割后，選取10幅光照條件差異較大且有誤分割的圖像，將分割結(jié)果中誤分割為棉桃的像素點人工圈選出來，共計1 854個像素點；再獲取相同個數(shù)的棉桃像素點。將誤分割為棉桃的背景和棉桃像素點做統(tǒng)計分析（如圖1所示），背景像素在歸化-、歸一化-值分布圖中的位置在45°線以下。所以當(dāng)某像素點的歸一化值大于歸一化值或者歸一化值大于歸一化值，則可判定此像素點為背景像素。此關(guān)系是針對不同光照條件下圖像的誤分割統(tǒng)計，可以在改進Otsu算法分割后再根據(jù)此關(guān)系優(yōu)化分割結(jié)果，進一步提高采樣質(zhì)量。

圖1 棉桃與誤分割背景的歸一化G-R、B-R、B-G值分布

1.1.3 樣本采集

將圖像用改進的Otsu方法分割后，根據(jù)歸一化、、值進一步優(yōu)化分割結(jié)果。此時分割結(jié)果中棉桃和背景的像素點值分別為1和0。識別像素點值為1的連通區(qū)域，去除像素面積小于閾值的小面積噪聲部分；再對二值圖像進行閉運算，得到最終的分割結(jié)果。將結(jié)果中棉桃部分像素點對應(yīng)到原圖，取對應(yīng)像素點的歸一化、、值為特征向量，像素點的個數(shù)為棉桃樣本個數(shù)。均勻提取與棉桃樣本等數(shù)量的背景像素點的歸一化、、值作為背景樣本。為減少樣本數(shù)量，將同類樣本中、、值都相等的多個像素點的特征值保留一個；為避免正負樣本中產(chǎn)生重疊，再去掉正負樣本中共有的像素點，最終得到用于訓(xùn)練像素分類器的樣本集。

使用自適應(yīng)樣本采集方法對10幅圖像采集120 000個樣本，統(tǒng)計位于背景部分的棉桃樣本共計297個，位于棉桃部分的背景樣本共計45個，此時樣本標簽的正確率達到99.7%以上，證明了基于改進Otsu算法的自適應(yīng)樣本采集方法的正確性。此樣本采集過程不需要人工干預(yù)，且能適用于多種光照條件下。

1.2 ELM圖像分割

極限學(xué)習(xí)機是SLFN（single–hidden layer feedforward neural network）中的一種，由一個輸入層、一個隱含層、一個輸出層組成，輸入層與隱含層、隱含層與輸入層神經(jīng)元間全連接。如圖2所示，個輸入變量輸入個神經(jīng)元，輸入層與隱含層之間的連接權(quán)值為（′矩陣，隱含層有個神經(jīng)元），隱含層與輸出層間的連接權(quán)值為（矩陣），個神經(jīng)元輸出個輸出變量。

Huang等提出ELM理論[28]，證明當(dāng)激活函數(shù)()無限可微時，輸入層與隱含層的連接權(quán)值和偏置在訓(xùn)練前可以隨機選擇，且在訓(xùn)練過程中保持不變。隱含層與輸出層間的連接權(quán)值可以通過求解如下方程式獲得。

注：x1~ xn為輸入變量，wij為輸入層與隱含層連接權(quán)值，O1~Ol為隱含層神經(jīng)元，βjk為隱含層與輸出層連接權(quán)值，y1~ ym為輸出變量。

式中表示隱層節(jié)點輸出，為期望輸出。其解為:

為隱含層輸出矩陣的Moore-Penrose廣義逆。ELM隨機產(chǎn)生0到1區(qū)間的輸入層和隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，因此只需要設(shè)定隱含層神經(jīng)元的個數(shù)，求解從隱含層到輸出層的權(quán)值即可完成訓(xùn)練過程。ELM算法調(diào)參過程和求解方法使得其具有快速學(xué)習(xí)和泛化性能好的特點[29-30]，在大規(guī)模數(shù)據(jù)分類問題上效果較好。實際棉桃采摘環(huán)境中光照條件復(fù)雜，得到的互不相同的樣本個數(shù)上萬。將樣本用ELM訓(xùn)練分類模型，可以得到更精確也更快的分類模型。

ELM棉桃分割過程：

1）初始化：確定輸入層、隱含層和輸出層神經(jīng)元的個數(shù)，輸入層與隱含層的連接權(quán)值和隱含層神經(jīng)元的偏置由隨機數(shù)發(fā)生器產(chǎn)生0到1之間數(shù)來決定，在計算的過程中不變，選擇Sigmoid函數(shù)作為隱含層神經(jīng)元的激活函數(shù)；

2）模型訓(xùn)練：將采集好的樣本傳入訓(xùn)練模型（棉桃樣本標簽為1，背景樣本標簽為0），計算隱含層輸出矩陣和輸出層權(quán)值向量。

3）模型應(yīng)用：將待分割的圖像的所有像素點、、值歸一化，每一個像素點的、、歸一化值組成的向量都是一個待分類的樣本，按順序傳入訓(xùn)練好的ELM分類器，根據(jù)輸出值為1還是0來確定是棉桃還是背景。

1.3 改進Otsu與ELM融合的自適應(yīng)分割及棉桃定位

將制作好的樣本用于訓(xùn)練ELM分類模型，用訓(xùn)練好的模型分割圖像。識別像素點值為1的連通區(qū)域，使用文獻中的方法[11]去除像素面積小于閾值的小面積噪聲部分；再對二值圖像進行閉運算。根據(jù)文獻[31]中的方法計算出棉桃圓形度大于0.3，因此找到圓形度大于0.3的連通區(qū)域的質(zhì)心位置；設(shè)置閾值，如果兩兩連通區(qū)域質(zhì)心的像素距離小于閾值，則通過取兩點中心的方式返回一個新的質(zhì)心位置，使某些因樹葉遮擋而分開的距離較近的殘缺部分連接起來。再由質(zhì)心位置對應(yīng)的深度值得到棉桃的坐標。本文算法流程如圖3所示。

圖3 改進Otsu算法與ELM融合的自然場景棉桃自適應(yīng)分割流程

2 試驗設(shè)計

2017年3月，在三亞的棉田育種基地中，使用雙目相機模擬采棉機實際運行的狀態(tài)，以3 km/h的速度動態(tài)拍攝多組視頻作為材料樣本。將陰天和晴天拍攝的視頻各讀取300幀保存為分辨率720×720像素的PNG格式圖像用于棉桃分割定位研究。

2.1 訓(xùn)練樣本采集

將所有圖像都使用改進的Otsu方法分割，驗證算法的有效性。初步分割結(jié)果中有些背景被誤識別為棉桃，經(jīng)過閾值篩選和形態(tài)學(xué)去噪的優(yōu)化處理后，最終的效果如圖4所示。

從300張晴天棉田圖像中選取10幅通過基于改進Otsu算法的自適應(yīng)樣本采集方法進行樣本采集，選中的每一個像素點的歸一化值向量即為一個樣本，得到棉桃和背景各60 000個樣本。同樣選取10幅陰天的圖像采集相同個數(shù)的訓(xùn)練樣本。

圖4 圖像經(jīng)改進的Otsu算法和形態(tài)學(xué)優(yōu)化處理的分割結(jié)果

2.2 ELM模型訓(xùn)練與分割結(jié)果

在配置為Intel Core i7-7400 CPU 3.00 GHz, 12 GB RAM，Windows 10 64bits 的計算機上，用MATLAB R2016a 作為分析工具，將樣本集的三分之二用于訓(xùn)練ELM模型，三分之一用于測試，將測試結(jié)果與樣本標簽對比來統(tǒng)計模型的正確率。隱含層神經(jīng)元個數(shù)與測試集預(yù)測正確率之間的關(guān)系如圖7所示，隨著隱含層神經(jīng)元個數(shù)從1增加到10，分類正確率上升到比較高的水平后，I區(qū)域增長速度開始減緩，II區(qū)域隨著隱含層神經(jīng)元個數(shù)增加，正確率只有緩慢的增大趨勢，III區(qū)域保持平穩(wěn)不再變化。

圖5 隱含層神經(jīng)元個數(shù)對模型正確率的影響

根據(jù)正確率隨隱含層神經(jīng)元個數(shù)增長變化的曲線，選取變化階段的節(jié)點處數(shù)據(jù)，即隱含層神經(jīng)元個數(shù)為10、20、60的模型，將除樣本集外的晴天和陰天的圖像隨機抽取30張用于模型效果測試，分割效果如圖6所示，在MATLAB R2016a工具下分割時間和正確率對比如表1所示。

可以看出3種模型的分割效果基本一致，雖然隱含層神經(jīng)元個數(shù)為20和60時，模型正確率比為10時高，但是由于在樣本制作時有些陰影部分的棉桃像素點并未加入正樣本。為了保證模型的容錯率，并不需要正確率過高，正確率過高導(dǎo)致模型的過擬合問題會使棉桃陰影部分被誤分類為背景。從圖像的分割效果中可以看出，當(dāng)隱含層細胞個數(shù)為10的時候，棉桃可以被完整地分割出來。綜合考慮分割效果和運行時間，最終選擇隱含層細胞個數(shù)為10。

圖6 不同隱含層神經(jīng)元個數(shù)的ELM模型分割效果對比圖

表1 隱含層不同神經(jīng)元數(shù)ELM模型分割單張圖像分割性能

2.3 分割結(jié)果優(yōu)化與識別率統(tǒng)計

通過ELM算法分割后的圖像存在一些顏色和棉桃相同的噪聲部分。通過形態(tài)學(xué)處理優(yōu)化后再進行目標定位，圖7所示為最終的識別結(jié)果。對于每幅圖像，從讀入到得到分割結(jié)果的時間作為分割時間，人工計數(shù)得到的真實棉桃個數(shù)與算法自動標注為棉桃的個數(shù)之比作為識別率。除去用于提取樣本的10幅圖像，用本文算法分割剩余的晴天和陰天各290幅圖像，統(tǒng)計得到晴天棉桃平均識別率為94.18%，平均分割時間為0.58 s；陰天棉桃平均識別率為97.56%，平均分割時間為0.58 s。

圖7 棉桃定位結(jié)果

3 算法性能對比分析

將本文算法與經(jīng)典的分類算法SVM、BP用MATLAB R2016a作為分析工具進行比較。圖像分割中還常常提取像素點的Tamura紋理特征中的粗糙度、對比度和方向度作為特征向量，因此在訓(xùn)練樣本中加入Tamura紋理特征，即每個像素點周圍5×5像素塊的粗糙度，對比度，方向度，再加上RGB顏色特征，形成新的特征數(shù)為6的訓(xùn)練樣本，與本文只提取RGB顏色特征作為訓(xùn)練樣本作對比。經(jīng)試驗，SVM分類選擇一次多項式核函數(shù)（LIBSVM參數(shù)為‘-t1-d1’）進行模型訓(xùn)練；BP算法在樣本特征數(shù)為6和3時分別選擇網(wǎng)絡(luò)結(jié)構(gòu)為6-7-1和3-4-2，激活函數(shù)為Sigmoid，學(xué)習(xí)率為0.1，迭代次數(shù)為10 進行訓(xùn)練。同樣是使用10張圖像得到有紋理特征和無紋理的各120 000個樣本，將樣本集的三分之二用于訓(xùn)練ELM模型，三分之一用于測試模型。從晴天圖像和陰天圖像中各隨機抽取30張圖像用訓(xùn)練好的模型分割，分割后再進行相同的形態(tài)學(xué)優(yōu)化處理和定位。試驗結(jié)果用error bar來表示，分別表示出分割時間和棉桃識別率的極大值，均值和極小值，如圖8所示。

圖8 不同天氣下ELM、SVM、BP分割單幅圖像棉桃識別率、效率對比

在晴天圖像的分割中，用RGB特征訓(xùn)練的ELM、SVM、BP模型棉桃平均識別率分別為94.57%、77%、83.35%，單張圖像的平均分割時間分別為0.58、177.31、6.52 s；使用Tamura紋理特征和RGB特征共同作為訓(xùn)練樣本訓(xùn)練的ELM、SVM、BP模型平均識別率分別為75.68%、80.54%、86.17%，單張圖像的平均分割時間分別為467.87 、678.35 、551.01 s。在陰天圖像的分割試驗中各方法的平均識別率比晴天偏高，數(shù)據(jù)分布規(guī)律相似?？梢钥闯霰疚乃惴ň哂凶疃痰姆指顣r間和最高的識別率。從30幅圖像分割結(jié)果的正確率的極大值、極小值分布來看，本文算法的正確率波動較小，算法穩(wěn)定性較好。

在加入紋理特征之后ELM的識別率反而下降，從圖像的分割結(jié)果分析是因為部分背景像素點的紋理特征與棉桃紋理特征相似。如圖9所示，為加入紋理和不加紋理的模型分割結(jié)果，左圖方框圈選出來的為加入紋理后引入的誤分割部分。將誤分割和棉桃部分、、值分布以及紋理值分布表示如圖10所示，可見這2部分紋理值雖然值各不相同，但是相互混雜，無法區(qū)分；而這2部分的、、值分布區(qū)分度較大。BP和SVM算法在未加入紋理特征時就無法區(qū)分白色塑料膜與棉桃部分，因此加入紋理特征后對模型的正確率沒有太大影響。

圖9 加入紋理前后的ELM分割結(jié)果

為了使棉桃識別算法能夠適用于實際采棉機的運動過程，本文處理的圖像取自于動態(tài)拍攝的視頻，因此圖像會有細節(jié)丟失，而且超高清的圖像需要處理和傳輸?shù)臄?shù)據(jù)量太大，為了滿足實時性，沒有選擇超高清的圖像采集設(shè)備。在訓(xùn)練分類器時特征的選擇尤為重要，不恰當(dāng)?shù)奶卣鲿胝`差量，從算法性能對比可知，由于圖像質(zhì)量的限制無法得到高質(zhì)量的紋理特征，而且提取紋理特征時間消耗大，無法滿足實時性的要求。而通過樣本自動采集增大樣本容量后，選擇RGB特征有更好的區(qū)分度。試驗結(jié)果表明，改進Otsu與ELM融合的棉桃自適應(yīng)分割算法在棉桃識別中具有更好的穩(wěn)定性，更高的準確度和更快的實時性。

圖10 誤分割背景和棉桃部分歸一化R、G、B 分布以及紋理值分布

4 結(jié) 論

本文提出了一種基于改進Otsu分割算法的自適應(yīng)樣本采集方法。分析了灰度直方圖的分布與分割效果之間的關(guān)系，提出一種改進的Otsu分割方法對圖像進行初步分割；并對分割后的棉桃和背景像素點的RGB值進行統(tǒng)計學(xué)分析，通過閾值篩選和形態(tài)學(xué)處理，實現(xiàn)了非結(jié)構(gòu)化的自然環(huán)境下棉桃和背景的樣本自動采集。

1）傳統(tǒng)的分類需要人機交互點選正負樣本，分類模型一旦確定就很難修改。本文的自動樣本提取方法避免了人工選擇樣本的過程，在實際運用的時候，可以通過檢測實時拍攝圖像的灰度均值為光照條件是否變化的判斷依據(jù)，自動選擇樣本和重新訓(xùn)練模型，從而能夠適應(yīng)不同的光照條件。

2）本文設(shè)計的樣本自動提取方法能夠得到大量像素點樣本，可以避免提取紋理特征來增加樣本信息量。通過試驗分析，證明本文算法在棉桃分割中不需要提取紋理特征提取就可以達到更好的分割效果，大大減少了分割時間。

3）通過試驗證明了本文算法在準確性和速度方面有了很大的提高，在陰天和晴天光照條件下棉桃平均識別率分別為94.18%和97.56%，晴天圖像的棉桃識別率比陰天低，從分割結(jié)果圖像來看，晴天圖像中的誤分割都是一些反光嚴重的部分，在以后的研究中還需要繼續(xù)優(yōu)化算法。

[1] 董勝，袁朝輝，谷超，等. 基于多學(xué)科技術(shù)融合的智能農(nóng)機控制平臺研究綜述[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(8)：1—11. Dong Sheng, Yuan Zhaohui, Gu Chao, et al. Research on intelligent agricultural machinery control platform based on multi-discipline technology integration[J]. Transactions ofthe Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(8): 1—11. (in Chinese with English abstract)

[2] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農(nóng)業(yè)機械導(dǎo)航路徑識別[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(6)：11—20. Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11—20. (in Chinese with English abstract)

[3] 張志斌，趙帥領(lǐng)，羅錫文，等. 基于SURF算法的綠色作物特征提取與圖像匹配方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(14)：172—178. Zhang Zhibin, Zhao Shuailing, Luo Xiwen, et al. Matching method of green crops based on SURF feature extraction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 172—178. (in Chinese with English abstract)

[4] Ali T, Jhandhir Z, Ahmad A, et al. Detecting fraudulent labeling of rice samples using computer vision and fuzzy knowledge[J]. Multimedia Tools & Applications, 2017, 76(23): 24675—24704.

[5] Sa I, Chen Z, Popovic M, et al. WeedNet: Dense semantic weed classification using multispectral images and MAV for smart farming[J]. IEEE Robotics & Automation Letters, 2017, 3(1): 588—595.(in Chinese with English abstract)

[6] 苗中華，沈一籌，王小華，等. 自然環(huán)境下重疊果實圖像識別算法與試驗[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(6)：21—26. Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 21—26.(in Chinese with English abstract)

[7] 李立君，陽涵疆. 基于改進凸殼理論的遮擋油茶果定位檢測算法[J]. 農(nóng)業(yè)機械學(xué)報，2016，47(12)：285—292. Li Lijun, Yang Hanjiang. Revised detection and localization algorithm forcamellia oleifera fruits based on convex hull theory[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(12): 285—292.(in Chinese with English abstract)

[8] Wang C, Tang Y, Zou X, et al.Recognition and matching of clustered mature litchi fruits using binocular charge-coupled device (CCD) color cameras[J]. Sensors, 2017, 17(11): 2564(1—21).

[9] Zhang J, Kong F, Zhai Z, et al. Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2018, 32(5):1854011(1—23).

[10] Mehta S S, Ton C, Asundi S, et al. Multiple camera fruit localization using a particle filter[J]. Computers & Electronics in Agriculture, 2017, 142: 139—154.

[11] 王星，賴惠成，任磊，等.基于YCbCr空間和GA神經(jīng)網(wǎng)絡(luò)的棉花圖像分割算法[J]. 計算機工程與應(yīng)用, 2014, 50(11): 176—179.

Wang Xing, Lai Huicheng, Ren Lei, et al. Algorithm of cotton image segmentation based on YCbCr space and GA neural network[J]. Computer Engineering and Applications, 2014, 50(11):176—179. (in Chinese with English abstract).

[12] 張成梁，李蕾，董全成，等. 基于GA-SVM模型的機采籽棉雜質(zhì)識別[J]. 農(nóng)業(yè)工程學(xué)報，2016，32(24)：189—196. Zhang Chengliang, Li Lei, Dong Quancheng, et al. Recognition for machine picking seed cotton impurities based on GA-SVM model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(24): 189—196. (in Chinese with English abstract)

[13] 王麗麗，魏舒，趙博，等.基于Niblack自適應(yīng)修正系數(shù)的溫室成熟番茄目標提取方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(增刊1)：322—327. Wang Lili, Wei Shu, Zhao Bo, et al. Target extraction method of ripe tomato in greenhouse based on Niblack self-adaptive adjustment parameter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.l): 322—327. (in Chinese with English abstract)

[14] 李凱，馮全，張建華. 棉花苗葉片復(fù)雜背景圖像的聯(lián)合分割算法[J]. 計算機輔助設(shè)計與圖形學(xué)學(xué)報，2017，29(10)：1871—1880. Li Kai, Feng Quan, Zhang Jianhua. Co-segmentation algorithm for complex background image of cotton seedling leaves[J]. Journal of Computer-Aided Design & Computer Graphics, 2017, 29(10): 1871—1880. (in Chinese with English abstract)

[15] 賀付亮，郭永彩，高潮，等. 基于視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚圖像分割[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(6)：148—155. He Fuliang, Guo Yongcai, Gao Chao, et al. Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(6): 148—155. (in Chinese with English abstract)

[16] Vendano J, Ramos P J, Prieto F A. A system for classifying vegetative structures on coffee branches based on videos recorded in the field by a mobile device[J]. Expert Systems with Applications, 2017, 88: 178—192.

[17] Liu H, Lee S H, Chahl J S. A multispectral 3D vision system for invertebrate detection on crops[J]. IEEE Sensors Journal, 2017, 17(22): 7502—7515.

[18] Guerrero J M, Ruz J J, Pajares G. Crop rows and weeds detection in maize fields applying a computer vision system based on geometry[J]. Computers & Electronics in Agriculture, 2017, 142: 461—472.

[19] Li Y, Cao Z, Xiao Y, et al. DeepCotton:In-field cotton segmentation using deep fully convolutional network[J]. Journal of Electronic Imaging, 2017, 26(5): 053028(1—14).

[20] Wang Q, Xu B. A coupled-contour model for effective segmentation of cotton cross-sections in wide-field microscopic images[J]. Textile Research Journal, 2017, 87(12): 1509—1521.

[21] Stevica S, Cvetkovi?, Milo? B, et al. Hierarchical ELM ensembles for visual descriptor fusion[J]. Information Fusion, 2018, 41(5): 16—24.

[22] Song Y, Zhang S, He B, et al. Gaussian derivative models and ensemble extreme learning machine for texture image classification[J]. Neurocomputing, 2018, 277: 53—64.

[23] Boemer F, Ratner E, Lendasse A. Parameter-free image segmentation with SLIC[J]. Neurocomputing, 2018, 277: 228—236.

[24] Duan M, Li K, Yang C, et al. A hybrid deep learning CNN-ELM for age and gender classification[J]. Neurocomputing, 2017, 275: 448—461.

[25] Zhang Y, Yuan Y, Wang Y, et al. A novel multimodal retrieval model based on ELM[J]. Neurocomputing, 2018, 277: 65—77.

[26] 裘日輝，劉康玲，譚海龍，等. 基于極限學(xué)習(xí)機的分類算法及在故障識別中的應(yīng)用[J]. 浙江大學(xué)學(xué)報(工學(xué)版)，2016，50(10)：1965—1972. Qiu Rihui, Liu Kangling, Tan Hailong, et al. Classification algorithm based on extreme learning machine and its application in fault identification of Tennessee Eastman process.[J]. Journal of Zhejiang University (Engineering Science), 2016, 50(10): 1965—1972. (in Chinese with English abstract)

[27] Otsu N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62—66.

[28] Huang G B, Zhu Q Y, Siew C K.Extreme learning machine: A new learning scheme of feedforward neural networks[C]// IEEE International Joint Conference on Neural Networks, 2004: 985—990.

[29] Peng Y, Kong W, Yang B. Orthogonal extreme learning machine for image classification[J]. Neurocomputing, 2017, 266: 458—464.

[30] 李小冬. 核極限學(xué)習(xí)機的理論與算法及其在圖像處理中的應(yīng)用[D]. 杭州：浙江大學(xué)，2014. Li Xiaodong. Kernel ELM Theory and Algorithms and Application in Image Processing[D]. Hangzhou: Zhejiang University, 2014. (in Chinese with English abstract)

[31] 李卓，楊子敬，郝建唯，等.蘋果幼果圖像的分割與識別算法研究[J]. 沈陽理工大學(xué)學(xué)報，2015，34(1)：34—39. Li Zhuo, Yang Zijing, Hao Jianwei, et al. Segmentation and recognition algorithms for image of young apple[J]. Journal of Shenyang Ligong University, 2015, 34(1): 34—39. (in Chinese with English abstract)

Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm

Wang Jian1,2, Zhou Qin1,2, Yin Aijun1,2

(1.400044,2.400044,)

In order to segment cotton from background accurately and quickly under the unstructured natural environment, an improved scene adaptive optimization segmentation algorithm was proposed. Firstly, the traditional Otsu algorithm was adopted for cotton segmentation by analyzing the rule of gray histogram distribution of images acquired. During each segmentation of cotton image, the background pixel was set to zero and the gray histogram distribution of the target pixel was analyzed after segmented. The segmentation stopped when the histogram distribution appeared to be a steep unimodal distribution and the final segmentation threshold was the optimized threshold. There were still some background pixels in the segmentation results in the first step. Therefore, secondly, a threshold selection rule was utilized to segment cotton from background based on the statistical analysis of the RGB (red, green, blue) values. Cotton pixels were then extracted after morphology processing. Thirdly, cotton pixels with the RGB values were labeled as positive samples, and then background pixels with the same number of cotton were labeled as negative samples. The feature vectors which the positive and the negative samples shared in common were removed to improve the accuracy. A large-scale training samples were obtained automatically by using previous steps. In the fourth step, the samples were used to train the ELM (extreme learning machine) classification model for cotton segmentation. In the fifth step, the RGB values of all pixels in the test images were normalized and passed to the classification model and the output value will be 1 if the pixels belong to the cotton, or 0 if the pixels belong to the background. Another morphological procedure was employed to remove the noise segments of the output results. In the final step, the centroids of the connected regions which had a roundness of greater than 0.3 were extracted. If the pixel distance between 2 centroids was less than 40 pixels, a new centroid position was returned as a two-point center, so that some incomplete parts separated by the leaf were connected. Then the unsupervised sampling and segmentation of cotton under the unstructured light environment were achieved and the coordinates of cotton were derived. The algorithm proposed in this paper was verified by cotton segmentation experiment. The original datasets were collected on both sunny and cloudy days in the cotton breeding station located in Sanya, Hainan, China. The training datasets were composed of labeled samples generated from 20 images, 10 from sunny day and 10 from cloudy day. Another 60 images, 30 from sunny day and 30 from cloudy day, constituted the testing datasets. For each image in testing datasets, the accuracy is determined by the comparison of numbers between identified cotton and actual cotton. By applying the proposed method, the cotton was identified after segmentation. The average processing time is 0.58 s and the average recognition rates for the images on sunny and cloudy day were 94.18% and 97.56%, respectively. A comparison analysis was conducted between the proposed method and popular methods under Windows 10 64bits with an Intel Core i7-7400 CPU 3.00 GHz, 12 GB RAM, and MATLAB R2016a. For the segmentation of images on sunny day, accuracies by applying the proposed method, SVM (support vector machine) and BP (back propagation) with only RGB features as training samples were 94.57%, 77% and 83.35%, respectively. And the segmentation time was 0.58, 177.31 and 6.52 s, respectively. Accuracies by applying the proposed method, SVM and BP with Tamura texture and RGB features as training samples were 75.68%, 80.54% and 86.17%, respectively. And the segmentation time was 467.87, 678.35 and 551.01 s, respectively. The segmentation results of images on cloudy day were much like that on sunny days except slightly higher in accuracy. The results indicate that the proposed method exceeds popular methods in segmentation speed and accuracy. Moreover, the proposed method avoids texture feature extraction for each pixel, which guarantees better real-time performance.

image segmentation; crops; image recoginiton; modified Otsu algorithm; extreme learning machine; self-adaptation

王 見，周 勤，尹愛軍. 改進Otsu算法與ELM融合的自然場景棉桃自適應(yīng)分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(14)：173－180. doi：10.11975/j.issn.1002-6819.2018.14.022 http://www.tcsae.org

Wang Jian, Zhou Qin, Yin Aijun. Self-adaptive segmentation method of cotton in natural scene by combining improved Otsu with ELM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 173－180. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.022 http://www.tcsae.org

2018-02-08

2018-04-12

國家自然科學(xué)基金項目（51675064）；重慶科技計劃—基于多目立體視覺的智能采棉機關(guān)鍵技術(shù)研究（cstc2016shmszx1245）

王 見，男，新疆喀什人，博士，副教授，主要從事機電一體化技術(shù)及智能控制研究。Email：vi@cqu.edu.cn

10.11975/j.issn.1002-6819.2018.14.022

S562；S24

A

1002-6819(2018)-14-0173-08