高光照條件下的大豆行線提取方法研究

胡健， 車剛，2*， 萬霖，2， 周慧茹， 李光

（1.黑龍江八一農(nóng)墾大學(xué)工程學(xué)院，黑龍江 大慶 163319； 2.黑龍江省農(nóng)機(jī)智能裝備重點(diǎn)實(shí)驗(yàn)室，黑龍江 大慶 163319）

在農(nóng)業(yè)生產(chǎn)中，自動(dòng)導(dǎo)航技術(shù)是實(shí)現(xiàn)農(nóng)機(jī)自主作業(yè)的基礎(chǔ)。通過對作物行線的提取，把其作為農(nóng)業(yè)機(jī)械作業(yè)的導(dǎo)航線，從而實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人的自主作業(yè)。在大豆生產(chǎn)中，自動(dòng)導(dǎo)航技術(shù)可應(yīng)用于大豆田間的整地、施肥、噴藥、除草等作業(yè)環(huán)節(jié)。機(jī)器視覺算法具有成本低、精度高等優(yōu)點(diǎn)，目前以機(jī)器視覺為主的自動(dòng)導(dǎo)航技術(shù)已成為該領(lǐng)域的研究熱點(diǎn)，在田間、果園、林間廣泛應(yīng)用[1-8]。

陳嬌等[9]利用改進(jìn)的Hough變換方法，對農(nóng)田實(shí)現(xiàn)多壟線的識別與定位。刁智華等[10]通過中值濾波和過綠特征法，提取出玉米、小麥作物行信息的中間作物行,提高了檢測時(shí)間，減少了背景對提取效果的影響。宋宇等[11]采用垂直投影的峰值點(diǎn)檢測算法，通過二次判別定位點(diǎn),擬合作物導(dǎo)航線，導(dǎo)航基準(zhǔn)線準(zhǔn)確率達(dá)到90%以上。王祥祥等[12]利用穩(wěn)健回歸法線性擬合特征點(diǎn)得到導(dǎo)航線，平均處理1幅640×480像素的玉米圖片準(zhǔn)確率為92%。關(guān)卓懷等[13]采用多段3次B樣條曲線擬合法提取水稻待收獲區(qū)域邊界線，提取的圖像中距離信息平均誤差為9.9 mm、偏差率為2.0%。García-Santillán等[14]通過從玉米地圖像中提取出感興趣區(qū)域（region of interest，ROI），積累綠色像素來進(jìn)行苗帶的彎曲和直作物行檢測。 Nadeem等[15]利用無人機(jī)的圖像點(diǎn)云(drone-based image point clouds， DIPC )的自動(dòng)特征，測試不同噪聲下的種植行線。Basso等[16]提出了基于圖像處理技術(shù)的無人機(jī)導(dǎo)航系統(tǒng)，首先對航線進(jìn)行識別，然后通過線濾波器生成發(fā)送到飛行控制器的驅(qū)動(dòng)參數(shù)，通過實(shí)時(shí)和自我調(diào)節(jié)的應(yīng)用，減少人工的浪費(fèi)。

我國豆類種植面積逐年上升，2020年達(dá)11593千 hm2，其中大豆種植面積占85%以上[17]。針對大豆苗期除草、追肥等田間作業(yè)環(huán)節(jié)中的自主導(dǎo)航行走需求，可提高導(dǎo)航作業(yè)的精準(zhǔn)性，達(dá)到節(jié)本增收的目的。中國南方大豆田間環(huán)境復(fù)雜，草害嚴(yán)重，且田中常鋪設(shè)噴灌管道，光照強(qiáng)度高，光照變化對圖像分割效果的影響較大，大豆行線提取的準(zhǔn)確率降低。。SUSAN角點(diǎn)檢測算法由牛津大學(xué)的Smith等[18]提出，可以較好地提取圖像中的邊界角點(diǎn)、消除圖像噪聲。本文通過超綠特征（2G-R-B）灰度化方法，獲取作物的綠色特征，根據(jù)SUSAN角點(diǎn)檢測算法提取大豆植株特征點(diǎn)，通過隨機(jī)抽樣最大似然估計(jì)（maximum likelihood estimation by sample and consensus，MLESAC）算法對離散點(diǎn)進(jìn)行擬合，得到以早期大豆行中心線作為農(nóng)業(yè)機(jī)器的導(dǎo)航基準(zhǔn)線。

1 材料與方法

1.1 數(shù)據(jù)集采集

本試驗(yàn)在海南省樂東黎族自治縣九所鎮(zhèn)黑龍江省南繁中心大豆育種田進(jìn)行圖像采集，采集時(shí)間為2021年12月8日。在大豆植株第1片復(fù)葉張開時(shí)，采用手機(jī)對試驗(yàn)基地內(nèi)大豆苗帶圖像進(jìn)行采集，拍攝高度120 cm，拍攝俯視角60°，圖像的分辨率1280×720像素，共采集200張圖像。

1.2 圖像灰度化與二值化處理

在農(nóng)業(yè)機(jī)械田間作業(yè)時(shí)，原始圖像包含綠色大豆植株、黃色土壤背景和鋪設(shè)的黑色管道背景，農(nóng)作物與背景在綠色(green，G)上有很大區(qū)別,采用Woebbeche等[19]的超綠特征（2R-G-B）灰度化方法與孟慶寬等[20]提出的YCrCg顏色空間處理方法，對彩色圖像進(jìn)行灰度化。

通過圖像二值化提取大豆植株圖像，采用最大類間方差法(maximal variance between clusters，OTSU)計(jì)算灰度圖像的閾值,對圖像進(jìn)行分割，將大豆植株從土壤等背景中提取出來。通過對二值圖像開運(yùn)算處理，利用形態(tài)學(xué)膨脹及小面積消除法，得到清晰的二值化圖像。

1.3 SUSAN角點(diǎn)檢測

采用1個(gè)半徑為3像素的圓形模板在圖像上移動(dòng)，當(dāng) USAN 區(qū)域的面積達(dá)到最小值，且此最小值小于預(yù)設(shè)的閾值t=2時(shí)，則認(rèn)為核心點(diǎn)的像素為角點(diǎn)。將圓形模板在被檢測的圖像上移動(dòng)，用于判斷像素點(diǎn)是否屬于USAN區(qū)域的公式如下。

對圓形模板內(nèi)像素點(diǎn)進(jìn)行求和，即得到USAN區(qū)域面積，公式如下。

最后得到初始角點(diǎn)響應(yīng)函數(shù)，公式如下。

通過SUSAN角點(diǎn)算法對二值圖像進(jìn)行特征點(diǎn)檢測，得到候選特征點(diǎn)。將圖像分割為尺寸相同的左、中、右3幅圖像，利用特征點(diǎn)的位置特征自動(dòng)歸類特征點(diǎn)，僅對左、右2幅圖像進(jìn)行特征點(diǎn)檢測。將作物位置點(diǎn)分為2類，即左苗帶特征點(diǎn)和右苗帶特征點(diǎn)。創(chuàng)建矩陣A1、A2分別來存儲左、右苗帶特征點(diǎn)個(gè)數(shù)及位置信息。

使用Matlab中FitPolynomialRANSAC函數(shù),該函數(shù)使用MLESAC算法[21]，通過隨機(jī)抽樣極大似然估計(jì)方法來擬合數(shù)據(jù)，設(shè)置最大距離(maxDistance), 距離較遠(yuǎn)特征點(diǎn)都被視為異常值，獲得次數(shù)為n的多項(xiàng)式p(x)的系數(shù)。

在大豆行線提取過程中，選擇最小二乘法擬合作物中心線，公式如下。

式中，k、b為多項(xiàng)式系數(shù)。

因此，通過FitPolynomialRANSAC函數(shù)，獲得次數(shù)為1的多項(xiàng)式p(x)的系數(shù)，得到多項(xiàng)式系數(shù)k和b，獲得左右兩側(cè)大豆植株的苗帶線，作為導(dǎo)航的基準(zhǔn)線?；赟USAN角點(diǎn)檢測的農(nóng)田航線提取方法的流程圖如圖1所示。

圖1 提取流程Fig. 1 Extraction process

1.4 作物航線檢測及驗(yàn)證

在黑龍江省南繁中心對大豆田圖像進(jìn)行采集，并進(jìn)行臺架試驗(yàn)驗(yàn)證。計(jì)算機(jī)配置顯卡為NVIDIA Geforce GTX 960，處理器為11 th Gen Intel(R) Core(TM) i7-11700K，主頻3.6 GHz，操作系統(tǒng)為 Windows 10。采用雙目攝像頭（小覓）與便攜式電腦通過 USB 接口直接連接，使用Matlab框架，通過調(diào)用 USB Webcam 硬件支持包，讀取攝像頭傳輸?shù)囊曨l，實(shí)時(shí)顯示，讀取視頻幀。

為了驗(yàn)證算法的可行性與準(zhǔn)確性，以手工繪制作物行中心線為參考線，計(jì)算參考線與算法檢測出苗帶線的夾角，將算法提取到的苗帶線與人工標(biāo)記的最佳作物行中心線進(jìn)行比較，當(dāng)算法提取到的苗帶線與人工標(biāo)記的參考線角度差在±5°時(shí)，認(rèn)定檢測結(jié)果準(zhǔn)確。

2 結(jié)果與分析

2.1 圖像預(yù)處理分析

本試驗(yàn)采用的超綠特征（2G-R-B）灰度化方法變換得到灰度圖像，與YCrCg顏色模型下的灰度圖像對比，可以有效提高綠色大豆苗帶和鋪設(shè)的管道背景的對比度，剔除管道背景，將大豆苗從背景中區(qū)分出來（圖2）。

圖2 灰度化圖像Fig. 2 Grayscale images

對灰度圖像進(jìn)行二值化處理過程中，原二值圖像中存在孔洞（圖3A），對比中值濾波和形態(tài)學(xué)腐蝕膨脹后的二值化圖像（圖3B）及形態(tài)學(xué)膨脹及小面積消除法后的二值化圖像（圖3C）可以看出，形態(tài)學(xué)膨脹與小面積消除法后的二值化圖像能較好地去除噪聲，有效地去除圖像中孔洞和噪聲對特征點(diǎn)提取產(chǎn)生的干擾。

圖3 圖像二值化Fig. 3 Binary image

2.2 特征點(diǎn)區(qū)域位置分析

通過SUSAN角點(diǎn)算法對圖像進(jìn)行特征點(diǎn)檢測，檢測出大豆的特征點(diǎn)如圖4所示，從二值圖像中可以看出，SUSAN角點(diǎn)算法提取出大豆苗帶上的特征點(diǎn)基本集中在大豆苗的生長區(qū)域。

圖4 角點(diǎn)檢測Fig. 4 Corner point detection

本試驗(yàn)針對壟上3行的苗帶圖像進(jìn)行處理，為了提取圖像導(dǎo)航線，減少運(yùn)算的時(shí)間，僅提取圖像中左右兩側(cè)苗帶邊緣點(diǎn)即可求出機(jī)械導(dǎo)航的中心導(dǎo)航線。將提取特征點(diǎn)映射到原始圖像上（圖5），顯示可以較好地提取出左右兩側(cè)苗帶特征點(diǎn)。

圖5 大豆苗帶特征點(diǎn)檢測效果Fig. 5 Detection effect of soybean seedlings with characteristic points

2.3 大豆作物行線檢測及驗(yàn)證

為了驗(yàn)證算法的可行性與準(zhǔn)確性，進(jìn)行田間臺架試驗(yàn)驗(yàn)證。對大豆苗帶進(jìn)行檢測，部分檢測結(jié)果如圖6所示，圖中綠色的線表示檢測到的大豆苗帶，說明該算法可以準(zhǔn)確地提取出兩側(cè)苗帶行線。

圖6 大豆苗帶檢測效果Fig. 6 Soybean seedling belt detection effect

隨機(jī)選取50幅大豆田間樣本圖像進(jìn)行左右兩側(cè)苗帶行線提取, 對大豆田進(jìn)行檢測。由圖7可知，本算法對苗帶的檢測具有較強(qiáng)的魯棒性，處理640×480像素圖像的平均檢測時(shí)間為0.531幅·s-1,平均導(dǎo)航線提取準(zhǔn)確率為93%，是一種可靠性較高的田間航線檢測方法。

3 討論

隨著智慧農(nóng)業(yè)的發(fā)展，智能化的農(nóng)機(jī)裝備在農(nóng)業(yè)生產(chǎn)中得到了廣泛應(yīng)用，作物苗帶行線檢測技術(shù)是實(shí)現(xiàn)農(nóng)業(yè)機(jī)械進(jìn)行田間智能化作業(yè)的重要手段。目前，針對大豆田間苗帶行線檢測算法的研究較少，為解決南方大豆田間光照強(qiáng)度高、常用的作物特征提取算法適應(yīng)性差、大豆行線難以提取等問題，本研究將圖像分割為尺寸相同的左、中、右3幅圖像，利用特征點(diǎn)的位置特征自動(dòng)歸類特征點(diǎn)，僅對左、右2幅圖像進(jìn)行特征點(diǎn)檢測。采用SUSAN角點(diǎn)檢測算法，提取出左右兩側(cè)苗帶特征點(diǎn)，通過MLESAC算法對離散點(diǎn)進(jìn)行擬合，提取出大豆邊界苗帶行線。現(xiàn)有的檢測方法多數(shù)是對作物圖像中所有苗帶進(jìn)行檢測，本研究僅對圖像中邊緣苗帶行進(jìn)行檢測，提取圖像中左右兩側(cè)邊緣苗帶特征點(diǎn)，避免傳統(tǒng)檢測算法中數(shù)據(jù)處理復(fù)雜的問題，大大提高檢測精度與檢測速度，為智能化的農(nóng)機(jī)裝備提供視覺導(dǎo)航技術(shù)，對精準(zhǔn)識別農(nóng)田導(dǎo)航線和提高農(nóng)機(jī)智能化發(fā)展具有重要意義。本研究檢測的農(nóng)田環(huán)境較為單一，沒有對其他作物苗帶進(jìn)行檢測，今后可以基于深度學(xué)習(xí)對圖像進(jìn)行識別，找出更合適的苗帶行線提取方法，提高田間航線檢測速度和準(zhǔn)確度。