基于機(jī)器視覺的無人機(jī)油菜長勢調(diào)查研究

寧 川,趙慶展,韓 峰

(1.石河子大學(xué) 信息科學(xué)與技術(shù)學(xué)院,新疆 石河子 832000;2.新疆生產(chǎn)建設(shè)兵團(tuán)空間信息工程技術(shù)研究中心,新疆 石河子 832000)

0 引言

近年來,我國人口持續(xù)增長,農(nóng)業(yè)耕地面積卻日益減少,加劇了農(nóng)產(chǎn)品需求與農(nóng)業(yè)生產(chǎn)力之間的矛盾。因此,在現(xiàn)有的耕地上如何獲得最大的產(chǎn)出,成為一個重要的研究課題。為了緩解這個矛盾,人們在原有的生產(chǎn)方式基礎(chǔ)上引入各種新型技術(shù),探索出更加高效的農(nóng)業(yè)生產(chǎn)模式。精準(zhǔn)農(nóng)業(yè)是新型農(nóng)業(yè)生產(chǎn)模式的一種,它從農(nóng)業(yè)可持續(xù)發(fā)展的基本點出發(fā),努力提高現(xiàn)有土地資源的利用率,使農(nóng)業(yè)生產(chǎn)資料得到更為合理的配置,從而優(yōu)化農(nóng)業(yè)生產(chǎn)環(huán)境[1]。

精準(zhǔn)農(nóng)業(yè)實施的前提是實時準(zhǔn)確地獲得作物生長信息和環(huán)境信息,經(jīng)過分析診斷后精確調(diào)控各種環(huán)境因素,促進(jìn)農(nóng)業(yè)物資合理利用并實現(xiàn)高產(chǎn)[2]。在現(xiàn)代農(nóng)業(yè)體系中,作物生長的環(huán)境信息可以通過物聯(lián)網(wǎng)和無線傳感網(wǎng)絡(luò)獲取,采集的難度不大。崔世鋼等在Android系統(tǒng)中設(shè)計了一個植物生長柜的監(jiān)控程序,可以對多種環(huán)境因子進(jìn)行監(jiān)測和控制[3]。施連敏等利用無線傳感網(wǎng)絡(luò)構(gòu)建了蔬菜生長環(huán)境的監(jiān)測系統(tǒng),還具有環(huán)境信息顯示和存儲功能,可以作為智能決策和控制的技術(shù)支撐[4]。

與環(huán)境條件相比,作物的生長狀態(tài)信息種類繁多,且相互之間關(guān)聯(lián)復(fù)雜,對采集方式的要求更高。在各種生長信息中,作物長勢相關(guān)參數(shù)是研究的重點。作物的長勢包括外部性狀和內(nèi)部性狀,外部性狀是植株的大小、形狀和顏色等,可以直接觀察的外觀特征,是作物健康狀況的直觀反映和產(chǎn)量預(yù)測的基礎(chǔ);內(nèi)部性狀包括各種生理代謝狀況和生理生化指標(biāo),是外部性狀形成的原因。劉業(yè)亮和賈彪分別基于ZigBee無線傳感器網(wǎng)絡(luò)和“互聯(lián)網(wǎng)+”技術(shù)建立蔬菜和玉米的遠(yuǎn)程監(jiān)控平臺,可以采集作物的生長態(tài)勢,為診斷決策提供依據(jù)[5-6]。目前已有無線傳感器和多維圖像等多種先進(jìn)技術(shù)應(yīng)用到了作物長勢監(jiān)控系統(tǒng)中,覆蓋了玉米和小麥等作物[7-9]。

大部分的作物長勢監(jiān)控系統(tǒng)是依托設(shè)施農(nóng)業(yè)建設(shè)的,安裝在特定的位置,檢測固定區(qū)域內(nèi)的作物生長。這些系統(tǒng)的穩(wěn)定性好,檢測的性狀種類較多,但受到覆蓋范圍的限制,無法進(jìn)行大規(guī)模的作物長勢調(diào)查。無人機(jī)的全稱是無人駕駛航空飛行器,在20世紀(jì)初誕生,發(fā)展至今已經(jīng)形成了具有多種型號和功能的家族。無人機(jī)的飛行速度快,機(jī)動靈活性強,非常適合作為作物信息采集的平臺。基于無人機(jī)的作物信息采集方法能夠適應(yīng)農(nóng)田的復(fù)雜環(huán)境,在作業(yè)效率和成本上也有著明顯的優(yōu)勢,是農(nóng)田作物信息采集的重要手段。王妮利用無人機(jī)和多光譜傳感器提取不同種植條件下的小麥冠層反射率,構(gòu)建了小麥的長勢監(jiān)測和產(chǎn)量預(yù)測模型[10]。周祥利用無人機(jī)搭載的多種相機(jī)拍攝水稻不同時期的影像,通過光譜和紋理等特征分析植被指數(shù)與葉面積指數(shù)和產(chǎn)量之間的關(guān)系,構(gòu)建了水稻產(chǎn)量的預(yù)測模型[11]。裴浩杰等利用無人機(jī)拍攝冬小麥的高光譜影像,分析了各種內(nèi)部和外部性狀以評價作物長勢,篩選到多個能夠準(zhǔn)確反映綜合生長指標(biāo)的光譜參數(shù)[12]。隨著無人機(jī)技術(shù)的不斷提升,其在農(nóng)業(yè)領(lǐng)域的應(yīng)用也將日益廣泛。

無人機(jī)所搭載的傳感器有多種類型,包括數(shù)碼相機(jī)、紅外成像儀、光譜相機(jī)和激光雷達(dá)等。這些設(shè)備針對的作物性狀不同,采集的精度也存在差異,有各自的適用范圍[13]。數(shù)碼相機(jī)拍照是無人機(jī)作物長勢調(diào)查的最普遍方式,圖像的后續(xù)處理依賴于機(jī)器視覺分析。機(jī)器視覺以計算機(jī)代替人類的視覺,分析拍攝的圖像并從中提取目標(biāo)信息,得到有價值的結(jié)果。在農(nóng)業(yè)領(lǐng)域,對作物生長信息的采集是機(jī)器視覺的應(yīng)用內(nèi)容之一,在多種作物的長勢監(jiān)控上取得了良好的效果[14-16]。

油菜是我國重要的經(jīng)濟(jì)作物之一,分布范圍廣,種植面積大。在部分地區(qū),大規(guī)模種植的油菜不僅是油料的主要來源,春季盛開的油菜花還可以作為景觀帶動旅游產(chǎn)業(yè)的發(fā)展。因此,加強對油菜長勢的調(diào)查研究,有利于推動種植區(qū)域的經(jīng)濟(jì)發(fā)展。本文提出了基于機(jī)器視覺的油菜長勢調(diào)查方法,利用無人機(jī)搭載數(shù)碼相機(jī)進(jìn)行航拍,通過機(jī)器視覺提取油菜圖像中的特征參數(shù),然后分析特征參數(shù)與生物量之間的相關(guān)性,評價油菜的長勢,為準(zhǔn)確預(yù)測產(chǎn)量提供依據(jù)。

1 硬件設(shè)備

油菜的長勢調(diào)查設(shè)備包括無人機(jī)和機(jī)器視覺設(shè)備。無人機(jī)平臺采用大疆精靈的Phantom4型智能無人機(jī),飛行時間最長可達(dá)30min,定位采用GPS/GLONASS兩種模式。無人機(jī)的無線通訊為WIFI形式,傳輸?shù)乃俣瓤蛇_(dá)Class10,最遠(yuǎn)距離為7km。無線通訊裝置以PID控制方法和通訊接口將數(shù)據(jù)傳送回地面站,具有很好的實時性。飛行控制裝置為方向舵、副翼舵和升降舵,通過舵面的偏轉(zhuǎn)調(diào)整無人機(jī)飛行方向和姿態(tài),從而對航線進(jìn)行控制,并賦予無人機(jī)紅外避障的能力。地面站安裝大疆DJIGS Pro專業(yè)版軟件,可以規(guī)劃無人機(jī)的飛行路線,實時控制飛行速度、高度和姿態(tài),以及啟動相機(jī)拍攝。

機(jī)器視覺的關(guān)鍵設(shè)備是尼康COOLPIX P60型數(shù)碼相機(jī),安裝在無人機(jī)的下方,豎直向下拍攝。相機(jī)產(chǎn)生JPEG格式的圖像,寬度和高度上的像素分別為3 264和2 448點,經(jīng)過天創(chuàng)UB570型圖像采集卡轉(zhuǎn)換為數(shù)字信號后用于視覺分析處理。核心計算機(jī)安裝在地面站,選用聯(lián)想揚天M4700型臺式電腦。計算機(jī)的主要配置為Intel i6中央處理器和10GB的DDR4內(nèi)存,具有較好的運行速度和穩(wěn)定性。計算機(jī)安裝Windows10操作系統(tǒng)和MatLab工具箱,用于進(jìn)行圖像視覺分析和處理結(jié)果的存儲。

2 圖像處理

拍攝圖像時無人機(jī)處于飛行的狀態(tài),因此相機(jī)與油菜田之間存在相對運動。另外,拍攝的瞬間相機(jī)在垂直高度上可能也有變化,或者拍攝角度出現(xiàn)微小的偏轉(zhuǎn),這些因素都會導(dǎo)致油菜圖像中含有噪音,影響成像質(zhì)量和后續(xù)分析的效果。針對這些問題,本文通過對圖像進(jìn)行5×5的中值濾波平滑處理來消除噪音,得到油菜田的原始圖像,如圖1(a)所示。在拍攝的范圍內(nèi),相機(jī)正下方的位置與相機(jī)之間的距離最短,其它越遠(yuǎn)的位置與相機(jī)之間的距離越長,不同位置上的物體在圖像中存在畸變。圖像的畸變會降低后續(xù)特征提取的準(zhǔn)確性,本文參考紀(jì)壽文等的方法矯正了圖像的畸變。原始圖像由壟溝和油菜組成,壟溝包括綠色的雜草和灰色的土壤。前人的研究表明：RGB顏色坐標(biāo)系統(tǒng)中的3個分量對目標(biāo)和土壤背景的分離效果較差,本文采用HSI顏色坐標(biāo)系統(tǒng)對圖像進(jìn)行處理,同時克服了光照變化和植物陰影的影響。在HSI顏色空間下以H分量進(jìn)行灰度化,得到的結(jié)果如圖1(b)所示。

圖像中的油菜處于蕾薹期和開花期,蕾薹期的油菜為綠色,始花期為綠色夾雜黃色,盛花期為黃色。這里以生物量作為反映油菜長勢的指標(biāo),從蕾薹期至盛花期生物量逐漸增大。因此,從圖像中提取與生育時期相關(guān)的特征參數(shù),便可以對油菜的長勢進(jìn)行評價。圖像中的顏色種類較少,RGB色彩空間難以全面反映特征參數(shù)。HSI色彩空間中的3個分量分別為色調(diào)H、飽和度S和亮度I,不同生育時期油菜之間的色調(diào)H變化最大。因此,將H分量做最大類間方差分析后進(jìn)行二值化處理,從直方圖中獲得最大閾值T1、T2和T3。閾值分割得到壟溝、蕾薹期油菜、始花期油菜和盛花期油菜的圖像區(qū)域,分別用黑色、深灰色、淺灰色和白色表示,如圖1(c)所示。

(a) 原始圖像 (b) 灰度化圖像 (c) 特征提取圖像圖1 圖像的機(jī)器視覺分析Fig.1 Analysis of computer-vision to picture

3 試驗結(jié)果與分析

2018年,對油菜長勢調(diào)查方法的效果進(jìn)行試驗,試驗地點位于新疆維吾爾自治區(qū)石河子市南山新區(qū),地處天山北麓中段的洪水沖積平原,屬于溫帶大陸性氣候,日照充沛,降雨量較少。試驗區(qū)域的土壤為灰潮土,種植的油菜品種為新油2號,按照常規(guī)的方式栽培。在油菜從蕾薹期向開花期過渡時采集田間影像,采集時間為上午9：00-11：00,天氣多云無風(fēng),具有較好的能見度。無人機(jī)的飛行高度100m,速度5m/s。

采集田間影像進(jìn)行機(jī)器視覺分析,同時在試驗區(qū)內(nèi)均勻選擇30個1m×1m的取樣點。收獲取樣點內(nèi)的油菜地上部分,烘干水分至恒重,然后稱量實際的生物量;將機(jī)器視覺圖像中各取樣點的H值除以2π,使H值處于0～1之間,用于建立生物量的計算模型;30個取樣點隨機(jī)選擇15個作為建模樣本,剩余15個作為檢驗樣本。

H值與建模樣本生物量實測值的回歸分析如圖2所示。其回歸方程為y=3344.7x+934.76,決定系數(shù)為0.864,達(dá)到了極顯著的相關(guān)性,表明機(jī)器視覺圖像中的H值可以用于估算油菜的生物量。

圖2 生物量與H值的相關(guān)性Fig.2 The correlation between H value and biomass

用上述的模型估算15個檢驗樣本的生物量,并與實測值進(jìn)行擬合分析,結(jié)果如圖3所示。

圖3 檢驗樣本生物量估算值與實測值的擬合Fig.3 Regression of estimated and measured biomass values (samples for validation)

回歸方程的決定系數(shù)和斜率都接近1,分別為0.940和0.960,表明建立的模型可以準(zhǔn)確計算油菜的生物量,能夠用于油菜長勢的評價。

4 結(jié)論

提出了基于機(jī)器視覺的油菜長勢調(diào)查方法,利用無人機(jī)搭載數(shù)碼相機(jī)拍攝油菜田的圖像。機(jī)器視覺分析軟件對圖像依次進(jìn)行預(yù)處理和HIS色彩空間中的灰度化,然后通過閾值分割將圖像劃分為壟溝和不同生育時期的油菜。以H分量值作為與生物量相關(guān)的特征參數(shù),用于反映油菜的長勢。在實際的應(yīng)用中,H值與建模樣本的實測生物量之間存在極顯著的相關(guān)性,以此建立的模型可以準(zhǔn)確計算油菜的生物量,能夠用于油菜長勢的評價,為產(chǎn)量預(yù)測提供依據(jù)。