基于無人機(jī)熱成像的作物冠層溫度測(cè)量系統(tǒng)

鄧力元，周浩宇，毛凌青，黃佳琪

(湖南農(nóng)業(yè)大學(xué)信息與智能科學(xué)技術(shù)學(xué)院，長(zhǎng)沙 410128)

0 引言

我國(guó)是人口大國(guó)，也是農(nóng)田大國(guó)，同時(shí)也是農(nóng)田災(zāi)害多發(fā)國(guó)之一。農(nóng)田旱災(zāi)一旦發(fā)生，會(huì)使農(nóng)作物減產(chǎn)，嚴(yán)重影響農(nóng)業(yè)發(fā)展。及時(shí)獲取農(nóng)作物水分脅迫狀況對(duì)提高農(nóng)業(yè)用水效率，減少農(nóng)業(yè)旱災(zāi)損失有十分重要的意義。本項(xiàng)目研究農(nóng)田的水分情況，對(duì)農(nóng)田水分進(jìn)行監(jiān)測(cè)，及時(shí)獲取農(nóng)作物水分脅迫狀況。減少農(nóng)作物因缺水生長(zhǎng)不良，死亡的損失，達(dá)到精準(zhǔn)灌溉農(nóng)田的目的[1]。目前，遙感技術(shù)的創(chuàng)新大大推動(dòng)了對(duì)現(xiàn)代化農(nóng)業(yè)生產(chǎn)的應(yīng)用，使通過獲取冠層溫度來預(yù)見作物水分虧缺信息變成一個(gè)熱口的研究[2]。近年來，熱紅外成像技術(shù)日益成熟，熱紅外遙感傳感器的發(fā)展十分迅速，Merlin等人建立了以可見光熱紅外方法為基礎(chǔ)的微波土壤水分降尺度方法，降尺度方法的核心是建立土壤蒸發(fā)比和土壤水分的關(guān)系，進(jìn)而實(shí)現(xiàn)不同尺度的土壤水分轉(zhuǎn)換[3-4]。

1 熱成像圖像處理

本部分通過可見圖片和熱成像圖片的結(jié)合對(duì)植物圖像進(jìn)行處理，先是處理可見光圖片以實(shí)現(xiàn)植被部分提取，再到相應(yīng)的熱成像圖片中根據(jù)可見光圖片中植物的位置提取出熱成像圖片對(duì)應(yīng)植被。通過像素值與溫度的轉(zhuǎn)化可以得到作物冠層溫度。

1.1 植物識(shí)別

由于熱成像的成像原理是基于物體的紅外熱輻射，其圖像不反映物體形態(tài)特征，單獨(dú)使用熱成像圖片提取作物較為困難，所以本系統(tǒng)采用可見光攝像頭與熱成像攝像頭結(jié)合的方式來識(shí)別作物冠層。

1.1.1 可見光圖片識(shí)別

作物在田地中在可見光形式中主要以綠色呈現(xiàn)，相比于周圍土壤環(huán)境而言，對(duì)比度較強(qiáng)，可通過可見光圖像識(shí)別出植物在圖像中的分布?？梢姽庾R(shí)別在RGB色域以及HSV色域上實(shí)現(xiàn)，預(yù)先設(shè)定綠色植物在可見光圖像中的RGB三通道和HSV三通道的閾值范圍，色值在閾值范圍內(nèi)的像素點(diǎn)則判定為植物部分。

(1)

(2)

通過實(shí)驗(yàn)，可得出RGB色域與HSV色域的閾值范圍如式(1)(2)，植物葉片識(shí)別結(jié)果如圖2、3所示。

圖1 可見光圖片

1.1.2 熱成像中提取作物

為使可見光圖像與熱成像圖像上植物部分位置的相互對(duì)應(yīng)，實(shí)驗(yàn)前選用的可見光攝像頭與熱成像攝像頭的焦距一致，在相同角度與相同距離拍攝的圖像中，植物部分對(duì)應(yīng)的像素點(diǎn)數(shù)相對(duì)于整體圖像的占比一致。對(duì)應(yīng)關(guān)系如式(3)所示：

(3)

式(3)中，dl與dt表示一像素點(diǎn)在可見光圖像和熱成像圖像上對(duì)應(yīng)的位置，Wl與Wt表示可見光圖像和熱成像圖像的高度或?qū)挾取?/p>

由于可見光攝像頭與熱成像攝像頭在拍攝角度與拍攝距離一致性上存在一定誤差，則可見光圖像識(shí)別的植物部分對(duì)應(yīng)在熱成像圖像上時(shí)，存在少部分像素點(diǎn)對(duì)應(yīng)在周圍環(huán)境上。在實(shí)驗(yàn)中，去除所有植物像素點(diǎn)中在熱成像圖像上對(duì)應(yīng)的灰度值最高的1/5和最低的1/5的像素點(diǎn)，只選取可見光圖像識(shí)別的植物部分像素點(diǎn)數(shù)的3/5對(duì)應(yīng)在熱成像圖像上，提取結(jié)果如圖3、4所示。

圖3 熱成像圖片

圖4 最終圖片

1.2 熱成像像素值與實(shí)際溫度值的轉(zhuǎn)化與校正

1.2.1 校正原理

在理想的情況下，紅外熱成像攝像頭各探測(cè)單元的光電特性應(yīng)該一致，受到均勻的熱輻射信號(hào)時(shí)，每個(gè)探測(cè)單元的輸出信號(hào)也應(yīng)該相同。但由于各器件在生產(chǎn)時(shí)受材料和做工技術(shù)等影響，以及實(shí)際場(chǎng)景中各噪聲的干擾，使得各探測(cè)單元的響應(yīng)率并不一致，最終導(dǎo)致生成的圖像含有非均勻性噪聲[5]本系統(tǒng)需要對(duì)熱成像像素值與實(shí)際溫度值進(jìn)行對(duì)應(yīng)轉(zhuǎn)換，對(duì)熱成像圖像的均勻性有較高的要求，故需要在轉(zhuǎn)換前對(duì)圖像進(jìn)行非均勻線性校正。

經(jīng)試驗(yàn)，OpenMV上的紅外熱成像Plus FLIR Lepton模組響應(yīng)所關(guān)注的溫度變化范圍內(nèi)是線性變化的，同時(shí)時(shí)間穩(wěn)定性尚可，受隨機(jī)噪聲影響較小，本系統(tǒng)的非均勻線性校正采用兩點(diǎn)校正法實(shí)現(xiàn)[6]，根據(jù)兩點(diǎn)校正法原理，每個(gè)探測(cè)單元的響應(yīng)可表示為：

yij(x)=wijx+bij

(4)

式(4)中，x為熱輻射信號(hào)強(qiáng)度，此處作為物體實(shí)際溫度值，yij(x)表示i行j列探測(cè)器單元的輸出響應(yīng)即像素值(0-255)，wij表示該探測(cè)單元的權(quán)重，bij表示該探測(cè)單元的偏移量。熱成像設(shè)備在時(shí)間上是穩(wěn)定的，則每一個(gè)探測(cè)單元的wij、bij值將不隨時(shí)間而變化，是固定的值。

1.2.2 校正實(shí)現(xiàn)

對(duì)于每一探測(cè)單元wij、bij值的標(biāo)定，采用梯度下降法實(shí)現(xiàn)。選取多杯不同溫度的水，用溫度計(jì)分別測(cè)出水的溫度值，并用熱成像逐一拍攝。熱成像圖像的像素值與該像素值對(duì)應(yīng)的實(shí)際溫度值可表示為：

Y=W*X+b

(5)

式(5)中，Y、X、W、b均為m*n的矩陣，Y表示圖像每一像素的像素值，X表示該像素對(duì)應(yīng)的實(shí)際溫度值，W表示權(quán)重系數(shù)，b表示偏移量。其中，Y的值可通過熱成像拍攝獲取，X的值可通過溫度計(jì)測(cè)量得出。

(6)

式(6)中，α表示學(xué)習(xí)率，Y′表示預(yù)期像素值，Y′是通過在室內(nèi)測(cè)量水的溫度與其熱成像的像素值，通過對(duì)溫度與像素值進(jìn)行基本擬合[7]到其函數(shù)關(guān)系得到的。梯度下降法大量應(yīng)用于線性回歸問題中，通過多次重復(fù)實(shí)驗(yàn)并不斷優(yōu)化，最終可求得每一探測(cè)單元wij、bij的值，解決熱成像圖像非均勻性的問題，同時(shí)求得像素值對(duì)應(yīng)的實(shí)際溫度值。

2 系統(tǒng)設(shè)計(jì)與仿真

2.1 系統(tǒng)整體設(shè)計(jì)

本系統(tǒng)無人機(jī)選用的是F450機(jī)架，主控芯片為STM32F407，飛控采用APM2.8飛控，無人機(jī)裝載GPS用于定位，GPRS用于傳輸數(shù)據(jù)。無人機(jī)裝載一個(gè)可見光攝像頭和一個(gè)熱成像攝像頭，通過一個(gè)舵機(jī)將兩者連在一起。熱成像攝像頭選用的是OpenMV4加載熱成像攝像頭芯片。通過遙控器控制無人機(jī)的飛行，接收機(jī)接收到遙控器發(fā)送的對(duì)應(yīng)信號(hào)，將其傳給主控芯片，主控芯片處理并區(qū)分出不同的信號(hào)，執(zhí)行對(duì)應(yīng)信號(hào)的功能。首先遙控器發(fā)出起飛信號(hào)后無人機(jī)一鍵起飛，之后使四軸無人機(jī)保持低空飛行，當(dāng)進(jìn)入劃分的作物區(qū)域后無人機(jī)通過串口發(fā)送信號(hào)給OpenMV4進(jìn)行自動(dòng)拍照，并將數(shù)據(jù)傳送給PC端。PC端通過OpenCV對(duì)可見光圖像進(jìn)行處理提取出作物冠層，根據(jù)處理得到的作物冠層在可見光圖像中的位置可以在熱成像圖像中找到對(duì)應(yīng)位置從而提取出熱成像照片中的作物冠層，根據(jù)像素值和溫度關(guān)系曲線，可以得到作物冠層的溫度。系統(tǒng)流程圖如圖5所示。

2.2 硬件設(shè)備

2.2.1 無人機(jī)選擇

四軸飛行器結(jié)構(gòu)簡(jiǎn)潔，制造材料簡(jiǎn)單，性價(jià)比極高、體積小、可控，不僅可以用于軍事方面監(jiān)察敵情方和地貌特，也可以用在民用方面，用來航拍、農(nóng)業(yè)植保[8]無人機(jī)的主控芯片使用的是STM32F407，STM32F407工作頻率高達(dá)168 MHz，具有高達(dá)1MB的Flash，共有14個(gè)定時(shí)器，共有12個(gè)ADC采樣通道，完全試用于四軸無人機(jī)的開發(fā)。無人機(jī)飛控采用APM2.8飛控，無人機(jī)配置了氣壓計(jì)、GPS、GPRS。氣壓計(jì)可以使無人機(jī)獲得海拔高度，實(shí)現(xiàn)定高功能。GPS用于無人機(jī)的定位，使無人機(jī)完成自主巡航自動(dòng)返航功能。GPRS用于無人機(jī)與PC端的數(shù)據(jù)傳輸。

圖5 系統(tǒng)流程圖

2.2.2 OpenMV模塊

OpenMV是一個(gè)開源，低成本，功能強(qiáng)大的機(jī)器視覺模塊[9]。OpenMV采用STM32F427，處理速度快，功耗低。OpenMV上的機(jī)器視覺算法有很多包括尋找色塊、人臉檢測(cè)、眼球跟蹤、邊緣檢測(cè)、標(biāo)志跟蹤等。在OpenMV上加入紅外熱成像Plus FLIR Lepton模組，可以拍攝出農(nóng)作物冠層的熱成像圖片。根據(jù)像素值與溫度的對(duì)應(yīng)關(guān)系可得到作物冠層溫度。

2.3 溫度與像素值關(guān)系

為得到本系統(tǒng)中熱成像圖片像素值與溫度的關(guān)系，實(shí)驗(yàn)測(cè)出若干杯水的溫度與對(duì)應(yīng)熱成像像素值，得到一個(gè)像素?cái)?shù)組與一個(gè)溫度數(shù)組，通過MATLAB，用最小二乘法的算法，實(shí)現(xiàn)線性擬合，得到的線性關(guān)系如式(7)所示。

temperature=0.102*pixel+15.3

(7)

擬合圖像與原始數(shù)據(jù)折線圖對(duì)比圖與該擬合關(guān)系下的殘差圖如圖6所示。

圖6 擬合數(shù)據(jù)與原始數(shù)據(jù)的對(duì)比圖和殘差圖

3 結(jié)語

通過熱成像與可見光攝像頭相結(jié)合使本系統(tǒng)可以從熱成像圖片中提取出作物冠層，得到作物冠層的在熱成像圖像中對(duì)應(yīng)的像素值，經(jīng)過像素值與溫度的轉(zhuǎn)換從而得到作物的冠層溫度。實(shí)驗(yàn)證明本系統(tǒng)測(cè)量誤差小，魯棒性高，能夠較為精準(zhǔn)地檢測(cè)出作物冠層溫度。