基于熱紅外圖像處理技術(shù)的農(nóng)作物冠層識別方法研究

馬曉丹，劉 夢，關(guān)海鷗，溫馮睿，劉 剛

1. 黑龍江八一農(nóng)墾大學(xué)信息與電氣工程學(xué)院，黑龍江 大慶 163319 2. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083

引 言

隨著信息技術(shù)快速發(fā)展，熱紅外成像技術(shù)日益成熟，已受到農(nóng)業(yè)科學(xué)工作者的廣泛關(guān)注[1]。農(nóng)作物冠層熱紅外圖像能夠反映作物生殖生長信息[2]，是獲取植株生理生態(tài)指標(biāo)的重要途徑之一。目前冠層熱紅外圖像識別技術(shù)[3]已成為精細(xì)農(nóng)業(yè)領(lǐng)域的熱點(diǎn)和難點(diǎn)之一，國內(nèi)外學(xué)者在熱紅外圖像處理技術(shù)上取得了諸多研究成果。早在1963年，農(nóng)作物冠層熱紅外圖像就用來研究并監(jiān)測植物病害的發(fā)展[4]。但由于熱紅外圖像易受噪聲干擾，目標(biāo)與背景之間灰度差別較小，目前紅外圖像的交互式圖割方法的效率有待于進(jìn)一步提高。由于分辨率較低的圖像邊緣部分和模糊部分的分割效果較差，因此如何精準(zhǔn)識別出農(nóng)作物冠層熱紅外圖像成為其提取農(nóng)作物冠層溫度信息的重要條件。王保昌等[5]基于峰谷法提出了用于紅外目標(biāo)分類、識別的邊距離分布特征概念。由于點(diǎn)狀溫度演化為面狀冠層時具有一定的誤差，導(dǎo)致僅以熱成像圖像信息特征為分割依據(jù)難以達(dá)到理想精度，所以基于水平集的熱紅外圖像分割方法[6]得到了快速發(fā)展。Osher等[7]建立了一種自適應(yīng)調(diào)整邊緣指示器函數(shù)，增強(qiáng)演化曲線邊界的勻稱性，但仍未解決灰度分布不均的熱紅外圖像的邊緣識別問題。為此Ma等[8]提出了全變差最小的梯度轉(zhuǎn)移融合(GTF)方法，Zhang等[9]建立了一種新的廣義梯度向量流snakes模型，在平滑噪聲的同時，提高了圖像弱邊緣的保護(hù)能力。Harris算子可提取彩色和熱紅外圖像的對應(yīng)角點(diǎn)，估計(jì)分割模型參數(shù)，用于識別目標(biāo)圖像，但當(dāng)外點(diǎn)較多時，識別率較低。Coiras等[10]通過仿射變換計(jì)算參考圖像與目標(biāo)圖像，構(gòu)建特征三角形的變換參數(shù)，提取了熱紅外圖像的目標(biāo)區(qū)域。通過求解待配準(zhǔn)圖像與參考圖像的映射關(guān)系，計(jì)算像素點(diǎn)所在位置的梯度模之和的最大值，確定變換模型參數(shù)，但對于紅外圖像中經(jīng)常出現(xiàn)的偽邊緣噪聲比較敏感。張智韜等[11]采用二值化Ostu算法和Canny邊緣檢測算法對熱紅外圖像進(jìn)行掩膜處理，實(shí)現(xiàn)對土壤背景的剔除，但分割質(zhì)量受冠層葉片的溫度差別影響較大。上述研究為解決由熱紅外圖像噪聲干擾較多，目標(biāo)區(qū)域與環(huán)境背景之間灰度差別小，導(dǎo)致目標(biāo)圖像難以識別問題提供了理論及方法指導(dǎo)。

為精確識別農(nóng)作物冠層熱紅外圖像，本研究以苗期紅小豆冠層熱紅外圖像為研究對象，首先通過五層線性歸一化的模糊神經(jīng)網(wǎng)絡(luò)，自適應(yīng)地確定推理規(guī)則，提取冠層彩色圖像有效區(qū)域，并將其作為參考圖像。然后采用仿射變換算法，確定參考圖像與對應(yīng)熱紅外圖像的配準(zhǔn)參數(shù)，建立基于仿射變換的農(nóng)作物冠層熱紅外圖像識別算法，并使用互信息熵作為監(jiān)督指標(biāo)，客觀評價該識別方法的有效性。該成果能夠?yàn)檗r(nóng)作物生殖生長信息的監(jiān)測以及農(nóng)作物生理生態(tài)指標(biāo)的獲取提供技術(shù)參考。

1 實(shí)驗(yàn)部分

實(shí)驗(yàn)選用紅小豆寶清紅和136號品種作為培育對象，在實(shí)驗(yàn)環(huán)境中，采用單盆播種方式栽培紅小豆。樣本采集設(shè)備為具有熱紅外和可見光雙傳感器通道的便攜式紅外熱像儀。以垂直于冠層的方式獲取其彩色圖像和熱紅外圖像，鏡頭距離地面距離為110 cm，手動調(diào)節(jié)焦距和光圈，設(shè)置自動白平衡。拍攝時，使紅小豆冠層位于圖像的中心區(qū)域，設(shè)置雙源圖像分別率均為640×480像素。獲取的彩色圖像和熱紅外圖像如圖1所示。

圖1 紅小豆雙源圖像 (a)： 熱紅外圖像； (b)： 可見光圖像Fig.1 Double-source images (a)： Thermal infrared image； (b)： Visible image

1.1 確定模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

農(nóng)作物熱紅外冠層圖像邊緣模糊不均，難以通過邊緣特征獲取熱紅外目標(biāo)圖像。本研究充分利用同步獲取的可見光圖像，考慮到熱紅外圖像像素的灰度接近程度和空間相關(guān)性，通過參考模板匹配標(biāo)定法，提取農(nóng)作物冠層的熱紅外圖像區(qū)域，因此冠層可見光參考圖像成為必要基礎(chǔ)。依據(jù)文獻(xiàn)[12]模糊神經(jīng)網(wǎng)絡(luò)構(gòu)建方法，將可見光圖像像素點(diǎn)的圖像的R，G和B三個顏色分量作為模糊神經(jīng)網(wǎng)絡(luò)的輸入，因此輸入層節(jié)點(diǎn)數(shù)為3； 通過高斯隸屬度函數(shù)將輸入分量劃分為2個子空間，所以模糊化層節(jié)點(diǎn)數(shù)為6； 計(jì)算可得模糊規(guī)則為8條，第三層和第四層的節(jié)點(diǎn)個數(shù)均為8； 第五層的輸出結(jié)果為圖像像素的歸屬是否為冠層，即輸出層節(jié)點(diǎn)數(shù)為1，最終確定模糊神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為3-6-8-8-1型。

1.2 獲取冠層可見光參考圖像

本研究中選取苗期紅小豆冠層雙源圖像為實(shí)驗(yàn)對象。首先選取可見光圖像內(nèi)50個不同區(qū)域(冠層或背景)，共16085個像素作為訓(xùn)練樣本集。設(shè)定學(xué)習(xí)訓(xùn)練參數(shù)為： 學(xué)習(xí)精度0.001，學(xué)習(xí)速度0.8，慣性系數(shù)0.5，最大學(xué)習(xí)次數(shù)10 000。通過梯度下降學(xué)習(xí)算法[12]，對1.1節(jié)網(wǎng)絡(luò)模型的可調(diào)參數(shù)進(jìn)行訓(xùn)練，當(dāng)?shù)?8次時，網(wǎng)絡(luò)誤差為0.000 952，滿足誤差精度要求。

其次利用以上訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，判定待處理圖像的像素歸屬，獲取紅小豆冠層可見光圖像(見圖3)，作為冠層熱紅外圖像識別的參考圖像，用于配準(zhǔn)對應(yīng)熱紅外圖像。同時計(jì)算有效分割率、欠分割率、過分割率[13]，評價冠層可見光圖像的分割效果。

圖2 可見光圖像分割圖 (a)： 可見光樣本圖像； (b)： 分割后冠層可見光圖像Fig.2 Visible image segmentation (a)： Visible image of sample； (b)： Visible image of canopy after segmentation

圖2(a)為獲取的原始可見光圖像，圖2(b)為分割后的冠層可見光圖像，其有效分割率為96.96%。通過對27組冠層圖像進(jìn)行分割實(shí)驗(yàn)，平均有效分割率達(dá)到97.58%，其中有效分割率最高為98.95%。

為驗(yàn)證模型有效性，應(yīng)用圖像的熵評價冠層可見光圖像分割效果[14]。若p(xi)為灰度值為xi的像素?cái)?shù)與圖像總像素?cái)?shù)之比，則圖像熵值H(X)為

(1)

原始可見光圖像和分割后圖像，計(jì)算冠層圖像區(qū)域的平均熵值分別為3.894 4和3.648 5，二者僅相差0.145 9。該方法不僅減少了因圖像噪聲干擾帶來的分割誤差，并且有效降低了初始輪廓線位置影響，保留了農(nóng)作物冠層可見光圖像信息。

1.3 識別農(nóng)作物冠層熱紅外圖像

1.3.1 仿射變換配準(zhǔn)圖像過程

本研究以參考圖像為基礎(chǔ)，利用仿射變換后圖像與原圖像特征點(diǎn)和線段映射關(guān)系不變的特性，實(shí)現(xiàn)冠層可見光參考圖像和熱紅外圖像的配準(zhǔn)過程，識別出農(nóng)作物冠層熱紅外目標(biāo)圖像，具體包括四個環(huán)節(jié)： (1)提取雙源圖像特征點(diǎn)對和邊緣特征對，(2)參考圖像與待配準(zhǔn)圖像的特征匹配，(3)計(jì)算冠層參考圖像的變換模型參數(shù)，(4)識別熱紅外圖像的目標(biāo)區(qū)域。參考圖像與熱紅外圖像配準(zhǔn)中，關(guān)鍵是確定參考圖像仿射變換參數(shù)，其計(jì)算過程如下：

將非奇異矩陣A的轉(zhuǎn)置矩陣AT進(jìn)行正交分解為AT=QP，兩邊進(jìn)行轉(zhuǎn)置操作后可得

A=PTQT

(2)

式(2)中，Q為正交矩陣，P為上三角矩陣。

設(shè)X為參考圖像中任意一點(diǎn)坐標(biāo)，對應(yīng)熱紅外原始圖像的映射點(diǎn)B為

(3)

式(3)中，ω為尺度因子、μ為切邊因子、ρ為尺度比例因子、θ為旋轉(zhuǎn)因子、t為水平和垂直方向的平移因子。

由于參考圖像和熱紅外圖像的對應(yīng)點(diǎn)或線段位置關(guān)系不能作為唯一可靠的空間對齊準(zhǔn)則，為使圖像經(jīng)過仿射變換后，能夠保持穩(wěn)定的定量約束，可建立待配準(zhǔn)圖像與參考圖像之間的參數(shù)約束。參考圖像和待配準(zhǔn)圖像之間存在位置偏移，其經(jīng)過式(3)變換后對應(yīng)的方向矢量為

(4)

參考圖像與熱紅外圖像相關(guān)聯(lián)的方向矢量間存在定量的約束關(guān)系，并且兩者之間矢量的角度偏移α只與μ，ρ，θ等參數(shù)因子有關(guān)，并將其作為射變換模型參數(shù)估計(jì)值。

1.3.2 冠層熱紅外圖像識別實(shí)例

(1)提取雙源圖像特征

針對苗期紅小豆冠層雙源圖像(可見光參考圖像和熱紅外圖像)，采用點(diǎn)對特征和邊緣特征相結(jié)合的圖像特征提取方式，優(yōu)先選取圖像中典型特征邊緣、特征點(diǎn)、以及目標(biāo)區(qū)域中心(圖3)，作為進(jìn)一步圖像匹配的特征量。

圖3 圖像特征點(diǎn)選取圖Fig.3 Feature points match images

圖3中線段a和b是熱紅外圖像邊緣區(qū)域的特征邊緣，線段a′和b′是可見光參考圖像邊緣區(qū)域的特征邊緣，二者均為辨識度較高的邊緣特征； 同時參考圖像中像素點(diǎn)(x′,y′)，與原熱紅外圖像的像素點(diǎn)(x,y)是具有空間一致性的特征點(diǎn)對，以此作為圖像匹配的依據(jù)，能夠高效識別目標(biāo)區(qū)域。

(2)匹配參考圖像特征

將參考圖像和待配準(zhǔn)圖像的目標(biāo)配準(zhǔn)區(qū)歸于統(tǒng)一坐標(biāo)系，以可見光參考圖像為模板，分別在參考圖像和熱紅外圖像中標(biāo)定特征點(diǎn)和特征線段，求出對應(yīng)特征矢量之間的變換參數(shù)值，建立參考圖像和待配準(zhǔn)圖像的配準(zhǔn)模型。初步配準(zhǔn)熱紅外圖像的目標(biāo)區(qū)域，其效果如圖4所示。

圖4 熱紅外圖像與參考圖像初始配準(zhǔn)效果 (a)： 熱紅外原圖像； (b)： 初始配準(zhǔn)效果Fig.4 Initial registration effect of thermal infrared image and reference image (a): Original thermal infrared image (b)： Initial registration effect；

圖4(a)單源紅小豆熱紅外圖像平均溫度值為18.806 1 ℃，其背景溫度集中在19.50～19.92 ℃之間，而邊緣溫度主要在18.5～19.0 ℃范圍內(nèi)，冠層區(qū)域溫度值均在18.5 ℃以下，冠層部分區(qū)域達(dá)到最低溫度16.50 ℃，圖像中背景溫度普遍高于紅小豆冠層溫度。圖4(b)將紅小豆冠層可見光參考圖像和熱紅外圖像移至統(tǒng)一坐標(biāo)區(qū)域，提取了熱紅外圖像內(nèi)初始目標(biāo)，雖然未經(jīng)調(diào)整的目標(biāo)圖像，但也去除了部分背景干擾，使最高溫度值降至19.698 ℃，目標(biāo)圖像的平均溫度值為18.014 ℃，仍然高于絕大部分冠層溫度。由于紅小豆冠層的有效區(qū)域被錯誤識別，此時目標(biāo)圖像未能保留完整的冠層溫度信息，需調(diào)整參考圖像的變換參數(shù)，來準(zhǔn)確識別熱紅外圖像中冠層區(qū)域。

(3)計(jì)算變換模型參數(shù)

仿射變換模型是根據(jù)可見光參考圖像與熱紅外圖像目標(biāo)區(qū)域之間幾何畸變，計(jì)算出兩幅圖像之間最佳幾何變換的模型參數(shù)。配準(zhǔn)過程中依據(jù)參考圖像逐次調(diào)整線性幾何變換參數(shù)，將參考圖像像素坐標(biāo)映射到待配準(zhǔn)圖像，按照式(3)計(jì)算兩幅圖像之間最佳變換參數(shù)，實(shí)現(xiàn)圖像的精確配準(zhǔn)，其過程如圖5所示。

圖5(a)用于調(diào)整旋轉(zhuǎn)因子θ值為-1，使圖像的特征線段處于平行狀態(tài)。圖5(b)和(c)分別為調(diào)整平儀因子tx和ty后的圖像，將水平方向調(diào)整15個像素單位，垂直方向-45個像素單位，以實(shí)現(xiàn)特征點(diǎn)對的坐標(biāo)匹配。圖5(d)表示繼續(xù)調(diào)整尺度比例因子ρ的圖像，此時參考圖像縮小0.9倍，完成了特征線段的長度匹配，最終精確配準(zhǔn)了參考圖像與熱紅外圖像的目標(biāo)區(qū)域。按照以上順序依次調(diào)整模型參數(shù)直至獲取最佳配準(zhǔn)參數(shù)為止。紅小豆冠層熱紅外圖像的識別實(shí)例，經(jīng)過調(diào)整仿射變換參數(shù)過程，目標(biāo)區(qū)域圖像的溫度和熵的變化，如表1所示。

圖5 圖像精確配準(zhǔn)過程 (a)： 角度配準(zhǔn)； (b)： 水平配準(zhǔn)； (c)： 垂直配準(zhǔn)； (d)比例配準(zhǔn)Fig.5 Image exact matching process (a)： Angle registration； (b): Horizontal registration; (c): Vertical registration; (d): Proportional registration

表1 溫度和熵值變化Table 1 Changes of temperature and entropy

由表1可以看出，當(dāng)僅調(diào)整旋轉(zhuǎn)因子θ，熱紅外目標(biāo)圖像的溫度范圍變?yōu)?6.35～19.71 ℃，相對初始圖像的平均溫度有所上升； 隨后調(diào)整平移因子t后溫度值范圍減至16.35～19.63 ℃，圖像平均溫度也降至17.986 6 ℃； 再經(jīng)尺度比例因子ρ調(diào)整后，最終目標(biāo)圖像的溫度范圍為16.35～19.52 ℃，平均溫度繼續(xù)下降至17.839 3 ℃。識別熱紅外目標(biāo)圖像過程，其溫度范圍及平均值雖有一定波動，但通過逐步調(diào)整仿射變換參數(shù)，可有效識別圖像的目標(biāo)區(qū)域。

(4)識別熱紅外圖像冠層結(jié)果

將參考圖像進(jìn)行坐標(biāo)變換與線性插值，突顯了可見光參考圖像的邊緣特征，按上述(1)至(3)節(jié)步驟，獲取紅小豆冠層的參考圖像與熱紅外圖像之間的仿射變換參數(shù)，將參考圖像映射到熱紅外圖像所在坐標(biāo)系的對應(yīng)位置，實(shí)現(xiàn)冠層熱紅外圖像目標(biāo)區(qū)域的有效識別，其結(jié)果如圖6所示。

圖6(a)中原始熱紅外圖像的最高溫度值為19.85 ℃，最低溫度值為16.62 ℃，平均溫度值為18.711 ℃。其中，背景溫度集中在19.50～19.92 ℃之間，而圖像邊緣溫度主要在18.5～19.0 ℃范圍內(nèi)，冠層圖像區(qū)域溫度值均在18.5 ℃以下，冠層部分區(qū)域的溫度達(dá)到了16.50 ℃。圖6(b)中能量空間分布主要集中在背景噪聲內(nèi)，冠層區(qū)域的能量較低，且葉面密度較高區(qū)域能量更低。圖6(c)中識別出的熱紅外冠層圖像的最高溫度為19.75 ℃，最低溫度仍為16.62 ℃，去除背景后冠層的平均溫度值下降至17.79 ℃。圖6(d)能量主要分布在冠層區(qū)域，高能量較少地分布在背景與冠層的邊緣，較為完整的保留了冠層溫度分布特征。

2 結(jié)果與討論

在苗期紅小豆5個典型生長時期，每個時期均獲取1組冠層雙源圖像，共計(jì)5組實(shí)驗(yàn)樣本，對本文提出的農(nóng)作物冠層熱紅外圖像識別方法作評價與分析。

2.1 可見光參考圖像效果評價

按照1.2節(jié)中有效分割率、欠分割率、過分割率、圖像熵值，對本文算法的圖像分割效果，進(jìn)行有效性評價分析，見表2所示。

圖6 熱紅外圖像識別效果 (a)： 原始熱紅外圖像； (b)： 原始圖像能量分布圖； (c)： 冠層熱紅外識別圖像； (d)： 識別圖像能量分布圖Fig.6 Contrast of recognition effect of thermal infrared images (a)： Original thermal infrared image； (b)： Energy distribution of original image； (c)： Recognition effect of thermal infrared image of canopy； (d)： Energy distribution of canopy image after recognition

表2 參考圖像指標(biāo)評價Table 2 Reference image evaluation index

由表2可以看出，在5組圖像分割結(jié)果中有效分割范圍為0.949 9～0.989 5，平均有效分割為0.967 8； 過分割范圍為0.061 1～0.076 3，欠分割范圍為0.003 4～0.021 5，其中平均錯誤分割低至0.079 3。標(biāo)準(zhǔn)圖像的熵值范圍和本文算法分割后圖像的熵值范圍分別為3.173 0～5.438 9和2.976 6～5.198 7，二者之間平均熵值僅相差0.368 4。由此可知，有效分割結(jié)果保留了苗期紅小豆冠層可見光圖像的特征信息。

2.2 熱紅外圖像識別效果評價

將互信息作為冠層熱紅外圖像識別的評價指標(biāo)，其公式為

I(X,Y)=H(X)-H(Y/X)

(8)

式(8)中，X是識別熱紅外圖像的像素點(diǎn)，Y為原熱紅外圖像的像素點(diǎn)。

計(jì)算識別冠層的熱紅外目標(biāo)圖像與標(biāo)準(zhǔn)圖像的互信息，如果互信息值越大，表明差異越小，識別質(zhì)量越高，其結(jié)果如圖7所示。

圖7 熱紅外冠層圖像識別互信息對比

圖7中識別的目標(biāo)圖像和標(biāo)準(zhǔn)圖像的互信息值的范圍分別為3.797 3～5.279 4和3.201 7～4.663 5，互信息的平均值分別為4.368 7和3.981 8。第1組和第5組識別效果與標(biāo)準(zhǔn)圖像相似度較高，其中第4組數(shù)據(jù)相差較大為0.963 7。實(shí)驗(yàn)樣本中目標(biāo)圖像與原始圖像之間互信息值，均達(dá)到了識別冠層熱紅外圖像的精度要求，有效獲取了原熱紅外圖像的冠層區(qū)域，保留了紅小豆典型生長階段，植株冠層原始溫度信息。

3 結(jié) 論

將模糊神經(jīng)網(wǎng)絡(luò)和仿射變換相結(jié)合，提出了農(nóng)作物冠層熱紅外圖像識別方法，解決了苗期紅小豆冠層熱紅外圖像中冠層區(qū)域的識別難題。

(1)首先應(yīng)用模糊神經(jīng)網(wǎng)絡(luò)，獲取了紅小豆冠層可見光參考圖像，實(shí)驗(yàn)樣本平均錯誤率為4.5%，平均有效分割率達(dá)96.13%，平均熵值為3.648 5，其中最高精度達(dá)到98.95%，與標(biāo)準(zhǔn)分割的精度5.218 1僅相差0.14，滿足了識別冠層熱紅外圖像時對參考圖像的精度要求。

(2)然后以可見光參考圖像為基礎(chǔ)，采用仿射變換配準(zhǔn)原始熱紅外圖像，建立了冠層熱紅外圖像識別方法。該方法對平均溫度值為18.71 ℃的原熱紅外圖像，識別其目標(biāo)圖像時，最高溫度值由19.85 ℃降至19.52 ℃，有效分離了溫度集中在19.50～19.92 ℃之間和18.5～19.0 ℃范圍內(nèi)的背景區(qū)域和邊緣區(qū)域，高效地區(qū)分了平均溫度在18.5 ℃以下的冠層與背景，提取目標(biāo)圖像的平均溫度值下降至17.79 ℃。

(3)最后應(yīng)用互信息評價了農(nóng)作物冠層熱紅外圖像識別方法的有效性，目標(biāo)圖像與原始圖像之間互信息的平均值為4.368 7，其相似性最強(qiáng)互信息為3.944 5，有效獲取了原熱紅外圖像的冠層區(qū)域，保留了植株冠層原始溫度信息。該成果能夠?yàn)槔脽峒t外圖像反映農(nóng)作物生理生態(tài)信息特征指標(biāo)，自動檢測作物的長勢墑情，科學(xué)調(diào)控農(nóng)業(yè)生產(chǎn)過程提供了技術(shù)參考。