基于熱紅外和RGB圖像的番茄苗期高溫脅迫檢測(cè)方法

鐘陸杰，汪小旵,2，張曉蕾,2，施印炎,2

(1 南京農(nóng)業(yè)大學(xué) 工學(xué)院, 江蘇 南京 210031； 2 江蘇省現(xiàn)代設(shè)施農(nóng)業(yè)技術(shù)與裝備工程實(shí)驗(yàn)室, 江蘇 南京 210031)

番茄在世界范圍內(nèi)被廣泛喜愛(ài)和食用，是我國(guó)主要的設(shè)施農(nóng)業(yè)蔬菜之一。番茄是典型的喜溫植物，最適宜生長(zhǎng)溫度范圍為 25～30 ℃，30～35 ℃ 屬于亞高溫，即不會(huì)抑制植物生長(zhǎng)但又高于最適宜生長(zhǎng)溫度，超過(guò)35 ℃便會(huì)對(duì)番茄的生長(zhǎng)發(fā)育造成脅迫[1]。在實(shí)際農(nóng)業(yè)生產(chǎn)中，由于溫室保溫效果好，白天往往會(huì)出現(xiàn)升溫快、氣溫高的情況[2]，而大多數(shù)番茄品種缺乏耐熱性，因此中國(guó)南方夏季高溫是限制番茄生長(zhǎng)發(fā)育的主要因素[3]。番茄的苗期發(fā)育階段通常比結(jié)果階段更容易受到高溫的影響，會(huì)出現(xiàn)葉片卷曲、下垂、收縮、黃化甚至是枯萎等癥狀[4]。傳統(tǒng)的脅迫檢測(cè)主要是通過(guò)人工診斷，效率低下且具有一定的時(shí)空滯后性[5-6]。

熱紅外成像技術(shù)對(duì)溫度反應(yīng)敏感，與圖像處理技術(shù)相結(jié)合對(duì)采集圖像中作物不同的溫度區(qū)域進(jìn)行比較后，可以非常便捷地對(duì)溫度和圖像數(shù)據(jù)進(jìn)行解釋。目前研究主要關(guān)注于水分脅迫、病害脅迫及干旱脅迫的快速無(wú)損遠(yuǎn)距離監(jiān)測(cè)分析，以便選取合適手段進(jìn)行綠色防治[7-11]。一般采用遙感或無(wú)人機(jī)的熱紅外成像研究，觀察范圍廣泛，群體特征表現(xiàn)良好，但是缺乏對(duì)作物個(gè)體特征的研究；針對(duì)個(gè)體特征的熱紅外成像研究對(duì)試驗(yàn)條件要求更加嚴(yán)苛，所以研究方向更加細(xì)化分散[12-15]。

近些年來(lái)，機(jī)器視覺(jué)、計(jì)算機(jī)視覺(jué)技術(shù)蓬勃發(fā)展[16-17]，在引入作物表型組學(xué)的同時(shí)，不同的學(xué)者們分別使用了 GoogLeNet、AlexNet、VGGNet、Inception-v3和ResNet50等深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)不同作物的病蟲(chóng)害以及水分脅迫的RGB圖像進(jìn)行了分類、識(shí)別和預(yù)測(cè)，試驗(yàn)結(jié)果具有良好準(zhǔn)確性、可靠性和可擴(kuò)展性[18-24]。隨著深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)逐漸加深，模型結(jié)構(gòu)趨于復(fù)雜化，整體訓(xùn)練的性能和效果也在逐漸提升。

針對(duì)實(shí)際生產(chǎn)場(chǎng)景中番茄苗期生長(zhǎng)遇到的高溫脅迫問(wèn)題，一般的RGB圖像可以提供較為清晰的葉片分布，但是由于苗期番茄葉片形狀不規(guī)則、分布密集、顏色近似且重疊嚴(yán)重，而早期的高溫脅迫癥狀根據(jù)傳統(tǒng)的圖像處理方法只能進(jìn)行粗略的分割，誤差很大，因此需要采用深度學(xué)習(xí)技術(shù)對(duì)脅迫癥狀的精細(xì)特征進(jìn)行劃分和提取；另一方面，針對(duì)肉眼不可見(jiàn)的高溫脅迫特征，熱紅外圖像提供的葉面溫度信息可以很好地對(duì)深度學(xué)習(xí)RGB圖像提供的細(xì)化特征進(jìn)行補(bǔ)充。本文綜合了上述2個(gè)方面的研究?jī)?nèi)容提出了一種基于熱紅外和RGB圖像的番茄苗期高溫脅迫檢測(cè)方法，對(duì)高溫脅迫的癥狀和分級(jí)進(jìn)行快速精準(zhǔn)的預(yù)警，以防對(duì)番茄苗期的生長(zhǎng)造成不可逆的損傷和影響[25]。

1 材料與方法

1.1 試驗(yàn)設(shè)計(jì)與圖像采集

試驗(yàn)于2021年12月至2022年1月在南京農(nóng)業(yè)大學(xué)工學(xué)院博遠(yuǎn)樓實(shí)驗(yàn)室進(jìn)行。供試番茄品種為‘美粉先鋒’，經(jīng)過(guò)熱水浸種、消毒、催芽以后，將番茄種子播在育苗盤中，在適溫LED頂置光源人工氣候箱(南京聯(lián)策科學(xué)儀器有限公司)內(nèi)進(jìn)行育苗。育苗期間每天08:00—20:00設(shè)置溫度28 ℃，光照度 50 000 lx，相對(duì)濕度 75%；20:00—08:00設(shè)置溫度20 ℃，光照度為0，相對(duì)濕度75%。將番茄幼苗培育到“三葉一心”時(shí)，進(jìn)行移栽定植，經(jīng)過(guò)優(yōu)選后將長(zhǎng)勢(shì)基本一致的幼苗移栽到 8.5 cm×11.5 cm×8 cm(高×上口徑×底徑)的塑料花盆中。當(dāng)番茄幼苗進(jìn)一步發(fā)育至3～4 葉，高度約15 cm時(shí)，對(duì)盆栽植株進(jìn)行試驗(yàn)條件處理。試驗(yàn)期間08:00—20:00設(shè)定光照度 50 000 lx，20:00—08:00光照度為 0，試驗(yàn)處理第1、2天的晝、夜溫度分別設(shè)置為35、25 ℃，使番茄幼苗正常健康生長(zhǎng)的同時(shí)，適應(yīng)亞高溫環(huán)境，第3～6天的晝、夜溫度分別設(shè)置為40、25 ℃，給予高溫脅迫，設(shè)定相對(duì)濕度為75%，各植株灌水量一致，處理水分適宜。試驗(yàn)分為2個(gè)批次，每次45株幼苗，共90株幼苗。

在整個(gè)試驗(yàn)期間進(jìn)行圖像采集，試驗(yàn)開(kāi)始第3～6天高溫處理使番茄幼苗產(chǎn)生不同程度的脅迫癥狀。按一定的拍攝規(guī)則和拍攝順序使用可自動(dòng)對(duì)焦的智能手機(jī)iPhone XS Max原生相機(jī)獲取所有番茄幼苗的冠層尺度RGB圖像，成像分辨率為3 024×4 032，拍攝 900幅；并由 FLIR ONE Pro紅外熱像儀(美國(guó)菲力爾公司，量程-20～400 ℃)獲取所有番茄幼苗的熱紅外圖像，成像分辨率為480×640，拍攝810幅，建立試驗(yàn)樣本數(shù)據(jù)集。為了降低環(huán)境溫光條件和其余植株的噪聲干擾，使用白紙對(duì)背景進(jìn)行遮擋并選取冠層尺度進(jìn)行拍攝。

1.2 試驗(yàn)流程

試驗(yàn)整體流程如圖1所示，主要分3個(gè)部分進(jìn)行：溫度數(shù)據(jù)的計(jì)算與提取、構(gòu)建脅迫癥狀分割模型和構(gòu)建脅迫等級(jí)分類模型。

圖1 試驗(yàn)整體流程圖Fig. 1 Overall flow chart of the test

1.3 獲得番茄苗期冠層溫度數(shù)據(jù)

1.3.1 溫度數(shù)據(jù)處理獲取番茄幼苗的熱紅外圖像，將其導(dǎo)入熱紅外圖像處理軟件FLIRTools中，通過(guò)將熱紅外圖像進(jìn)行像元分離，得到圖像中樣本每一個(gè)像素點(diǎn)的溫度值CSV文件，將圖像溫度數(shù)據(jù)文件導(dǎo)入MATLAB軟件(美國(guó)MathWorks公司)，并輸出番茄幼苗熱紅外圖像的溫度分布直方圖(圖2)，將冠層溫度的分布特征通過(guò)反演進(jìn)行可視化，得到冠層能量分布三維曲面圖(圖3)。

圖3 番茄幼苗冠層能量分布三維曲面圖Fig. 3 3D surface map of energy distribution in canopy of tomato seedlings

通過(guò)圖2、3可知，溫度分布主要集中在23和31 ℃附近，由于背景用白紙遮擋，因此第1個(gè)峰值代表背景溫度，第2個(gè)峰值代表番茄幼苗冠層溫度。隨著溫度像素的變化存在著明顯的能量波動(dòng)，觀察到2個(gè)峰值之間的溫度閾值大約在25.2 ℃，以此可對(duì)熱紅外偽彩色圖像進(jìn)行閾值分割去除背景。

圖2 番茄幼苗熱紅外圖像溫度分布直方圖Fig. 2 Histogram of temperature distribution of thermal infrared image of tomato seedling

簡(jiǎn)單的熱紅外圖像因受到環(huán)境噪聲的影響，不具有良好的可分析性，不能作為番茄高溫脅迫檢測(cè)的可靠依據(jù)，需要對(duì)溫度數(shù)據(jù)進(jìn)行提取和處理，依據(jù)閾值分割后的熱紅外圖像可以進(jìn)行計(jì)算，得到試驗(yàn)期間每天12:00和16:00番茄幼苗冠層熱紅外溫度最大值、最小值、極差、平均值和標(biāo)準(zhǔn)差，結(jié)果如表1所示。

由表1可知，隨著高溫脅迫程度的不斷加深，番茄幼苗的冠層溫度區(qū)間在慢慢提升，平均溫度也隨之提升，同時(shí)冠層日積溫也呈增長(zhǎng)趨勢(shì)，最大溫差范圍在[7.5,9.9] ℃區(qū)間內(nèi)浮動(dòng)，冠層整體溫度分散趨勢(shì)比較穩(wěn)定均勻。

表1 番茄幼苗冠層熱紅外溫度參數(shù)變化表Table 1 Variation table of thermal infrared temperature parameters of tomato seedling canopy ℃

1.3.2 熱紅外溫度特征指標(biāo)計(jì)算與降維篩選為了消除圖像采集時(shí)環(huán)境溫度對(duì)熱紅外圖像采集的噪聲干擾，同時(shí)方便進(jìn)行多組不同量綱溫度數(shù)據(jù)之間的比較，對(duì)采集的溫度數(shù)據(jù)先進(jìn)行正規(guī)標(biāo)準(zhǔn)化計(jì)算，轉(zhuǎn)化成無(wú)量綱標(biāo)準(zhǔn)化數(shù)據(jù)，方法參考文獻(xiàn)[26]，其計(jì)算公式為：

將番茄的冠層溫度正交標(biāo)準(zhǔn)化后的最大值、最小值、平均值、標(biāo)準(zhǔn)差作為特征指標(biāo)～，將進(jìn)行規(guī)范標(biāo)準(zhǔn)化后的無(wú)量綱溫度數(shù)據(jù)作為，將式(2)中 m ax1≤i≤nXi用替換作為，正交標(biāo)準(zhǔn)化后的變異系數(shù)、冠氣溫差、信息熵[27]作為～，計(jì)算公式為：

其中， p(Xi)為溫度值為的像素?cái)?shù)與圖像總像素?cái)?shù)之比，Th表示采集環(huán)境溫度標(biāo)準(zhǔn)化值。

通過(guò)熱紅外圖像采集的溫度數(shù)據(jù)可知，番茄冠層溫度分布在20～35 ℃的溫度范圍內(nèi)，將溫度范圍五等分，計(jì)算冠層溫度中[20，23) ℃溫度范圍的溫度頻率，[23，26) ℃溫度范圍的溫度頻率，[26，29) ℃ 溫度范圍的溫度頻率，[29，32) ℃ 溫度范圍的溫度頻率，[32，35) ℃溫度范圍的溫度頻率。在相應(yīng)溫度區(qū)間內(nèi)的溫度變化，即溫度頻率的公式如下：

為了獲得最佳的特征指標(biāo)，需要對(duì)14個(gè)特征指標(biāo)進(jìn)行降維選取對(duì)比PCA和PLS模型發(fā)現(xiàn)，對(duì)于輸入特征指標(biāo)來(lái)說(shuō)，PCA模型沒(méi)有考慮篩選出的指標(biāo)對(duì)輸出特征的解釋能力，僅依靠方差大小來(lái)進(jìn)行判斷，剔除了相互交叉部分信息的影響。而PLS模型利用逐步回歸的思想，對(duì)輸入特征和輸出特征進(jìn)行逐步分解，綜合考慮篩選出的指標(biāo)對(duì)輸出特征的解釋能力，提升了校正模型的性能[28]。因此選取PLS模型計(jì)算各個(gè)特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻(xiàn)率。

1.4 構(gòu)建高溫脅迫癥狀分割模型

1.4.1 脅迫癥狀分類圖4為采集到的部分番茄幼苗葉片RGB圖像，本試驗(yàn)根據(jù)番茄幼苗在高溫脅迫產(chǎn)生的不同癥狀將葉片劃分為卷曲、下垂、收縮、枯萎和黃化5類，用以增強(qiáng)圖像數(shù)據(jù)集的多樣性，并給出不同癥狀的特征描述：卷曲表現(xiàn)為葉片由邊緣向內(nèi)不同程度的卷曲；下垂表現(xiàn)為葉片從葉尖開(kāi)始向葉根呈下垂趨勢(shì)；收縮表現(xiàn)為葉片從兩邊開(kāi)始向內(nèi)收縮露出部分葉背；枯萎表現(xiàn)為葉片從葉尖向內(nèi)呈不同程度褐色枯萎狀；黃化表現(xiàn)為葉片由受光位置擴(kuò)散到整片葉子的黃化。

圖4 不同高溫脅迫癥狀的番茄幼苗葉片RGB圖像Fig. 4 RGB images of tomato seedling leaves with different symptoms of high temperature stress

1.4.2 網(wǎng)絡(luò)架構(gòu) 本試驗(yàn)需要對(duì)苗期番茄的高溫脅迫癥狀特征進(jìn)行提取，番茄葉片形狀不規(guī)則且相互之間重疊遮擋嚴(yán)重，因此對(duì)產(chǎn)生癥狀的葉片進(jìn)行分割時(shí)需要較高的精度。一般的神經(jīng)網(wǎng)絡(luò)算法，如SSD、Yolo、RCNN等只能實(shí)現(xiàn)對(duì)目標(biāo)的檢測(cè)和分類，而Mask-RCNN[29]算法因能精確地保存像素的位置并完成逐像素的掩膜預(yù)測(cè)，使最終的模型不僅能夠進(jìn)行目標(biāo)檢測(cè)和分類，還能夠進(jìn)行實(shí)例分割，因此本文選用Mask-RCNN對(duì)苗期番茄高溫脅迫癥狀進(jìn)行檢測(cè)識(shí)別。Mask-RCNN架構(gòu)如圖5所示，具體實(shí)現(xiàn)過(guò)程是基于Faster-RCNN[30]模型的骨架進(jìn)行實(shí)例分割，對(duì)原來(lái)結(jié)構(gòu)中的感興趣區(qū)域(Region of Interest, RoI)池化 (Pooling)操作進(jìn)行改進(jìn)，使用不同的RoI對(duì)齊(Align)操作對(duì)模板中包含的元素進(jìn)行輸出，并在通過(guò)全連接層后的2個(gè)分支并行的情況下增加一個(gè)新的掩膜分支，內(nèi)部結(jié)構(gòu)采用全卷積網(wǎng)絡(luò) (Fully convolutional networks, FCN)[31]進(jìn)行預(yù)測(cè)。首先采用殘差網(wǎng)絡(luò)ResNet101[32]作為主干特征提取網(wǎng)絡(luò)(Backbone)，從網(wǎng)絡(luò)的底層到高層分5層依次提取出番茄圖像的低級(jí)特征(邊緣、角、顏色等)和高級(jí)特征(葉片和莖等)，再使用特征金字塔網(wǎng)絡(luò) (Feature pyramid networks, FPN)將高級(jí)特征傳入底層，使其與低級(jí)特征融合，得到特征圖，再輸入到區(qū)域建議網(wǎng)絡(luò) ( Region proposal network,RPN) 中，RPN通過(guò)不同尺寸的錨框(Anchor)尋找特征圖中存在目標(biāo)的區(qū)域，形成區(qū)域建議框，每個(gè)建議框分別輸出Anchor的前景邊框和前景/背景分類。之后通過(guò)RoI Align過(guò)程對(duì)特征圖的特征尺寸進(jìn)行對(duì)齊和固定，最后使用FCN對(duì)輸出特征圖進(jìn)行RoI實(shí)例分割，產(chǎn)生3個(gè)分支以避免類別競(jìng)爭(zhēng)，其中，掩膜分支需要通過(guò)一個(gè)全卷積網(wǎng)絡(luò)后得到，生成獨(dú)立的二值掩膜，再通過(guò)全連接層后，經(jīng)過(guò)Softmax層得到分類分支，產(chǎn)生類別標(biāo)簽，經(jīng)過(guò)邊界框回歸后得到預(yù)測(cè)邊界框分支，產(chǎn)生矩形框坐標(biāo)輸出，3個(gè)分支綜合最終得到實(shí)例分割結(jié)果。

圖5 Mask-RCNN架構(gòu)Fig. 5 Mask-RCNN architecture

1.4.3 圖像數(shù)據(jù)處理使用 Labelme 標(biāo)注工具[33]對(duì)原始RGB圖像數(shù)據(jù)集中5種苗期番茄高溫脅迫癥狀進(jìn)行人工標(biāo)注。由于番茄葉片是不規(guī)則的物體，因此采用多邊形框進(jìn)行精細(xì)標(biāo)注，生成了530幅帶有癥狀掩膜標(biāo)注和類別數(shù)量的圖像，僅針對(duì)單幅圖像的癥狀掩膜標(biāo)注數(shù)量為2～23。

數(shù)據(jù)增強(qiáng)方式能在一定程度上增加樣本的復(fù)雜程度，使樣本更具有代表性，從而提升模型的泛化能力和魯棒性，提高模型整體的訓(xùn)練效果[34]。本文使用的方法包括：改變圖像的亮度和對(duì)比度；對(duì)圖像進(jìn)行翻轉(zhuǎn)；對(duì)圖像進(jìn)行角度(0～360 °)旋轉(zhuǎn)。在不改變圖片尺寸的前提下對(duì)數(shù)據(jù)集中圖像進(jìn)行3倍數(shù)據(jù)增強(qiáng)處理，最終得到1 590幅圖像。對(duì)RGB數(shù)據(jù)集進(jìn)行訓(xùn)練集、測(cè)試集和驗(yàn)證集的劃分，比例為8∶1∶1，其中，驗(yàn)證集可以有效防止過(guò)擬合現(xiàn)象的出現(xiàn)。

1.4.4 脅迫癥狀分割模型訓(xùn)練本文通過(guò)遷移學(xué)習(xí)的方式使用MS_COCO數(shù)據(jù)集上的預(yù)訓(xùn)練權(quán)重，對(duì)苗期番茄高溫脅迫癥狀數(shù)據(jù)集進(jìn)行只調(diào)整Mask-RCNN全連接層參數(shù)的所有網(wǎng)絡(luò)層級(jí)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練環(huán)境是Windows 10操作系統(tǒng)，硬件配置為處理器 Intel(R) Gold 6226 CPU @ 2.70 GHz 2.69 GHz(2個(gè)處理器)，內(nèi)存256 GB，顯卡采用型號(hào)NVIDIA GeForce RTX 2080Ti的圖形處理器 (Graphics processing unit, GPU)加速，編程語(yǔ)言為 Python 3.6，采用 Tensorflow-gpu 1.12.0和 Keras 2.1.5軟件庫(kù)作為框架。初始學(xué)習(xí)率(Learning_rate)設(shè)置為 0.000 1，權(quán)值衰減值設(shè)置為0.000 01，每個(gè)周期內(nèi)1次處理樣本的個(gè)數(shù)(Batch_size)設(shè)置5，動(dòng)量(Momentum)設(shè)置為0.9，總共訓(xùn)練了100個(gè)周期(Epochs)，每個(gè)周期進(jìn)行10次交叉驗(yàn)證。將Mask-RCNN模型的主干特征提取網(wǎng)絡(luò)設(shè)置為ResNet50、ResNet101和MobileNet，并進(jìn)行對(duì)比分析，網(wǎng)絡(luò)性能參數(shù)如表2所示。

表2 主干特征提取網(wǎng)絡(luò)性能參數(shù)Table 2 Performance parameters of backbone feature extraction network

Mask-RCNN網(wǎng)絡(luò)采用多任務(wù)損失的形式，定義分割網(wǎng)絡(luò)總體損失函數(shù)(L)為[35]：

1.5 構(gòu)建高溫脅迫等級(jí)分類模型

1.5.1 脅迫等級(jí)分類圖6為采集到的部分番茄幼苗熱紅外圖像，本試驗(yàn)將熱紅外番茄幼苗高溫脅迫等級(jí)分為3類，試驗(yàn)第1、2天微高溫適應(yīng)的番茄幼苗標(biāo)記為正常分類，記為等級(jí)0，試驗(yàn)第3、4天高溫處理的番茄幼苗標(biāo)記為輕度高溫脅迫分類，記為等級(jí)1，試驗(yàn)第5、6天高溫處理的番茄幼苗標(biāo)記為重度高溫脅迫分類，記為等級(jí)2。

圖6 番茄幼苗葉片熱紅外圖像Fig. 6 Thermal infrared images of tomato seedling leaves

1.5.2 脅迫分級(jí)模型訓(xùn)練本文選用了處理器Intel (R) Core (TM) i7-7700 CPU@3.60 GHz、內(nèi)存(RAM)16 GB的計(jì)算機(jī)，采用 MATLAB R2019a 軟件中的分類網(wǎng)絡(luò)和模型函數(shù)進(jìn)行計(jì)算。經(jīng)過(guò)剔除共獲得有效熱紅外圖像540張，通過(guò)特征提取形成540條數(shù)據(jù)記錄。每條數(shù)據(jù)記錄由3部分組成：第1部分為降維篩選后的溫度特征指標(biāo)；第2部分為Mask-RCNN分割識(shí)別統(tǒng)計(jì)出來(lái)的5種不同高溫脅迫癥狀的數(shù)量；第3部分為苗期番茄實(shí)際的高溫脅迫等級(jí)。

選取4種常見(jiàn)的分類網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括NB、SVM、kNN和BPNN[36-38]。對(duì)于BPNN模型，網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)設(shè)為14-30-14-3，訓(xùn)練回合數(shù)為30 000，學(xué)習(xí)率設(shè)為0.01，初始化權(quán)重為0.5，學(xué)習(xí)速率設(shè)為0.9；對(duì)于SVM模型，使用高斯核作為核函數(shù)，采用網(wǎng)格搜索法確定模型訓(xùn)練誤差懲罰因子和核函數(shù)參數(shù)，分類器設(shè)置為“ovr”構(gòu)造1對(duì)多分類；對(duì)于kNN模型，近鄰數(shù)設(shè)置為3。對(duì)熱紅外數(shù)據(jù)集進(jìn)行訓(xùn)練集和測(cè)試集的劃分，比例為2∶1。

1.6 模型評(píng)價(jià)

對(duì)番茄脅迫癥狀/等級(jí)判別進(jìn)行降維，簡(jiǎn)化為二分類問(wèn)題，以脅迫癥狀分類為例，廣義上可以理解成所有種類癥狀葉片和健康葉片的二分類識(shí)別問(wèn)題，狹義上可以理解成單個(gè)種類的癥狀葉片和健康葉片的二分類識(shí)別問(wèn)題。檢測(cè)模型判斷番茄脅迫癥狀/等級(jí)的混淆矩陣一般將目標(biāo)分為4類，代表實(shí)際目標(biāo)是癥狀葉片且被預(yù)測(cè)為癥狀葉片像素的數(shù)量；代表實(shí)際目標(biāo)是癥狀葉片但被預(yù)測(cè)為健康葉片像素的數(shù)量；代表實(shí)際目標(biāo)是健康葉片但被預(yù)測(cè)為癥狀葉片像素的數(shù)量；代表實(shí)際目標(biāo)是健康葉片且被預(yù)測(cè)為健康葉片像素的數(shù)量。

根據(jù)混淆矩陣計(jì)算的4個(gè)參數(shù)，計(jì)算模型的評(píng)價(jià)指標(biāo)。查準(zhǔn)率(Precision,)是在識(shí)別出來(lái)的目標(biāo)中正確預(yù)測(cè)到的目標(biāo)占所有實(shí)際被預(yù)測(cè)到目標(biāo)的比例；查全率(Recall,)是測(cè)試集中所有實(shí)際正確目標(biāo)中被正確預(yù)測(cè)為正樣本的比例；交并比( Intersection over Union，IoU)為系統(tǒng)預(yù)測(cè)框與實(shí)際標(biāo)記框重合程度和2個(gè)框并集的比值，可以判斷目標(biāo)的捕獲程度和預(yù)測(cè)的精確程度；準(zhǔn)確率(Accuracy，)為標(biāo)記正確的目標(biāo)占總目標(biāo)的比例；馬修斯相關(guān)系數(shù) ( Matthews correlation coefficient，)表示目標(biāo)實(shí)際類別和模型預(yù)測(cè)類別之間的相關(guān)系數(shù)；是查準(zhǔn)率和查全率的調(diào)和平均數(shù)；平均查準(zhǔn)率(Average precision,)是在人為選定的IoU閾值(一般為0.5)設(shè)定下，單張圖像的P-R曲線和坐標(biāo)軸之間的面積；對(duì)數(shù)據(jù)集中每張圖像的AP求均值，計(jì)算上述評(píng)價(jià)指標(biāo)的公式如下：

2 結(jié)果與分析

2.1 PLA模型降維篩選溫度特征指標(biāo)結(jié)果

基于PLA模型計(jì)算的14個(gè)溫度特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻(xiàn)率如表3所示。由表3可見(jiàn)，特征指標(biāo)與脅迫等級(jí)呈負(fù)相關(guān)，其余特征指標(biāo)與脅迫等級(jí)呈正相關(guān)，正相關(guān)與負(fù)相關(guān)指標(biāo)累計(jì)貢獻(xiàn)率占總貢獻(xiàn)率比重均較大。除少數(shù)特征指標(biāo)外，大部分特征指標(biāo)的主成分貢獻(xiàn)率和相關(guān)系數(shù)的絕對(duì)值基本呈線性分布，其中，標(biāo)準(zhǔn)差()離群可能是在指標(biāo)標(biāo)準(zhǔn)化后進(jìn)一步消除了溫度特征的離散程度；冠氣溫差()離群是因?yàn)槭褂昧藰?biāo)準(zhǔn)差作為計(jì)算參數(shù)；20～23 ℃溫度頻率()和32～35 ℃溫度頻率()離群可能是因?yàn)槌龇延酌绻趯訙囟炔▌?dòng)的范圍，包含了大量無(wú)用的背景信息，形成了干擾；26～29 ℃溫度頻率()離群正好與之相反，分布在番茄幼苗冠層溫度波動(dòng)范圍的中間位置，溫度參數(shù)不具有很好的離散特性。

表3 溫度特征指標(biāo)的相關(guān)系數(shù)和主成分貢獻(xiàn)率Table 3 Correlation coefficient and principal component contribution rate of temperature characteristic indicators

篩選出所有特征指標(biāo)中貢獻(xiàn)率大于3%的7個(gè)特征指標(biāo)作為分類模型輸入主成分，從大到小分別是變異系數(shù) ()、29～32 ℃ 溫度頻率 ()、信息熵()、23～26 ℃ 溫度頻率 ()、規(guī)范替換值 ()、規(guī)范標(biāo)準(zhǔn)化值()和最大值()，累計(jì)貢獻(xiàn)率為95.45%。

2.2 Mask-RCNN分割結(jié)果

分別從測(cè)試集輕度和重度脅迫分級(jí)RGB圖像中隨機(jī)選取1張輸入Mask-RCNN模型后，人工標(biāo)注的掩膜圖像和3種不同主干特征提取網(wǎng)絡(luò)輸出的脅迫癥狀預(yù)測(cè)結(jié)果如圖7所示。對(duì)于輕度脅迫圖像，人工標(biāo)注8個(gè)癥狀，ResNet50模型正確預(yù)測(cè)出7個(gè)癥狀，漏檢1個(gè)；ResNet101模型正確預(yù)測(cè)出7個(gè)癥狀，漏檢1個(gè)；MobileNet模型正確預(yù)測(cè)出6個(gè)癥狀，漏檢2個(gè)。對(duì)于重度脅迫圖像，人工標(biāo)注12個(gè)癥狀，ResNet50模型正確預(yù)測(cè)出9個(gè)癥狀，漏檢1個(gè)，混疊1個(gè)，錯(cuò)檢1個(gè)；ResNet101模型正確預(yù)測(cè)出9個(gè)癥狀，漏檢1個(gè)，混疊1個(gè)，錯(cuò)檢1個(gè)；MobileNet模型正確預(yù)測(cè)出8個(gè)癥狀，漏檢2個(gè)，混疊1個(gè)，錯(cuò)檢1個(gè)。

圖7 3種不同主干特征提取網(wǎng)絡(luò)不同程度脅迫預(yù)測(cè)結(jié)果Fig. 7 Prediction results of different stresses on three different backbone feature extraction networks

在所有的5種脅迫癥狀中，觀察到黃化、枯萎和收縮癥狀的檢測(cè)平均置信度更高，而卷曲和下垂檢測(cè)平均置信度稍低，可能是因?yàn)樵趯?duì)番茄幼苗葉片進(jìn)行特征提取時(shí)，卷曲癥狀主要提取葉片邊緣的異常形狀特征，下垂癥狀主要提取葉片中上部和葉面積相對(duì)小的異常形狀特征，因此這2種邊緣特征較難以區(qū)分；而收縮癥狀主要提取邊緣葉背像素值，枯萎癥狀主要提取局部枯萎褐色像素值，黃化癥狀主要提取葉片整體范圍內(nèi)的變黃像素值，這3種像素顏色特征相對(duì)較易區(qū)分。

針對(duì)漏檢和混疊的癥狀，可能是因?yàn)榉延酌缛~片分布密集，互相之間形成遮擋，而圖像采集過(guò)程中因?yàn)楦叨炔町悺⑷~片邊緣近似等因素影響沒(méi)能對(duì)焦，導(dǎo)致顯示出來(lái)的癥狀特征面積較小或者較為模糊；錯(cuò)檢的癥狀可能是因?yàn)槿~片具有復(fù)合的癥狀特征，因此雖然可以檢測(cè)出異常，但難以進(jìn)行正確的分類。當(dāng)然這些漏檢、錯(cuò)檢的癥狀指標(biāo)也不排除人為標(biāo)注時(shí)的主觀因素判斷帶來(lái)的誤差。

更進(jìn)一步，在對(duì)脅迫癥狀進(jìn)行分割生成掩膜的過(guò)程中，可以看到ResNet101模型的掩膜區(qū)域?qū)ΠY狀葉片的覆蓋效果最準(zhǔn)確，ResNet50模型對(duì)邊緣角度較大的區(qū)域識(shí)別效果不好，其余檢測(cè)效果接近ResNet101模型，而MobileNet模型僅分割出相應(yīng)的范圍，誤差較大，相比于另外2種模型，均多漏檢了1個(gè)癥狀，這可能是因?yàn)樵撝鞲商卣魈崛【W(wǎng)絡(luò)容量較小，因此對(duì)小面積的葉片脅迫癥狀特征識(shí)別精度不高。因此在3種主干特征提取網(wǎng)絡(luò)中，ResNet101模型可以取得最好的分割效果，ResNet50模型次之，MobileNet模型最差，測(cè)試集中其他脅迫圖像分割結(jié)果與之類似。

由于預(yù)測(cè)結(jié)果圖只能對(duì)個(gè)別圖像的分割效果進(jìn)行展示，因此對(duì)IoU=0.5時(shí)3種不同主干特征提取網(wǎng)絡(luò)Mask-RCNN模型分割精度進(jìn)行統(tǒng)計(jì)，結(jié)果如表4所示。對(duì)于3種主干特征提取網(wǎng)絡(luò)來(lái)說(shuō)，隨著圖像脅迫等級(jí)的加重，番茄幼苗的葉片在生長(zhǎng)的同時(shí)脅迫癥狀也變得更加交錯(cuò)復(fù)雜，導(dǎo)致整體模型的分割精度指標(biāo)都有所下降，即輕度脅迫的檢測(cè)效果要優(yōu)于重度脅迫，其中，ResNet101網(wǎng)絡(luò)在輕度脅迫圖像數(shù)據(jù)集達(dá)到最好的分割效果，各項(xiàng)指標(biāo)均為最高；但是識(shí)別的整體性或者說(shuō)預(yù)測(cè)像素的完整度不夠高，包括一些漏檢、混疊、錯(cuò)檢現(xiàn)象的存在，其中，MobileNet模型在重度脅迫圖像數(shù)據(jù)集的分割效果最差，各項(xiàng)指標(biāo)均為最低。Mask-RCNN+ResNet101模型分割結(jié)果能夠較好地反映總體樣本中的癥狀特征指標(biāo)，為輸入分類模型的數(shù)據(jù)提供良好的研究基礎(chǔ)和分級(jí)依據(jù)。

表4 IoU=0.5時(shí)3種不同主干特征提取網(wǎng)絡(luò)Mask-RCNN模型分割精度Table 4 Segmentation accuracy of Mask-RCNN model of three different backbone feature extraction networks when IoU=0.5

Mask-RCNN+ResNet101模型損失函數(shù)值變化曲線如圖8所示?？梢?jiàn)，隨著訓(xùn)練周期數(shù)的增加，模型訓(xùn)練集的損失函數(shù)值由2.097下降到0.152，模型驗(yàn)證集的損失函數(shù)值由2.468下降到0.898，雖然在訓(xùn)練過(guò)程中損失函數(shù)值在小范圍內(nèi)有一定的波動(dòng)，可能是訓(xùn)練樣本個(gè)體間的特征差異造成的，但總體損失函數(shù)呈下降趨勢(shì)，并逐漸收斂，和Mask-RCNN+ResNet50模型、Mask-RCNN+MobileNet模型損失函數(shù)曲線變化趨勢(shì)基本一致，說(shuō)明深度學(xué)習(xí)模型整體訓(xùn)練情況良好。

圖8 Mask-RCNN+ResNet101模型損失函數(shù)值變化曲線Fig. 8 Change curve of loss function value of Mask-RCNN+ResNet101 model

2.3 4種分類網(wǎng)絡(luò)模型分級(jí)結(jié)果

圖9 為4種不同模型測(cè)試集分級(jí)結(jié)果混淆矩陣，為了方便對(duì)分類模型總體評(píng)價(jià)指標(biāo)進(jìn)行計(jì)算，將混淆矩陣簡(jiǎn)化成二分類問(wèn)題。從測(cè)試集的角度來(lái)看，所有180個(gè)樣本經(jīng)過(guò)隨機(jī)分配后獲得79個(gè)健康樣本(0)、44個(gè)輕度脅迫樣本(1)和57個(gè)重度脅迫樣本(2)。一般歸類錯(cuò)誤樣本都集中在比較靠近所分類別旁邊的等級(jí)，符合樣本數(shù)據(jù)的實(shí)際分布特性。分級(jí)模型整體的分類效果較好，可能是因?yàn)榭傮w樣本數(shù)固定，所以相對(duì)的訓(xùn)練集中健康樣本較少、脅迫樣本較多，存在非均衡訓(xùn)練的情況。

圖9 4種不同模型測(cè)試集分類結(jié)果混淆矩陣Fig. 9 Confusion matrices of classification results of test sets of four different models

4種不同的分類網(wǎng)絡(luò)模型在測(cè)試集上的高溫脅迫分級(jí)精度如表5所示，BPNN的分類預(yù)測(cè)效果最好，準(zhǔn)確率達(dá)95.6%，各項(xiàng)評(píng)價(jià)指標(biāo)也均為最高，可能是因?yàn)锽PNN采用了人工神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)，具有良好的學(xué)習(xí)訓(xùn)練效果；SVM次之，可能是因?yàn)橄啾扔?個(gè)模型有更好的超參數(shù)調(diào)整結(jié)構(gòu)，利用誤差懲罰因子和核參數(shù)來(lái)進(jìn)行優(yōu)化；kNN雖然沒(méi)有固定的數(shù)學(xué)模型，但通過(guò)找最鄰近分類的方式要好于僅使用概率模型分類的NB。針對(duì)模型中局部變異不均等的評(píng)價(jià)指標(biāo)分布特征，僅kNN的查全率高于SVM，NB和KNN的查準(zhǔn)率相同，這可能是因?yàn)椴煌姆诸惸Ｐ退惴ńY(jié)構(gòu)、優(yōu)化參數(shù)側(cè)重不同造成的。綜合番茄幼苗的熱紅外溫度特征指標(biāo)和RGB脅迫癥狀分割指標(biāo)，4種模型的分級(jí)準(zhǔn)確率均達(dá)到了90%以上，說(shuō)明選取的特征指標(biāo)和脅迫等級(jí)間具有良好的相關(guān)性。

表5 不同分類網(wǎng)絡(luò)模型的苗期番茄高溫脅迫分級(jí)精度Table 5 Classification accuracy of high temperature stress of tomato at seedling stage with different classification network model

3 結(jié)論

本文提出了一種基于熱紅外和RGB圖像的苗期番茄高溫脅迫檢測(cè)方法，結(jié)論如下：

通過(guò)苗期番茄的熱紅外圖像，獲取番茄冠層溫度參數(shù)，將冠層溫度能量分布進(jìn)行反演可視化，通過(guò)溫度閾值剔除背景干擾，采用PLS模型從14個(gè)特征指標(biāo)中降維提取7個(gè)作為脅迫分級(jí)檢測(cè)模型輸入?yún)?shù)，累計(jì)主成分貢獻(xiàn)率達(dá)95.45%。

基于深度卷積神經(jīng)網(wǎng)絡(luò)Mask-RCNN，通過(guò)遷移學(xué)習(xí)的方式在3種不同的主干特征提取網(wǎng)絡(luò)ResNet50、ResNet101和MobileNet對(duì)數(shù)據(jù)增強(qiáng)后的苗期番茄RGB圖像進(jìn)行脅迫癥狀實(shí)例分割，其中，Resnet101+Mask-RCNN模型分割精度最高，對(duì)輕度和重度脅迫的 m AP分別為77.3%和73.8%。在RGB脅迫圖像數(shù)據(jù)集顯示出很好的檢測(cè)效果，分割出5種脅迫癥狀作為特征指標(biāo)輸入脅迫分級(jí)檢測(cè)模型。

將篩選出的7個(gè)溫度特征指標(biāo)和MASKRCNN模型分割出的5個(gè)脅迫癥狀特征指標(biāo)構(gòu)建分級(jí)數(shù)據(jù)集作為模型輸入，NB、SVM、kNN和BPNN這4種脅迫分級(jí)檢測(cè)模型在測(cè)試集的分級(jí)準(zhǔn)確率分別為90.6%、93.3%、91.7%和95.6%，其中BPNN模型能獲得最好的脅迫分級(jí)效果。

目前檢測(cè)方法的處理流程較為復(fù)雜，后續(xù)可以通過(guò)批量處理、流程簡(jiǎn)化、軟件統(tǒng)一化進(jìn)行通用性改進(jìn)和優(yōu)化，以便移植到相應(yīng)的檢測(cè)裝置、移動(dòng)設(shè)備、農(nóng)業(yè)裝備或者農(nóng)業(yè)機(jī)器人，實(shí)現(xiàn)更好的脅迫檢測(cè)效果和實(shí)際場(chǎng)景應(yīng)用價(jià)值。