基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同診斷模型研究

杜亞茹　黃媛　杜鵬飛　高欣娜　武猛　楊英茹

摘要：為快速、準(zhǔn)確地監(jiān)測(cè)設(shè)施番茄灰霉病的發(fā)生情況，選取灰霉病發(fā)生的環(huán)境因子特征和圖像特征兩類數(shù)據(jù)，分別構(gòu)建基于單因子的灰霉病的識(shí)別模型，并研究?jī)蓚€(gè)模型間的關(guān)聯(lián)識(shí)別模型。首先，連續(xù)采集番茄灰霉病發(fā)生與不發(fā)生設(shè)施溫室的最高空氣溫度和平均空氣濕度，構(gòu)建基于Logistic回歸分析的設(shè)施番茄灰霉病溫濕度預(yù)測(cè)模型；然后，開(kāi)展番茄葉部灰霉病RGB圖像的采集和預(yù)處理，建立圖像數(shù)據(jù)集，構(gòu)建基于ResNet50-CBAM卷積神經(jīng)網(wǎng)絡(luò)的番茄灰霉病RGB圖像識(shí)別模型；最后，運(yùn)用多模態(tài)融合技術(shù)，以溫濕度預(yù)測(cè)模型為文本模態(tài)，圖像識(shí)別模型為圖像模態(tài)，構(gòu)建番茄灰霉病智能協(xié)同診斷模型。試驗(yàn)結(jié)果表明：在VGG16，MobileNet V2，ResNet50和ResNet50-CBAM四個(gè)網(wǎng)絡(luò)模型中，ResNet50-CBAM網(wǎng)絡(luò)結(jié)構(gòu)準(zhǔn)確率最高，達(dá)到95.48%，使用基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同診斷技術(shù)的準(zhǔn)確率達(dá)98.3%，比溫濕度預(yù)測(cè)模型提高14.7%，比RGB圖像識(shí)別模型提高2.82%。

關(guān)鍵詞：番茄灰霉病；多模態(tài)融合；回歸分析；深度神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：S274.1文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：20955553 （2023） 11011508

Study on intelligent collaborative diagnosis model of tomato Botrytis based on

multi-mode fusion technology

Du Yaru Huang YuanDu Pengfei Gao Xinna Wu Meng Yang Yingru

（1. Shijiazhuang Academy of Agricultural and Forestry Sciences， Shijiazhuang， 050011， China; 2. Shijiazhuang Key

Laboratory of Agricultural Information Perception and Intelligent Control， Shijiazhuang， 050011， China）

Abstract：In order to monitor the occurrence of tomato Botrytis quickly and accurately， we selected two kinds of data of environmental factor feature and image feature of the occurrence of gray mold to construct the recognition model of Botrytis based on single factor respectively， and studied the correlation recognition model between the two models. Firstly， we collected the maximum air temperature and average air humidity of the occurrence and non-occurrence of Botrytis， and established the prediction model of Botrytis based on Logistic regression analysis. Secondly， RGB images of Botrytis on tomato leaves were collected and prepossessed to establish an image data set. Then we established a ResNet50-CBAM CNN RGB image recognition model of Botrytis based on it. Finally， the temperature and humidity prediction model was used as the text mode， and the image recognition model was used as the image mode， we constructed the intelligent collaborative diagnosis model of Botrytis by the multi-mode fusion technology. Experimental results showed that among the four network models VGG16， MobileNet V2， ResNet50 and RESNET50-CBAM， the ResNet50-CBAM network structure had the highest accuracy， reaching 95.48%. The accuracy of intelligent collaborative diagnosis of Botrytis based on multi-mode fusion technology was 98.3%， which was 14.7% higher than that of temperature and humidity prediction model， and 2.82% higher than that of RGB image recognition model.

Keywords：tomato Botrytis; multi-mode fusion; logistic analysis; deep neural network

0引言

傳統(tǒng)的番茄病害診斷方法是由植保專家依據(jù)經(jīng)驗(yàn)和病理對(duì)病狀和病癥進(jìn)行綜合分析后得出的診斷結(jié)果［12］，這種診斷方法技術(shù)落后、效率低、主觀性強(qiáng)，極易延誤最佳的防治時(shí)間從而導(dǎo)致大面積減產(chǎn)，因此高效、實(shí)時(shí)、標(biāo)準(zhǔn)化和準(zhǔn)確性較高的病害早期診斷是作物病害診斷的發(fā)展趨勢(shì)［3］。

利用物聯(lián)網(wǎng)技術(shù)對(duì)病害發(fā)生時(shí)的環(huán)境條件進(jìn)行監(jiān)測(cè)，探索植物病害發(fā)生與環(huán)境因子特征之間的關(guān)系，建立作物病害預(yù)警體系，可有效解決制約精準(zhǔn)農(nóng)業(yè)發(fā)展的重要問(wèn)題［4］。目前，許多農(nóng)業(yè)專家在環(huán)境模擬方面開(kāi)展了相關(guān)研究，楊英茹等［5］采集設(shè)施番茄病毒病發(fā)生前15天中每天的最高溫度和最低濕度，建立設(shè)施番茄病毒病預(yù)警模型，陳杰等［6］綜合分析8—10月的月平均溫度、累計(jì)降雨量和累計(jì)日照時(shí)長(zhǎng)三個(gè)氣象因子，構(gòu)建番茄黃化曲葉病毒病預(yù)警模型，王曉蓉等［7］對(duì)日光溫室的最高空氣濕度和最高空氣溫度進(jìn)行了實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)和采集，并建立日光溫室黃瓜白粉病浴巾該模型。

利用機(jī)器視覺(jué)和卷積神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)植物病害發(fā)生時(shí)的病斑紋理、顏色等特征進(jìn)行識(shí)別，是解決植物病害種類自動(dòng)識(shí)別問(wèn)題的有效方法［8］。在AlexNet、VGG16、MobileNet、Inception、ResNet等眾多神經(jīng)網(wǎng)絡(luò)的模型當(dāng)中，ResNet網(wǎng)絡(luò)結(jié)構(gòu)清晰、拓展性好，可直接用于其他網(wǎng)絡(luò)，且訓(xùn)練速度快、準(zhǔn)確率高、易優(yōu)化［9］。目前，許多研究者在殘差模塊、ReLU激活函數(shù)和添加注意力機(jī)制等方向?qū)esNet網(wǎng)絡(luò)進(jìn)行改造，李書(shū)琴等［10］提出一種基于輕量級(jí)殘差網(wǎng)絡(luò)的植物葉片病害識(shí)別方法，網(wǎng)絡(luò)基于ResNet縮減卷積核數(shù)目和輕量級(jí)殘差模塊，在大幅減少網(wǎng)絡(luò)參數(shù)、降低計(jì)算復(fù)雜度的同時(shí)，在自建蘋(píng)果葉片病害數(shù)據(jù)集上獲得1.52%的低識(shí)別錯(cuò)誤率；郝菁等［11］以蘋(píng)果赤霉病、蘋(píng)果雪松銹病和蘋(píng)果灰斑病3種蘋(píng)果病害葉片圖像為研究對(duì)象，基于ResNet50模型進(jìn)行優(yōu)化，最終達(dá)到97.7%的準(zhǔn)確率；孟亮等［12］提出一種輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)農(nóng)作物病害識(shí)別模型，以ResNet殘差單元作為基本元素設(shè)計(jì)一個(gè)輕量級(jí)CNN農(nóng)作物病害識(shí)別模型，對(duì)辣椒、番茄和馬鈴薯的病害圖像進(jìn)行分類識(shí)別，最終模型在訓(xùn)練集上的總識(shí)別準(zhǔn)確率為99.33%；周宏威等［13］針對(duì)ResNet50網(wǎng)絡(luò)模型使遷移學(xué)習(xí)技術(shù)，對(duì)蘋(píng)果樹(shù)葉片病蟲(chóng)害識(shí)別準(zhǔn)確率分別達(dá)95.34%；李慶盛等［14］提出一種基于非對(duì)稱注意力機(jī)制殘差網(wǎng)絡(luò)（Asymmetric Convolution Attention ResNet，ACA-ResNet）的圖像檢測(cè)模型，該模型經(jīng)過(guò)ImageNet 數(shù)據(jù)集預(yù)訓(xùn)練后對(duì)玉米病害凸顯隔斷平均識(shí)別準(zhǔn)確率可達(dá)到97.25%；陸雅諾等［15］提出一種基于軟注意力機(jī)制的小樣本啤酒花病蟲(chóng)害識(shí)別方法，對(duì)傳統(tǒng)深度殘差網(wǎng)絡(luò)ResNet模型進(jìn)行改進(jìn)，改進(jìn)過(guò)后的模型A-ResNet50和A-ResNet101都能準(zhǔn)確識(shí)別不同類型的病蟲(chóng)害圖像，在測(cè)試集上的準(zhǔn)確率為93.27%和93.11%。

由于在相同環(huán)境條件下，可能多種病齊發(fā)，且同一片葉子上不同的病斑之間可能有交錯(cuò)、重疊，從而影響深度學(xué)習(xí)的識(shí)別效率，因此從植物病害的一個(gè)識(shí)別因子出發(fā)有一定的局限性。本文以番茄灰霉病為研究對(duì)象，分別從灰霉病發(fā)病的環(huán)境因子和發(fā)病后圖像特征因子兩個(gè)方面進(jìn)行了探索，綜合物聯(lián)網(wǎng)技術(shù)和深度學(xué)習(xí)技術(shù)，構(gòu)建基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同識(shí)別模型，使得病害識(shí)別模型準(zhǔn)確率更高。

1試驗(yàn)材料

1.1空氣溫濕度數(shù)據(jù)采集

通過(guò)對(duì)比分析適宜灰霉病發(fā)病時(shí)間段內(nèi)大棚里歷年空氣溫濕度數(shù)據(jù)發(fā)現(xiàn)，每天的最高溫度能最大程度地反應(yīng)當(dāng)天的空氣溫度條件，如果當(dāng)天的最高溫度處于20℃左右，則該天的溫度條件被認(rèn)為是符合番茄灰霉病發(fā)病的條件；平均溫度能最大程度地反應(yīng)當(dāng)天的空氣濕度條件，只有平均濕度在90%以上，才可以保證當(dāng)天空氣濕度90%保持的時(shí)間較長(zhǎng)。因此選擇溫室大棚氣象數(shù)據(jù)中每一天的最高溫度和平均濕度作為設(shè)施番茄灰霉病預(yù)測(cè)指標(biāo)，并通過(guò)溫室娃娃對(duì)溫室內(nèi)的空氣溫度和空氣濕度進(jìn)行精準(zhǔn)采集，樣例數(shù)據(jù)如表1所示。

試驗(yàn)采集得到6組灰霉病流行的環(huán)境數(shù)據(jù)和14組灰霉病未流行的環(huán)境數(shù)據(jù)，每組數(shù)據(jù)均為包含調(diào)查日在內(nèi)前7天數(shù)據(jù)。

1.2RGB圖像數(shù)據(jù)獲取

1.2.1番茄灰霉病葉部RGB圖像采集

試驗(yàn)于2020年11月9日至11月29日，在石家莊市農(nóng)林科學(xué)研究院趙縣實(shí)驗(yàn)基地2號(hào)和3號(hào)溫室采集番茄灰霉病RGB圖像，采集設(shè)備為蘋(píng)果手機(jī)iPhone X，番茄品種為“金冠5號(hào)”，所采集數(shù)據(jù)均為生長(zhǎng)狀態(tài)及自然光照下番茄葉部圖像，如圖1所示，數(shù)據(jù)采集時(shí)以能夠清晰拍攝番茄葉部病斑，且目標(biāo)葉片在整個(gè)圖像上占比最大化為主要原則。

為了采集到多樣化的番茄灰霉病葉部圖像，采集時(shí)選取不同的時(shí)間段、以不同拍照距離、不同拍照角度進(jìn)行拍照，共采集到1 666張復(fù)雜背景下原始病害葉部RGB圖像，圖片背景包含地面、地膜、水管和大量與病害相似的背景。

1.2.2圖像預(yù)處理

1）? 調(diào)整圖像大小。由于本試驗(yàn)用到的神經(jīng)網(wǎng)絡(luò)全連接層神經(jīng)元個(gè)數(shù)有限，進(jìn)入神經(jīng)網(wǎng)絡(luò)的圖片需要固定大小，所以在番茄葉片病害圖像輸入神經(jīng)網(wǎng)絡(luò)前是需要進(jìn)行調(diào)整圖像尺寸。本次試驗(yàn)將輸入卷積神經(jīng)網(wǎng)絡(luò)的圖像大小預(yù)先調(diào)整為256像素×256像素。

2）? 標(biāo)準(zhǔn)化處理。標(biāo)準(zhǔn)化操作（Standardization）就是將原始數(shù)據(jù)減去其均值后，再除以標(biāo)準(zhǔn)差，其計(jì)算如式（1）～式（3）所示。

1.2.3數(shù)據(jù)集構(gòu)建

本文的數(shù)據(jù)集分為兩個(gè)子集后還需要按照每張圖片所屬番茄病害種類進(jìn)行存儲(chǔ)位置的分類。存儲(chǔ)位置的分類即是將每張對(duì)應(yīng)番茄葉片病害的圖片劃分到所屬它的文件夾下，這樣將圖片輸入神經(jīng)網(wǎng)絡(luò)時(shí)就可以非常順利的進(jìn)行，訓(xùn)練集和測(cè)試集數(shù)據(jù)量如表2所示。

2模型選取

2.1基于Logistic回歸分析的設(shè)施番茄灰霉病溫濕度預(yù)測(cè)模型

2.1.1變量定義

將溫室大棚氣象數(shù)據(jù)中每一天的最高溫度和平均濕度作自變量，將番茄灰霉病是否流行作為因變量，進(jìn)行Logistic回歸分析。

2.1.2模型檢驗(yàn)

將番茄灰霉病是否流行作為因變量Y，日光溫室環(huán)境中每日最高空氣溫度和平均空氣濕度分別作為自變量X1和X2，番茄灰霉病發(fā)生概率為P，α為常數(shù)，β和γ為回歸系數(shù)，如式（4）所示。

2.2基于ResNet50-CBAM卷積神經(jīng)網(wǎng)絡(luò)的番茄灰霉病RGB圖像識(shí)別

2.2.1模型選取

卷積神經(jīng)網(wǎng)絡(luò)CNN是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一，CNN由卷積層和池化層及全連接層組成，還包括特殊的網(wǎng)絡(luò)層，如相關(guān)權(quán)重和激活函數(shù)。作為CNN的核心，卷積運(yùn)算和池化操作是核心，如圖3所示，卷積神經(jīng)網(wǎng)絡(luò)能夠有效地將大數(shù)據(jù)量的圖像進(jìn)行降維，使其變小，同時(shí)能夠保存圖像的重要特征。

常見(jiàn)的分類網(wǎng)絡(luò)都可以分為兩部分，一部分是特征提取，另一部分是分類部分。特征提取部分的功能是對(duì)輸入進(jìn)來(lái)的圖片進(jìn)行特征提取，優(yōu)秀的特征可以幫助更容易區(qū)分目標(biāo)，所以特征提取部分一般由各類卷積組成，卷積擁有強(qiáng)大的特征提取能力；分類部分會(huì)利用特征提取部分獲取到的特征進(jìn)行分類，分類部分一般由全連接組成，特征提取部分獲取到的特征一般是一維向量，可以直接進(jìn)行全連接分類。通常情況下，特征提取部分就是我們平常了解到的各種神經(jīng)網(wǎng)絡(luò)，比如VGG、Mobilenet、ResNet等，而分類部分就是一次或兩次的全連接。本文使用PyTorch框架，基于ResNet50神經(jīng)網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)。

ResNet網(wǎng)絡(luò)是ILSVRC2015的冠軍模型。該網(wǎng)絡(luò)提出殘差架構(gòu)，通過(guò)非線性的卷積層增加直連邊的方法提高信息傳播效率，并使高層的梯度能直接回傳，解決深層網(wǎng)絡(luò)梯度消失的問(wèn)題。ResNet網(wǎng)絡(luò)的拓展性好，可直接用于其他網(wǎng)絡(luò)，且網(wǎng)絡(luò)訓(xùn)練速度快、易優(yōu)化。目前，許多研究者對(duì)ResNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，出現(xiàn)很多優(yōu)秀的基于殘差結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)。

ResNet是目前深度學(xué)習(xí)領(lǐng)域中常用的主流模型之一，已在包括圖像分類等多領(lǐng)域中取得不錯(cuò)的效果，ResNet在一定程度上，解決了深層網(wǎng)絡(luò)在訓(xùn)練過(guò)程中出現(xiàn)的梯度消失或爆炸問(wèn)題，有效降低了深層網(wǎng)絡(luò)學(xué)習(xí)的難度。為了和淺層CNN比較，所以選擇了深層的ResNet50網(wǎng)絡(luò)，該網(wǎng)絡(luò)在具有較好識(shí)別精度的同時(shí)還具有優(yōu)秀的實(shí)時(shí)性，更適合于實(shí)況工作條件下植物病斑的識(shí)別任務(wù)。

50層的網(wǎng)絡(luò)劃分為六大部分，分為是輸入模塊，四個(gè)組塊（每個(gè)組塊都由三個(gè)殘差塊組成）和最后的輸出模塊。該網(wǎng)絡(luò)模型主要構(gòu)成單元為殘差塊結(jié)構(gòu)，各層均使用Relu激活函數(shù)并添加Batch Normalization單元，用以提高模型的擬合能力。殘差網(wǎng)絡(luò)主要是將靠前若干層某一層數(shù)據(jù)輸出直接跳過(guò)多層引入到后面數(shù)據(jù)層的輸入部分。深度殘差網(wǎng)絡(luò)的設(shè)計(jì)是為了克服由于網(wǎng)絡(luò)深度加深而產(chǎn)生的學(xué)習(xí)效率變低與準(zhǔn)確率無(wú)法有效提升的問(wèn)題。意味著后面的特征層的內(nèi)容會(huì)有一部分由其前面的某一層線性貢獻(xiàn)，其結(jié)果如圖4所示。

ResNet50有Conv Block和Identity Block兩個(gè)基本塊，其中Conv Block輸入和輸出的維度是不一樣的，所以不能連續(xù)串聯(lián)，其作用是改變網(wǎng)絡(luò)的維度，Identity Block輸入維度和輸出維度相同，可以串聯(lián)，其作用是加深網(wǎng)絡(luò)，二者都是殘差網(wǎng)絡(luò)結(jié)構(gòu)。Conv Block包含主干部分和殘差邊部分，主干部分存在兩次卷積、標(biāo)準(zhǔn)化、激活函數(shù)和一次卷積、標(biāo)準(zhǔn)化，殘差邊部分存在一次卷積、標(biāo)準(zhǔn)化，由于殘差邊部分存在卷積，所以可以利用Conv Block改變輸出特征層的寬高和通道數(shù)。Identity Block可以分為兩個(gè)部分，主干部分存在兩次卷積、標(biāo)準(zhǔn)化、激活函數(shù)和一次卷積、標(biāo)準(zhǔn)化；殘差邊部分直接與輸出相接，由于殘差邊部分不存在卷積，所以Identity Block的輸入特征層和輸出特征層的shape是相同的，可用于加深網(wǎng)絡(luò)。表3為ResNet50的網(wǎng)絡(luò)結(jié)構(gòu)。

2.2.2空間注意力機(jī)制

卷積的空間注意力模塊（Convolutional Block Attention Module，CBAM）是一種用于前饋卷積神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單而有效的注意力模塊（圖5），包含兩個(gè)子模塊，分別為通道注意力模塊CAM和空間注意力模塊SAM，兩個(gè)注意力模塊采用串聯(lián)的方式。CBAM模塊會(huì)沿著這兩個(gè)獨(dú)立的維度依次推斷注意力圖，然后將注意力圖與輸入特征圖相乘以進(jìn)行自適應(yīng)特征優(yōu)化。

CAM通過(guò)網(wǎng)絡(luò)計(jì)算出圖像各個(gè)通道的權(quán)重，選出最有意義的通道從而達(dá)到提高特征表示能力的目的。該模塊將輸入的特征圖，分別經(jīng)過(guò)基于寬和高的全局最大池化和全局平均池化操作，再分別經(jīng)過(guò)多層感知器（MLP，Multilayer Perceptron），將MLP輸出的特征進(jìn)行對(duì)應(yīng)元素逐個(gè)相乘，最后通過(guò)Sigmoid激活函數(shù)進(jìn)行激活生成最終的通道注意力特征圖。

空間注意力模塊的目的是找到關(guān)鍵信息在Map的哪個(gè)位置上最多，是對(duì)通道注意力的補(bǔ)充。該模塊將通道注意力模塊輸出的特征圖作為本模塊的輸入特征圖，首先基于特征圖通道進(jìn)行全局最大池化和全局平均池化操作，再將所得結(jié)果進(jìn)行拼接，之后經(jīng)過(guò)卷積操作，將通道數(shù)降維到1，再使用Sigmoid激活函數(shù)生成空間注意力特征圖，最后將該特征圖和該模塊的輸入特征圖進(jìn)行對(duì)應(yīng)元素相乘，得到最終特征，如式（6）所示。

2.3基于多模態(tài)融合技術(shù)的茄灰霉病RGB圖像智能協(xié)同識(shí)別模型

深度學(xué)習(xí)中的多模態(tài)融合技術(shù)（Multimodality Fusion Technology，MFT）可以從文本、圖像、語(yǔ)音、視頻等多種數(shù)據(jù)類型中獲取信息，實(shí)現(xiàn)信息轉(zhuǎn)化和融合，從而提升模型性能和決策準(zhǔn)確率。由于不同模態(tài)的特征向量最初位于不同子空間中，因此可將不同子空間的特征向量投影到公共子空間，其中具有相似語(yǔ)義的多模態(tài)數(shù)據(jù)將由相似向量表示。該方法可縮小語(yǔ)義子空間的分布差距，消除異質(zhì)性差異，同時(shí)保持模態(tài)特定語(yǔ)義的完整性。

多模態(tài)融合架構(gòu)可分為三類：聯(lián)合架構(gòu)、協(xié)同架構(gòu)和編解碼架構(gòu)。聯(lián)合架構(gòu)是將單模態(tài)表示投影到一個(gè)共享語(yǔ)義子空間中，以便能融合多模態(tài)特征；協(xié)同架構(gòu)包括跨模態(tài)相似模型和典型相關(guān)分析，其目的是尋求協(xié)調(diào)子空間中模態(tài)間的關(guān)聯(lián)關(guān)系；編解碼器架構(gòu)用于將一個(gè)模態(tài)映射到另一個(gè)模態(tài)的中間表示。多模態(tài)聯(lián)合架構(gòu)的關(guān)鍵是實(shí)現(xiàn)特征“聯(lián)合”，最簡(jiǎn)單方法是直接連接，即“加”聯(lián)合方法。該方法在不同的隱藏層實(shí)現(xiàn)共享語(yǔ)義子空間，將轉(zhuǎn)換后的各個(gè)單模態(tài)特征向量語(yǔ)義組合在一起，從而實(shí)現(xiàn)多模態(tài)融合；多模態(tài)協(xié)同架構(gòu)是各種分離的單模態(tài)在某些約束下實(shí)現(xiàn)相互協(xié)同的方法。由于不同模態(tài)包含的信息不一樣，協(xié)同方法有利于保持各單模態(tài)獨(dú)有的特征和排他性；多模態(tài)編解碼器架構(gòu)通常用于將一種模態(tài)映射到另一種模態(tài)的多模態(tài)轉(zhuǎn)換任務(wù)中，主要由編碼器和解碼器兩部分組成。編碼器將源模態(tài)映射到向量中，解碼器基于該向量將生成一個(gè)新的目標(biāo)模態(tài)樣本。

3結(jié)果討論

3.1基于Logistic回歸分析的番茄灰霉病空氣溫濕度預(yù)測(cè)模型

從表4可以看出，對(duì)于Y=0（番茄灰霉病沒(méi)有流行），有90.8%的準(zhǔn)確性；對(duì)于Y=1（番茄灰霉病流行），有66.7%準(zhǔn)確性，對(duì)于所有觀測(cè)，正確個(gè)案數(shù)合計(jì)為117，合計(jì)準(zhǔn)確性為83.6%，模型效果較好。

模型通過(guò)檢驗(yàn)后可得擬合模型中的各項(xiàng)系數(shù)值，如表5所示。

從表5可以看出，所關(guān)心的兩個(gè)變量“最高空氣溫度”與“平均空氣濕度”均進(jìn)入了最終模型，B值對(duì)應(yīng)的是最終模型參數(shù)估計(jì)值，常數(shù)項(xiàng)α為44.914，最高空氣溫度的回歸系數(shù)β為-0.529，平均空氣濕度的回歸系數(shù)γ為-0.359。因此預(yù)測(cè)模型

3.2基于ResNet50-CBAM的番茄RGB圖像識(shí)別模型

本研究選取VGG16、Mobilenet、ResNet50三種卷積神經(jīng)網(wǎng)絡(luò)框架進(jìn)行學(xué)習(xí)，并且針對(duì)數(shù)據(jù)增強(qiáng)訓(xùn)練時(shí)間長(zhǎng)、效率低下的問(wèn)題，在ResNet50的基礎(chǔ)上采用注意力機(jī)制（ResNet50+CBAM）的方法來(lái)提升番茄灰霉病RGB數(shù)據(jù)集的識(shí)別準(zhǔn)確率。每個(gè)模型各進(jìn)行了100個(gè)輪次的學(xué)習(xí)，分別得到各個(gè)模型的訓(xùn)練損失曲線（Train_Loss）、測(cè)試損失曲線（Val_Loss）和測(cè)試準(zhǔn)確率曲線（Accuracy）。其中，前30個(gè)輪次凍結(jié)，目的是加速訓(xùn)練速度，后70個(gè)輪次解凍，使得訓(xùn)練結(jié)果更準(zhǔn)確。

由圖6可知，VGG16、Mobilenet、ResNet50和ResNet50+CBAM四個(gè)框架的Train_Loss曲線在前30個(gè)epoch中不斷擬合，表現(xiàn)為先驟降然后趨于平穩(wěn)，表明在該階段學(xué)習(xí)率太高陷入局部最小值。通過(guò)對(duì)學(xué)習(xí)率進(jìn)行調(diào)整（降低10倍），Train_loss大幅下降，分別在第41個(gè)、39個(gè)、38個(gè)和36個(gè)epoch后loss值降低到0.1%以下，說(shuō)明收斂性良好。Val_Loss曲線較Train_Loss曲線略有波動(dòng)，但大體走勢(shì)相似。由圖7可知，Accuracy曲線表明ResNet50+CBAM學(xué)習(xí)的準(zhǔn)確率較高。

4個(gè)不同的神經(jīng)網(wǎng)絡(luò)框架對(duì)于原始數(shù)據(jù)集和數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集識(shí)別準(zhǔn)確率對(duì)比如表6所示。

由表6可知，數(shù)據(jù)增強(qiáng)后的識(shí)別準(zhǔn)確率得到一定程度的提升，其中ResNet50+CBAM訓(xùn)練效果最好，數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集準(zhǔn)確率最高達(dá)到95.48%，且相較原始數(shù)據(jù)集提高了0.91%。

綜上，本研究選取基于注意力機(jī)制的ResNet50框架卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，構(gòu)建番茄灰霉病RGB圖像識(shí)別模型。

3.3番茄灰霉病智能協(xié)同診斷模型

采用專家打分法，確定兩個(gè)模態(tài)的權(quán)重值。

第一步，選擇評(píng)價(jià)定權(quán)值組的成員。

第二步，列表。本次打分要求專家在充分了解并測(cè)試以上兩個(gè)模型后，分別從其準(zhǔn)確性、科學(xué)性、數(shù)據(jù)量的多少、操作性四個(gè)方面進(jìn)行打分，每一項(xiàng)25分，滿分100分。其中，準(zhǔn)確性指模型的準(zhǔn)確率，專家參考測(cè)試準(zhǔn)確率并親自對(duì)模型進(jìn)行測(cè)試，結(jié)合二者準(zhǔn)確率進(jìn)行打分；科學(xué)性指模型從農(nóng)藝角度出發(fā)，對(duì)番茄灰霉病發(fā)病情況的合理性判斷；數(shù)據(jù)量的多少則是判斷模型的一項(xiàng)重要依據(jù)；操作性是指在實(shí)際模型使用過(guò)程中，操作的步驟及難度，諸如基于logistic回歸分析的空氣溫濕度預(yù)測(cè)模型，需要從一天的空氣溫度和空氣濕度中，計(jì)算出最高空氣溫度和平均空氣濕度，基于ResNet50+CBAM圖像識(shí)別模型需要拍攝一張番茄葉部病害照片進(jìn)入模型。

第三步，發(fā)給每個(gè)參與評(píng)價(jià)者一份上述表格。

第四步，要求每個(gè)成員對(duì)每列的權(quán)值填上記號(hào)，得到每種因子的權(quán)值分?jǐn)?shù)。

第五步，要求所有的成員對(duì)做了記號(hào)的列逐項(xiàng)比較，看看所評(píng)的分?jǐn)?shù)是否能代表他們的意見(jiàn)，如果發(fā)現(xiàn)有不妥之處，應(yīng)重新畫(huà)記號(hào)評(píng)分，直至滿意為止。

第六步，要求每個(gè)成員把每個(gè)評(píng)價(jià)因子的重要性的評(píng)分值相加，得出總數(shù)。

第七步，每個(gè)成員用第六步求得的總數(shù)去除分?jǐn)?shù)，即得到每個(gè)評(píng)價(jià)因子的權(quán)重。

第八步，把每個(gè)成員的表格集中起來(lái)，求得各種評(píng)價(jià)因子的平均權(quán)重。

第九步，列出每種的平均數(shù)，并要求評(píng)價(jià)者把每組的平均數(shù)與自己在第七步得到的權(quán)值進(jìn)行比較。

第十步，如有人還想改變?cè)u(píng)分，就必須回到第四步重復(fù)整個(gè)評(píng)分過(guò)程。如果沒(méi)有異議，則到此為止。

從表7可知，基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同識(shí)別模型（式（7））中，空氣溫濕度預(yù)測(cè)模型權(quán)重系數(shù)c為0.37，RGB圖像識(shí)別模型的權(quán)重d為0.63，且通過(guò)試驗(yàn)驗(yàn)證，準(zhǔn)確率達(dá)98.3%。其中，基于logistic回歸分析的空氣溫濕度模型的輸入?yún)?shù)為當(dāng)日的最高溫度和平均濕度，滿足低溫高濕的條件即會(huì)預(yù)測(cè)為灰霉病，然而設(shè)施番茄的實(shí)際生產(chǎn)中，低溫高濕的空氣條件會(huì)誘發(fā)多種病，除了灰霉病之外，還有炭疽病和猝倒病等，因此科學(xué)性和準(zhǔn)確率都較低；而基于ResNet50+CBAM的圖像識(shí)別模型也存在一定的誤差?？諝鉁貪穸饶Ｐ吞峁┝藴?zhǔn)確的發(fā)病條件，圖像識(shí)別模型準(zhǔn)確識(shí)別了發(fā)病圖像特征，二者互相補(bǔ)充，準(zhǔn)確率分別提升了12.7%和0.82%。

4結(jié)論

本文提出了一種基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同診斷模型，該模型將灰霉病發(fā)生的環(huán)境因子和圖像特征兩類數(shù)據(jù)進(jìn)行融合，實(shí)現(xiàn)番茄灰霉病快速準(zhǔn)確的識(shí)別，試驗(yàn)表明該模型識(shí)別準(zhǔn)確率高達(dá)98.3%。

1）? 當(dāng)日的平均溫度和最高濕度能很好的代表秋冬茬低溫高濕的環(huán)境條件，將二者輸入Logistic回歸分析模型，得到的空氣溫濕度預(yù)測(cè)模型準(zhǔn)確率達(dá)83.6%。

2）? 通過(guò)對(duì)比神經(jīng)網(wǎng)絡(luò)模型的VGG16、MobileNet V2、ResNet50三種網(wǎng)絡(luò)，采用空間注意力機(jī)制對(duì)ResNet50網(wǎng)絡(luò)進(jìn)行改進(jìn)，得到的ResNet50+CBAM的圖像識(shí)別模型在訓(xùn)練集上準(zhǔn)確率最高，達(dá)95.48%。

3）? 通過(guò)專家打分法得到空氣溫濕度預(yù)測(cè)模型和圖像識(shí)別模型的權(quán)重值，將文本模態(tài)和圖像模態(tài)進(jìn)行很好的融合，最終得到的基于多模態(tài)融合技術(shù)的番茄灰霉病智能協(xié)同診斷模型較空氣溫濕度模型提高14.7%，較圖像識(shí)別模型提高2.82%。說(shuō)明環(huán)境因子特征和圖像特征均為判定番茄灰霉病發(fā)病的重要因素。

參考文獻(xiàn)

［1］林建吾， 張欣， 陳孝玉龍， 等. 基于輕量化卷積神經(jīng)網(wǎng)絡(luò)的番茄病害圖像識(shí)別［J］. 無(wú)線電工程， 2022（8）： 1-11.Lin Jianwu， Zhang Xin， Chen Xiaoyulong， et al. Tomato disease image recognition based on lightweight Convolutional Neural Network ［J］. Radio Engineering， 2022（8）： 1-11.

［2］謝傳奇， 何勇. 利用光譜反射特性對(duì)番茄葉片早疫病害程度的識(shí)別［J］. 中國(guó)科技論文， 2017， 12（6）： 671-675.Xie Chuanqi， He Yong. Identification of early blight disease degree of tomato leaf using spectral reflectance ［J］.China Sciencepaper， 2017， 12（6）： 671-675.

［3］孔汶汶， 虞佳佳， 劉飛， 等. 基于高光譜成像技術(shù)的番茄莖稈灰霉病早期診斷研究［J］. 光譜學(xué)與光譜分析， 2013， 33（3）： 733-736.Kong Wenen， Yu Jiajia， Liu Fei， et al. Early diagnosis of gray mold on tomato stalks based on Hyperspectral data ［J］. Spectroscopy and Spectral Analysis， 2013， 33（3）： 733-736.

［4］瞿華香， 趙萍， 陳桂鵬， 等. 基于無(wú)線傳感器網(wǎng)絡(luò)的精準(zhǔn)農(nóng)業(yè)研究進(jìn)展［J］. 中國(guó)農(nóng)學(xué)通報(bào)， 2014， 30（33）： 268-272.Zhai Huaxiang， Zhao Ping， Chen Guipeng， et al. Advances in precision agriculture-based wireless sensor networks ［J］. Chinese Agricultural Science Bulletin， 2014， 30（33）： 268-272.

［5］楊英茹， 黃媛， 高欣娜， 等. 基于Logistic回歸模型的設(shè)施番茄病毒病預(yù)警模型構(gòu)建［J］. 河北農(nóng)業(yè)科學(xué)， 2019， 23（5）： 91-94.Yang Yingru， Huang Yuan， Gao Xinna， et al. Early warning model construction of greenhouse tomato virus disease based on Logitic regression model ［J］. Journal of Hebei Agricultural Sciences， 2019， 23（5）： 91-94.

［6］陳杰， 楊銀娟， 嚴(yán)寶華， 等. 番茄黃化曲葉病毒病預(yù)警模型的建立［J］. 中國(guó)植保導(dǎo)刊， 2017， 37（3）： 49-52.Chen Jie， Yang Yinjuan， Yan Baohua， et al. Establishment of early warning model for tomato yellow leaf curl virus disease ［J］. China Plant Protection， 2017， 37（3）： 49-52.

［7］王曉蓉， 呂雄杰， 賈寶紅. 基于物聯(lián)網(wǎng)技術(shù)的日光溫室黃瓜白粉病預(yù)警系統(tǒng)研究［J］. 農(nóng)學(xué)學(xué)報(bào)， 2016， 6（8）： 50-53.Wang Xiaorong， Lü Xiongjie， Jia Baohong. Construction of cucumber powdery mildew early warning system in solar greenhouse based on internet of things ［J］. Journal of Agriculture， 2016， 6（8）： 50-53.

［8］曹躍騰， 朱學(xué)巖， 趙燕東， 等. 基于改進(jìn)ResNet的植物葉片病蟲(chóng)害識(shí)別［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（12）： 175-181.Cao Yueteng， Zhu Xueyan， Zhao Yandong， et al. Recognition of plant leaf diseases， insect， and pests based on improved ResNet ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（12）： 175-181.

［9］He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［9］Xu Y， Zhao B， Zhai Y， et al. Maize diseases identification method based on multi-scale convolutional global pooling neural network ［J］. IEEE Access， 2021， 9： 27959-27970.

［11］Pham T N， Van Tran L， Dao S V T. Early disease classification of mango leaves using feed-forward neural network and hybrid metaheuristic feature selection ［J］. IEEE Access， 2020， 8： 189960-189973.

［12］鮑文霞， 黃雪峰， 胡根生， 等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型的玉米葉部病害識(shí)別［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（6）： 160-167.Bao Wenxia， Huang Xuefeng， Hu Gensheng， et al. Identification of maize leaf diseases using improved convolutional neural network ［J］.Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 160-167.

［10］李書(shū)琴， 陳聰， 朱彤， 等. 基于輕量級(jí)殘差網(wǎng)絡(luò)的植物葉片病害識(shí)別［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2022， 53（3）： 243-250.Li Shuqin， Chen Cong， Zhu Tong， et al. Plant leaf disease identification based on lightweight residual network ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（3）： 243-250.

［11］郝菁， 賈宗維. 基于圖像識(shí)別的蘋(píng)果葉片病害識(shí)別模型對(duì)比研究［J］. 中國(guó)農(nóng)學(xué)通報(bào)， 2022， 38（12）： 153-158.Hao Jing， Jia Zongwei. Comparative study on apple leaf disease recognition models based on image recognition ［J］. Chinese Agricultural Science Bulletin， 2022， 38（12）： 153-158.

［12］孟亮， 郭小燕， 杜佳舉， 等. 一種輕量級(jí)CNN農(nóng)作物病害圖像識(shí)別模型［J］. 江蘇農(nóng)業(yè)學(xué)報(bào)， 2021， 37（5）： 1143-1150.Meng Liang， Guo Xiaoyan， Du Jiaju， et al. A lightweight CNN model for image recognition of crop disease ［J］. Jiangsu Journal of Agricultural Sciences， 2021， 37（5）： 1143-1150.

［13］周宏威， 沈恒宇， 袁新佩， 等. 基于遷移學(xué)習(xí)的蘋(píng)果樹(shù)葉片病蟲(chóng)害識(shí)別方法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（11）： 151-158.Zhou Hongwei， Chen Hengyu， Yuan Xinpei， et al. Research on identification method of apple leaf diseases based on transfer learning ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（11）： 151-158.

［14］李慶盛， 繆楠， 張?chǎng)危?等. 基于注意力機(jī)制非對(duì)稱殘差網(wǎng)絡(luò)和遷移學(xué)習(xí)的玉米病害圖像識(shí)別［J］. 科學(xué)技術(shù)與工程， 2021， 21（15）： 6249-6256.Li Qingsheng， Miao Nan， Zhang Xin， et al. Image recognition of maize disease based on asymmetric convolutional attention residual network and transfer learning ［J］. Science Technology and Engineering， 2021， 21（15）： 6249-6256.

［15］陸雅諾， 陳炳才. 基于注意力機(jī)制的小樣本啤酒花病蟲(chóng)害識(shí)別［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（3）： 189-196.Lu Yanuo， Chen Bingcai. Identification of hops pests and diseases in small samples based on attentional mechanisms ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（3）： 189-196.

［19］駱潤(rùn)玫， 王衛(wèi)星. 基于卷積神經(jīng)網(wǎng)絡(luò)的植物病蟲(chóng)害識(shí)別研究綜述［J］. 自動(dòng)化與信息工程， 2021， 42（5）： 1-10.Luo Runmei， Wang Weixing. Review on plant disease and pest identification based on Convolutional Neural Network ［J］. Automation & Information Engineering， 2021， 42（5）： 1-10.

［20］儲(chǔ)岳中， 汪佳慶， 張學(xué)鋒， 等. 基于改進(jìn)深度殘差網(wǎng)絡(luò)的圖像分類算法［J］. 電子科技大學(xué)學(xué)報(bào)， 2021， 50（2）： 243-248.Chu Yuezhong， Wang Jiaqing， Zhang Xuefeng， et al. Image classification algorithm based on improved deep residual network ［J］. Journal of University of Electronic Science and Technology of China， 2021， 50（2）： 243-248.