基于高光譜成像和卷積神經(jīng)網(wǎng)絡(luò)的‘庫爾勒’香梨黑斑病潛育期診斷研究

胡澤軒，王文秀，張 凡，2，趙丹陽，馬倩云，孫劍鋒

（1.河北農(nóng)業(yè)大學(xué) 食品科技學(xué)院，河北 保定 071000；2. 塔里木大學(xué) 現(xiàn)代農(nóng)業(yè)工程重點(diǎn)實驗室，新疆 阿爾罕 843300）

‘庫爾勒’香梨具有皮薄酥脆、風(fēng)味獨(dú)特等優(yōu)點(diǎn)，深受消費(fèi)者喜愛［1］，然而在貯藏過程中，香梨果實容易受到鏈格孢屬真菌Alternaria alternata的侵染導(dǎo)致黑斑?。?］。目前對梨采后病害的診斷主要依靠人工識別，但由于潛育期果實表面無明顯變化，且人工識別受到主觀因素的影響較大，因此誤判率較高，這些誤判的果實在貯藏期間不僅自身會腐敗變質(zhì)，還會影響附近的健康果實，最終導(dǎo)致大面積病害的發(fā)生［3-4］，造成嚴(yán)重的經(jīng)濟(jì)損失。因此建立客觀、快速、準(zhǔn)確的香梨黑斑病潛育期檢測方法是十分必要的。

高光譜成像（Hyperspectral imaging，HSI）技術(shù)能夠同時獲取樣品的光譜信息和圖像信息，實現(xiàn)“圖譜合一”，具有分辨率高、波段較多等優(yōu)點(diǎn)［5］。目前已有部分學(xué)者利用該技術(shù)實現(xiàn)了水果表面病害的識別［6-8］，證明了其在水果病害檢測領(lǐng)域具有良好的應(yīng)用前景。但現(xiàn)有研究大多針對樣品的顯性病征進(jìn)行識別，在深度挖掘樣品內(nèi)部信息，實現(xiàn)病害潛育期的準(zhǔn)確識別方面缺少系統(tǒng)性研究。在利用HSI 技術(shù)對水果病害進(jìn)行診斷識別時，需要結(jié)合適當(dāng)?shù)幕瘜W(xué)計量學(xué)方法，目前應(yīng)用較為廣泛的分類模型算法包括最小二乘支持向量機(jī)（Least squaressupport vector machines，LS-SVM）、K 最鄰近法（K-nearest neighbor，KNN）、隨機(jī)森林算法（Random forest，RF），等［9］。近年來深度學(xué)習(xí)算法因其自主學(xué)習(xí)能力強(qiáng)，可以處理大批量樣本數(shù)據(jù)而備受關(guān)注［10］，其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）作為1 種深度學(xué)習(xí)算法，可以直接利用原始圖像，從大批量樣本中提取出樣品的特征信息，避免了復(fù)雜的特征提取過程，且該過程是自動進(jìn)行的，避免了因主觀因素產(chǎn)生的實驗誤差［11］。此外，CNN 對數(shù)據(jù)預(yù)處理的要求較低，甚至不對數(shù)據(jù)進(jìn)行預(yù)處理即可對光譜信號進(jìn)行分析，對操作人員的專業(yè)性要求較低。CNN 還能進(jìn)行非線性建模處理，有較強(qiáng)的的泛化能力［10］。鑒于CNN 能夠充分挖掘高光譜圖像中的深度特征信息，將其與HSI 技術(shù)結(jié)合，有望實現(xiàn)對‘庫爾勒’香梨潛育期病害樣品的識別。

針對上述問題，本研究以不同染病程度‘庫爾勒’香梨為研究對象，基于高光譜成像技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建‘庫爾勒’香梨黑斑病潛育期快速診斷識別方法。此外，還利用LS-SVM、KNN、RF等常規(guī)算法構(gòu)建模型，進(jìn)一步對比驗證CNN 模型的分類效果。研究結(jié)果可為庫爾勒香梨黑斑病的無損、實時、準(zhǔn)確檢測提供參考。

1 材料與方法

1.1 試驗樣品制備

實驗選用大小形狀均勻，表面無病害的‘庫爾勒’香梨樣品共計172 個。為了獲得發(fā)病樣品，首先選擇自然發(fā)病的香梨果實，從染病區(qū)域分離純化得到病原菌后，將其制備成菌懸液，接種到健康果實中。為了獲得不同發(fā)病程度的樣品，每天接種17 個樣品，持續(xù)10 d，最終得到124 個接種病原菌的果實和48個健康果實。在培養(yǎng)過程中記錄每個樣品上病斑的直徑，并根據(jù)病斑面積與果實面積的比率，參考表1 的標(biāo)準(zhǔn)［12］將樣品分為健康、潛育期、輕度發(fā)病、重度發(fā)病4 個等級。

表1 ‘庫爾勒’香梨分級標(biāo)準(zhǔn)Table 1 Classification standard of korla fragrant pear

1.2 高光譜成像系統(tǒng)及圖像采集

實驗所用高光譜成像系統(tǒng)主要由CCD 相機(jī)、2個鹵素光源、位移平臺、步進(jìn)電機(jī)和計算機(jī)組成。經(jīng)過前期重復(fù)試驗，位移平臺速度、相機(jī)與樣品間距離、相機(jī)曝光時間分別設(shè)置為9.74 mm/s、500 mm、8.50 ms。采集樣品時，將樣品的病變區(qū)域向上，按照3 行×3 列的方式擺放在位移平臺上，利用線掃描的方式采集樣品的高光譜圖像。在圖像采集過程中，由于暗電流和不同透鏡對光的敏感程度不同，需對采集到的高光譜圖像進(jìn)行黑白校正處理。

1.3 光譜信息提取

在提取光譜信息前，對采集到的圖像進(jìn)行分割，得到單個樣品的高光譜圖像。感興趣區(qū)域的選擇在高光譜數(shù)據(jù)分析中十分重要，能夠直接影響模型的準(zhǔn)確率和性能。本研究通過閾值分割法選取整個香梨樣品作為感興趣區(qū)域，并利用ENVI 5.3 計算出所有像素點(diǎn)的平均光譜作為樣品的光譜信息。

1.4 數(shù)據(jù)增強(qiáng)

由于卷積神經(jīng)網(wǎng)絡(luò)中參數(shù)量十分龐大，需要大量有標(biāo)簽的樣本對模型進(jìn)行訓(xùn)練［13］。因此本研究參照專利［14］的方法對172 組原始數(shù)據(jù)進(jìn)行30倍擴(kuò)增處理。經(jīng)過數(shù)據(jù)增強(qiáng)，共得到5 160 條包含不同染病階段樣品的光譜數(shù)據(jù)，分別包括健康樣品1 440 條、潛育期樣品1 890 條、輕度染病樣品960 條、重度染病樣品870 條。

1.5 光譜預(yù)處理

提取到的光譜信息中，除了包含樣品本身的信息外，還有一些無關(guān)信息如噪聲和背景等，對模型的精度產(chǎn)生一定影響［15］。本研究首先利用Savizkg-Golag 5 點(diǎn)平滑消除隨機(jī)噪聲，并對比分析了標(biāo)準(zhǔn)正態(tài)變量變換（Standard normal variable transformation，SNV）、一階導(dǎo)數(shù)（First derivative，F(xiàn)D）、二階導(dǎo)數(shù)（Second derivative，SD）及其組合使用對建模結(jié)果的影響［16］。

1.6 模型建立及評價

利用Kennard-stone（K-S）算法將預(yù)處理后的數(shù)據(jù)按3 ∶1 的比例劃分為校正集和預(yù)測集，其中校正集中有3 870 個樣品，預(yù)測集中有1 290 個樣品。

1.6.1 基于常規(guī)算法的模型建立 采用了LS-SVM，KNN，RF 3 種常規(guī)算法建立分類模型。其中LSSVM 是傳統(tǒng)支持向量機(jī)的改進(jìn)和推廣，以結(jié)構(gòu)風(fēng)險最小化為原則，避免了求解二次規(guī)劃問題；KNN 通過度量特征空間中樣本之間的相似性，獲得距離目標(biāo)點(diǎn)最近的k個點(diǎn)，并根據(jù)少數(shù)服從多數(shù)的分類決策規(guī)則，確定目標(biāo)點(diǎn)的分類，本研究k選定為3；RF 是1 種機(jī)器學(xué)習(xí)中常用的決策樹算法，效率更高，且不易產(chǎn)生過擬合現(xiàn)象，本研究中隨機(jī)樹數(shù)量為500。

1.6.2 基于卷積神經(jīng)網(wǎng)絡(luò)的模型建立 CNN 是1 類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，主要由輸入層、卷積層、池化層、全連接層和輸出層組成（圖1），是深度學(xué)習(xí)的代表算法之一。在建立CNN 模型前，將預(yù)處理后的一維光譜數(shù)據(jù)轉(zhuǎn)變?yōu)槎S數(shù)據(jù)，以增強(qiáng)CNN 模型深度挖掘光譜數(shù)據(jù)中特征信息的能力，最后將人工標(biāo)記的標(biāo)簽作為輸出變量建立CNN 模型。由于網(wǎng)絡(luò)在向前傳輸?shù)倪^程中，每一層卷積的卷積核隨機(jī)產(chǎn)生，因此最后1 層卷積層的特征輸出不相同，需要對整個網(wǎng)絡(luò)模型不斷迭代，根據(jù)網(wǎng)絡(luò)的預(yù)測值與標(biāo)簽值之間的損失優(yōu)化訓(xùn)練過程中的隨機(jī)量，最終達(dá)到模型擬合，并保存最優(yōu)的模型參數(shù)。本研究采用交叉熵?fù)p失函數(shù)作為模型更新的衡量指標(biāo)。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig. 1 Structure diagram of convolutional neural network

（1）網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化

在構(gòu)建CNN 模型時，不同的網(wǎng)絡(luò)結(jié)構(gòu)會對模型的分類效果產(chǎn)生影響，因此需對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化。本實驗將卷積層數(shù)量設(shè)置為1、2、3，全連接層數(shù)量設(shè)置為1、2、3，在此基礎(chǔ)上進(jìn)行不同層數(shù)間的組合，最終設(shè)計了9 種不同的網(wǎng)絡(luò)結(jié)構(gòu)，并對這些結(jié)構(gòu)進(jìn)行訓(xùn)練，通過對比不同網(wǎng)絡(luò)結(jié)構(gòu)模型的分類效果，確定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，此時模型的學(xué)習(xí)率設(shè)置為0.000 1。

（2）學(xué)習(xí)率值的優(yōu)化

在確定最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)后，需要對CNN 模型的一些超參數(shù)進(jìn)行優(yōu)化［17］，其中學(xué)習(xí)率作為最重要的超參數(shù)，能夠加快模型收斂，避免陷入局部最優(yōu)的局面，因此選擇對學(xué)習(xí)率進(jìn)行優(yōu)化?；谧顑?yōu)網(wǎng)絡(luò)結(jié)構(gòu)，分別將學(xué)習(xí)率設(shè)置為0.000 1、0.001、0.01、0.000 5、0.005，其它參數(shù)的設(shè)置如表2 所示。

表2 CNN 模型參數(shù)Table 2 Parameters of CNN model

1.6.3 模型評價 以準(zhǔn)確率（%）為評價指標(biāo)，常規(guī)算法建模分析在Matlab2014a 中完成，CNN 建模分析在PyCharm Community Edition 2022.1中完成。

2 結(jié)果與討論

2.1 ‘庫爾勒’香梨樣品分析

不同病害程度的香梨樣品如圖2 所示。在潛育期，鏈格孢菌在香梨果實內(nèi)部不斷增殖，但與健康果實相比，外觀無明顯變化；隨著侵染時間的增加，接種區(qū)域附近表皮組織開始壞死，形成肉眼可見的黑褐色圓形病斑；在侵染后期，病原菌逐步擴(kuò)散到周圍健康區(qū)域，病斑區(qū)域加大，同時病斑區(qū)域會產(chǎn)生少量液體沉淀，可能是隨著侵染時間延長，果實表面的蠟質(zhì)層及果實細(xì)胞壁組成的防御性結(jié)構(gòu)被破壞，細(xì)胞內(nèi)各種酶活性降低，病原菌更容易入侵所致［18］。本研究采用注射器接種鏈格孢菌懸液的方式模擬制備黑斑病樣品，較大程度地接近自然發(fā)病樣品，使所建立的模型具有較高的實際應(yīng)用價值。同時，利用游標(biāo)卡尺測量病斑直徑，并計算出病斑面積與果實面積的比率，參照表1 標(biāo)準(zhǔn)對不同染病等級的樣品進(jìn)行分類，減小了人為誤差，使研究結(jié)果更精確。

圖2 不同染病程度的庫爾勒香梨Fig.2 ‘Korla’ fragrant pear at different infection degrees

2.2 原始光譜信息及預(yù)處理

不同染病程度樣品的平均光譜如圖3（a）所示，隨著染病程度的加深，樣品反射率整體呈下降趨勢。980、1 210、1 450 nm 處的吸收峰較為明顯，其中980 nm 的吸收峰與O-H 的2 級倍頻伸縮振動有關(guān)［19］；1 210 nm 處的吸收峰與C-H 伸縮的3 級倍頻有關(guān)；1 450 nm 處的吸收峰與O-H 伸縮的1級倍頻有關(guān)。健康梨的反射率與潛育期梨的反射率接近，這可能是由于侵染早期，病原菌數(shù)量較少，并未大量消耗樣品中的水分、糖分等，同時由于植物表皮蠟質(zhì)層和植物組織細(xì)胞壁的防御作用，使得梨果實發(fā)生的變化較小。同種發(fā)病程度的樣品光譜強(qiáng)度有所不同，可能是由于樣品中原始葉綠素含量不同，此外由于葉綠素不穩(wěn)定，在貯藏過程中會分解，也會導(dǎo)致吸收峰強(qiáng)度不同［20］。采用不同方法預(yù)處理后的光譜如圖3（b）～（h）所示。導(dǎo)數(shù)處理使隱藏在原始光譜較寬吸收頻帶中的特征峰（如1 130 nm 和1 390 nm 處）得到了增強(qiáng)，；SNV 處理后的光譜與原始光譜趨勢一致，但有效減少了樣品間因光散射引起的誤差。將導(dǎo)數(shù)處理與SNV 結(jié)合，可以有效增強(qiáng)樣品特征峰的強(qiáng)度，同時減小光散射引起的誤差，F(xiàn)D+SNV、SNV+FD 和SD+SNV、SNV+SD 處理分別與FD、SD 的總體趨勢相同，但在數(shù)值上有明顯差異。

圖3 不同病害程度樣品的原始光譜及預(yù)處理光譜Fig. 3 Original and pretreated spectra of pear samples at different disease degrees

2.3 基于常規(guī)算法的建模結(jié)果分析

分別將健康、潛育期、輕度染病、重度染病香梨樣品賦予類別標(biāo)簽0、1、2、3，基于全部波段，分別利用LS-SVM、KNN、RF 3 種算法進(jìn)行建模分析，結(jié)果如表3 所示?？梢园l(fā)現(xiàn)，基于預(yù)處理光譜的建模結(jié)果均優(yōu)于原始光譜建模結(jié)果，表明適當(dāng)?shù)念A(yù)處理方法能夠有效減少噪聲和背景的干擾，同時消除散射的影響，對保留光譜中的有效信息、提高模型的魯棒性有著十分重要的意義。對比不同算法的建模結(jié)果可知，LS-SVM 模型的分類效果最好，且FD+SNV 預(yù)處理后模型準(zhǔn)確率最高，驗證集準(zhǔn)確率為87.75%；而利用KNN 和RF 建模時，同樣是FD+SNV 處理后模型結(jié)果最優(yōu)，驗證集準(zhǔn)確率分別為87.21%、85.35%，表明FD+SNV 能夠更好地消除光譜中無關(guān)信息的影響。

表3 不同分類模型判別準(zhǔn)確率比較Table 3 Comparison of discrimination accuracy of different models

為了更直觀地觀察FD+SNV 處理后模型的分類效果，利用混淆矩陣對分類結(jié)果進(jìn)行了分析（圖4）。在混淆矩陣中，對角線上的數(shù)字代表分類正確的數(shù)量，其他數(shù)字代表分類錯誤的樣品，顏色越淺，代表模型預(yù)測該類別的數(shù)量越多。從圖中可以看出，模型對健康和潛育期樣品的分類效果較差，但能夠較好地識別出輕度染病樣品和重度染病樣品。對于健康和潛育期樣品而言，LS-SVM 模型相較于其他2 種模型的分類準(zhǔn)確率更高，為85.69%，大量樣品被誤判可能是由于健康與潛育期樣品外觀無明顯差異，且常規(guī)算法無法挖掘光譜中深層的特征信息。對于輕度和重度染病樣品而言，3 種算法的建模結(jié)果較為相似，其中RF 模型的分類準(zhǔn)確率更高，有16 個輕度染病樣品被誤判為潛育期樣品，1 個被誤判為重度染病樣品，可能是由于部分樣品相較于其他輕度染病樣品而言，發(fā)病不明顯，光譜中的特征信息與潛育期樣品接近，常規(guī)模型無法準(zhǔn)確識別造成的，此外個體間差異也會導(dǎo)致誤判；有18 個重度染病樣品被誤判為輕度染病樣品，可能是由于這部分樣品相較于其它重度染病樣品，發(fā)病程度較低，光譜中的特征信息與輕度染病樣品相似造成的。

圖4 不同分類模型的混淆矩陣Fig. 4 Confusion matrix of different classification models

2.4 基于CNN 建模結(jié)果分析

2.4.1 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化的結(jié)果分析 通過上述分析可得，基于FD+SNV 預(yù)處理的建模結(jié)果優(yōu)于其他方法，因此利用FD+SNV 預(yù)處理光譜進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)建模。在模型建立前，需要對卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行優(yōu)化，結(jié)果如圖5 所示。

圖5 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化Fig. 5 Optimization of convolutional neural network structure

隨迭代次數(shù)的增加，loss值逐漸降低，校正集的準(zhǔn)確率逐漸提高，當(dāng)?shù)螖?shù)為70 次時，模型分類效果的變化趨于平穩(wěn)并逐步達(dá)到最大值。采用不同卷積層數(shù)和全連接層數(shù)，模型的損失率和準(zhǔn)確率也會有較大差異，當(dāng)卷積層數(shù)為3，全連接層數(shù)為3時，模型的效果最好，對驗證集樣品的分類準(zhǔn)確率達(dá)93.19%。

2.4.2 學(xué)習(xí)率優(yōu)化的結(jié)果分析 基于上述最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)置了5 組不同學(xué)習(xí)率進(jìn)行建模處理，結(jié)果如圖6 所示?？梢钥闯鲭S著迭代次數(shù)增加，loss值不斷降低，校正集的準(zhǔn)確率不斷提高，當(dāng)?shù)螖?shù)為70 次時，模型分類效果的變化趨于平穩(wěn)并逐步到達(dá)最大值。此外，當(dāng)學(xué)習(xí)率為0.000 5 時，loss值最低，校正集的準(zhǔn)確率最高，將驗證集數(shù)據(jù)代入模型中，分類準(zhǔn)確率為99.70%。

圖6 卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)率優(yōu)化Fig. 6 Optimization of convolution neural network learning rate

為了更直觀地表明卷積神經(jīng)網(wǎng)絡(luò)對不同發(fā)病程度樣品的分類效果，利用混淆矩陣對結(jié)果進(jìn)行分析，如圖7 所示。

圖7 卷積神經(jīng)網(wǎng)絡(luò)的混淆矩陣Fig. 7 Confusion matrix of convolutional neural network

相比常規(guī)算法，CNN 模型可以較好地實現(xiàn)對健康和潛育期樣品的識別，準(zhǔn)確率為99.76%，對于輕度染病樣品，有7 個樣品被誤判為潛育期樣品，1個樣品被誤判為重度染病樣品，可能是由于樣品在染病初期，染病部位的特征不夠明顯，光譜曲線與潛育期樣品相似所導(dǎo)致，此外，個體間差異也可能導(dǎo)致誤判。模型對輕度染病和重度染病樣品的識別率分別為96.67%和99.08%，可能是由于重度發(fā)病的樣品表面病斑面積更大，更易識別。綜上所述，基于FD+SNV 預(yù)處理建立CNN 模型，能夠有效實現(xiàn)對庫爾勒香梨黑斑病潛育期樣品的識別。

3 結(jié)論

本研究基于高光譜成像技術(shù)結(jié)合CNN，實現(xiàn)了對‘庫爾勒’香梨黑斑病潛育期的識別。首先通過對比不同預(yù)處理方式建立的21 種常規(guī)分類模型對樣品的分類效果，確定最適預(yù)處理方法為FD+SNV，最優(yōu)常規(guī)分類模型為LS-SVM?；贔D+SNV 處理光譜建立了CNN 模型，通過對網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)率進(jìn)行優(yōu)化，確定了當(dāng)卷積層數(shù)為3，全連接層數(shù)為3，學(xué)習(xí)率為0.000 5 時，CNN 模型的分類效果最好。與常規(guī)模型對比分析，CNN 的整體分類準(zhǔn)確率為99.70%，對潛育期樣品的分類準(zhǔn)確率為99.76%，分類效果均有明顯地提高。綜上所述，CNN 模型能夠?qū)庾V數(shù)據(jù)的深層信息進(jìn)行挖掘，提高了對‘庫爾勒’香梨黑斑病潛育期樣品的分類精度，可為‘庫爾勒’香梨黑斑病無損快速檢測技術(shù)的發(fā)展提供1 種新方法。