基于GADF變換和多尺度CNN的哈密瓜表面農(nóng)藥殘留可見-近紅外光譜判別方法

喻國威，馬本學(xué),2*，陳金成,3，黨富民，李小占，李 聰，王 剛

1. 石河子大學(xué)機械電氣工程學(xué)院，新疆 石河子 832003 2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點實驗室，新疆 石河子 832003 3. 新疆農(nóng)墾科學(xué)院機械裝備研究所，新疆 石河子 832000 4. 農(nóng)業(yè)部食品質(zhì)量監(jiān)督檢驗測試中心(石河子)，新疆 石河子 832000 5. 新疆農(nóng)墾科學(xué)院分析測試中心，新疆 石河子 832000

引 言

哈密瓜風(fēng)味濃郁，香甜爽口，是新疆“名優(yōu)特”水果之一。哈密瓜在種植期間易遭受白粉病、葉枯病、枯萎病、蚜蟲等病蟲害的侵染，常使用化學(xué)農(nóng)藥進行防治。但是瓜農(nóng)對使用農(nóng)藥的種類、濃度、頻率以及最佳防治時期的選擇等主要憑借經(jīng)驗判斷、跟隨模仿，缺乏科學(xué)使用農(nóng)藥的相關(guān)理念及技術(shù)，使得哈密瓜的農(nóng)藥殘留問題日益嚴(yán)重[1]。果蔬農(nóng)藥殘留的化學(xué)檢測方法主要有氣相色譜法(gas chromatography，GC)、高效液相色譜法(high performance liquid chromatography，HPLC)、氣相色譜-質(zhì)譜聯(lián)用法(gas chromatography-mass spectrometry，GC-MS)和液相色譜-質(zhì)譜聯(lián)用法(liquid chromatography-mass spectrometry，LC-MS)等，檢測精度和靈敏度較高，但設(shè)備體積較大、成本較高、操作復(fù)雜且具有破壞性，無法滿足生產(chǎn)現(xiàn)場快速檢測的需要[2]。可見-近紅外(visible-near infrared，Vis-NIR)光譜技術(shù)所需設(shè)備體積較小，便于攜帶，不僅可實現(xiàn)果蔬品質(zhì)快速無損檢測，并且在果蔬農(nóng)藥殘留無損檢測方面具有較大潛力，如Zhang等[3]實現(xiàn)了冬棗表面不同梯度毒死蜱殘留檢測，Sun等[4]提出了對生菜表面氰戊菊酯和毒死蜱殘留的鑒別方法，Yazici等[5]探索了草莓農(nóng)藥殘留水平檢測的可行性等。

目前，可見-近紅外光譜解析常利用特定的預(yù)處理和特征變量篩選方法去除噪音和無關(guān)變量，這些方法雖然提高了模型精度，但是增加了模型復(fù)雜度，降低了普適性。深度學(xué)習(xí)算法減少了原始數(shù)據(jù)對預(yù)處理和特征篩選的依賴，可自動提取特征，為光譜數(shù)據(jù)解析提供了新理解[6]。Zhang等[7]提出一種端到端的深度光譜模型，可實現(xiàn)玉米、藥片、小麥和土壤的可見-近紅外光譜定量分析。Zhang等[8]提出一種含有全局平均池化層的一維卷積神經(jīng)網(wǎng)絡(luò)(one-dimensional convolutional neural network，1D-CNN)模型用于大腸桿菌和肉類的中紅外光譜分析。Wu等[9]利用深度信念網(wǎng)絡(luò)(deep belief network，DBN)實現(xiàn)了生菜兩種農(nóng)藥殘留近紅外透射光譜的定性判別，測試準(zhǔn)確率達到95%。

根據(jù)國家標(biāo)準(zhǔn)GB 2763—2021[10]，選擇哈密瓜種植期間常用的2種農(nóng)藥(百菌清和吡蟲啉)為研究對象。利用格拉姆角場(gramian angular fields, GAF)將哈密瓜表面農(nóng)藥殘留的可見-近紅外光譜信息映射于二維圖像中，設(shè)計一種具有Inception結(jié)構(gòu)的二維卷積神經(jīng)網(wǎng)絡(luò)(two-dimensional convolutional neural network，2D-CNN)模型融合多尺度深度特征，提高模型精度。利用GAF變換和多尺度CNN模型實現(xiàn)哈密瓜表面農(nóng)藥殘留的無損鑒別，為可見-近紅外光譜數(shù)據(jù)處理提供一種新理解，為大型瓜果表面農(nóng)藥殘留的無損檢測提供一種新思路。

1 實驗部分

1.1 材料和樣本

試驗所用90個哈密瓜(西州蜜25號)樣本均購買于石河子市農(nóng)貿(mào)市場，百菌清(劑型： 可濕性粉劑，有效成分含量： 75%，山東百農(nóng)思達生物科技有限公司)和吡蟲啉(劑型： 可濕性粉劑，有效成分含量： 70%，山東海訊科技有限公司)均購買于石河子市農(nóng)資市場。將90個哈密瓜平均分為3組，每組30個。將2種農(nóng)藥按有效成分含量分別與清水按照1∶1 000的比例配置農(nóng)藥溶液，配置方案為(1)1 g百菌清、750 g清水，(2)1 g吡蟲啉、700 g清水。將配置好的百菌清和吡蟲啉溶液分別均勻噴灑在兩組哈密瓜表面，記為A組、B組。此外，為同時鑒別哈密瓜表面是否含有農(nóng)藥殘留，將清水均勻噴灑在哈密瓜表面作為對照組，記為C組。最后，將制備好的樣本置于室內(nèi)干燥通風(fēng)處10 h后，進行光譜數(shù)據(jù)采集。

1.2 儀器與數(shù)據(jù)采集

可見-近紅外光譜采集系統(tǒng)主要由光譜儀(QE Pro-FL，Ocean Optics，USA)、光纖探頭(QP600-2-VIS-NIROOS-00-5172-11，Ocean Optics，USA)、鹵素?zé)艄庠?20 W，12 V，飛利浦照明)、載物臺和計算機構(gòu)成，如圖1所示。光譜儀波長范圍為347.65～1 142.05 nm，分辨率為0.69 nm，信噪比為1 000∶1。鹵素?zé)艄庠捶植荚诎迪鋬蓚?cè)，照明角度約為60°。

圖1 可見-近紅外光譜采集系統(tǒng)Fig.1 Vis-NIR spectra collection system

光譜采集設(shè)置為漫反射模式，每次采集1 044個光譜數(shù)據(jù)。積分時間100 ms，移動平均寬度設(shè)置為4，平均掃描10次。光纖探針距離哈密瓜表面約為3 cm。為了降低噪聲的影響，光譜儀在測量前進行黑白校正。為增加光譜數(shù)據(jù)，每個哈密瓜沿赤道方向設(shè)置4個光譜采集點(相互間隔約90°)，每個采集點重復(fù)采集2次，取其平均為該采集點的光譜數(shù)據(jù)。最終，每個哈密瓜采集4條光譜，90個哈密瓜共采集360條光譜。

1.3 GAF變換

格拉姆角場(GAF)包括格拉姆角和場(gramian angular summation fields，GASF)和格拉姆角差場(gramian angular difference fields，GADF)，可以將一維數(shù)據(jù)轉(zhuǎn)換為二維圖像。本研究將GAF變換應(yīng)用于光譜數(shù)據(jù)處理，將光譜數(shù)據(jù)轉(zhuǎn)換為圖像后，輸入卷積神經(jīng)網(wǎng)絡(luò)進行分類。GAF變換具體操作步驟[11]： 首先，將光譜反射率x，縮放至區(qū)間[-1, 1]，記為X，如式(1)所示。計算縮放后光譜反射率的反余弦值，形成新的光譜序列φ，如式(2)所示。轉(zhuǎn)換后的光譜序列通過三角和/差關(guān)系進行GASF/GADF變換，轉(zhuǎn)換為沿對角線對稱的二維彩色圖像。GASF/GADF變換如式(3)和式(4)所示。

(1)

φi=cos-1Xi,i=1, 2, …, 1 044

(2)

(3)

(4)

式中，x為1 044個波長下光譜反射率的集合；xi為第i個波長下的光譜反射率，xi∈[0, 100]；Xi為區(qū)間縮放后第i個波長下的光譜反射率，Xi∈[-1, 1]；φi為第i個波長下區(qū)間縮放后光譜反射率的反余弦值，φi∈[0, π]；n為光譜波段數(shù)，n∈[1, 1 044]且n∈N+。

1.4 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計

設(shè)計了一種包含Inception結(jié)構(gòu)[13]的多尺度卷積神經(jīng)網(wǎng)絡(luò)模型，包括1層輸入層(input layer，Input)，3層卷積層(convolution layer，Conv)，1層級聯(lián)融合層(concatenate merginglayer，C-M)，1層平坦層(flatten，f)、2層全連接層(fully-connected layer，F(xiàn))和1層輸出層(Output layer，Output)，如圖2所示。模型的輸入為3通道的100像素×100像素的GAF圖像，輸出為哈密瓜表面農(nóng)藥殘留類別的預(yù)測概率。Conv1層使用32個尺寸為3×3的卷積內(nèi)核進行低層次特征的提取，滑動步幅(stride)為2。Conv2層利用并行的2個卷積模塊(16個尺寸為1×1的卷積內(nèi)核)和1個最大池化模塊(內(nèi)核尺寸為3×3)進行特征降維，加快訓(xùn)練速度。Conv3層利用3種不同尺寸(1×1，3×3和5×5)的卷積內(nèi)核提取多尺度深度特征。C-M層采用級聯(lián)融合的方式，將Conv3層提取的3種不同尺度的深度特征沿著深度維度進行合并(寬度和高度不變)，實現(xiàn)多尺度深度特征融合，如式(5)所示。f層將多維特征一維化后，輸入全連接層。F1層的神經(jīng)元個數(shù)為256，F(xiàn)2層的神經(jīng)元個數(shù)為3。

圖2 多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The multi-scale CNN structure

v=(v1,v2,v3)

(5)

式(5)中，v1,v2,v3為經(jīng)并行卷積操作后提取的3個深度維度的特征向量，v1∈Rl，v2∈Rm，v3∈Rn；v為深度維度的融合特征向量，v∈Rl+m+n。

卷積和池化操作的填充模式(padding)均為same，即利用零填充使網(wǎng)絡(luò)層的輸出與輸入具有相同的空間尺寸。選擇線性整流單元(rectified linear unit，ReLU)作為卷積層和全連接層的激活函數(shù)，softmax函數(shù)作為分類激活函數(shù)，多分類交叉熵函數(shù)(categorical crossentropy)作為損失函數(shù)。全連接層后添加Dropout層，Dropout率為0.2，防止模型過擬合。選擇隨機梯度下降(stochastic gradient descent，SGD)優(yōu)化器對模型的訓(xùn)練過程進行優(yōu)化，利用牛頓動量優(yōu)化算法加速梯度下降并抑制震蕩，每次參數(shù)更新后學(xué)習(xí)率衰減參數(shù)(decay)為1×10-6，動量參數(shù)(momentum)為0.7。

1.5 實驗環(huán)境

硬件環(huán)境： 處理器(CPU)為Intel (R) Core (TM) I7-8700 CPU @ 3.20 GHz，圖形處理器(GPU)為NVIDIA GeForce RTX2060。軟件環(huán)境： 操作系統(tǒng)為Windows10 64位，配置NVIDIA CUDA Toolkit 10.1和深度神經(jīng)網(wǎng)絡(luò)加速庫NVIDIA cuDNNv7.6.5，編程語言為Python 3.7.3，深度學(xué)習(xí)框架為TensorFlow-gpu 2.1.0，深度學(xué)習(xí)庫為Keras 2.3.1。

2 結(jié)果與討論

2.1 光譜分析

哈密瓜表面農(nóng)藥殘留的原始光譜和平均光譜曲線如圖3所示。從圖3(a)中可以看出，不同農(nóng)藥殘留的可見-近紅外光譜反射率不同，但變化趨勢相似。其中，420及670～680 nm附近的光譜吸收峰可能與葉綠素有關(guān)； 830～840 nm附近存在較弱的吸收峰，可能是C—H基團的三級倍頻吸收特征； 960～980 nm附近吸收峰與哈密瓜表皮水分含量有關(guān)，可能是O—H基團的二級倍頻吸收特性[13-14]。從圖3(b)中可以看出，哈密瓜表面無農(nóng)藥殘留的平均光譜反射率最高，兩種農(nóng)藥殘留的平均光譜曲線在750 nm后差異較為明顯。

圖3 哈密瓜表面農(nóng)藥殘留的可見-近紅外光譜(a)： 原始光譜； (b)： 平均光譜Fig.3 Vis-NIR spectra of pesticide residues on the Hami melon surface(a)： Raw spectra； (b)： Average spectra

為消除原始光譜中的噪聲，采用標(biāo)準(zhǔn)化方法對光譜數(shù)據(jù)進行預(yù)處理，使其均值為0，方差為1。然后，利用GAF變換將一維光譜數(shù)據(jù)轉(zhuǎn)換為二維圖像，尺寸為100像素×100像素，分辨率為300 dpi。經(jīng)標(biāo)準(zhǔn)化預(yù)處理的無農(nóng)藥殘留、百菌清和吡蟲啉殘留平均光譜曲線，如圖4(a1)，(b1)和(c1)所示； 對應(yīng)的GASF圖像，如圖4(a2)，(b2)和(c2)所示； 對應(yīng)的GADF圖像，如圖4(a3)，(b3)和(c3)所示。GASF與GADF圖像通過顏色變化和交匯，將一維光譜信息映射在二維圖像中。不同農(nóng)藥殘留的GAF圖像顏色特征存在差異，為利用GAF變換和2D-CNN模型實現(xiàn)哈密瓜表面農(nóng)藥殘留的無損判別提供了依據(jù)。

圖4 可見-近紅外光譜的GAF圖像(a1, a2, a3)： 無殘留； (b1, b2, b3)： 百菌清殘留； (c1, c2, c3)： 吡蟲啉殘留(1)： 標(biāo)準(zhǔn)化； (2)： 格拉姆角和場； (3)： 格拉姆角差場Fig.4 GAF image of Vis-NIR spectra(a1, a2, a3)： No residues； (b1, b2, b3)： Chlorothalonil residues； (c1, c2, c3)： Imidacloprid residues；(1)： Standardization； (2)： GASF； (3)： GADF

2.2 多尺度CNN模型結(jié)果及分析

將哈密瓜表面無殘留、百菌清和吡蟲啉殘留的GAF圖像數(shù)據(jù)集按5∶1的比例劃分為訓(xùn)練集和測試集，訓(xùn)練集共300張圖像，測試集共60張圖像，標(biāo)簽1為無殘留，標(biāo)簽2為百菌清殘留，標(biāo)簽3為吡蟲啉殘留。模型訓(xùn)練的學(xué)習(xí)率(learningrate)為0.005，批量大小(batchsize)為32，迭代次數(shù)(epoch)為80。模型性能利用損失值(Loss)和準(zhǔn)確率(Accuracy)指標(biāo)進行評價。GASF和GADF圖像的多尺度CNN模型訓(xùn)練結(jié)果如圖5(a)和(b)所示。從圖5可以看出，當(dāng)準(zhǔn)確率曲線逐步上升并趨于穩(wěn)定和損失值逐步下降并趨于穩(wěn)定時，GASF圖像的訓(xùn)練集損失值和準(zhǔn)確率分別為0.011和100.00%，GADF圖像的訓(xùn)練集損失值和準(zhǔn)確率分別為0.007和100.00%，故模型的訓(xùn)練效果較好。

圖5 多尺度CNN模型訓(xùn)練結(jié)果(a)： 格拉姆角和場； (b)： 格拉姆角差場Fig.5 The training results of the multi-scale CNN model(a)： GASF； (b)： GADF

為進一步評估模型性能，選用訓(xùn)練數(shù)據(jù)集外的60張圖像作為測試集對模型進行測試。利用混淆矩陣(confusion matrix)可以直觀地看出多尺度CNN模型對測試集中各個類別樣本的預(yù)測結(jié)果，如圖6所示。矩陣的每一列代表樣本的預(yù)測類別，每一行代表樣本的真實類別，對角線代表每個類別被正確預(yù)測的樣本數(shù)量。由圖6(a)可以看出，無殘留、百菌清和吡蟲啉殘留中均有樣本被誤判為其他類別，說明3類樣本的GASF圖像特征較為相似。圖6(b)中3類樣本的判別效果較好，不僅沒有無殘留樣本被誤判為農(nóng)藥殘留，而且沒有農(nóng)藥殘留樣本被誤判為無殘留，說明3種類別的GADF圖像特征差異較為明顯。結(jié)果表明，利用GADF數(shù)據(jù)轉(zhuǎn)換方法和多尺度CNN模型對哈密瓜表面農(nóng)藥殘留種類判別的準(zhǔn)確率較高，因此后續(xù)不同CNN模型性能對比試驗采用GADF圖像作為模型輸入。

圖6 多尺度CNN模型混淆矩陣(a)： 格拉姆角和場； (b)： 格拉姆角差場Fig.6 The confusion matrixof the multi-scale CNN model(a)： GASF； (b)： GADF

2.3 模型性能對比

為驗證本研究提出的GADF變換和多尺度CNN模型的有效性，選擇AlexNet和VGG-16兩種CNN模型以及支持向量機(support vector machine，SVM)和極限學(xué)習(xí)機(extreme learning machine，ELM)兩種機器學(xué)習(xí)分類模型進行性能對比。CNN模型均選擇SGD算法對訓(xùn)練過程進行優(yōu)化。SVM模型采用徑向基函數(shù)為核函數(shù)，并利用遺傳算法對超參數(shù)進行尋優(yōu)，最終懲罰系數(shù)c和核參數(shù)gamma分別設(shè)置為5.36和0.11。ELM模型隱含層神經(jīng)元個數(shù)為6500，傳遞函數(shù)為Sigmoid。AlexNet模型的學(xué)習(xí)率為0.005，批量大小為64，迭代次數(shù)為200。VGG-16模型的學(xué)習(xí)率為0.001，批量大小為64，迭代次數(shù)為300。AlexNet和VGG-16模型的輸入為二維GADF圖像，SVM和ELM模型的輸入為一維光譜數(shù)據(jù)，模型測試結(jié)果如表1所示。

由表1可以看出，CNN模型對于無殘留樣本的判別效果較好，沒有1個無殘留樣本被誤判，SVM和ELM模型在3個類別中均有誤判樣本，綜合準(zhǔn)確率較低。結(jié)果表明，可見-近紅外光譜GADF變換結(jié)合CNN模型在哈密瓜表面有無農(nóng)藥殘留判別中具有較大潛力。3種CNN模型的訓(xùn)練準(zhǔn)確率均為100.00%，其中多尺度CNN模型訓(xùn)練耗時最短為14 s，AlexNet模型訓(xùn)練耗時稍長為25 s，VGG-16模型訓(xùn)練耗時最長為247 s。AlexNet和VGG-16模型的網(wǎng)絡(luò)架構(gòu)較深，雖然提高了模型的學(xué)習(xí)能力，但是增加了模型復(fù)雜度，訓(xùn)練耗費的時間較長，較多的池化層也增加了信息丟失的風(fēng)險。多尺度CNN中的Inception結(jié)構(gòu)引入并行卷積通道，并沿深度方向進行特征融合，提高了模型的特征提取能力； 組合小尺寸卷積內(nèi)核，降低了信息丟失的風(fēng)險； 在深度方向?qū)崿F(xiàn)多尺度特征融合，提高了模型的特征提取能力[8]。不同分類模型測試性能結(jié)果表明，多尺度CNN模型比傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)模型更具有優(yōu)勢，利用可見-近紅外光譜GADF變換結(jié)合多尺度CNN模型對哈密瓜表面農(nóng)藥殘留種類判別的效果較好，綜合判別準(zhǔn)確率為98.33%。

表1 不同分類模型測試性能對比Table 1 Test performance comparisons of different classification models

3 結(jié) 論

提出一種基于可見-近紅外光譜GADF變換和多尺度CNN模型的哈密瓜表面農(nóng)藥殘留定性判別方法。利用GAF變換將一維可見-近紅外光譜信息轉(zhuǎn)換為二維彩色圖像，構(gòu)建哈密瓜表面農(nóng)藥殘留可見-近紅外光譜的GAF圖像數(shù)據(jù)集，包括無殘留、百菌清和吡蟲啉殘留。設(shè)計一種包含Inception結(jié)構(gòu)的多尺度CNN模型，利用并行卷積模塊獲取多尺度深度特征，沿著深度方向進行特征融合，提升模型的特征提取能力。模型測試混淆矩陣結(jié)果表明，GADF變換對可見-近紅外光譜特征的表達能力優(yōu)于GASF變換。不同分類模型測試結(jié)果表明，CNN模型的判別效果均優(yōu)于SVM和ELM模型，其中多尺度CNN模型性能最佳，訓(xùn)練耗時最短為14 s，訓(xùn)練集和測試集準(zhǔn)確率分別為100.00%和98.33%。與傳統(tǒng)單一深度的CNN模型相比，多尺度特征融合結(jié)構(gòu)使模型輕量化的同時保證了模型的精度。今后的研究中，將進一步擴充哈密瓜表面農(nóng)藥殘留的可見-近紅外光譜數(shù)據(jù)集，提高多尺度CNN模型的泛化能力，實現(xiàn)多種類混合農(nóng)藥的精確判別。

致謝：感謝石河子大學(xué)機械電氣工程學(xué)院波譜分析實驗室的董萬城老師和新疆農(nóng)墾科學(xué)院分析測試中心唐宗貴、李會會老師在實驗過程中提供的指導(dǎo)和幫助。