基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測

謝忠紅，徐煥良，黃秋桂，王 培

基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測

謝忠紅，徐煥良※，黃秋桂，王 培

（南京農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，南京 210095）

針對傳統(tǒng)機(jī)器視覺在實(shí)現(xiàn)菠菜新鮮度檢測精度偏低的問題，該文提出了一種基于高光譜和深度學(xué)習(xí)技術(shù)的圓葉菠菜新鮮度識(shí)別新方法。以10 ℃常溫貯存的圓葉菠菜為研究對象，以天為單位，綜合考慮影響菠菜新鮮度的6個(gè)因素：貯藏天數(shù)、外觀、含水率、葉綠素a、葉綠素b和胡蘿卜素，將菠菜劃分為新鮮、次新鮮和腐敗3個(gè)等級(jí)。拍攝菠菜葉片的高光譜圖像，計(jì)算ROI（region of interest）反射率均值后，基于分組精英策略遺傳算法, 結(jié)合2種分組策略，篩選出含6個(gè)波長的組合。定義訓(xùn)練集和測試集合，使用SVM分類器，基于波長對應(yīng)的反射率，分別進(jìn)行基于光譜特性界定菠菜的新鮮度分類試驗(yàn)。找出了識(shí)別率均值最高的3個(gè)波長，分別是389.55、742.325和1 025.662 nm。由于基于光譜特性進(jìn)行菠菜新鮮度檢測時(shí)識(shí)別率偏低。嘗試基于菠菜的高光譜圖像特征進(jìn)一步進(jìn)行菠菜新鮮度識(shí)別研究。從高光譜圖像集中抽取這3個(gè)波長對應(yīng)的菠菜圖像，構(gòu)成菠菜圖像樣本庫（NormImg389、NormImg742、NormImg1 025和NormImg_merge），基于深度學(xué)習(xí)技術(shù)建立菠菜新鮮度識(shí)別模型，對圖像樣本庫中4類圖像進(jìn)行識(shí)別試驗(yàn)，平均識(shí)別準(zhǔn)確率79.69%、68.75%、69.27%和80.99%。而NormImg389測試集識(shí)別正確率接近80%，NormImg_merge測試集識(shí)別正確率最高達(dá)到了80.99%，說明融合3個(gè)波長對應(yīng)的圖像進(jìn)行等級(jí)識(shí)別效果最好。該研究實(shí)現(xiàn)了圓葉菠菜新鮮度的無損檢測，具有實(shí)踐和理論意義。

高光譜; 波長; 算法；分組精英遺傳算法；深度學(xué)習(xí)；新鮮度

0 引 言

蔬菜富含大量的水分、葉綠素、維生素C以及可溶性糖等化學(xué)物質(zhì)是居民膳食中不可或缺的部分。然而采摘后蔬菜體內(nèi)會(huì)發(fā)生一系列生理變化：1）由于葉子的蒸騰作用，葉片會(huì)萎縮、發(fā)黃；2）葉片內(nèi)的含氮物質(zhì)在酶的催化作用下生成硝酸鹽和亞硝酸鹽等物質(zhì)；3）葉綠素含量大幅下降；4）水分的減少加速了蛋白質(zhì)降解并且延遲了蛋白質(zhì)的合成，使得不新鮮的蔬菜可溶性蛋白含量降低。隨著生活水平的提高，人們對蔬菜品質(zhì)提出了越來越高的要求[1-2]。

國內(nèi)外眾多學(xué)者使用高光譜和機(jī)器視覺技術(shù)檢測蔬菜樣本品質(zhì)并取得了極大的成就。Zhang等以20和4 ℃貯藏環(huán)境下的圓葉菠菜為研究對象，葉綠素和胡蘿卜素含量為評價(jià)指標(biāo)，使用隨機(jī)蛙跳法優(yōu)選出了874～1 734 nm范圍的4個(gè)特征波段，分別建立基于全波段和特征波段的PLS預(yù)測模型，后者性能更優(yōu)[3]。Siripatrawan等事先將不同濃度的大腸桿菌接種到圓葉菠菜中，把菌落計(jì)數(shù)作為菠菜細(xì)菌感染程度指標(biāo)，基于400～1 000 nm范圍的高光譜波段，分別建立PCA和人工神經(jīng)網(wǎng)絡(luò)模型，預(yù)測大腸桿菌數(shù)量和分布[4]。Diezma等[5]把菠菜分別置于10和20 ℃環(huán)境中，共劃分3個(gè)新鮮度等級(jí)(A、B、C)，建立基于高光譜的SAM和PLS-DA判別模型。王巧男等以菠菜為研究對象，在4和20 ℃貯藏條件下，找出了最佳的光譜信息新鮮度判別模型SR-ELM，識(shí)別率達(dá)到了100%，同時(shí)分別研究了葉綠素a等化學(xué)成分的預(yù)測模型[6-7]。徐海霞基于菠菜圖像的顏色特征，分別建立了貯藏天數(shù)的近鄰預(yù)測模型和測定葉綠素含量的BP神經(jīng)網(wǎng)絡(luò)模型，取得了較好的效果[8]。

然而針對圓葉波菜的新鮮度檢測，國際上尚未出現(xiàn)公認(rèn)的行業(yè)標(biāo)準(zhǔn)。已有的葉菜新鮮度等級(jí)評判主要以外觀和貯存天數(shù)為評價(jià)指標(biāo)，無法全面揭示菠菜新鮮度；傳統(tǒng)的機(jī)器視覺技術(shù)關(guān)注的可見光波段的圖像，由于信息片面。而基于高光譜技術(shù)的蔬菜新鮮度檢測，才剛剛開始起步，已有的研究的思路主要是建立光譜反射率和新鮮度之間的關(guān)系，而每一次檢測都需要使用高光譜設(shè)備來獲取反射率，這樣成本過高。因此本文嘗試尋找新鮮度和特征頻譜對應(yīng)圖像之間的關(guān)系。

本文以室溫10 ℃常溫貯存圓葉菠菜為研究對象，使用高光譜儀獲取了每片菠菜葉片在373～1 034 nm波長范圍內(nèi)的反射率，使用分組精英選擇策略遺傳優(yōu)選算法和支持向量分類算法，篩選出了可用于菠菜新鮮度分類的3個(gè)波長389.55、742.325和1 025.662 nm。基于深度學(xué)習(xí)技術(shù)建立菠菜新鮮度識(shí)別模型，在圖像樣本庫NormImg389、NormImg742、NormImg1 025和NormImg_merge中進(jìn)行識(shí)別試驗(yàn)，3次試驗(yàn)的平均識(shí)別準(zhǔn)確率79.69%、68.75%、69.27%和80.99%。

1 材料與方法

1.1 測定菠菜化學(xué)組分

隨著菠菜貯存天數(shù)的增加，出現(xiàn)水分脅迫現(xiàn)象，細(xì)胞中的葉綠素、胡蘿卜素不斷被氧化，葉片失水皺縮，呈現(xiàn)衰老狀態(tài)。本次研究測定了與新鮮度相關(guān)的葉綠素、胡蘿卜素、含水率、pH值、硝酸鹽和亞硝酸鹽等化學(xué)成分。

1.1.1 菠菜葉綠素和胡蘿卜素測定

在南京農(nóng)業(yè)大學(xué)生科樓實(shí)驗(yàn)室使用酶標(biāo)儀完成葉綠素、胡蘿卜素含量的測定。連續(xù)5 d每隔24 h測量150～250片菠菜葉子，樣本總量為1 024片。分析圖1可知，1～5 d隨著菠菜保存天數(shù)增長，葉綠素和胡蘿卜素含量總體呈減少趨勢。1～3 d葉綠素b流失速度高于葉綠素a，但是3～5 d后，葉綠素a流失速度高于葉綠素b。而隨著貯藏的時(shí)間增加，葉片表型特征變化也很明顯，前面1～2 d葉子呈綠色，而到了第5天，菠菜葉片表面出現(xiàn)大量的黃色區(qū)域。

圖1 菠菜葉綠素a、b和胡蘿卜素濃度的平均值

1.1.2 含水率測定

根據(jù)GB 5009.3-2010標(biāo)準(zhǔn)中的直接干燥法，測定菠菜葉片中的水分。相對含水率(RMC,relative moisture content)計(jì)算公式（1）計(jì)算RMC值，測量結(jié)果如圖2所示。前4 d，菠菜RMC平均值均高于80%；第5 天，菠菜含水量急劇下降，出現(xiàn)腐敗現(xiàn)象。

試驗(yàn)結(jié)果發(fā)現(xiàn)在室溫10 ℃環(huán)境下連續(xù)放置5 d的菠菜硝酸鹽、亞硝酸鹽質(zhì)之濃度的波動(dòng)范圍為[0.051 4 mg/L，0.074 1 mg/L]，變化不明顯，而pH值均為7幾乎沒變。因此最終考慮了水分、葉綠素a，葉綠素b和胡蘿卜素對菠菜新鮮度的影響。

1.2 菠菜新鮮度評價(jià)指標(biāo)

本次研究將綜合考慮影響菠菜新鮮度的6個(gè)因素：貯藏天數(shù)、外觀、含水率、葉綠素a、葉綠素b和胡蘿卜素。并基于標(biāo)準(zhǔn)差給每個(gè)因素賦予權(quán)值，計(jì)算出葉片的綜合得分，并根據(jù)得分將菠菜劃分新鮮、次新鮮和腐敗3個(gè)等級(jí)。

1.2.1 外觀評分方法

菠菜葉片的外觀評分主觀性大，為此研究中請20位生命科學(xué)專業(yè)的學(xué)生組成感官小組進(jìn)行評價(jià)，挑選了3種與新鮮度密切相關(guān)的外觀性質(zhì)：色澤、形態(tài)、質(zhì)地。評價(jià)標(biāo)準(zhǔn)如表1所示。將菠菜新鮮度由好到差依次為新鮮、次新鮮、腐敗，等級(jí)量化為 3、 2、 1分[5]外觀權(quán)重見表2，專家評定結(jié)果見表3。

表1 菠菜外觀評定標(biāo)準(zhǔn)

表2 二元對比排序法確定的各外觀指標(biāo)的權(quán)重

表3 室溫10 ℃條件下貯存1 d的菠菜葉片的專家評定結(jié)果

當(dāng)以色澤判定表3所示的菠菜新鮮度時(shí)，有20位專家給出3分（新鮮），即色澤得3分的票數(shù)為20，其余類似。則該菠菜的模糊關(guān)系矩陣和外觀綜合評定結(jié)果為

將外觀綜合評定結(jié)果與分值向量相乘，最后可得出該樣本的外觀總得分，即最終評價(jià)得分￠值為:

1.2.2 綜合得分

6個(gè)因素：貯藏天數(shù)、外觀、含水率、葉綠素a、葉綠素b和胡蘿卜素構(gòu)成了一個(gè)得分矩陣。并基于每個(gè)因素的標(biāo)準(zhǔn)差給該因素賦予權(quán)值w，計(jì)算出葉片的綜合得分，并根據(jù)得分將菠菜劃分新鮮、次新鮮和腐敗3個(gè)等級(jí)[9-11]

綜合考慮葉片存儲(chǔ)和得分情況(圖3)，將得分設(shè)置為3個(gè)區(qū)間：[0，0.36]為腐敗，[0.36，0.52]為次新鮮，[0.52，1]為新鮮。

圖3 10 ℃時(shí)1 024片葉子的綜合得分

1.3 光譜數(shù)據(jù)采集

為了獲得噪音小且清晰的圖像，將五鈴光學(xué)生產(chǎn)的高光譜儀（HSI-VNIR-00001）的像距和物距固定為17 mm、0.475 m，而光強(qiáng)設(shè)為200能夠更加清晰地獲取菠菜葉片表面的細(xì)節(jié)。為了配合相機(jī)的采集圖像的速度，載物臺(tái)移動(dòng)速度2.5 mm/s。接著采用白板和黑暗環(huán)境對高光譜儀(圖4a)進(jìn)行校正。圓葉菠菜高光譜圖像采集過程如下：1）每隔24 h選取30～50棵圓葉菠菜樣本，從每棵圓葉菠菜上摘取5片真葉；2）將來自同1棵圓葉菠菜的5片真葉平攤于載物臺(tái)上，啟動(dòng)步進(jìn)電機(jī)，在移動(dòng)過程中掃描圓葉菠菜樣本（避光），拍攝結(jié)束后，載物臺(tái)自載物臺(tái)移動(dòng)速度2.5 mm/s，最大程度地配合相機(jī)的采集速度動(dòng)返回至起點(diǎn)；3）根據(jù)公式(7)計(jì)算出每幅高光譜圖像的反射率。每片菠菜葉片選出感興趣ROI區(qū)域(圖4b)，將ROI區(qū)域反射率的均值作為該菠菜葉片的反射率[12-18]。

式中R表示反射率，、分別表示樣本、白板和黑暗環(huán)境反射強(qiáng)度。

2 分組精英策略實(shí)現(xiàn)特征波長選擇

使用高光譜設(shè)備的波長范圍是[373 nm, 1 033 nm]，以0.5 nm為間隔一共是1 232個(gè)波長。因此必須優(yōu)選出能夠進(jìn)行菠菜新鮮度劃分的波長組合。傳統(tǒng)的遺傳算法（genetic algorithm）具有的收斂速度慢、易早熟等缺陷。因此將搜索空間進(jìn)行分組，在局部區(qū)間內(nèi)尋找最優(yōu)值后，合并每組的尋優(yōu)結(jié)果，這種方法能夠加速收斂[19-20]。

2.1 編碼

2.2 分組

2.2.1 自適應(yīng)分組

為了尋找能夠區(qū)分菠菜新鮮度的波長，本次研究分析菠菜光譜反射率分布情況后，發(fā)現(xiàn)反射率隨著波長的變化呈現(xiàn)先聚攏后發(fā)散或者先發(fā)散再聚攏的特征。因此本文嘗試尋找反射率分布較為聚攏的拐角作為分界點(diǎn)進(jìn)行劃分。具體做法是計(jì)算每個(gè)波長對應(yīng)的最大反射率和最小反射率的差找出了差值最小對應(yīng)的波長，依次為389.55、401.629、742.325、949.939、1 025.662 nm，這些點(diǎn)也就是在這些波長處的反射率的極小值。從理論上講差值越小，說明反射率緊湊，類內(nèi)距離小，區(qū)分度弱。研究中結(jié)合精英策略以這些波長點(diǎn)為分界點(diǎn)進(jìn)行分組，然后在每組中獨(dú)立進(jìn)行遺傳操作，每代適應(yīng)度值最高的波長為精英保留到下一代中，見圖5[23-24]。

圖5 自適應(yīng)分組GGABE算法流程圖

2.2.2 人工分組

人工指定分組法就是根據(jù)經(jīng)驗(yàn)將整個(gè)解空間平均分為組，每組互不干擾地獨(dú)立進(jìn)行編碼、選擇、交叉和遺傳操作。為了尋找較優(yōu)且穩(wěn)定的波長,采用多次進(jìn)行人工分組，找出效果最好的波長組合。分組數(shù)∈[2，20]。

2.3 適應(yīng)度函數(shù)

2.4 結(jié)合人工分組和自適應(yīng)分組進(jìn)行波長篩選試驗(yàn)

首先使用自適應(yīng)分組策略進(jìn)行波長篩選，10次試驗(yàn)后統(tǒng)計(jì)篩選出來的波長如圖6a所示。將出現(xiàn)次數(shù)最少的745.056 nm波長刪除，得到一個(gè)包含5個(gè)波長的集合,={389.55，401.629, 742.325, 949.939, 1 025.662 nm}。

人工分組進(jìn)行波長篩選，將1 232個(gè)波長均勻劃分為組，∈[2，20]，統(tǒng)計(jì)每次分組后使用精英策略篩選出來的波長，結(jié)果如圖6b所示，將出現(xiàn)頻率最高的4個(gè)波長被定義為集合,={389.55,536.365, 742.325,1 025.662}。

圖6 分組策略篩選出的波長出現(xiàn)的頻數(shù)

計(jì)算∪，使用較成熟的分類工具箱libsvm對∪集合中的每個(gè)波長分別進(jìn)行基于光譜特性界定菠菜的新鮮度識(shí)別試驗(yàn)。訓(xùn)練集和測試集各含240個(gè)菠菜樣本。進(jìn)行了10次試驗(yàn)，求取識(shí)別準(zhǔn)確率的均值，結(jié)果如表4所示。分析表4可以發(fā)現(xiàn)389.55, 742.325, 1 025.662 nm對應(yīng)的識(shí)別率最高，因此決定選擇這3個(gè)波長進(jìn)行進(jìn)一步研究。

表4 菠菜新鮮度分類準(zhǔn)確率

3 基于深度學(xué)習(xí)的菠菜新鮮度檢測

3.1 構(gòu)建圖像庫

前面已有的研究是基于菠菜的光譜特性界定菠菜的新鮮度。研究結(jié)果是389.55、742.325、1 025.662 nm 3個(gè)波長對應(yīng)的反射率在進(jìn)行菠菜新鮮度識(shí)別時(shí)準(zhǔn)確率最高，可達(dá)到62.08%，60%和60.42%。很顯然還沒有達(dá)到實(shí)用的要求，因此繼續(xù)嘗試尋找基于菠菜圖像特征的等級(jí)判別方法。

從高光譜圖像集中抽取了3個(gè)波長對應(yīng)的灰度圖像，構(gòu)建img389、img742、img1025和img_merge（3個(gè)波長對應(yīng)圖像融合）圖像數(shù)據(jù)庫（圖7）。對圖像數(shù)據(jù)庫中每幅圖像進(jìn)行背景分割后，將每片葉片圖像歸一化為64×64大小的圖像（圖8），形成于識(shí)別樣本庫：NormImg389、NormImg742、NormImg1025和NormImg_merge。研究中以NormImg_merge作為樣本庫，隨機(jī)選擇80%的圖像樣本作為學(xué)習(xí)樣本集，另外20%的圖像樣本作為測試樣本集。

3.2 搭建深度學(xué)習(xí)網(wǎng)絡(luò)

深度學(xué)習(xí)通過模擬人的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)特征學(xué)習(xí),在處理信號(hào)時(shí)經(jīng)過多層變換描述數(shù)據(jù)特征，從而得到數(shù)據(jù)的解釋[15]。CNN一般包括：輸入層、卷積層、池化層、全連接層、Dropout層和輸出層。研究中搭建的卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)：1個(gè)輸入層，4個(gè)卷積層和池化層組合，1個(gè)全連接層，2個(gè)Dropout層和1個(gè)輸出層（如圖9）[25-27]。

圖8 歸一化后的菠菜葉片的灰度圖像

3.3 網(wǎng)絡(luò)訓(xùn)練及參數(shù)選擇

網(wǎng)絡(luò)的關(guān)鍵參數(shù)weight有多鐘初始化方式，研究中經(jīng)過比較選擇了normal_initializer()函數(shù)，其參數(shù)stddev=0.1。將第3個(gè)卷積層的參數(shù)stddev=0.01，第4個(gè)卷積層的參數(shù)stddev=0.001。

圖9 深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

Fig 9 Deep learning network structure

1)LearnRate

LearnRate越小學(xué)得越仔細(xì)，但速度慢；LearnRate越大學(xué)得越粗糙，但速度快，易造成欠擬合。本次研究首先在[0.000 1, 0.1]區(qū)間中先選擇了0.000 1、0.000 5、0.001、0.005、0.01、0.1 共6個(gè)學(xué)習(xí)率基于訓(xùn)練集進(jìn)行訓(xùn)練，基于測試集進(jìn)行識(shí)別。3次試驗(yàn)的平均訓(xùn)練時(shí)間和平均識(shí)別準(zhǔn)確率結(jié)果如圖10a所示。分析圖10a可發(fā)現(xiàn)LearnRate=0.000 5時(shí)，識(shí)別準(zhǔn)確率最高訓(xùn)練時(shí)間最短。為了進(jìn)一步搜尋到最佳學(xué)習(xí)率，將搜索空間縮小為[0.000 3, 0.000 8]，3次試驗(yàn)的平均訓(xùn)練時(shí)間和識(shí)別準(zhǔn)確率如圖10b所示。分析圖10b可以發(fā)現(xiàn)LearnRate=0.000 6時(shí)，訓(xùn)練時(shí)間最短，識(shí)別準(zhǔn)確率最高[28-30]。

3.4 測試結(jié)果分析

從NormImg389、NormImg742、NormImg1025和NormImg_merg這4個(gè)圖像數(shù)據(jù)庫中隨機(jī)選擇80%的樣本構(gòu)成訓(xùn)練集1，2，3，4，剩下的20%構(gòu)成測試集1,2,3,4。進(jìn)行充分訓(xùn)練后在測試集中進(jìn)行識(shí)別，如圖11展示了某次在訓(xùn)練集中的訓(xùn)練情況和在測試集中的識(shí)別情況。

對比4個(gè)圖像庫的訓(xùn)練情況，可發(fā)現(xiàn)準(zhǔn)確率雖波動(dòng)但總體程提高和收斂趨勢。最終訓(xùn)練準(zhǔn)確率均可達(dá)到100%；4個(gè)圖像庫的測試集最終所能達(dá)到的準(zhǔn)確率并不相同，其中NormImg389和NormImg_merg的測試集最終達(dá)到的準(zhǔn)確率較高，接近80%，其他2個(gè)圖像庫的測試集稍低。

本次研究基于每個(gè)圖像數(shù)據(jù)庫進(jìn)行了3次訓(xùn)練和測試，測試集的識(shí)別準(zhǔn)確率如圖12a和圖12b所示。

分析圖12可以發(fā)現(xiàn)NormImg_merge最高，為80.99%，而NormImg389僅次于NormImg_merge，達(dá)到了79.69%。NormImg742和NormImg1 025的測試準(zhǔn)確率較低。

圖10 搜尋最佳學(xué)習(xí)率的試驗(yàn)結(jié)果

圖11 4個(gè)圖像數(shù)據(jù)庫某次的訓(xùn)練和測試情況

Fig11 Training and testing in 4 image databases

圖12 基于深度學(xué)習(xí)技術(shù)的菠菜等級(jí)識(shí)別試驗(yàn)結(jié)果

Fig 13 Result of spinach grade recognition test based on deep learning technology

4 結(jié) 論

1)由于菠菜高光譜數(shù)據(jù)量巨大，為避免在識(shí)別時(shí)出現(xiàn)維度災(zāi)難，在計(jì)算出菠菜葉片ROI區(qū)域反射率的均值后，本次研究提出了基于分組和精英策略的遺傳算法篩選出能較好地區(qū)分菠菜新鮮度的波長6個(gè)波長，使用SVM分類器，基于6個(gè)波長對應(yīng)的菠菜反射率，分別進(jìn)行基于光譜特性界定菠菜的新鮮度分類試驗(yàn)。找出10次試驗(yàn)識(shí)別率均值最高的3個(gè)波長（389.55、742.325、 1 025.662 nm）。

2）從高光譜圖集中抽取了3個(gè)波長對應(yīng)的菠菜圖像構(gòu)成了圖像樣本庫,基于深度學(xué)習(xí)技術(shù)建立菠菜新鮮度識(shí)別模型，3次試驗(yàn)的平均識(shí)別準(zhǔn)確率分別為79.69%、68.75%、69.27%和80.99%。說明將389.55、742.325和1 025.665 nm對應(yīng)的圖像進(jìn)行融合后進(jìn)行菠菜新鮮度識(shí)別效果最好。

3）葉綠素a、b、胡蘿卜素和水分等指標(biāo)對菠菜新鮮度均有一定的影響，前3者的敏感波段分別為663、645、470 nm，水分的敏感波段為[973,1 662]，本次研究最終篩選的波段為389.55、742.325、1 025.662 nm，雖然沒有與敏感波段重合，但與敏感波段是相關(guān)的。其中1 025.662nm在水的敏感區(qū)間[973, 1 662]中；742.325 nm則距離葉綠素a，葉綠素b的敏感波段比較近；389.55 nm則距離胡蘿卜素的敏感波長較近。

[1] Jung Y J, Padmanabahn A, Hong J H, et al. Consumer freshness perception of spinach samples exposed to different storage conditions[J]. Postharvest Biology and Technology, 2012, 73: 115－121.

[2] 趙習(xí)姮，李哲. 采后蔬菜衰老與抗氧化酶活性的關(guān)系[J]. 生物技術(shù)，2010，20(6)：85－87． Zhao Xiheng, Li Zhe. Relationship between senescence and antioxidative enzymes activities of postharvest vegetables[J]. Biotechnology, 2010, 20(6): 85－87. (in Chinese with English Abstract)

[3] Zhang C, Wang Q, Fei F, et al. Rapid and non-destructive measur-ement of spinach pigments content during storage using hyperspectral imaging with chemometrics[J]. Measure-ment, 2017, 97: 149－155.

[4] Siripatrawan U, Makino Y, Kawagoe Y, et al. Rapid detection ofcontamination in packaged fresh spinach using hyperspectral imaging[J]. Talanta, 2011, 85(1): 276－281.

[5] Diezma B, Lleo L, Roger J M, et al. Examination of the quality of spinach leaves using hyperspectral imaging[J]. Postharvest Biology and Technology, 2013, 85: 8－17.

[6] 王巧男. 基于高光譜成像技術(shù)的蔬菜新鮮度快速檢測方法研究[D]. 杭州: 浙江大學(xué)2015．Wang Qiaonan.Rapid Detection Vegetable Freshness based on Hyperspectral Imaging Technology[D]. Hangzhou: Zhejiang University, 2015. (in Chinese with English Abstract)

[7] 朱軍偉. 菠菜低溫保鮮關(guān)鍵技術(shù)的研究[D]. 上海：上海海洋大學(xué)，2013. Zhu Junwei. Research on Key Technologies of Low Temperature Preservation of Spinach[D]. Shanghai: Shanghai Ocean University, 2013. (in Chinese with English Abstract)

[8] 徐海霞. 基于機(jī)器視覺和電子鼻技術(shù)的菠菜新鮮度無損檢測研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2016． Xu Haixia.Study on Nondestructive Detection of Freshness of Post-harvest Spinach Based on Machine Vision and Electronic Nose[D]. Zhenjiang: Jiangsu University, 2016. (in Chinese with English Abstract)

[9] 王浩云,李亦白,張煜卓,等. 基于光子傳輸模擬的蘋果品質(zhì)高光譜檢測源探位置研究[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(4): 281－289 Wang Haoyun, Li Yibai, Zhang Yuzhuo, et al. Research on hyperspectral light and probe source location on apple for quality detection based on photon transmission simulation[J]. Transactions of the Chinese Society of Agricultural Engin-eering (Transactions of the CSAE), 2019, 35(4): 281－289

[10] Ye X J, Lino K, Zhang S. Monitoring of bacterial contamination on chicken meat surface using a novel narrowband spectral index derived from hyperspectral imagery data[J]. Meat Science, 2016, 122: 25－31.

[11] Kim C, Govindarajan K N. Optical scattering in beef steak to predict tenderness using hyperspectral imaging in the VIS-NIR region[J]. Sensing and Instrumentation for Food Quality and Safety, 2008, 2(3): 189－196

[12] 譚亮. 基于內(nèi)容的中草藥圖像檢索關(guān)鍵技術(shù)研究[D]. 杭州：浙江大學(xué)，2016 Tan Liang. Key Technology Research of Content-based Chinese Herbal Medicine Image Search[J]. Hangzhou: Zhejiang University, 2016. (in Chinese with English Abstract)

[13] 吳迪，寧紀(jì)鋒，劉旭, 等. 基于高光譜成像技術(shù)和連續(xù)投影算法檢測葡萄果皮花色苷含量[J]. 食品科學(xué)，2014(8)：57－61 Wu Di, Ning Jifeng, Liu Xu, et al. Determination of anthocyanin content in grape skin using hyperspectral imaging technique and successive projections algorithm[J]. Food Science, 2014(8): 57－61. (in Chinese with English Abstract)

[14] 祝志慧，劉婷，馬美湖. 基于高光譜信息融合和相關(guān)向量機(jī)的種蛋無損檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(15)：285－292 Zhu Zhihui, Liu Ting, Ma Meihu. Hatching eggs nondestructive detection based on hyperspectral-imaging information and RVM[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 285－292. (in Chinese with English Abstract)

[15] 潘磊慶，張偉，于敏莉, 等. 基于高光譜圖像的雞種蛋孵化早期胚胎性別鑒定[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(1)：181－186． Pan Leiqing, Zhang Wei, Yu Minli, et al. Gender determination of early chicken hatching eggs embryos by hyperspectral imaging[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016 , 32 (1): 181－186. (in Chinese with English Abstract)

[16] 尚任，黑保琴，李盛陽, 等. 長時(shí)序高光譜圖像清晰度影響因素分析[J]. 中國圖象圖形學(xué)報(bào)，2016，21(5)：665－673． Shang Ren, Hei Baoqin, Li Shengyang, et al. Analysis of factors influencing clarity of hyper spectral images in long time series[J]. Journal of Image and Graphics, 2016, 21(5): 665－673.

[17] 方帥，瞿成佳，楊學(xué)志, 等. 組合因子最優(yōu)的線性預(yù)測波段選擇[J]. 中國圖象圖形學(xué)報(bào)，2016，21(2)：255－262． Fang Shuai, Qu Chengjia, Yan Xuezhi, et al. Linear prediction band selection based on optimal combination factors[J]. Journal of Image and Graphics, 2016, 21(2): 255－262. (in Chinese with English Abstract)

[18] 石慧. 基于高光譜成像技術(shù)的對蝦品質(zhì)信息快速檢測方法研究[D]. 杭州：浙江大學(xué)，2013. Shi Hui. Research on Rapid and Non-invasive Determination for Quality of Fenneropenaeus Chinensis Based on Hyperspectral Imaging Technology[D]. Hangzhou: Zhejiang University, 2013. (in Chinese with English Abstract)

[19] 王峰，曼媛，段俊潔. 一種改進(jìn)的求解前N條最短路徑問題的多種標(biāo)號(hào)算法[J]. 小型微型計(jì)算機(jī)系統(tǒng). 2016，37(7)：1482－1487. Wang Feng, Man Yuan, Duan Junjie. Improved multiple labels algorithm for solving the N-shortest paths problem[J]. Journal of Chinese Computer Systems. 2016, 37(7): 1482－1487. (in Chinese with English Abstract)

[20] 岳欽，馮珊. 粗粒度并行遺傳算法的計(jì)算性能分析[J]. 武漢理工大學(xué)學(xué)報(bào)，2008，30(7)：107－110 Yue Qin, Feng Shan. The Statistical Analyses for Computational Performance of the Genetic Algorithms[J]. Chinese Journal of Computers 2008, 30(7): 107－110. (in Chinese with English Abstract)

[21] Tsai C, Huang H, Chan C. Parallel elite genetic algorithm and its application to global path planning for autonomous robot navigation[J]. IEEE Transactions on Industrial Electronics, 2011, 58(10): 4813－4821

[22] 羅熊，樊曉平，易晟，等. 具有大量不規(guī)則障礙物的環(huán)境下機(jī)器人路徑規(guī)劃的一種新型遺傳算法[J]. 機(jī)器人，2004，26(1)：11－16 Luo Xiong, Fan Xiaoping, Yi Sheng, et al. A novel genetic algorithm for robot path planning in environment containing large numbers of irregular obstacles[J]. Robot, 2004, 26(1): 11－16. (in Chinese with English Abstract)

[23] 莊嘉祥. 精英策略遺傳算法改進(jìn)及在作物模型參數(shù)優(yōu)化的應(yīng)用[D]. 南京：南京農(nóng)業(yè)大學(xué), 2013 Zhuang Jiaxiang. Improved Genetic Algorithm Based on Elitist Strategy and its Application in Parameter Optimization of Crop Models[D]. Nanjing: Nanjing Agricultural Univer-sity, 2013. (in Chinese with English Abstract)

[24] 謝忠紅，王培，顧寶興，等. 基于分組和精英策略的遺傳算法在機(jī)器人導(dǎo)航上的應(yīng)用[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2017，38(5)：110－116 Xie Zhonghong, Wang Pei, Gu Baoxing, et al. Application of genetic algorithm based on group and elite strategy for robot navigation[J]. Jounal of South China Agricultural University, 2017，38(5): 110－116. (in Chinese with English Abstract)

[25] 尹寶才，王文通，王立春. 深度學(xué)習(xí)研究綜述[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2015，41(1)：48－49. Yin Baocai, Wang Wentong, Wang Lichun. Review of deep learning[J]. Jounal of Beijing university of technology, 2015，419(1): 48－49. (in Chinese with English Abstract)

[26] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks[C]// European Conference on Computer Vision. Springer, Cham, 2014: 818－833.

[27] 姜新猛. 基于Tensorflow的卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究[D].武漢：華中師范大學(xué)，2017. Jiang Xinmeng. Application and Research of Convolution Neural Network Based on Tensorflow[D]. Wuhan: Central China Normal University, 2017. (in Chinese with English Abstract)

[28] 蔣文斌，彭晶，葉閣焰. 深度學(xué)習(xí)紫石英學(xué)習(xí)率算法研究[J]. 華中科技大學(xué)學(xué)報(bào)，2019，47(5)：79－83. Jiang Wenbin, Peng Jing, Ye Geyan. Research on adaptive learning rate algorithm in deep learning[J]. Journal of Huazhong University of Science and Technology, 2019, 47(5): 79－83. (in Chinese with English Abstract)

[29] 王獻(xiàn)鋒，張傳雷，張善文，等. 基于自適應(yīng)判別深度置信網(wǎng)絡(luò)的棉花病蟲害預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(14)：157－163. Wang Xianfeng, Zhang Chuanlei, Zhang Shanwen, et al .Forecasting of cotton diseases and pests based on adaptive discriminant deep belief network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 157－164. (in Chinese with English Abstract)

[30] 孫鈺，周焱，袁明帥，等. 基于深度學(xué)習(xí)的森林蟲害無人機(jī)實(shí)時(shí)監(jiān)測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：74－79. Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74－81. (in Chinese with English Abstract)

Spinach freshness detection based on hyperspectral image and deep learning method

Xie Zhonghong, Xu Huanliang※, Huang Qiugui, Wang Pei

(,210095,)

Aiming at the problem that the traditional machine vision has low discrimination accuracy when realizing the fresh level recognition of spinach, A new method for fresh grade recognition of spinach based on hyperspectral and deep learning was conducted in this study. Round leaf spinach stored in room temperature 10oC on a daily basis was regarded as research objects. The spinach was divided into three grades of fresh, relatively fresh and corruption according to the score calculated by considering 6 factors: fresh spinach days of storage, appearance, water content, chlorophyll a, chlorophyll b, and carotenoids. After 6 ROI areas was obtained from the hyperspectral image of spinach leaves shot with high spectrum imaging instrument, the mean reflectance of ROI region was calculated. Based on the grouping elite strategy genetic algorithm, an adaptive grouping strategy was used to screen out a set of wavelengths A, A={389.55 nm, 401.629 nm, 742.325 nm, 949.939 nm, 1 025.662 nm}. Then the artificial grouping strategy was also used for wavelength screening. The number of statistical groups was the wavelength selected by n = 1, 2, 3...n, and the four frequencies with the highest frequency were placed in the set B, B={389.55 nm, 536.365 nm, 742.325 nm, 1 025.662 nm }. The six wavelengths in the A∪B set were combined as the final selected wavelengths, and these wavelengths were better able to identify the fresh grade of spinach. Define training set R and test set T, R and T each containing 240 spinach samples. Using the SVM classifier, based on the spine reflectance corresponding to the six wavelengths, a fresh grade classification test based on the spectral characteristics to define spinach was separately performed. After 10 trials, the mean value of recognition accuracy was obtained, and the three wavelengths with the highest recognition rate were found, which were 389.55, 742.325 and 1 025.662 nm, respectively. The corresponding recognition rates were 62.08%, 60.00% and 60.42%, respectively. This indicated that the recognition rate of spinach fresh grade was low based on spectral characteristics. In addition to the spectral properties, spinach's hyperspectral image also contains rich image information corresponding to all wavelengths, so further spine fresh grade recognition based on image features can be performed. The spinach images corresponding to the three wavelengths extracted from the hyperspectral image set constituted an image sample library. Based on the deep learning technology, the spine fresh grade recognition model was established. The recognition experiments were carried out on four types of images (NormImg389、NormImg742、NormImg1 025和NormImg_merge) in the image sample library. The average recognition accuracy of the three experiments was 79.69%, 68.75%, 69.27% and 80.99%. The NormImg389 and NormImg_merge test sets had higher recognition rates, which were close to 80%. The image recognition rate of spinach in NormImg_merge was up to 80.99%, which indicated that when the spinach fresh level recognition was performed, the images corresponding to the three wavelengths were merged. Identifying can get the best classification results. This study achieved the non-destructive testing of the fresh grade of round leaf spinach, and the research results provided quality assurance for industrial processing and marketing, which has practical and theoretical significance.

hyperspectral; wavelength; algorithm; grouped elite genetic screening; deep learning; freshness

10.11975/j.issn.1002-6819.2019.13.033

TP242

A

1002-6819(2019)-13-0277-08

2019-03-01

2019-05-28

中央高?；緲I(yè)務(wù)費(fèi)(KYZ201670); 國家自然科學(xué)基金(31601545)

謝忠紅，博士，副教授，研究方向?yàn)檗r(nóng)業(yè)機(jī)器視覺，農(nóng)業(yè)信息技術(shù)。Email：xiezh@njau.edu.cn

徐煥良，教授，博士生導(dǎo)師，研究方向?yàn)槁?lián)網(wǎng)技術(shù)及應(yīng)用、數(shù)據(jù)庫與知識(shí)工程、軟件工程、計(jì)算機(jī)輔助農(nóng)業(yè)系統(tǒng)。Email：huanliangxu@njau.edu.cn

謝忠紅，徐煥良，黃秋桂，王 培.基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：277－284. doi：10.11975/j.issn.1002-6819.2019.13.033 http://www.tcsae.org

Xie Zhonghong, Xu Huanliang, Huang Qiugui, Wang Pei.Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277－284. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.13.033 http://www.tcsae.org