融合高光譜圖像技術(shù)與MS-3DCNN的小麥種子品種識別模型

黃 敏，夏 超，朱啟兵，馬洪娟

融合高光譜圖像技術(shù)與MS-3DCNN的小麥種子品種識別模型

黃 敏1，夏 超1，朱啟兵1，馬洪娟2

（1. 江南大學(xué)輕工過程先進控制教育部重點實驗室，無錫 214122；2. 中化現(xiàn)代農(nóng)業(yè)有限公司，北京 100045）

小麥品種的純度和小麥產(chǎn)量密切相關(guān)，為了實現(xiàn)小麥種子品種的快速識別，該研究利用高光譜圖像技術(shù)結(jié)合多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）提出了一種小麥種子的品種識別模型。首先，利用連續(xù)投影算法（Successive Projections Algorithm，SPA）對原始高光譜圖像進行波段選擇，以減少MS-3DCNN模型的輸入圖像通道數(shù)量，降低網(wǎng)絡(luò)訓(xùn)練參數(shù)規(guī)模；其次，利用多尺度三維卷積模塊提取特征圖的圖像特征和不同特征圖之間的耦合特征；最后，以6個品種小麥共6 000粒種子的高光譜圖像（400～1 000 nm）為研究對象，基于SPA算法選擇了22個波段高光譜數(shù)據(jù)，利用MS-3DCNN、支持向量機（Support Vector Machine，SVM）分別構(gòu)建了識別模型。試驗結(jié)果表明，MS-3DCNN模型取得了96.72%的測試集識別準確率，相較于光譜特征SVM識別模型和融合特征SVM識別模型分別提高了15.38%和9.50%。進一步比較了MS-3DCNN與基于二維卷積核、三維卷積核、多尺度二維卷積核構(gòu)建的多個識別模型性能，結(jié)果表明多尺度三維卷積核能提取多種尺度的信息，其識別模型的準確率提高了1.34%～2.70%，可為小麥種子高光譜圖像品種識別提供一種可行的技術(shù)途徑。

小麥；種子識別；多尺度三維神經(jīng)網(wǎng)絡(luò)；高光譜圖像

0 引 言

小麥是重要的糧食作物，在世界范圍內(nèi)廣泛種植。隨著中國經(jīng)濟持續(xù)高水平發(fā)展，對小麥種植環(huán)境的適應(yīng)性以及品質(zhì)需求有了進一步要求。為了滿足用戶的多樣化品質(zhì)需求和不同氣候環(huán)境的種植需要，育種專家培育了數(shù)量眾多的小麥品種[1]。這些品種在滿足市場需求的同時，也帶來了潛在的種子混雜風(fēng)險。種子品種的準確鑒別對于減少種子混雜，提高種子純度、保證市場流通秩序具有重要作用。傳統(tǒng)基于理化分析的種子純度檢測方法存在鑒定時間長、對種子具有破壞性的特點，已難以滿足現(xiàn)代農(nóng)業(yè)需要。開發(fā)快速、無損的小麥種子品種識別方法對提高小麥生產(chǎn)效率有著極其重要的作用。

高光譜圖像技術(shù)具有快速、無損檢測樣品的內(nèi)部結(jié)構(gòu)及化學(xué)成分的特性，已在農(nóng)業(yè)工程領(lǐng)域得到廣泛的研究[2-4]。在種子檢測領(lǐng)域，許多學(xué)者開發(fā)了基于高光譜圖像技術(shù)的種子品種識別方法[5-7]。這些種子高光譜圖像識別方法多采用特征學(xué)習(xí)和分類器設(shè)計相分離的策略[8-10]。即首先依賴專家的先驗知識提取種子高光譜圖像數(shù)據(jù)的光譜、紋理或形態(tài)等原始特征，并利用特征選擇（如無信息變量消除[11]、連續(xù)投影算法[12]等）或特征抽取（如主成分分析[13]）技術(shù)對原始特征進行選擇或變換，獲得不同品種種子的特征表示；然后基于獲得的特征來訓(xùn)練一個分類器模型（如偏最小二乘線性鑒別分析[14]、支持向量機[15]等）。由于圖像特征學(xué)習(xí)和分類器學(xué)習(xí)相分離，這類傳統(tǒng)機器學(xué)習(xí)模式存在以下缺陷：1）特征生成依賴于人工經(jīng)驗，容易導(dǎo)致生成的特征不能有效抽取用于種子分類的圖像信息；2）特征壓縮與后續(xù)分類器的學(xué)習(xí)準則難以統(tǒng)一（例如主成分分析的學(xué)習(xí)準則是特征的相關(guān)性，而分類器的學(xué)習(xí)準則是識別精度），壓縮后的特征往往無法保證后續(xù)分類器的識別精度。

自2016年以來，具有模型參數(shù)“端到端”學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用到高光譜圖像識別領(lǐng)域[16-18]。例如：Ma等[19]使用近紅外高光譜圖像結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了種子活力的識別模型，取得了比傳統(tǒng)機器學(xué)習(xí)模式更高的識別精度；師蕓等[20]采用流形學(xué)習(xí)方法對高光譜圖像進行降維處理，并使用卷積神經(jīng)網(wǎng)絡(luò)對降維后的高光譜圖像數(shù)據(jù)進行分類，提高了高光譜影像的分類精度，減少了分類時間。但這些基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像識別方法多采用手動提取的光譜或圖像特征（如光譜、紋理等）作為模型輸入，其識別精度仍然依賴于手動提取特征的充分性。并且，這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法多使用二維卷積進行分類特征的提取與壓縮，難以兼顧高光譜圖像數(shù)據(jù)光譜維度與圖像維度，導(dǎo)致深度學(xué)習(xí)模型難以充分挖掘分類所需特征。

綜上，為了克服手動提取特征對人員經(jīng)驗的依賴性，充分挖掘有效的分類特征，從而進一步提高分類模型的識別精度，本研究提出一種融合高光譜圖像技術(shù)與多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）的小麥種子品種識別模型。該模型利用連續(xù)投影算法（Successive Projections Algorithm，SPA）對原始高光譜圖像進行波段選擇，以減少MS-3DCNN的輸入圖像通道數(shù)量，降低網(wǎng)絡(luò)訓(xùn)練參數(shù)規(guī)模。在此基礎(chǔ)上，引入多尺度三維卷積模塊，以充分提取每個特征圖上的圖像特征和不同特征圖之間的耦合特征，提高種子品種識別模型的準確率，擬為小麥種子高光譜圖像品種識別提供一種可行的技術(shù)途徑。

1 材料與方法

1.1 試驗材料

試驗用小麥種子由中化現(xiàn)代農(nóng)業(yè)有限公司（中國）提供，共包含百農(nóng)矮抗、濟麥、師欒、偉隆、新麥、周麥6個品種（表1）。這6類種子分別來自河南、山東、河北、安徽4個不同產(chǎn)地，均生產(chǎn)于2019年。試驗前，所有種子樣品由密封袋密封，并放置于玻璃干燥器內(nèi)，以防止環(huán)境水分對試驗樣品的影響。

表1 小麥品種信息

1.2 高光譜圖像采集系統(tǒng)

利用實驗室自主開發(fā)的高光譜圖像采集系統(tǒng)（圖1）采集小麥種子的高光譜圖像。采集系統(tǒng)的主要部件：光譜范圍為400～1 000 nm（光譜分辨率2 nm，共300個波段）的快掃式高光譜相機（microHSI 410，康寧，康寧公司，美國）、光源（2個150 W鹵素?zé)簦┖涂删幊踢壿嬁刂破骺刂频暮谏珎魉蛶Вㄒ苿铀俣葹? mm/s）。相機與小麥樣品的距離為30 cm，曝光時間為0.11 s。在采集圖像時，為了避免傳送帶運動帶來的麥?；蝿?，將小麥放置于黑色塑料數(shù)粒板的凹槽內(nèi)（凹槽尺寸為9 mm×4 mm× 2 mm，每個凹槽容納1粒小麥種子，共100個凹槽）。試驗共采集6個品種小麥種子的60幅高光譜圖像（每個品種10幅圖像，每幅圖像包含100粒種子，共6 000粒）。由于光源強度分布及不均勻暗電流噪聲的存在，為了提高獲取圖像的信噪比需要對樣本進行黑白標定。每采集4幅小麥種子高光譜圖像，采集1次全黑、白板（反射率約為100%）圖像（蓋上相機鏡頭，獲得反射率約為0的全黑標定圖像；放置白板，獲得全白標定圖像）。其黑白標定后的圖像的相對反射率的計算為

式中為全白標定圖像的反射光強度，為全黑標定圖像的反射光強度，0為小麥種子高光譜圖像的反射光強度。

1.3 高光譜圖像數(shù)據(jù)預(yù)處理

該試驗共采集60幅高光譜圖像，每幅高光譜圖像含有100粒小麥種子高光譜信息。在將圖像輸入至分類模型前需預(yù)處理原始高光譜圖像，該處理過程依次為提取感興趣區(qū)域，計算感興趣區(qū)域的均值光譜、選擇特征波段和重組高光譜圖像。

5）選擇步驟4中種子品種分類精度最高的波段組合作為SPA算法選擇的最優(yōu)波段組合。

本研究通過上述試驗驗證了由22個最優(yōu)波段組成新的高光譜圖像對小麥種子品種分類準確率最高。

重組高光譜圖像：從原始圖像中抽取22個最優(yōu)波段下的圖像并重組，以降低高光譜圖像的維度。由于通過自適應(yīng)閾值分割算法獲得的單個小麥種子圖像的空間尺寸大小不一致，對降維后的高光譜圖像進行空間補零操作，最后得到70×40像素×22波段的小麥種子高光譜圖像。

1.4 多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)是一種由卷積層、池化層和全連接層構(gòu)成的前饋神經(jīng)網(wǎng)絡(luò)。由于其使用卷積層的局部感受野，權(quán)重共享和池化層的思想，以結(jié)構(gòu)重組的方式將特征抽取功能融合到多層感知器中，可省略傳統(tǒng)分類器手動抽取圖像特征的過程[23-24]，并大幅度減少網(wǎng)絡(luò)中的參數(shù)。但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)多采用二維卷積操作，難以充分挖掘高光譜圖像數(shù)據(jù)中不同波段之間的特征耦合關(guān)系[25]，進而難以獲得高分類精度的卷積網(wǎng)絡(luò)。為了解決上述問題，本研究引入了三維卷積模塊以充分提取不同特征通道上的特征關(guān)系。三維卷積模塊最早被用于人類行為識別[26-28]，其可以同時提取空間和時間維度上的特征，較之于二維卷積模塊，具有更好的識別效果。第-1層特征通過三維卷積操作轉(zhuǎn)換到第層特征圖的數(shù)學(xué)表達式如式（2）所示[29]。

此外，卷積核的大小對卷積神經(jīng)網(wǎng)絡(luò)的性能有著重要影響。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)卷積核設(shè)計多采用在不同卷積層使用尺寸大小不同的卷積核形式，以實現(xiàn)特征感受域的調(diào)節(jié)。本研究借助于Inception卷積模型思想[30]，在同一卷積層采用了尺寸大小不同的多個卷積核，分別提取輸入圖像數(shù)據(jù)中多個尺度的卷積特征，再將這些特征在通道維度上進行融合（即將不同尺度卷積核得到的特征圖在通道方向上進行拼接，增加特征圖通道的維度）。多尺度特征的提取和融合使模型能更好地獲取高光譜圖像數(shù)據(jù)的卷積特征。多尺度卷積模塊總計個卷積核，包含了/4個尺寸為5×5×5的卷積核、/4個尺寸為3×3×3的卷積核、/4個尺寸為5×5×3的卷積核和/4個尺寸為3×3×5的卷積核。由于卷積核的尺寸不同，在實施卷積操作時需要調(diào)節(jié)各維度上的步長和補零操作，以保證特征圖各維度大小一致。最后，將這些特征在通道維度上進行融合。

另外，在三維卷積操作后接一個批次規(guī)則化層（Batch Normalization，BN），以減少模型的過擬合，加快網(wǎng)絡(luò)收斂速度。三維卷積模塊中的激活函數(shù)使用LeaKy_ReLU，以防止輸入為負值時神經(jīng)元無效，并經(jīng)過池化層來壓縮數(shù)據(jù)和參數(shù)的量，減小過擬合。本研究設(shè)計的用于種子高光譜圖像識別的多尺度三維卷積模型如圖2所示。該模型利用3個多尺度三維卷積層抽取輸入高光譜圖像的卷積特征，經(jīng)過1個全連接層和1個輸出層輸出，輸出層采用Softmax激活函數(shù)。

1.5 運行環(huán)境

本研究利用端到端的開源機器學(xué)習(xí)平臺（TensorFlow）構(gòu)建MS-3DCNN模型，使用NVIDIA GeForce GTX 1080Ti顯卡進行訓(xùn)練和測試。在訓(xùn)練MS-3DCNN模型時，為了防止模型過擬合，基于隨機丟棄（dropout）策略設(shè)置全連接層，即全連接層中的節(jié)點以50%的概率置為0。使用Adam動量優(yōu)化算法，采用批量訓(xùn)練的方法，設(shè)置批大小為40。學(xué)習(xí)率設(shè)為0.001，采用指數(shù)衰減學(xué)習(xí)率，使得模型訓(xùn)練后期更加穩(wěn)定。網(wǎng)絡(luò)迭代150次后，趨于穩(wěn)定。模型訓(xùn)練時的收斂曲線如圖3所示，在前30次迭代內(nèi)，損失值快速下降；經(jīng)過60次迭代后，模型的損失值平穩(wěn)地趨近于0，表現(xiàn)出了良好的性能和穩(wěn)定性。

1.6 驗證與評價

為了減少訓(xùn)練樣本隨機性對分類模型性能的影響，本研究按“訓(xùn)練集∶測試集 = 7∶3”的原則隨機將數(shù)據(jù)集劃分為5組訓(xùn)練集和測試集；隨后，獨立使用每一組數(shù)據(jù)的訓(xùn)練集訓(xùn)練模型，將相應(yīng)的測試集輸入分類模型，根據(jù)分類器輸出的正確識別的樣本數(shù)量（N）和錯誤識別的樣本數(shù)量（N），利用式（3）計算準確率以評價模型[31]；最后，利用5次試驗所得準確率的平均值評價分類算法性能。

1.7 其他分類模型

為了驗證MS-3DCNN的性能，本研究將傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)方法設(shè)置為對比方法。

傳統(tǒng)機器學(xué)習(xí)：支持向量機（Support Vector Machine，SVM）是一種典型的傳統(tǒng)機器學(xué)習(xí)方法。在本研究中，SVM協(xié)同使用手工特征和徑向基核函數(shù)（懲罰系數(shù)和徑向基寬度采用梯度優(yōu)化結(jié)合5折交叉驗證方法獲得）訓(xùn)練得到小麥種子品種分類模型。手工特征包括：44維光譜特征（感興趣區(qū)域在22個波段下的均值光譜及光譜方差）；242維紋理特征（每個波段下有3個一階特征和8個二階統(tǒng)計量特征[2]）和12維形態(tài)學(xué)特征（面積、長寬比、圓度、穩(wěn)度、圓形度、離心率、矩形度、內(nèi)切圓半徑、離散度、緊湊度、長軸、短軸）。根據(jù)使用的特征種類不同，本研究設(shè)置了光譜特征SVM識別模型和融合特征SVM識別模型。其中，光譜特征SVM識別模型以光譜特征為輸入，融合特征SVM識別模型則以三類特征為輸入。由于光譜、形態(tài)學(xué)和紋理特征的數(shù)值存在較大差異，這會導(dǎo)致數(shù)值較大的特征在模型訓(xùn)練的過程中占據(jù)支配地位，弱化數(shù)值小的輸入特征的作用。因而，在特征融合前，對所有樣本的每個維度進行均值為0、方差為1的標準化處理，使得所有特征在數(shù)量級上保持一致。

深度學(xué)習(xí)：在MS-3DCNN模型的結(jié)構(gòu)基礎(chǔ)上，分別用二維卷積核、三維卷積核、多尺度二維卷積核代替多尺度三維卷積核，構(gòu)建二維卷積神經(jīng)網(wǎng)絡(luò)（2D Convolutional Neural Network，2DCNN）模型、三維卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network，3DCNN）模型和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 2D Convolutional Neural Network，MS-2DCNN）模型。2DCNN模型、3DCNN模型和MS-2DCNN模型的網(wǎng)絡(luò)層數(shù)、迭代次數(shù)與MS-3DCNN模型相同。3DCNN模型使用的三維卷積核尺寸為3×3×3，且每個卷積層的卷積核數(shù)量與MS-3DCNN模型相同。2DCNN模型的卷積核尺寸為3×3，MS-2DCNN模型使用的多尺度二維卷積模塊仿照多尺度三維卷積模塊設(shè)計（即每個模塊包含/4個5×5卷積核、/4個3×3卷積核、/4個5×3卷積核和/4個3×5卷積核，為卷積層的卷積核數(shù)量）。需要說明的是，2DCNN模型與MS-2DCNN模型每層卷積核數(shù)量是MS-3DCNN的2倍，以保證各個模型訓(xùn)練參數(shù)數(shù)量相近。

2 結(jié)果與討論

2.1 光譜特征及波段選擇

6種小麥種子在400～1 000 nm波段范圍內(nèi)的均值光譜曲線如圖4所示。曲線的總體趨勢相似，光譜曲線在500～700 nm的波段范圍內(nèi)呈現(xiàn)明顯的上升，在700～900 nm的波段范圍內(nèi)趨于平緩。另外，所有種子的若干吸收峰存在于相同的波長區(qū)間內(nèi)。在400～500 nm處，均值光譜存在一個光譜吸收峰，該吸收峰與小麥種子的蛋白質(zhì)含量相關(guān)[2]。在950～980 nm處存在一個由水、蛋白質(zhì)和碳水化合物共同作用產(chǎn)生的吸收峰[2，32]。從不同小麥品種的相對反射率可以看出，偉隆169和濟麥22品種相對反射率較高，與其他品種的差異明顯，周麥33和百農(nóng)矮抗58的相對反射率相近，師欒02-1與新麥26的兩個品種的相對反射率較低，這些差異是由于不同品種小麥的蛋白質(zhì)、淀粉、水等成分含量不同所導(dǎo)致。

通過SPA算法選擇的22個最優(yōu)波段如圖5所示。從圖中可以看出，除了反應(yīng)蛋白質(zhì)含量的1 000 nm附近的波段被選擇外，其余所選的波段較為均勻地分布在500～850 nm波長范圍內(nèi)。500～850 nm波段范圍包含了大量的反映小麥中淀粉、蛋白質(zhì)、油脂等物質(zhì)成分的C-H、N-H和O-H鍵的高頻和合頻吸收帶信息。分析最優(yōu)波段的選擇結(jié)果可知：通過SPA算法選擇的波段對應(yīng)了可用于判定小麥種子品種種類的關(guān)鍵物質(zhì)。針對小麥種子品種分類任務(wù)，SPA算法適用于降低原始高光譜圖像的維度。

2.2 分類識別

本研究所提出的MS-3DCNN分類模型和兩類SVM分類模型對訓(xùn)練集和測試集的識別結(jié)果如表2所示。對于傳統(tǒng)方法而言，基于融合特征的分類模型性能遠高于基于光譜特征的分類模型性能。這是因為圖像特征（包括紋理特征和形態(tài)特征）中包含大量對品種分類有利的信息，使用圖像特征作為輸入能有效提升分類模型的性能。然而，圖像特征與光譜特征均是基于人工經(jīng)驗進行提取的，難以充分挖掘?qū)Ψ诸愑欣男畔?。MS-3DCNN模型測試準確率相較于兩類SVM模型分別提高了15.38%和9.50%，說明相比于手動提取的特征，使用三維卷積操作自動提取的特征包含了對分類任務(wù)更有效、更充分的信息，實現(xiàn)對分類特征的充分挖掘。

表2 多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型和傳統(tǒng)分類模型識別結(jié)果

MS-3DCNN模型對測試集樣本的分類混淆矩陣如表 3所示。分析混淆矩陣可知，MS-3DCNN模型對于6個品種種子的識別準確率均超過了90%。偉隆169的識別準確率最高（99.67％）。原因為偉隆169與其他品種在產(chǎn)地，親緣關(guān)系上均無交集（表1），其特征與其它品種存在較大差異，因此易于識別。MS-3DCNN模型對百農(nóng)矮抗58和周麥33識別較差，其識別準確率僅為92.00%和94.33%，且兩者之間存在較多的錯誤識別樣本。原因為百農(nóng)矮抗58與周麥33不僅產(chǎn)地相同，且親緣關(guān)系較近（周麥33是由百農(nóng)矮抗58與鄭麥366雜交獲得）。

表3 測試集中多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型的分類混淆矩陣

2.3 多尺度三維卷積模塊的作用

為了驗證多尺度卷積和三維卷積的作用，本研究分別建立了MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型。4個模型在訓(xùn)練集上的分類準確率都達到了100%，但各模型對測試樣本的分類準確率各有不同（圖6）。隨著迭代次數(shù)的增加，各模型的分類準確率都逐漸上升并趨于穩(wěn)定。相比于3DCNN模型和MS-3DCNN模型，2DCNN模型和MS-2DCNN模型測試集準確率在迭代前期上升較快，但隨著迭代次數(shù)的增加，2個模型的分類準確率提升有限。3DCNN模型分類準確率變化幅度較大，不如其他模型穩(wěn)定。這是由于三維卷積提取的信息雖然豐富，但都是單一尺度的信息，信息冗余度較高，易使模型過擬合；多尺度三維卷積模塊比之于三維卷積模塊，含有不同尺度提取的信息，信息量更豐富，不僅能顯著提高模型準確率，還擁有更好的泛化性能。

經(jīng)過150代訓(xùn)練后，模型的精度已基本穩(wěn)定，此時得到的MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型的最終分類準確率分別為96.72%、95.44%、95.17%和94.17%。相比于2DCNN模型，3DCNN模型分類準確率提升了1.06%；相比于MS-2DCNN模型，MS-3DCNN模型分類準確率提升了1.34%。試驗結(jié)果驗證了三維卷積核的引入改善了模型，提高了分類準確率。這是因為高光譜圖像之間具有較強的波段相關(guān)性，三維卷積核通過在不同特征圖上的滑動卷積操作，可以更好地提取出各特征圖上的圖像特征，有助于提高分類模型的準確率。MS-3DCNN模型相比于3DCNN模型分類準確率提升了1.63%，MS-2DCNN模型相比于2DCNN模型，分類準確率提升了1.35%，這是因為多尺度卷積核改善了單尺度卷積核難以充分提取物體的尺度變化信息的缺陷，有助于提高模型的分類準確率。

3 結(jié) 論

本研究提出了一種融合高光譜圖像技術(shù)與多尺度三維卷積神經(jīng)網(wǎng)絡(luò)的小麥種子品種識別模型。采用連續(xù)投影算法（Successive Projections Algorithm，SPA）選擇了最優(yōu)波段，降低了原始波段的冗余性；在此基礎(chǔ)上，構(gòu)造了融合多尺度和三維卷積操作策略的多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）種子品種分類模型。分析試驗結(jié)果得出以下主要結(jié)論：

1）通過SPA算法可選擇反應(yīng)種子在淀粉、油脂與蛋白質(zhì)含量上差異的波段。表明SPA算法適于高光譜圖像數(shù)據(jù)的降維。

2）MS-3DCNN綜合使用光譜信息、紋理信息和形態(tài)信息訓(xùn)練小麥種子品種分類模型。結(jié)果表明：識別模型對6個品種種子的分類準確率均超過了90%。相較于光譜特征SVM識別模型和融合特征SVM識別模型，MS-3DCNN模型對識別小麥種子品種的分類準確率提高了15.38%和9.50%；同時，MS-3DCNN模型的性能優(yōu)于二維卷積神經(jīng)網(wǎng)絡(luò)模型、三維卷積神經(jīng)網(wǎng)絡(luò)模型和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)模型。分析試驗結(jié)果可知，MS-3DCNN模型能夠充分提取高光譜圖像數(shù)據(jù)中的信息，取得了96.72%的測試集識別準確率，可為小麥品種的準確快速識別提供一個可行的技術(shù)途徑。

本研究僅利用MS-3DCNN模型對單一年份的6個品種小麥種子進行識別。根據(jù)機器學(xué)習(xí)理論，當待檢測樣本來自與訓(xùn)練樣本不同的開放環(huán)境（如年份、產(chǎn)地等）時，模型的泛化能力存在退化的風(fēng)險。近年來，一些利用遷移學(xué)習(xí)技術(shù)來改善深度神經(jīng)網(wǎng)絡(luò)模型泛化能力的方法被提出。然而，這些技術(shù)在基于深度卷積神經(jīng)網(wǎng)絡(luò)的種子品種識別領(lǐng)域的效果仍待檢驗，這也是本課題今后需要研究的重點問題。

[1] 張婷婷，趙賓，楊麗明，等. 基于高光譜成像技術(shù)結(jié)合SPA和GA算法測定甜玉米種子電導(dǎo)率[J]. 光譜學(xué)與光譜分析，2019，39(8)：2608-2613.

Zhang Tingting, Zhao Bin, Yang Liming, et al. Determination of conductivity in sweet corn seeds with algorithm of SPA and GA based on hyperspectral imaging technique[J]. Spectroscopy and Spectral Analysis, 2019, 39(8): 2608-2613. (in Chinese with English abstract)

[2] Huang M, He C J, Zhu Q B, et al. Maize seed variety classification using the integration of spectral and image features combined with feature transformation based on hyperspectral imaging[J/OL]. Applied Sciences, 2016, 6(6), 183.

[3] 張婷婷，向瑩瑩，楊麗明，等. 高光譜技術(shù)無損檢測單粒小麥種子生活力的特征波段篩選方法研究[J]. 光譜學(xué)與光譜分析，2019，39(5)：1556-1562.

Zhang Tingting, Xiang Yingying, Yang Liming, et al. Wavelength variable selection methods for non-destructive detection of the viability of single wheat kernel based on hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1556-1562. (in Chinese with English abstract)

[4] Ambrose A, Kandpal L M, Kim M S, et al. High speed measurement of corn seed viability using hyperspectral imaging[J]. Infrared Physics & Technology, 2016, 75: 173-179.

[5] 張航. 基于高光譜圖像技術(shù)的小麥種子分類研究[D]. 鄭州：河南農(nóng)業(yè)大學(xué)，2019.

Zhang Hang. Research on Wheat Seed Classification Based on Hyperspectral Imaging[D]. Zhengzhou: Henan Agricultural University, 2019. (in Chinese with English abstract)

[6] 杭盈盈，李亞婷，孫妙君. 基于高光譜圖像技術(shù)結(jié)合深度學(xué)習(xí)算法的蘿卜種子品種鑒別[J]. 農(nóng)業(yè)工程，2020，10(5)：29-33.

Hang Yingying, Li Yating, Sun Miaojun. Classification of radish seeds using hyperspectral imaging and deep learning method[J]. Agricultural Engineering, 2020, 10(5): 29-33. (in Chinese with English abstract)

[7] 賈良權(quán)，祁亨年，胡文軍，等. 采用TDLAS技術(shù)的玉米種子活力快速無損分級檢測[J]. 中國激光，2019，46(9)：289-297.

Jia Liangquan, Qi Hengnian, Hu Wenjun, et al. Rapid nondestructive grading detection of maize seed vigor using TDLAS technique[J]. Chinese Journal of Lasers, 2019, 46(9): 289-297. (in Chinese with English abstract)

[8] Wei Y L, Li X F, Pan X, et al. Nondestructive classification of soybean seed varieties by hyperspectral imaging and ensemble machine learning algorithms[J]. Sensors, 2020, 20(23): 6980.

[9] Zhang T T, Wei W S, Zhao B, et al. A reliable methodology for determining seed viability by using hyperspectral data from two sides of wheat seeds[J]. Sensors, 2018, 18(3): 813.

[10] Huang M, Tang J Y, Yang B, et al. Classification of maize seeds of different years based on hyperspectral imaging and model updating[J]. Computers Electronics in Agriculture, 2016, 122: 139-145.

[11] Xia C, Yang S, Huang M, et al. Maize seed classification using hyperspectral image coupled with multi-linear discriminant analysis[J]. Infrared Physics & Technology, 2019, 103, 103077.

[12] Liu S, Tan X, Liu C Y, et al. Recognition of fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11): 3540-3546.

[13] 楊小玲. 高光譜圖像技術(shù)檢測玉米種子品質(zhì)研究[D]. 杭州：浙江大學(xué)，2016.

Yang Xiaoling. Detection of Maize Seed Quality Using Hyperspectral Imaging[D]. Hangzhou: Zhejiang University, 2016. (in Chinese with English abstract)

[14] Gao P, Zhang C, Liu X, et al. Visual identification of slight-damaged cotton seeds based on near infrared hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2018, 38(6): 1712-1718.

[15] 彭麗君. 水稻種子鑒別的近紅外光譜快速無損分析[D]. 廣州：暨南大學(xué)，2018.

Peng Lijun. Rapid and Nondestructive Analysis for the Identification of Rice Seeds with Near Infrared Spectroscopy[D]. Guangzhou: Jinan University, 2018. (in Chinese with English abstract)

[16] 楊思成，舒在習(xí)，曹陽. 基于高光譜成像技術(shù)的稻谷品種鑒別研究[J]. 光譜學(xué)與光譜分析，2019，39(10)：3273-3280.

Yang Sicheng, Shu Zaixi, Cao Yang. Identification of rice varieties based on hyperspectral image[J]. Spectroscopy and Spectral Analysis, 2019, 39(10): 3273-3280. (in Chinese with English abstract)

[17] 謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測[J]. 農(nóng)業(yè)工程學(xué)報，2019，35(13)：277-284.

Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[18] 黃雙萍，孫超，齊龍，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[19] Ma T, Tsuchikawa S, Inagaki T. Rapid and non-destructive seed viability prediction using near-infrared hyperspectral imaging coupled with a deep learning approach[J]. Computers and Electronics in Agriculture, 2020, 177: 105683.

[20] 師蕓，馬東暉，呂杰，等. 基于流形光譜降維和深度學(xué)習(xí)的高光譜影像分類[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(6)：151-160.

Shi Yun, Ma Donghui, Lv Jie, et al. Hyperspectral image classification based on manifold spectral dimensionality reduction and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(6): 151-160. (in Chinese with English abstract)

[21] Christov I I. Real time electrocardiogram QRS detection using combined adaptive threshold[J]. Biomedical Engineering Online, 2004, 3(1): 1-9.

[22] Yang X, Hong H, You Z, et al. Spectral and image integrated analysis of hyperspectral data for waxy corn seed variety classification[J]. Sensors, 2015, 15(7): 15578-15594.

[23] Wu N, Zhang C, Bai X L, et al. Discrimination ofvarieties using hyperspectral imaging combined with a deep convolutional neural network[J]. Molecules, 2018, 23(11): 2831.

[24] 劉帥，張旭含，李笑迎，等. 基于雙分支卷積網(wǎng)絡(luò)的高光譜與多光譜圖像協(xié)同土地利用分類[J]. 農(nóng)業(yè)工程學(xué)報，2020，36(14)：252-262.

Liu Shuai, Zhang Xuhan, Li Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract)

[25] Gao H M, Yao D, Yang Y, et al. Multiscale 3-D-CNN based on spatial-spectral joint feature extraction for hyperspectral remote sensing images classification[J]. Journal of Electronic Imaging, 2020, 29(1): 013007.

[26] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3D convolutional networks[C]// Proceedings of the IEEE International Conference on Computer Vision, Santiago: IEEE, 2015.

[27] Stroud J, Ross D, Sun C, et al. D3D: Distilled 3D networks for video action recognition[C]//The IEEE Winter Conference on Applications of Computer Vision, Snowmass Village: IEEE, 2020.

[28] Zhou Y Z, Sun X Y, Zha Z J, et al. MiCT: Mixed 3D/2D convolutional tube for human action recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[29] Li Y, Zhang H, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[30] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015.

[31] Bao Y D, Mi C X, Wu N, et al. Rapid classification of wheat grain varieties using hyperspectral imaging and chemometrics[J]. Applied Sciences-Basel, 2019, 9(19): 4119.

[32] Wang Y Q, Lv Y J, Liu H, et al. Identification of maize haploid kernels based on hyperspectral imaging technology[J]. Computers and Electronics in Agriculture, 2018, 153: 188-195.

Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network

Huang Min1, Xia Chao1, Zhu Qibing1, Ma Hongjuan2

(1.,,,214122,; 2.100045,)

A hyperspectral image classification model was proposed to detect wheat seeds using a Multi-Scale 3D Convolution Neural Network (MS-3DCNN) in this study, in order to identify wheat seed varieties quickly and accurately. A multi-scale 3D convolution module was used to learn the characteristics of wheat seed from hyperspectral images. A deep learning model was then established to predict wheat varieties. 3D Convolutional Neural Network (3DCNN) was utilized to simultaneously extract the spatial and spectral dimension features of hyperspectral images, compared with the traditional 2D Convolutional Neural Network (2DCNN). The kernel sizes of convolution were set as 5×5×5, 3×3×3, 5×5×3, and 3×3×5, respectively, considering that the characteristics of spectral dimension occupied a higher position in the application of hyperspectral image data. A Batch Normalization (BN) layer was added after each convolution layer to reduce the over-fitting of the model. The LeaKy_ReLU was adopted in the activation function to prevent neurons from being ineffective when the input was negative. A pooling layer and a fully connected layer were stacked on the last multi-scale convolution module. Finally, the Softmax activation function was used to predict the wheat varieties in the output layer. Dropout was introduced into the fully connected layer to reduce the risk of model overfitting. As such, a total of 6 000 samples were collected for 6 varieties of seeds (1 000 seeds per variety). Specifically, 700 seeds of each variety (4 200 seeds of the 6 varieties) were randomly selected as the training set, and the remaining 1 800 seeds were used as the test set during the specific training. 6 wheat varieties were also selected with certain connections in origin and genetic relationship to evaluate the influence of these factors on the classification model. Nevertheless, there was a relatively large amount of original hyperspectral image data, and a high data redundancy between adjacent hyperspectral bands. Successive Projections (SPA) were selected to combine with the average spectral characteristics of wheat seeds for the less data dimension. Subsequently, 22 optimal bands were selected from 300 bands, where the hyperspectral image data corresponding to the optimal bands was extracted to form a new hyperspectral image space. The reduced dimension data was input into the classification model of MS-3DCNN. The traditional hyperspectral classification model using Support Vector Machine (SVM), 2DCNN, 3DCNN, and Multi-Scale 2D Convolutional Neural Network (MS-2DCNN) were selected to compare the influence of 3D convolution and multi-scale convolution on model. The experimental results showed that the classification performed a higher classification accuracy using the MS-3DCNN model. SVM model using feature fusion, 2DCNN, 3DCNN, and MS-2DCNN models for the test sets achieved the accuracies of 88.33%, 94.17%, 95.17%, and 95.44%, respectively. Particularly, the MS-3DCNN model presented a relatively higher accuracy of 96.72%. Consequently, the improved model can be applied to identify and classify wheat seeds in modern intelligent agriculture.

wheat; seed recognition; multi-scale 3D convolutional neural network; hyperspectral image

黃敏，夏超，朱啟兵，等. 融合高光譜圖像技術(shù)與MS-3DCNN的小麥種子品種識別模型[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(18)：153-160.doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

Huang Min, Xia Chao, Zhu Qibing, et al. Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 153-160. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

2020-12-31

2021-07-09

國家自然科學(xué)基金面上項目（61772240，61775086）

黃敏，博士，教授，博士生導(dǎo)師，研究方向為先進光學(xué)檢測技術(shù)、復(fù)雜工業(yè)過程建模與智能控制等。Email：huangmzqb@163.com

10.11975/j.issn.1002-6819.2021.18.018

TP391.4

A

1002-6819(2021)-18-0153-08