基于卷積神經(jīng)網(wǎng)絡(luò)和高光譜成像技術(shù)的多寶魚新鮮度鑒別

章海亮, 周孝文, 劉雪梅, 羅 微, 詹白勺, 潘 璠

1. 華東交通大學(xué)電氣與自動(dòng)化工程學(xué)院, 江西 南昌 330013 2. 華東交通大學(xué)土木建筑學(xué)院, 江西 南昌 330013 3. 華東交通大學(xué)對(duì)外聯(lián)絡(luò)處, 江西 南昌 330013

引 言

多寶魚, 學(xué)名大菱鲆(Scophthalmus maximus), 為硬骨魚綱鰈形目鲆科菱鲆屬海洋底棲冷水性魚類。 因其肉質(zhì)營(yíng)養(yǎng)豐富、 獨(dú)特口感, 深受消費(fèi)者的青睞。 由于多寶魚是一種極易腐爛的食物, 商家為了延長(zhǎng)產(chǎn)品保存時(shí)間而普遍采取冷凍方式進(jìn)行儲(chǔ)藏。 冷凍方式是一種成本較低和操作簡(jiǎn)單的保存方法, 但多寶魚在冷凍期間營(yíng)養(yǎng)物質(zhì)會(huì)逐漸流失, 對(duì)品質(zhì)造成影響, 因此多寶魚新鮮度判別十分重要。

目前魚類品質(zhì)檢測(cè)方法有微生物檢測(cè)、 化學(xué)檢測(cè)、 電子鼻等方法, 雖然檢測(cè)結(jié)果精準(zhǔn), 但存在檢測(cè)過程時(shí)間長(zhǎng)且會(huì)對(duì)樣本造成破壞等問題, 不利于大規(guī)模應(yīng)用。 高光譜成像技術(shù)(hyperspectral imaging, HSI)是一種無損、 快速的新型分析技術(shù), 在魚類品質(zhì)檢測(cè)鄰域有一定的研究[1-3]。 近年來, 深度學(xué)習(xí)技術(shù)發(fā)展迅速, 已廣泛應(yīng)用在計(jì)算機(jī)視覺[4]、 語(yǔ)音識(shí)別[5]、 無人駕駛[6]等領(lǐng)域。 卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的經(jīng)典模型, 具有強(qiáng)大的特征提取和學(xué)習(xí)能力, 目前有學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)與高光譜成像技術(shù)相結(jié)合檢測(cè)大米、 柑橘、 棉種等農(nóng)產(chǎn)品, 但結(jié)合兩者對(duì)魚類新鮮度檢測(cè)的研究鮮有報(bào)道。

本研究提出了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行基于高光譜成像的多寶魚新鮮度鑒別方法, 應(yīng)用于多寶魚高光譜樣本數(shù)據(jù)集, 驗(yàn)證所提方法的有效性, 為多寶魚新鮮度鑒別提供新方法。

1 實(shí)驗(yàn)部分

1.1 樣本

實(shí)驗(yàn)所用多寶魚樣本購(gòu)于杭州某水產(chǎn)交易中心, 在交易中心現(xiàn)場(chǎng)進(jìn)行樣本前處理, 具體步驟如下: 將每條鮮活多寶魚從養(yǎng)殖水池中依次撈出, 先用冰水休克, 然后棒擊頭部致死, 最后去除魚的頭尾和內(nèi)臟并在冰水中清洗干凈。 每條魚按照背部和腹部進(jìn)行分割處理, 背部和腹部各2等分, 每條魚分為4個(gè)樣本, 整個(gè)前期處理時(shí)間約為3 h。 用塑料袋放置各樣本, 將塑料袋置于裝有碎冰的干凈泡沫保溫箱中, 運(yùn)輸專車迅速將樣本輸送至實(shí)驗(yàn)室。 由于魚在冷凍情況下保存時(shí)間長(zhǎng), 為了保證時(shí)間跨度, 分別將魚的冷藏時(shí)間設(shè)為30和120 d, 并進(jìn)行1～2次解凍實(shí)驗(yàn)。 160個(gè)樣本分為5類, 隨機(jī)劃分訓(xùn)練集和測(cè)試集(7∶3)。 具體劃分詳見表1所示。

表1 樣本劃分

1.2 高光譜圖像采集與標(biāo)定

使用的高光譜成像系統(tǒng)主要由高光譜攝像機(jī)(N10E, Specim, Finland), 鹵素?zé)艄庠?個(gè), 鏡頭, 樣本傳送裝置及移動(dòng)平臺(tái)控制器, 計(jì)算機(jī)組成。 為了保證采集的高光譜圖像的數(shù)據(jù)質(zhì)量, 需要對(duì)樣本傳送裝置的速度、 樣本與鏡頭距離等參數(shù)進(jìn)行調(diào)節(jié), 經(jīng)過多次調(diào)試, 本研究中樣本傳送裝置速度為3.2 mm·s-1, 相機(jī)曝光時(shí)間設(shè)為0.08 s, 樣本與鏡頭距離設(shè)為45 cm。 采集數(shù)據(jù)時(shí)用紙巾擦干魚樣品表面多余水分, 將樣本放置在傳送裝置上, 垂直于鏡頭移動(dòng), 獲取高光譜成像數(shù)據(jù)。 為了降低采集過程中暗電流和光照不均勻等影響因素造成的影響, 需要對(duì)高光譜相機(jī)在分析之前進(jìn)行黑白校正。

1.3 光譜數(shù)據(jù)提取

選取魚腹部中央附近約80×80像素的矩形區(qū)域作為感興趣區(qū)域(ROI), 得到光譜波長(zhǎng)范圍為381～1 023 nm, 共計(jì)512個(gè)波段, 由于在429 nm波長(zhǎng)前的光譜存在噪聲, 數(shù)據(jù)失真較為嚴(yán)重。 采用429～1 023 nm波長(zhǎng)范圍光譜為原始波長(zhǎng)范圍用于后續(xù)建模分析。 采用ENVI軟件求取每個(gè)樣本圖像的平均光譜。

1.4 卷積神經(jīng)網(wǎng)絡(luò)

VGGNet[7]是牛津大學(xué)計(jì)算機(jī)視覺組和DeepMind公司共同研發(fā)的一種深度卷積神經(jīng)網(wǎng)絡(luò), 在2014年ILSVRC大賽上獲得了優(yōu)異的成績(jī), 選擇VGG11作為參考網(wǎng)絡(luò)結(jié)構(gòu)。 VGG11網(wǎng)絡(luò)包括8個(gè)卷積層, 3個(gè)全連接層, 5個(gè)池化層, 特點(diǎn)為使用多層小卷積核替代一層較大卷積核進(jìn)行特征提取, 在減少參數(shù)的同時(shí)也引入更多非線性因素, 提升網(wǎng)絡(luò)分類精度, 該網(wǎng)絡(luò)結(jié)構(gòu)中卷積層和池化層參數(shù)基本一致, 結(jié)構(gòu)簡(jiǎn)潔, 使用廣泛, 但原網(wǎng)絡(luò)是針對(duì)圖片等二維數(shù)據(jù)設(shè)計(jì)的, 本次實(shí)驗(yàn)獲取的光譜數(shù)據(jù)為一維數(shù)據(jù), 因此將模型中卷積核尺寸由3×3改為1×3, 池化層中窗口尺寸由2×2改為1×2以適應(yīng)一維數(shù)據(jù)輸入, 原模型的全連接層參數(shù)過多, 模型訓(xùn)練難度大, 因此僅保留最后一層全連接層用于分類。

1.5 模型評(píng)價(jià)指標(biāo)

采用預(yù)測(cè)集準(zhǔn)確率為模型性能評(píng)價(jià)指標(biāo)。 分類準(zhǔn)確率PT表示為

(1)

式(1)中,NC為預(yù)測(cè)正確樣本數(shù)量,N為全部樣本。

1.6 卷積核數(shù)量設(shè)置

卷積核作用為提取樣本特征, 是卷積神經(jīng)網(wǎng)絡(luò)的核心組成部分, 為確定最佳卷積核數(shù)量, 對(duì)比6種不同卷積核數(shù)量網(wǎng)絡(luò)結(jié)構(gòu)模型的分類性能, 網(wǎng)絡(luò)卷積數(shù)量實(shí)驗(yàn)詳細(xì)設(shè)置見表2, 模型訓(xùn)練曲線如圖1所示。

圖1 模型訓(xùn)練曲線

表2 卷積核數(shù)量實(shí)驗(yàn)

結(jié)合表2和圖1可知, 卷積核數(shù)量與模型參數(shù)量成正比, 卷積核數(shù)量越多, 模型也就更加復(fù)雜, 例如VGG-1至VGG-3的網(wǎng)絡(luò)模型, 卷積核數(shù)量過多, 模型難以訓(xùn)練, 導(dǎo)致分類準(zhǔn)確率低, 但當(dāng)模型過于簡(jiǎn)單如VGG-6的網(wǎng)絡(luò)結(jié)構(gòu), 使得模型不能夠?qū)W習(xí)到足夠樣本特征, 也會(huì)影響到模型的分類性能, 在這6個(gè)網(wǎng)絡(luò)模型中, VGG-5的網(wǎng)絡(luò)結(jié)構(gòu)能夠較好地達(dá)到平衡, 其準(zhǔn)確率達(dá)到了100%。

1.7 激活函數(shù)對(duì)比

激活函數(shù)為神經(jīng)網(wǎng)絡(luò)引入非線性因素, 可提高神經(jīng)網(wǎng)絡(luò)對(duì)模型的表達(dá)能力, 為選出最佳激活函數(shù), 選用了較為常用的3種不同激活函數(shù)(Tanh, Sigmoid和Relu)進(jìn)行比較。

Sigmoid[8]常被用作神經(jīng)網(wǎng)絡(luò)的激活函數(shù), 將變量映射到[0, 1]之間。 表達(dá)式為

(2)

式(2)中,x為當(dāng)前隱藏層輸入。

Relu[9]為分段線性函數(shù), 將所有負(fù)值變?yōu)?, 而正值不變, 表達(dá)式為

f(x)=relu(x)=max(0,x)

(3)

式(3)中,x為當(dāng)前隱藏層輸入。

Tanh[10]為雙曲正切函數(shù), 將輸入值轉(zhuǎn)為-1至1之間, 表達(dá)式為

(4)

式(4)中,x為當(dāng)前隱藏層輸入。

其中Sigmoid激活函數(shù)準(zhǔn)確率最低(25%), Relu激活函數(shù)次之(72.92%), Tanh激活函數(shù)準(zhǔn)確率最高(100%)。 因此選擇Tanh作為網(wǎng)絡(luò)模型的激活函數(shù)。

1.8 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置

結(jié)合上述實(shí)驗(yàn)分析結(jié)果, 建立CNN網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示, 模型包含8個(gè)卷積層進(jìn)行光譜特征提取, 其中卷積核大小為1×3, 個(gè)數(shù)分別為4, 8, 16, 16, 32, 32, 32, 32, 共計(jì)5個(gè)池化層對(duì)特征進(jìn)行降維, 窗口大小為1×2, 最后1個(gè)全連接層負(fù)責(zé)分類。

圖2 CNN網(wǎng)絡(luò)模型結(jié)構(gòu)

2 結(jié)果與討論

2.1 樣本光譜

圖3中每一條光譜為樣本感興趣區(qū)平均光譜, 在整個(gè)波長(zhǎng)范圍內(nèi), 最大反射率不高于0.25, 近紅外區(qū)域的反射率要高于可見光區(qū)域的反射率, 在960 nm附近, 近紅外光譜存在較大的吸收度, 這是由于魚樣本的C—H功能鍵在此區(qū)域存在吸收峰。

圖3 多寶魚光譜數(shù)據(jù)

2.2 光譜特征篩選與建模分析

原始光譜數(shù)據(jù)變量較多, 為了減少建模所用變量個(gè)數(shù), 簡(jiǎn)化模型, 選用了RF和UVE兩種方法對(duì)光譜波長(zhǎng)進(jìn)行篩選。

(1) RF方法

隨機(jī)青蛙算法(random frog, RF)在每次建模運(yùn)行時(shí)都會(huì)評(píng)估參與建模的變量被選頻率, 將被選頻率高的變量組合并替代原始光譜用于進(jìn)一步的建模分析[11]。 選擇被選概率值大于0.1的變量為特征波長(zhǎng), 實(shí)驗(yàn)結(jié)果如圖4所示, 本研究采用隨機(jī)青蛙算法獲得的特征波長(zhǎng)數(shù)量為46個(gè)。

圖4 RF變量被選頻率

(2) UVE方法

無信息變量消除(uninformative variable elimination, UVE)方法是建立在PLS回歸系數(shù)基礎(chǔ)上的波長(zhǎng)篩選方法, 用回歸系數(shù)來衡量波段重要性[12]。 將閾值設(shè)置為0.99, 建立PLS模型選擇變量, 圖5是UVE波長(zhǎng)篩選后的結(jié)果, 其中左側(cè)曲線為魚光譜變量矩陣, 右側(cè)為添加與魚光譜變量數(shù)相同的隨機(jī)噪聲矩陣, 兩條平行虛線的值為+7.554和-7.554,代表閾值篩選的上下限, 兩線之間為剔除的無用變量, 兩線之外的變量作為建模變量, 通過UVE波段變量篩選后, 共有165個(gè)波長(zhǎng)變量被選擇。

圖5 UVE變量篩選結(jié)果

為了對(duì)比CNN模型性能, 選用了目前常用的LS-SVM[13]和KNN[14]模型作為對(duì)比, 將原始數(shù)據(jù)、 RF、 UVE算法與各模型相結(jié)合, 結(jié)果如表3所示。 在使用原始光譜數(shù)據(jù)時(shí)CNN即可實(shí)現(xiàn)高精渡(100%)分類, 而LS-SVM與KNN精度較低分別為95.83%和60.4%。 經(jīng)過波長(zhǎng)篩選步驟后, 使用UVE提取的165個(gè)光譜變量建立的CNN分類模型準(zhǔn)確率達(dá)到最高的100%, 建立的LS-SVM模型與對(duì)應(yīng)使用原始數(shù)據(jù)模型準(zhǔn)確率不變, 而建立的KNN模型準(zhǔn)確率有所下降, 使用RF提取的46個(gè)光譜變量建立的三個(gè)模型準(zhǔn)確率都有不同程度的下降。 不難看出識(shí)別效果最優(yōu)的是UVE-CNN模型, 分類精度高且參與建模波長(zhǎng)少。

表3 不同算法總體分類精度

3 結(jié) 論

提出了一種基于高光譜成像技術(shù)的卷積神經(jīng)網(wǎng)絡(luò)分類模型, 對(duì)5類不同新鮮度多寶魚進(jìn)行了檢測(cè)。 分析結(jié)果表明所提出的CNN模型可直接提取原始光譜特征信息, 實(shí)現(xiàn)魚類新鮮度高精度(100%)分類, 體現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力。 分別使用UVE和RF方法篩選特征波長(zhǎng)后建模, 其中識(shí)別效果最優(yōu)的是UVE-CNN模型, 在保證精度的同時(shí)減少了參與建模的波長(zhǎng)數(shù)量。 在后續(xù)研究中, 將嘗試增加新鮮度類別和樣本數(shù)量, 建立更為高效的深度學(xué)習(xí)模型, 為魚類新鮮度檢測(cè)提供技術(shù)支持。