基于卷積神經(jīng)網(wǎng)絡(luò)的熟化魚肉纖維程度評價方法研究

俞軍華，朱金林，閆博文*，焦熙棟，黃建聯(lián)，范大明

（1 江南大學(xué)食品科學(xué)與資源挖掘全國重點實驗室 江蘇無錫214122 2 農(nóng)業(yè)農(nóng)村部水產(chǎn)加工冷藏與調(diào)理重點實驗室 福建廈門361022 3 江南大學(xué)食品學(xué)院 江蘇無錫214122 4 福建省冷凍調(diào)理水產(chǎn)品加工重點實驗室 福建廈門361022 5 安井食品集團股份有限公司 福建廈門 361022）

魚糜制品是去除非食用部分的純魚肉，經(jīng)擂潰，添加配料，做成一定形狀后進(jìn)行油炸、水煮、焙烤或烘干等加熱處理而制成的高蛋白食品[1]。傳統(tǒng)魚糜制品加工過程中，魚肌肉纖維受到過度破壞，肌原纖維蛋白溶出，受熱發(fā)生交聯(lián)，最終產(chǎn)品呈現(xiàn)膠質(zhì)化口感[2]。消費者很難將沒有魚肉纖維的魚糜制品與魚肉聯(lián)系起來。一些研究者在開發(fā)具有纖維口感的魚糜制品方面做了初步探索，如用攪拌[3]和擂潰[4]替代斬拌，可有效減少對魚肌肉纖維的破壞，進(jìn)而生產(chǎn)出高品質(zhì)的魚糜制品。然而，如何評價魚肉纖維程度這個瓶頸問題一直未得到解決。

魚肉的纖維口感是由肌肉纖維整齊有序地排列形成的，感官評價在一定程度上可以反饋魚肉的纖維程度，然而受到樣本的相似性和感官評價者的生理狀態(tài)的影響，感官評價結(jié)果的準(zhǔn)確性較低，且無法用精確的數(shù)字表達(dá)[5]，因此，該方法滿足后續(xù)的開發(fā)需要。在對牛肉[6]、羊肉[7]和雞肉[8]等肉類的研究中，肌肉切片后在顯微鏡下拍照，通過測量肌肉纖維直徑、密度和面積等組織學(xué)特征來評價肉的品質(zhì)。然而，組織學(xué)研究僅適用于評估完整的肌肉纖維。在采肉過程中，魚肉纖維受到破壞，并成混亂排布，原有的人工標(biāo)注方法與軟件測量工具相結(jié)合不再適用。這意味著需要一種新的方法來識別和計算受損的肌肉纖維程度。

機器視覺技術(shù)作為一種新穎的工具，廣泛用于食品行業(yè)不同部門的快速在線質(zhì)量評估中[9-11]。卷積神經(jīng)網(wǎng)絡(luò)以識別圖像中復(fù)雜模式的能力成為提取圖像視覺特征的主流方法，其工作原理是通過卷積和池化來分析數(shù)據(jù)信息，提取數(shù)據(jù)特征，進(jìn)行學(xué)習(xí)，參照人的判別標(biāo)準(zhǔn)去識別圖像，進(jìn)而作出優(yōu)于人眼的客觀評定，具有識別準(zhǔn)確率高、速度快等特點[12]。Zhan等[13]在VGG-16 的基礎(chǔ)上，修改了最后一個全連接層的神經(jīng)元數(shù)量，利用水果圖像的小樣本集對模型進(jìn)行微調(diào)，設(shè)計一個精度較高的水果識別系統(tǒng)。王博等[14]將不同的卷積神經(jīng)網(wǎng)絡(luò)模型應(yīng)用于黏合碎肉和整塊牛肉的圖像區(qū)分中，并比較這幾種模型的識別速度和準(zhǔn)確率。為了實現(xiàn)基于新鮮度的魚類圖像分類，Taheri-Garavand等[15]采用VGG-16 網(wǎng)絡(luò)結(jié)構(gòu)自動提取魚類圖像的特征，然后利用下采樣和全連接層構(gòu)造的分類器塊對魚類圖像進(jìn)行分類。

魚糜制品常以熟制品的形式存在。本研究通過對不同纖維程度的熟化樣品進(jìn)行微觀圖片采集，建立數(shù)據(jù)集，并構(gòu)建4 種深度的殘差網(wǎng)絡(luò)模型（ResNet-18、ResNet-34，ResNet-50 和ResNet-101）、AlexNet、視覺幾 何群網(wǎng) 絡(luò)VGG-16 和GoogLeNet，以準(zhǔn)確率為主要評價指標(biāo)，探究網(wǎng)絡(luò)深度及不同模型對熟化魚肉纖維程度識別結(jié)果的影響，最后以特征圖提取可視化和混淆矩陣等方式對模型的識別性能進(jìn)行評估，旨在建立基于卷積神經(jīng)網(wǎng)絡(luò)搭建的評價方法，從而客觀、準(zhǔn)確地識別熟化魚肉纖維程度。

1 材料與方法

1.1 材料與試劑

白鰱魚購于當(dāng)?shù)貧W尚超市，加冰保溫并在30 min 內(nèi)送至實驗室。

伊紅染液，福州飛凈生物科技有限公司；冷凍切片包埋劑，德國徠卡公司；中性樹膠，異戊烷（正丁基甲烷），國藥集團化學(xué)試劑有限公司。

1.2 設(shè)備與儀器

YC-12S 臺式絞肉機，巧廚娘食品機械有限公司；ZB20 型斬拌鍋，上海申發(fā)機械有限公司；FD53熱風(fēng)循環(huán)干燥箱，德國BINDER 公司；CM1950 冷凍切片機，德國徠卡公司；A11 Basic 研磨機，德國IKA 公司；BA410E 正置顯微鏡，麥克奧迪實業(yè)集團有限公司；Precision7920 塔式工作站，戴爾（中國）有限公司。

1.3 試驗方法

1.3.1 樣品制備 白鰱魚去頭，去尾，去內(nèi)臟，去皮后，取魚背及腹部肌肉，切成塊狀，用清水（<10℃）沖洗干凈，濾去表面水備用[3]。將部分魚肉絞碎，烘干后制成魚粉。魚粉在制粉過程中纖維完全被破壞且肌原纖維蛋白已熱變性無法再發(fā)生交聯(lián)，故將魚粉復(fù)水熟化后樣品的纖維程度定義為0%。魚肉充分?jǐn)匕璩擅訝詈筮M(jìn)行熟化，內(nèi)部形成網(wǎng)絡(luò)狀結(jié)構(gòu)，具有一定的彈性，將這類樣品纖維程度定義成20%。將熟化后的整塊魚肉的纖維程度定義為100%，通過使用絞肉機不同孔徑的孔板得到不同破碎程度的魚碎肉樣品，熟化后其纖維程度分別定義為40%，60%和80%，具體處理條件見表1。為了減少水分含量對識別結(jié)果的影響，樣品水分含量控制在82%～85%。

表1 樣品處理條件Table 1 Sample treatment conditions

樣品在約-80 ℃的溫度下（約-196 ℃的液氮包圍）在異戊烷中快速冷凍，并在-80 ℃下儲存[16]，直到準(zhǔn)備好進(jìn)行切割為止，切片厚度為10 μm，用伊紅染液染色，最后用中性樹膠封片保存[17]。

1.3.2 水分含量的測定 魚碎肉樣品的水分含量使用直接干燥法[18]測定。取潔凈鋁制坩堝，置于105 ℃的烘箱（BINDER FD 53，德國）中，加熱1 h，取出蓋好，置于干燥器內(nèi)冷卻0.5 h，魚肉樣品使用研磨機（A 11 BS025，德國）研磨，稱取5 g 樣品放入此坩堝中，加蓋精密稱量后置于105 ℃烘箱中干燥24 h，取出，放入干燥器內(nèi)冷卻0.5 h 后稱量。水分含量計算公式如式（1）：

式中：m1——烘干前盛有樣品的坩堝質(zhì)量，g；m2——烘干后盛有樣品的坩堝質(zhì)量，g；m3——坩堝質(zhì)量，g。

1.3.3 圖像采集 使用帶有成像系統(tǒng)的顯微鏡進(jìn)行圖像采集。顯微鏡參數(shù)設(shè)置見表2[19]。

表2 顯微鏡參數(shù)設(shè)置Table 2 Parameter settings of the microscope

1.3.4 圖像預(yù)處理 為了更好地提取特征，對旨在用作深度神經(jīng)網(wǎng)絡(luò)分類器數(shù)據(jù)集的圖像進(jìn)行了對比度調(diào)整、裁剪、翻轉(zhuǎn)和旋轉(zhuǎn)等4 種預(yù)處理。在不改變樣品圖像本身屬性的前提下，對比度調(diào)整使得樣品圖像亮度呈現(xiàn)出較大差異，有利于獲得大量圖像細(xì)節(jié)信息；經(jīng)過裁剪、翻轉(zhuǎn)和旋轉(zhuǎn)后，改變了圖像的原有位置、方向和大小，從而生成新的圖像，進(jìn)而增加了樣本數(shù)量，避免模型過擬合，提高了模型的泛化能力[20]。

1.3.5 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 文獻(xiàn)中已經(jīng)報道了很多卷積神經(jīng)網(wǎng)絡(luò)，它們的基本結(jié)構(gòu)是相似的，由3個模塊組成，分別是卷積層、池化層和全連接層。卷積層的作用是從輸入數(shù)據(jù)中提取特征。卷積層由許多用于計算不同特征映射的卷積核組成。卷積層進(jìn)行特征提取后，輸出的特征圖被傳遞到池化層進(jìn)行信息過濾和特征選擇。池化層的功能是降低特征維數(shù)，壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減少過擬合，提高模型的容錯能力。全連接層的作用是將卷積和池化得到的“分布式特征表示”映射到樣本標(biāo)簽空間，達(dá)到分類效果；即全連接層本身并不具有特征提取能力，而是利用已提取的高階特征來完成學(xué)習(xí)目標(biāo)[21]。AlexNet[22]、VGGNet[23]、GoogLeNet[24]和ResNet[25]是近年來最流行的卷積神經(jīng)網(wǎng)絡(luò)。

1.3.6 模型預(yù)訓(xùn)練 遷移學(xué)習(xí)是把已訓(xùn)練好的模型（預(yù)訓(xùn)練模型）參數(shù)遷移到新的模型來幫助新模型訓(xùn)練?？紤]到大部分?jǐn)?shù)據(jù)或任務(wù)都是存在相關(guān)性的，所以通過遷移學(xué)習(xí)，已經(jīng)學(xué)到的模型參數(shù)可以通過某種方式被分享給新模型從而加快并優(yōu)化模型的學(xué)習(xí)效率不用像大多數(shù)網(wǎng)絡(luò)那樣從零學(xué)習(xí)。研究表明在ImageNet 上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度快，泛化能力強[26-28]。因此，AlexNet，VGG-16，GoogLeNet 和ResNet先在ImageNet 上訓(xùn)練，保存預(yù)訓(xùn)練模型的權(quán)重和相關(guān)參數(shù)，然后在本試驗數(shù)據(jù)集上進(jìn)行調(diào)整訓(xùn)練。

1.3.7 模型性能評估 混淆矩陣常被用來評價卷積神經(jīng)網(wǎng)絡(luò)對測試數(shù)據(jù)的分類性能，本文中為6類分類器的混淆矩陣，該分類矩陣能夠?qū)Ψ诸愵A(yù)測結(jié)果和實際標(biāo)簽進(jìn)行總結(jié)和比較。混淆矩陣設(shè)置成6×6 的矩陣，每一行之和是該類別的真實樣本數(shù)量，每一列之和是被預(yù)測為該類別的樣本數(shù)量，這樣可以直接評估分類方法的有效性。字符nij中i，j 分別表示模型預(yù)測標(biāo)簽和實際標(biāo)簽。因此，除了右對角線元素（i=j）對應(yīng)于正確分類的實例外，其余元素均代表錯誤分類的實例。對于i 類樣本存在以下4 種情況：真陽性（True positive，TP）和假陽性（False positive，F(xiàn)P）分別是圖片被正確和錯誤地分類為i 類樣本的情況，而真陰性（True negative，TN）和假陰性（False negative，F(xiàn)N）是圖片被正確和錯誤地排除為i 類樣本的情況。根據(jù)混淆矩陣的值來計算準(zhǔn)確率、精密度、敏感性/真陽性率（True positive rate，TPR）、特異性和假陽性率（False positive rate，F(xiàn)PR）。通過計算各閾值下的FPR 和TPR，建立以FPR 為橫軸，TPR 為縱軸的受試者工作特性曲線（Receiver operator characteristic curve，ROC 曲線），并計算曲線下面積（Area under curve，AUC）。這些指標(biāo)的計算方法如下：

所有與圖像處理、構(gòu)建模型、訓(xùn)練和測試模型相關(guān)的步驟都使用Python 3.7 編寫腳本并在Pytorch1.6.0 的環(huán)境下運行。采用Adam 優(yōu)化器[29]和交叉熵?fù)p失函數(shù)[30]對所有卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，學(xué)習(xí)率和學(xué)習(xí)衰減率分別為0.0001 和0.98。

1.4 數(shù)據(jù)統(tǒng)計與分析

試驗數(shù)據(jù)和圖形處理分別采用Excel 2016、Origin 2018、Photoshop 2020 和Python 3.7軟件進(jìn)行處理。

2 結(jié)果與分析

2.1 數(shù)據(jù)集的建立

共采集到樣本圖片600 張，在此基礎(chǔ)上，采用1.3 節(jié)提及的4 種圖像預(yù)處理方法，最終得到3 000 張樣本圖片，按約8∶2 的比例[31]隨機分配為訓(xùn)練集和測試集，其中2 400 張作為訓(xùn)練集，用于構(gòu)建和優(yōu)化試驗?zāi)Ｐ?，剩下?00 張作為測試集，用于測試模型的準(zhǔn)確性。

2.2 不同模型的性能比較

損失函數(shù)（Loss 值）和準(zhǔn)確率被用來評估模型的訓(xùn)練情況及其識別性能。一般情況下，Loss 值越小，準(zhǔn)確率越高，則模型識別性能越強，研究意義也就越大，因此，在其它模型參數(shù)恒定不變的情況下，追求低Loss 值和高準(zhǔn)確率是保證模型性能的重要方式[32]。圖1a 和圖1b 顯示了不同深度（18，34，50 和101 層）的ResNet 在訓(xùn)練集上的訓(xùn)練結(jié)果，經(jīng)過大量的迭代，每層的權(quán)重和偏差不斷進(jìn)行著優(yōu)化。在前期迭代過程中，Loss 值和準(zhǔn)確率快速變化，最后趨于平穩(wěn)，繼續(xù)增加迭代次數(shù)，對訓(xùn)練準(zhǔn)確率影響不大，表明模型訓(xùn)練結(jié)束，因此，最終將迭代次數(shù)定為80 個Epoch。所有模型，隨著網(wǎng)絡(luò)深度的增加，模型計算量成指數(shù)倍增長，導(dǎo)致Loss 值和準(zhǔn)確率達(dá)到平穩(wěn)狀態(tài)所消耗的訓(xùn)練時間延長[33]。同時也因為模型結(jié)構(gòu)復(fù)雜程度的提升，Loss 值和準(zhǔn)確率波動幅度增大。

圖1 訓(xùn)練集Loss 值（a）、訓(xùn)練集準(zhǔn)確率（b）、測試集Loss 值（c）和測試集準(zhǔn)確率（d）在數(shù)據(jù)集上的訓(xùn)練趨勢Fig.1 The training trend of training loss（a），training accuracy（b），testing loss（c）and testing accuracy（d）on dataset

圖1c 和圖1d 顯示了模型在測試集上的識別結(jié)果，用來評估模型的泛化能力。模型在識別測試集時，權(quán)重和偏差等參數(shù)固定不變。網(wǎng)絡(luò)深度由18 層增加到34 層，模型能夠?qū)W習(xí)到的特征增多，準(zhǔn)確性有所提高。但繼續(xù)增加網(wǎng)絡(luò)深度，模型在測試集上的Loss 值升高，準(zhǔn)確率降低，當(dāng)網(wǎng)絡(luò)深度達(dá)到101 層，Loss 值和準(zhǔn)確率波動幅度較大，這表明在熟化魚肉纖維程度的識別任務(wù)中，模型的深度不宜過深，增加模型深度，雖然模型能夠?qū)W習(xí)到的東西更多，但過多的參數(shù)和復(fù)雜的計算會導(dǎo)致模型出現(xiàn)過擬合問題[34]。這是因為當(dāng)模型深度過深時，梯度彌散或梯度爆炸現(xiàn)象出現(xiàn)，求解器很難去利用多層網(wǎng)絡(luò)擬合同等函數(shù)。

ResNet 與其它3 種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型（AlexNet、VGG-16 和GoogLeNet）在數(shù)據(jù)集上訓(xùn)練好后，將其在測試集上最好的識別準(zhǔn)確率進(jìn)行比較，具體結(jié)果如圖2 所示。在熟化魚肉纖維程度的識別任務(wù)中，34 層網(wǎng)絡(luò)深度的ResNet 模型的最好準(zhǔn)確率最高達(dá)到96.60%，ResNet-18、ResNet-50和ResNet-101 在測試集上的最好準(zhǔn)確率分別為95.80%，95.37%和93.97%。其它3 種經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型在熟化魚肉纖維程度的識別任務(wù)上性能表現(xiàn)不如ResNet，AlexNet、VGG-16 和GoogLeNet在測試集上最好的準(zhǔn)確率分別為90.83%，90.86%和91.21%。綜合上述試驗結(jié)果，最終選擇ResNet-34 作為熟化魚肉纖維程度識別任務(wù)的模型，并將最好準(zhǔn)確率對應(yīng)的ResNet-34 模型權(quán)重和偏差保存，用于識別圖片中熟化魚肉纖維程度。

圖2 不同模型在測試集上的最好準(zhǔn)確率比較Fig.2 Comparison of the best accuracy of different models on the testing dataset

2.3 提取特征性能評估

卷積神經(jīng)網(wǎng)絡(luò)是一個黑匣子，輸入圖片，經(jīng)過模型識別后輸出結(jié)果?？梢暬夹g(shù)是打開這個“黑匣子”的鑰匙，將卷積神經(jīng)網(wǎng)絡(luò)成千上萬的圖像訓(xùn)練結(jié)果展示出來，幫助我們理解模型是如何工作的，便于我們調(diào)整模型參數(shù)，找到模型失敗的原因[35]。圖3 顯示了對于確定的輸入圖像，ResNet-34 模型在一些卷積層中的可視化特征圖。一般來說，每個通道特征圖都對應(yīng)著獨立的特征，但并不都是有效的，部分通道特征圖為純色圖片，未提取出信息，但這類通道特征圖占比較少，大部分都能提取到有效信息。大多數(shù)卷積核能同時提取顏色和紋理特征，這些特征代表著樣本圖像上的顏色分布不均勻。這些信息表明ResNet-34 具有基于顏色特征圖和紋理特征圖的圖像識別能力[21]，也充分證明了卷積神經(jīng)網(wǎng)絡(luò)在一定程度上模擬了人類的視覺系統(tǒng)[36]。為了更直觀地觀察ResNet-34模型對圖片的識別過程，我們將每一層中的所有特征圖1 ∶1 融合成整體的特征圖，6 種不同纖維程度的熟化魚肉圖片的融合特征圖在圖4 中進(jìn)行展示。泛化能力強的卷積神經(jīng)網(wǎng)絡(luò)的卷積核（感受野）靠近輸入端，這些卷積層提取的是基礎(chǔ)視覺特征，如邊緣、纖維紋理和形狀輪廓及分布情況。隨著層數(shù)的加深，融合特征圖變得越來越抽象，難以用視覺信息直觀進(jìn)行解釋?？拷敵龆说木矸e層提取的是綜合高級語義信息，這些信息是對底層視覺特征的綜合，有利于對模型計算出識別結(jié)果。綜合而言，層數(shù)越深，提取的特征越具有代表性，圖像的分辨率也是越來越小的。

圖3 ResNet-34 識別過程特征圖可視化Fig.3 Visualization feature map in the identification process of ResNet-34

圖4 不同纖維程度的熟化魚肉圖片的融合特征圖可視化Fig.4 Visualization fusion feature map of cooked fish images with different fiber degrees

2.4 識別性能評估

將測試集中6 類圖片的實際標(biāo)簽與對應(yīng)的預(yù)測結(jié)果繪制在圖5 的混淆矩陣中，數(shù)據(jù)結(jié)果沿混淆矩陣的主對角線分布，分類錯誤的結(jié)果也大都集中在實際標(biāo)簽的相鄰類中，表明實際結(jié)果與ResNet-34 模型預(yù)測值之間有良好的兼容性[37]。表3 列出了由混淆矩陣計算得到的4 種統(tǒng)計參數(shù)，即準(zhǔn)確率、精度、靈敏度和特異性，平均值分別為96.94%，91.26%，91.00%和98.13%。偏差并非在所有類別中均勻分布，而是集中在某些地區(qū)，這與實際樣本數(shù)據(jù)集相吻合[38-39]。準(zhǔn)確率即分類模型所有判斷正確的結(jié)果占總觀測值的比重，在所有類中均呈現(xiàn)高于93.83%的值。在評估精度分?jǐn)?shù)時，即在那些模型預(yù)測是某一類的所有結(jié)果中，實際預(yù)測對的比重，所有類別的值都高于81.82%，纖維程度值為100%類的精度值達(dá)到了97.89%。靈敏度表示對某一特定類圖片，模型預(yù)測正確的比重，所有類別的值都高于83.00%。特異度表示實際圖片不屬于某一類的結(jié)果中，預(yù)測結(jié)果正確的比率，所有類別的值都高于96.00%。

圖5 ResNet-34 在測試集上的混淆矩陣Fig.5 Confusion matrix of ResNet-34 for the testing dataset

表3 ResNet-34 對6 類熟化魚肉肌肉纖維程度的識別性能評估（%）Table 3 The evaluation of recognition performance of ResNet-34 for 6 classes of cooked fish muscle fibrous degree（%）

分類器的ROC 曲線如圖6 所示。ROC 曲線被用來評估分類器對來自6 個纖維程度的樣本的合適性能。對角線代表辨別力等于0 的一條線，也叫純機遇線。ROC 曲線離純機遇線越遠(yuǎn)，表明模型的辨別力越強。表3 列出了由ROC 曲線計算得到的所有類別的AUC[40]，所有類別的值都高于97.51%，最高的是纖維程度為0%類，其值達(dá)到99.94%，這證明ResNet-34 具有良好的識別性能。

圖6 ResNet-34 對6 類熟化魚肉纖維程度圖片預(yù)測結(jié)果繪制的ROC 曲線Fig.6 ROC curves drawn by ResNet-34 for the prediction results of 6 classes of the fiber degree for cooked fish muscle

3 結(jié)論

本研究通過對不同纖維程度的熟化魚肉樣品進(jìn)行微觀圖片采集，建立數(shù)據(jù)集，然后基于卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了熟化魚肉纖維程度的評價方法，并將該方法應(yīng)用于熟化魚肉纖維程度的識別任務(wù)中。結(jié)果表明，進(jìn)行網(wǎng)絡(luò)深度的選擇時，34 層的ResNet 模型在收斂速度和準(zhǔn)確率上均勝出；4 種不同深度的ResNet 模型在最佳識別準(zhǔn)確率上都優(yōu) 于 AlexNet、VGG -16 和 GoogLeNet模型；ResNet-34 的準(zhǔn)確性、精度、靈敏度、特異性和AUC，平均值分別為96.94%，91.26%，91.00%，98.13%和99.19%，證明基于ResNet-34 模型搭建的評價方法能夠客觀、準(zhǔn)確地識別出熟化魚肉纖維程度。本研究旨在提供一種建立熟化魚肉纖維評價體系的方法，打破熟化魚肉纖維口感無系統(tǒng)性評價方法的局面。未來將重點完善纖維程度的定級方式及檢測算法，進(jìn)一步拓展到其它肉類纖維的評價過程中。