基于改進MobileNetV3-Large的雞蛋新鮮度識別模型

劉 雪，沈長盈，呂學澤，董萌萍，包乾輝，張圓之

基于改進MobileNetV3-Large的雞蛋新鮮度識別模型

劉 雪1，沈長盈1，呂學澤2,3，董萌萍1，包乾輝1，張圓之1

（1. 中國農(nóng)業(yè)大學信息與電氣工程學院，北京 100083；2. 中國農(nóng)業(yè)大學動物醫(yī)學院，北京 100193；3. 北京市畜牧總站，北京 100101）

雞蛋在運輸貯存過程中一直伴隨著品質(zhì)的不斷衰減，如何快速、準確地識別雞蛋新鮮度是業(yè)界和學者們共同關注的話題。針對雞蛋內(nèi)部氣室和蛋黃等新鮮度特征差異不顯著的問題，該研究提出一種基于改進MobileNetV3-Large的輕量級雞蛋新鮮度識別模型。首先在深度可分離卷積中引入動態(tài)卷積（Dynamic Convolution, DC）模塊，改進后的深度可分離動態(tài)卷積模塊能夠為不同的雞蛋圖像動態(tài)生成卷積核參數(shù)，提高模型特征提取能力；其次在注意力模塊中引入坐標注意力（Coordinate Attention, CA）模塊，增強模型對位置信息的感知能力；最后采用3 276張雞蛋圖像訓練并測試改進的MobileNetV3-DA模型。試驗結(jié)果表明，MobileNetV3-DA模型在測試集上的準確率為97.26%，分別比ResNet18、VGG19和ShuffleNetV2模型高5.19、0.84和5.91個百分點；模型參數(shù)量和計算量分別比MobileNetV3-Large減少1.03和78.64 M；在實際應用中，MobileNetV3-DA模型精確率、召回率和加權分數(shù)的平均值分別為95.95%、95.48%和97.82%，達到了理想的識別效果。改進的MobileNetV3-DA模型為雞蛋供應鏈各環(huán)節(jié)進行雞蛋新鮮度快速、準確識別提供了算法支持。

農(nóng)產(chǎn)品；品質(zhì)控制；雞蛋新鮮度；MobileNetV3-DA；動態(tài)卷積；坐標注意力

0 引 言

雞蛋營養(yǎng)價值豐富，含有人體必需的優(yōu)質(zhì)蛋白質(zhì)，而且價格低廉，是人類膳食優(yōu)質(zhì)蛋白質(zhì)的重要來源[1]。然而在運輸貯存過程中，一直伴隨著雞蛋品質(zhì)的不斷衰減。雞蛋新鮮度的下降不僅會導致口感、品質(zhì)和營養(yǎng)的損失，影響雞蛋價值[2-3]，而且雞蛋質(zhì)變產(chǎn)生的微生物污染容易引起食源性疾病爆發(fā)[4]，甚至危及消費者的生命健康[5]。因此，如何快速、準確、低成本地進行雞蛋新鮮度識別一直是業(yè)界和學術界共同關注的問題。

近年來，隨著計算機和信息技術的迅速發(fā)展，國內(nèi)外學者成功地將計算機視覺技術應用于芒果[6]、菠菜[7]和豬肉[8-9]等農(nóng)產(chǎn)品新鮮度識別中。其中，傳統(tǒng)圖像處理法一般是在人工提取樣本圖像中的顏色、形態(tài)和紋理特征的基礎上[10-11]，構建基于特征參數(shù)與新鮮度指標相關聯(lián)的識別模型。黃辰等[12]通過獲取蘋果圖像中的果徑、缺陷面積、色澤等特征參數(shù)，采用粒子群優(yōu)化的支持向量機實現(xiàn)了蘋果的在線分級；Shi等[13]以羅非魚為研究對象，選擇瞳孔和鰓為感興趣區(qū)域，建立了顏色空間與理化指標的聯(lián)系，實現(xiàn)了羅非魚新鮮度識別。基于雞蛋新鮮度衰減過程中氣室[14]和蛋黃[15]等區(qū)域呈現(xiàn)的不同形態(tài)和顏色信息，Qin等[16]提取了雞蛋圖像中的氣室面積比，建立回歸模型驗證了氣室面積比與雞蛋新鮮度呈顯著負相關；Yao等[17]選取了雞蛋圖像中的蛋黃形態(tài)特征比為特征參數(shù)，發(fā)現(xiàn)新鮮雞蛋的平均蛋黃特征比值約為35%，散黃蛋的平均蛋黃特征比值大于60%，實現(xiàn)了雞蛋新鮮度識別；梁丹等[18]根據(jù)雞蛋圖像中氣室和蛋黃等形態(tài)呈現(xiàn)的顏色差異，建立了顏色特征分量與新鮮度的聯(lián)系。傳統(tǒng)圖像處理法能夠?qū)崿F(xiàn)較好的農(nóng)產(chǎn)品新鮮度識別效果，具有低成本、高準確率、快速檢測的優(yōu)點，然而由于需要人工提取圖像目標特征，所以模型的表達能力、泛化能力和效率仍然需要進一步加強。

深度學習技術的發(fā)展為農(nóng)產(chǎn)品新鮮度識別研究提供了新思路。目前，深度學習技術已被應用于番茄[19]、豬肉[20]和蝦[21]等農(nóng)產(chǎn)品新鮮度識別。李振波等[22]提出改進VGG19的鯧魚新鮮度識別方法，識別準確率高達99.79%，驗證了鯧魚腹部特征是新鮮度識別最有效的信息；Jiang等[23]在GoogLeNet中引入注意力模塊增強模型對雞蛋圖像中氣室和蛋黃區(qū)域的關注，雞蛋新鮮度識別準確率達到94.05%。上述深度學習方法在新鮮度識別中具有更高的效率，但仍存在模型復雜度高，識別速度慢等問題。隨著深度學習技術的進一步發(fā)展，速度更快、參數(shù)量更少的輕量級模型不斷出現(xiàn)。其中，MobileNet系列模型[24-26]能夠快速準確地識別不同類別的差異，具有速度快、靈活性高的特點，目前已被廣泛應用于病蟲害識別[27]、果實識別[28]等領域，但在農(nóng)產(chǎn)品新鮮度檢測中的應用較少。因此，為實現(xiàn)雞蛋新鮮度快速檢測，本研究將輕量級模型MobileNetV3-Large應用于雞蛋新鮮度識別。

由于雞蛋新鮮度的衰減是一個持續(xù)漸進過程，期間雞蛋內(nèi)部氣室和蛋黃的形態(tài)特征變化并不顯著。為了提高對雞蛋內(nèi)部形態(tài)微小變化特征檢測水平，本研究構建了基于MobileNetV3-Large的MobileNetV3-DA雞蛋新鮮度識別模型。首先在深度可分離卷積中引入基于圖像內(nèi)容自適應生成卷積核的動態(tài)卷積（Dynamic Convolution, DC）模塊[29]，改進后的深度可分離動態(tài)卷積模塊通過動態(tài)調(diào)整卷積核參數(shù)，能夠提高模型的特征提取能力；其次在注意力模塊中引入坐標注意力（Coordinate Attention, CA）模塊[30]，增強模型對位置信息的感知能力，提高模型的特征表達能力；最后通過試驗驗證構建的MobileNetV3-DA雞蛋新鮮度識別模型的效果。

1 材料與方法

1.1 圖像采集與預處理

試驗樣本為北京市某蛋雞養(yǎng)殖場提供的當日產(chǎn)京白939雞蛋。雞蛋在采集后2 h內(nèi)被送至實驗室。去除無污斑、無裂紋以及質(zhì)量過大或過小的雞蛋，選取單枚質(zhì)量在45～65 g之間的新鮮雞蛋300枚為試驗樣本。將雞蛋編號后平均分為6組，儲存在溫度20 ℃、相對濕度75%的恒溫培養(yǎng)箱中。

試驗過程中，首先每天采集全部雞蛋的圖像，按照分組編號將采集的圖像存于計算機中；然后每天從各組中分別選取2枚雞蛋測定哈夫單位（Haugh Unit, HU）值，并據(jù)此確定雞蛋圖像對應的新鮮度等級。試驗每天連續(xù)進行，直到HU值下降到55以下，按照商務部《鮮雞蛋、鮮鴨蛋分級》（SB/T 10638-2011）[31]，新鮮度過低不可食用，結(jié)束試驗。

a. 原圖b. 亮度增強c. 亮度減弱d. 旋轉(zhuǎn) a. Original figureb. Brightness enhancementc. Brightness attenuationd. Random rotation

1.2 雞蛋新鮮度確定

HU是雞蛋新鮮度的重要表征指標[31]。HU值越高，雞蛋越新鮮。HU值的計算公式如（1）所示。

式中為濃蛋白層高度，mm；為雞蛋質(zhì)量，g。HU值測定方法為[32]：首先利用電子秤獲取雞蛋質(zhì)量；隨后將雞蛋破殼放置于白色平底板上，用蛋白高度測定儀測量蛋黃邊緣與濃蛋白邊緣中點的濃蛋白高度（避開系帶），測量呈正三角形的3個點，取平均值得到濃蛋白高度；最后按照公式（1）計算HU值。

本研究依據(jù)《鮮雞蛋、鮮鴨蛋分級》（SB/T 10638-2011）標準確定雞蛋的新鮮度，即HU≥72為AA級雞蛋；60≤HU<72為A級雞蛋；55≤HU<60為B級雞蛋。據(jù)此標準，本次試驗共持續(xù)了16 d，樣本的HU值從最初的90以上下降到55以下。具體變化情況如下：試驗第1天樣本初始HU值均為90以上，到第4天雞蛋的HU值均高于72，雞蛋新鮮度為AA級；第5天開始，雞蛋的HU值從72開始不斷下降，到第10天雞蛋的HU值仍高于60，雞蛋新鮮度為A級；第11～15天雞蛋的HU值降至60以下，但仍高于55，雞蛋新鮮度為B級；試驗開展的第16天，雞蛋的HU值降到55以下，試驗結(jié)束。

1.3 雞蛋圖像數(shù)據(jù)集構建

依據(jù)SB/T 10638-2011和測得的樣本HU值，本次試驗獲取的3 276張雞蛋圖像中，包含AA級雞蛋圖像1 064張、A級雞蛋圖像1 102張和B級雞蛋圖像1 110張。按照7:2:1的比例將3 276張雞蛋圖像劃分為訓練集、驗證集和測試集：其中，訓練集共2 289張雞蛋圖像，分別包含AA級、A級和B級雞蛋圖像774張、770張和775張；驗證集共658張雞蛋圖像，分別包含AA級、A級和B級雞蛋圖像213張、222張和223張；測試集共329張雞蛋圖像，分別包含AA級、A級和B級雞蛋圖像107張、110張和112張。雞蛋圖像數(shù)據(jù)集分布情況如表1所示。

表1 雞蛋圖像數(shù)據(jù)集分布情況

2 雞蛋新鮮度識別MobileNetV3-DA模型構建

2.1 MobileNetV3-DA模型整體結(jié)構

本研究采集的雞蛋圖像來自雞蛋16 d儲存過程中，記錄了雞蛋新鮮度從AA級到B級持續(xù)衰減變化。然而，由于雞蛋新鮮度相近的圖像中雞蛋氣室和蛋黃形態(tài)的變化和相對位置的移動非常微小，即使是采用MobileNetV3-Large模型提取雞蛋新鮮度特征的難度也很大。為有效提取并高效定位雞蛋圖像特征微小差異，提高模型的識別精度和速度，本研究對MobileNetV3-Large模型瓶頸結(jié)構中的深度可分離卷積模塊和注意力模塊進行了改進。

首先，為了準確提取雞蛋圖像中的微小特征差異，在深度可分離卷積中引入動態(tài)卷積模塊，改進后的深度可分離動態(tài)卷積模塊能夠根據(jù)不同的輸入圖像動態(tài)調(diào)整模型的卷積核參數(shù)，加強不同新鮮度圖像深層特征的提取，實現(xiàn)相鄰新鮮度雞蛋圖像的識別；其次，為了準確定位雞蛋圖像中的感興趣區(qū)域，將注意力模塊中的通道注意力擠壓-激勵（Sequeeze-and-Excitation, SE）模塊替換為坐標注意力模塊，增強模型對位置信息的感知能力，提升模型的識別效果。改進后的MobileNetV3-DA模型整體結(jié)構如圖2所示。

注：Conv為卷積操作；Pool為池化操作；1×1、3×3和5×5為卷積核的尺寸；Bottleneck-D為引入動態(tài)卷積的瓶頸結(jié)構；Bottleneck-DA為引入動態(tài)卷積和坐標注意力模塊的瓶頸結(jié)構；DSP-D為深度可分離動態(tài)卷積模塊；DW為深度卷積；PW-D為引入動態(tài)卷積（K=4）后的逐點卷積；CA為坐標注意力模塊。

2.1.1 深度可分離動態(tài)卷積模塊

MobileNetV3-Large的核心是通過深度可分離卷積來降低模型的參數(shù)以達到輕量化的目的，但也在一定程度上使目標特征丟失，導致模型精度下降。為提高模型對雞蛋圖像中微小差異特征的提取能力，本研究在深度可分離卷積的逐點卷積（Pointwise Convolution, PW）中引入動態(tài)卷積，如圖2中的深度可分離動態(tài)卷積模塊。

動態(tài)卷積模塊通過注意力模塊以非線性的方式疊加卷積核，使模型能夠充分且合理地利用卷積核提取圖像特征，具體表達式如（2）所示。

注：Avg Pool為平均池化層；FC為全連接層；ReLU和Softmax為激活函數(shù)；Conv為卷積操作；π為權重系數(shù)；BatchNorm為批量歸一化。

Note: Avg Pool represents the average pooling layer; FC represents the full connection layer; ReLU, and Softmax are the activation functions;Convrepresents convolution;πrepresents the attention weight; BatchNorm represents the batch normalization.

圖3 動態(tài)卷積模塊結(jié)構

Fig.3 The structure of dynamic convolution module

2.1.2 坐標注意力模塊

MobileNetV3-Large在瓶頸結(jié)構中加入了SE模塊提高了模型性能，但SE模塊僅考慮了建立模型內(nèi)部特征圖中通道信息之間的依賴關系[33]，而忽略了視覺空間中極為重要的位置信息，導致模型只能捕獲局部的特征信息，存在感興趣區(qū)域分散、表現(xiàn)能力有限等問題。

為準確獲取雞蛋圖像中的相對位置信息，本研究在第1～3層和第7～10層瓶頸結(jié)構的注意力模塊中引入坐標注意力模塊。坐標注意力模塊能夠通過在像素坐標系上的有效定位，使模型能集中對感興趣區(qū)域的注意力，獲取兼顧雞蛋圖像中通道和位置的信息，減少對干擾信息的關注，從而提升模型的特征表達能力。坐標注意力模塊的基本結(jié)構如圖4所示。

注：X/Y Avg Pool為X/Y方向平均池化；Concat代表拼接；BatchNorm代表批量歸一化；Swish和Sigmoid代表非線性激活函數(shù)；C為通道數(shù)；H為特征圖的高度；W為特征圖的寬度；r為縮減系數(shù)。

對于給定的特征圖的通道數(shù)為，高度為，寬度為。坐標注意力模塊先將輸入在高度和寬度2個空間方向上進行平均池化，獲得高度和寬度2個方向上的特征圖，將2個方向上的特征圖進行空間維數(shù)拼接，并使用1×1卷積變換將維度變?yōu)樵瓉淼?，再?jīng)過批量歸一化和Swish激活操作得到包含2個方向信息的中間特征圖，如式（3）所示。

2.2 試驗環(huán)境及參數(shù)設置

為了測試構建的MobileNetV3-DA雞蛋新鮮度識別模型的效果，用獲取的3 276張雞蛋圖像對模型進行訓練并測試。試驗使用的深度學習框架為Pytorch 1.10.0版本，編程語言為Python，環(huán)境設置為Python 3.8版本，集成開發(fā)環(huán)境為Pycharm，程序運行電腦配置為Intel? Core i5-1135G7 CPU@2.40 GHz，運行內(nèi)存為32 GB，操作系統(tǒng)為64位Windows 10。

試驗批處理大?。˙atch Size）統(tǒng)一設置為16，模型共訓練200個Epoch。為了模型能夠更好地收斂，試驗采用了分類交叉熵為損失函數(shù)，利用隨機梯度下降法（Stochastic Gradient Descent, SGD）訓練模型，3個訓練參數(shù)學習率、權重衰減和動量分別設置為0.001、0.000 01和0.9，并設置學習率衰減策略，每經(jīng)過20個Epoch，學習率衰減為原來的80%。

2.3 評價指標

為了全面評價MobileNetV3-DA模型的性能，本試驗選取精確率（Precision）、召回率（Recall）、加權分數(shù)（1-score）和準確率（Accuracy）等4個指標綜合評估模型的識別效果。計算公式分別為

式中TP、FP、FN和TN分別為混淆矩陣中分類模型對不同新鮮度雞蛋的分類情況統(tǒng)計。其中，TP（True Positive）代表真實值為正樣本且識別也為正樣本的數(shù)量，F(xiàn)P（False Positive）代表真實值為負樣本但識別為正樣本的數(shù)量，F(xiàn)N（False Negative）代表真實值為正樣本但識別為負樣本的數(shù)量，TN（True Negative）代表真實值為負樣本且識別也為負樣本的數(shù)量。進行新鮮度識別時，把要識別樣本的實際類別數(shù)視為正樣本數(shù)，其他所有類別數(shù)之和為負樣本數(shù)。

3 結(jié)果與分析

3.1 MobileNetV3-DA模型性能分析

MobileNetV3-DA模型在訓練集上的準確率和損失值的變化曲線如圖5所示。模型在訓練過程中，前75輪的準確率上升與損失值下降速度較快，訓練75輪之后的速度逐漸變慢，在訓練達到200輪時，模型的準確率和損失值曲線趨近于平緩，表明MobileNetV3-DA模型已經(jīng)達到飽和狀態(tài)，識別準確率也達到最高值。訓練過程中MobileNetV3-DA模型準確率和損失值曲線的變化趨勢基本一致，說明模型整體收斂趨勢較好，未出現(xiàn)過擬合現(xiàn)象，驗證了MobileNetV3-DA模型的有效性和可學習性。

圖5 MobileNetV3-DA 模型在訓練集上的準確率和損失值曲線

為進一步驗證MobileNetV3-DA模型的性能，分別統(tǒng)計MobileNetV3-DA模型在測試集中對3個新鮮度級別圖像的分類結(jié)果，如表2所示。從整體上看，MobileNetV3-DA模型在測試集上的識別精確率、召回率和加權分數(shù)的平均值分別為97.28%、97.27%和98.64%，均達到97%以上。其中，MobileNetV3-DA模型對B級新鮮度的識別效果最好，模型的精確率、召回率和加權分數(shù)分別為99.11%、99.11%和99.54%，雖然對AA級新鮮度的識別精確率和對A級新鮮度的召回率相對較低，但各類新鮮度的識別精確率、召回率和加權分數(shù)均達到93%以上，實現(xiàn)了較好的識別效果。試驗結(jié)果表明，改進后的MobileNetV3-DA模型能夠高效定位并提取雞蛋圖像中的微小特征差異。

表2 雞蛋新鮮度分類結(jié)果

3.2 卷積方式對模型性能的影響

為了驗證引入動態(tài)卷積的深度可分離動態(tài)卷積模塊對MobileNetV3-Large模型性能的影響，本研究分別將未引入動態(tài)卷積的MobileNetV3-Large模型和引入動態(tài)卷積的MobileNetV3-DC模型在測試集上進行對比試驗，試驗結(jié)果如表3所示。

表3 卷積方式性能對比

從表3可知，MobileNetV3-DC模型的識別結(jié)果優(yōu)于MobileNetV3-Large模型的識別結(jié)果。MobileNetV3-DC模型的整體識別準確率達到95.44%，比MobileNetV3-Large模型的準確率提升了2.73個百分點；MobileNetV3-DC模型在各類新鮮度中的準確率、召回率和加權分數(shù)均有所提升，其中在AA級新鮮度中的召回率提升了4.67個百分點，加權分數(shù)提升了3.86個百分點，在A級新鮮度中的精確率提升了5.72個百分點；MobileNetV3-DC模型的參數(shù)量為5.67 M，僅比MobileNetV3-Large模型增加了0.19 M。試驗結(jié)果表明，在深度可分離卷積中引入動態(tài)卷積后的MobileNetV3-DC模型能夠根據(jù)不同的輸入圖像動態(tài)生成模型的卷積核參數(shù)以提取雞蛋圖像中的微小差異特征，在增加少量的模型參數(shù)的前提下提升新鮮度識別效果。

3.3 注意力機制對模型性能的影響

為了進一步驗證在注意力模塊引入坐標注意力模塊的競爭優(yōu)勢，在相同的試驗條件下，將MobileNetV3-Large模型中的注意力SE模塊替換成有效通道注意力（Efficient Channel Attention, ECA）模塊[34]和卷積塊狀注意力（Convolutional Block Attention Module, CBAM）模塊[35]這2種經(jīng)典注意力機制進行對比試驗。

圖6為各模型在測試集上識別結(jié)果的混淆矩陣。總體上看，MobileNetV3-Large、MobileNetV3-ECA、MobileNetV3-CBAM和MobileNetV3-CA模型的識別準確率分別為92.71%、93.31%、93.92%和94.83%，相比其他3類模型，MobileNetV3-CA模型能夠更精準地定位并識別雞蛋新鮮度特征，有效提高模型精度。圖6中的細節(jié)顯示，ECA模塊、CBAM模塊和CA模塊的引入都能在一定程度上緩解MobileNetV3-Large模型存在的錯分和漏分等問題，使模型更適用于雞蛋新鮮度識別。其中，引入ECA模塊雖然提高了AA級新鮮度圖像的識別效果，但同時也增加了識別A級新鮮度圖像的錯分率；引入CBAM模塊雖然提高了A級和B級新鮮度圖像的識別效果，但并沒有提高AA級新鮮度圖像的識別效果；引入CA模塊能夠較好地平衡各類新鮮度的識別效果，實現(xiàn)雞蛋新鮮度的準確識別。因此，相比與其他注意力機制，在注意力模塊引入坐標注意力模塊對MobileNetV3-Large模型識別性能的提升效果更好，驗證了坐標注意力模塊的競爭優(yōu)勢。

注：主對角線上的數(shù)字代表預測正確的樣本量，其余位置為預測錯誤的樣本量。

3.4 模型試驗結(jié)果對比

為了綜合評估MobileNetV3-DA模型的性能，以模型在訓練集損失值、驗證集準確率、測試集準確率以及模型參數(shù)量和計算量為評估指標，將MobileNetV3-DA與ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常見分類模型進行對比分析。

模型在訓練集上的損失值和驗證集上的準確率變化如圖7所示。可以看出，經(jīng)過200個Epoch 后，各個模型的損失值和準確率趨于穩(wěn)定，這表明模型已經(jīng)得到了充分的訓練。其中，ResNet18模型利用殘差結(jié)構構建了更深層次的神經(jīng)網(wǎng)絡，具有較強的特征提取能力，在試驗中表現(xiàn)出了較好的識別性能，但模型訓練時間長，耗費的內(nèi)存和計算資源較大；VGG19模型在驗證集上的準確率略高于MobileNetV3-DA模型的準確率，但因其模型參數(shù)量和計算量過大，導致模型收斂速度較慢；ShuffleNetV2模型采用分組卷積的思想降低了模型參數(shù)量和計算量，但在特征差異不顯著的雞蛋圖像數(shù)據(jù)集中的識別效果稍顯遜色，而且收斂過程起伏較大，導致模型穩(wěn)定性差；MobileNetV3-Large模型雖然采用了深度可分離卷積約束了網(wǎng)絡的深度和寬度，但在雞蛋新鮮度識別任務中仍然取得了優(yōu)異的成績，訓練效果接近ResNet18，優(yōu)于ShuffleNetV2。與其他模型相比，MobileNetV3-DA模型在訓練過程中表現(xiàn)出了更平穩(wěn)的收斂過程，損失值和準確率較早穩(wěn)定在最低值和最高值附近，實現(xiàn)了較好的識別效果。

圖7 模型試驗結(jié)果對比

各個模型在測試集上的識別準確率以及參數(shù)量和計算量對比結(jié)果如表4所示。從表4可以看出，MobileNetV3-DA模型的識別準確率高達97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分別高出5.19、0.84、5.91和4.55個百分點；MobileNetV3-DA模型的參數(shù)量為4.45 M，比ResNet18、VGG19和MobileNetV3-Large分別減少7.24 M、139.22 M和1.03 M；MobileNetV3-DA模型的計算量為149.07 M，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large分別減少1 670 M、40 073.65 M、1.53 M和78.64 M。其中，雖然VGG19模型在驗證集上的識別準確率略高于MobileNetV3-DA模型，但在測試集上的準確率比MobileNetV3-DA模型低0.84個百分點，說明MobileNetV3-DA模型在雞蛋圖像數(shù)據(jù)集上的泛化能力更好，魯棒性更強。總體來說，MobileNetV3-DA模型在保證模型檢測性能的同時，提高了雞蛋新鮮度的識別效率，較好地平衡了模型的復雜度和識別效果。

表4 模型的準確率、參數(shù)量和計算量對比

3.5 實際應用性能測試

為了進一步驗證訓練后的MobileNetV3-DA模型的實際應用效果，本研究隨機采購了300枚市場流通雞蛋，并進行了模型的應用研究。300枚雞蛋包括在物美超市購買的德青源雞蛋、堆草堆雞蛋以及京東平臺購買的正大雞蛋各100枚。首先采集了每個雞蛋的圖像，然后測量每個雞蛋的HU值，最后根據(jù)SB/T 10638-2011確定每張圖像對應的雞蛋新鮮度等級。采集的300張雞蛋新鮮度圖像中，AA級新鮮度的雞蛋圖像102張，A級94張，B級104張。MobileNetV3-DA模型在實際應用的試驗結(jié)果如表5所示。

從應用結(jié)果來看，MobileNetV3-DA模型在實際應用中的識別精確率、召回率和加權分數(shù)的平均值分別為95.95%、95.48%和97.82%，達到了較好的新鮮度識別效果。其中，MobileNetV3-DA模型對B級雞蛋圖像的識別效果更好，這可能是因為B級雞蛋圖像中的氣室和蛋黃區(qū)域特征更加顯著，辨識度較高。實際應用結(jié)果表明，由于動態(tài)卷積和坐標注意力模塊的有效結(jié)合，MobileNetV3-DA模型能夠準確提取并且定位特征信息，具有較強的泛化能力和魯棒性。

表5 實際應用試驗結(jié)果

4 結(jié) 論

針對雞蛋新鮮度變化過程中氣室和蛋黃等新鮮度特征差異不顯著的問題，本研究對MobileNetV3-Large模型進行了改進，構建了MobileNetV3-DA雞蛋新鮮度識別模型。在MobileNetV3-Large中引入動態(tài)卷積模塊，通過動態(tài)生成卷積核參數(shù)，有效提高了模型特征提取能力；引入坐標注意力模塊，增強了模型對位置信息的感知能力，提升了模型的信息表達能力。結(jié)果表明：

1）MobileNetV3-DA模型能夠準確識別雞蛋新鮮度。MobileNetV3-DA在測試集上的識別準確率為97.26%，比ResNet18、VGG19、ShuffleNetV2和MobileNetV3-Large等常見分類模型分別高出5.19、0.84、5.91和4.55個百分點。

2）MobileNetV3-DA模型滿足了快速識別雞蛋新鮮度的要求。MobileNetV3-DA的模型參數(shù)量為4.45 M，計算量為149.07 M，分別比MobileNetV3-Large減少了1.03 M和78.64 M，較好地平衡了模型的復雜度和識別效果。

3）MobileNetV3-DA模型在實際應用中表現(xiàn)出了較好的識別效果。訓練后的MobileNetV3-DA模型在實際應用中的識別精確率、召回率和加權分數(shù)的平均值分別為95.95%、95.48%和97.82%，驗證了模型具有較強的泛化能力和魯棒性。

模型測試和應用結(jié)果表明，本研究構建的MobileNetV3-DA模型能夠快速、準確地識別雞蛋新鮮度。下一步將考慮將模型部署到移動終端，實現(xiàn)在流通和銷售環(huán)節(jié)雞蛋新鮮度的快捷智能識別。

[1] Lesnierowski G, Stangierski J. What’s new in chicken egg research and technology for human health promotion? - A review[J]. Trends in Food Science & Technology, 2018, 71: 46-51.

[2] Renzone G, Novi G, Scaloni A, et al. Monitoring aging of hen egg by integrated quantitative peptidomic procedures[J]. Food Research International, 2021, 140: 110010.

[3] Nematinia E, Abdanan Mehdizadeh S. Assessment of egg freshness by prediction of Haugh unit and albumen pH using an artificial neural network[J]. Journal of Food Measurement and Characterization, 2018, 12(3): 1449-1459.

[4] Mukhopadhyay S, Ukuku D O. The role of emerging technologies to ensure the microbial safety of fresh produce, milk and eggs[J]. Current Opinion in Food Science, 2018, 19: 145-154.

[5] Fearnley L. Fake eggs: From counter-qualification to popular certification in China’s food safety crisis[J]. BioSocieties, 2022, 17(2): 253-275.

[6] Gururaj N, Vinod V, Vijayakumar K. Deep grading of mangoes using Convolutional Neural Network and Computer Vision[J]. Multimedia Tools and Applications, 2022, 81: 1-26.

[7] Zhu S, Feng L, Zhang C, et al. Identifying freshness of spinach leaves stored at different temperatures using hyperspectral imaging[J]. Foods, 2019, 8(9): 356.

[8] Mehendran Y, Kartheeswaran T, Kodikara N D. Banana freshness identification using image processing techniques[C]// 2022 7th International Conference on Business and Industrial Research (ICBIR). IEEE, 2022: 347-352.

[9] Taheri-Garavand A, Fatahi S, Omid M, et al. Meat quality evaluation based on computer vision technique: A review[J]. Meat Science, 2019, 156: 183-195.

[10] Bhargava A, Bansal A. Fruits and vegetables quality evaluation using computer vision: A review[J]. Journal of King Saud University-Computer and Information Sciences, 2021, 33(3): 243-257.

[11] El-Mesery H S, Mao H, Abomohra A E F. Applications of non-destructive technologies for agricultural and food products quality inspection[J]. Sensors, 2019, 19(4): 846.

[12] 黃辰，費繼友. 基于圖像特征融合的蘋果在線分級方法[J]. 農(nóng)業(yè)工程學報，2017，33(1)：285-291.

Huang Chen, Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(1): 285-291. (in Chinese with English abstract)

[13] Shi C, Qian J, Han S, et al. Developing a machine vision system for simultaneous prediction of freshness indicators based on tilapia (Oreochromis niloticus) pupil and gill color during storage at 4℃[J]. Food Chemistry, 2018, 243: 134-140.

[14] 智秀娟，邢英豪，仝其根，等. 雞蛋新鮮度檢測指標評價與預測模型構建[J]. 中國食品學報，2017，17(11)：262-268.

Zhi Xiujuan, Xing Yinghao, Tong Qigen, et al. Model construction of prediction and evaluation in egg freshness index[J]. Journal of Chinese Institute of Food Science and Technology, 2017, 17(11): 262-268. (in Chinese with English abstract)

[15] Malfatti L H, Zampar A, Galv?o A C, et al. Evaluating and predicting egg quality indicators through principal component analysis and artificial neural networks[J]. LWT, 2021, 148: 111720.

[16] Qin H, Wang W, Chu X, et al. Research on the nondestructive detection of egg freshness based on image processing[C]// 2018 ASABE Annual International Meeting. American Society of Agricultural and Biological Engineers, 2018: 1-8.

[17] Yao K, Sun J, Chen C, et al. Non-destructive detection of egg qualities based on hyperspectral imaging[J]. Journal of Food Engineering, 2022, 325: 111024.

[18] 梁丹，李平，梁冬泰，等. 基于機器視覺的雞蛋內(nèi)外品質(zhì)一體化檢測與分級系統(tǒng)[J]. 中國食品學報，2020，20(11)：247-254.

Liang Dan, Li Ping, Liang Dongtai, et al. Integrated inspecting and grading system of the egg quality based on machine vision[J]. Journal of Chinese Institute of Food Science and Technology, 2020, 20(11): 247-254. (in Chinese with English abstract)

[19] Kazi A, Panda S P. Determining the freshness of fruits in the food industry by image classification using transfer learning[J]. Multimedia Tools and Applications, 2022, 81(6): 7611-7624.

[20] Wang C, Lü C, Li R, et al. Design and Implementation of Pork Freshness Grading Based on Deep Learning[C]// 2021 2nd International Conference on Artificial Intelligence and Computer Engineering (ICAICE). IEEE, 2021: 216-220.

[21] Yu X, Tang L, Wu X, et al. Nondestructive freshness discriminating of shrimp using visible/near-infrared hyperspectral imaging technique and deep learning algorithm[J]. Food Analytical Methods, 2018, 11(3): 768-780.

[22] 李振波，李萌，趙遠洋，等. 基于改進VGG-19卷積神經(jīng)網(wǎng)絡的冰鮮鯧魚新鮮度評估方法[J]. 農(nóng)業(yè)工程學報，2021，37(22)：286-294.

Li Zhenbo, Li Meng, Zhao Yuanyang, et al. Iced pomfret freshness evaluation method based on improved VGG-19 convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 286-294. (in Chinese with English abstract)

[23] Jiang M, Mo L, Wu P. Study on egg freshness detection based on inception and attention[C]// International Conference on Simulation Tools and Techniques. Springer, Cham, 2021: 613-626.

[24] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv, 2017, 1704: 04861.

[25] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 4510-4520.

[26] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]// Proceedings of the IEEE/ CVF International Conference on Computer Vision. 2019: 1314-1324.

[27] 孫俊，朱偉棟，羅元秋，等. 基于改進MobileNet-V2的田間農(nóng)作物葉片病害識別[J]. 農(nóng)業(yè)工程學報，2021，37(22)：161-169.

Sun Jun, Zhu Weidong, Luo Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)

[28] 張伏，陳自均，鮑若飛，等. 基于改進型YOLOv4-LITE輕量級神經(jīng)網(wǎng)絡的密集圣女果識別[J]. 農(nóng)業(yè)工程學報，2021，37(16)：270-278.

Zhang Fu, Chen Zijun, Bao Ruofei, et al. Recognition of dense cherry tomatoes based on improved YOLOv4-LITE lightweight neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(16): 270-278. (in Chinese with English abstract)

[29] Chen Y, Dai X, Liu M, et al. Dynamic convolution: Attention over convolution kernels[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 11030-11039.

[30] Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 13713-13722.

[31] 中華人民共和國商務部. SB/T 10638-2011 鮮雞蛋、鮮鴨蛋分級[S]. 北京：中國標準出版社，2011.

[32] 中華人民共和國農(nóng)業(yè)農(nóng)村部. NY/T 823-2020 家禽生產(chǎn)性能名詞術語和度量計算方法[S]. 北京：中國農(nóng)業(yè)出版社，2020.

[33] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 7132-7141.

[34] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks[C]// Conference on Computer Vision and Pattern Recognition (CVPR). 2020: 11531-11539.

[35] Woo S, Park J, Lee J Y, et al. Cbam: Convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 3-19.

Recognizing egg freshness using an improved MobileNetV3-Large

Liu Xue1, Shen Changying1, Lyu Xueze2,3, Dong Mengping1, Bao Qianhui1, Zhang Yuanzhi1

(1.,,100083,;2.,,100193,;3.,100101,)

Eggs, a highly nutritious food, can provide the human body with essential nutrients, such as protein, fat, minerals, and vitamins. However, fresh eggs are easily deteriorating products during production, processing, sales and distribution, resulting in nutritional and economic losses to the industry, and potential health and safety hazards to the consumers. Therefore, it is of great significance to study a fast, low-cost, and reliable egg freshness recognition. In this study, an improved MobileNetV3-DA recognition model was proposed to rapidly and accurately extract the characteristics of air chambers and yolks in egg images. The egg freshness was predicted to incorporate dynamic convolution (DC) and coordinate attention (CA). Some images of eggs with different freshness were collected to simulate the domestic eggs storage scenery. The data augmentation was utilized to increase the diversity of images, in order to prevent the overfitting of the model. The backbone was selected as the MobileNetV3-Large model with fewer parameters and stronger feature extraction. As such, the improved MobileNetV3-DA model was constructed for the more effective recognition of egg freshness. Firstly, a DC module was introduced into the depthwise separable convolution of the MobileNetV3-Large model, in order to extract the small difference features in the egg images. The improved module of depth separable dynamic convolution was dynamically generating convolutional kernel parameters for the different egg images, particularly for the accurate identification of freshness. Secondly, the CA module was introduced in the attention module to enhance the perception of overall information, with emphasis on the relative position information in the egg images. Accordingly, the region of interest (ROI) was effectively positioned to concentrate on the air chamber and yolk area in the pixel coordinate system. After that, the weight of important features increased further to strengthen the freshness features, and suppressed the influence of interfering information. Finally, the improved MobileNetV3-DA model was trained and tested using 3 276 images of three levels of egg freshness. The results showed that the recognition accuracy of the improved MobilenetV3-DA model reached 97.26%, which was 4.55 percentage points higher than that of MobileNetV3-Large. The Precision, Recall, and F1-score of MobileNetV3-DA all reached more than 93% on the various freshness images. Therefore, the MobileNetV3-Large model with the DC and CA module can be widely expected to improve the recognition accuracy and the generalization of the model. In addition, the number of parameters and the computation of the MobileNetV3-DA model were 4.45 and 149.07 MFLOPs, respectively, which were 1.03 M and 78.64 M lower than those before the improvement. A more stable convergence and fewer parameters were achieved in the improved model than before. The accuracies in the test were 5.19, 0.84 and 5.91 percentage points higher than those of ResNet18, VGG19, and ShuffleNetV2 models. Furthermore, the recognition accuracy of the trained MobileNetV3-DA model reached 95.67 % in the practical application. the average values of precision, recall and F1-score of MobileNetV3-DA model were 95.95%, 95.48% and 97.82%, respectively. The findings can provide basic support for the efficient recognition of egg freshness using lightweight models. The improved model can be expected to serve as the practical usage on portable terminals for timely freshness recognition along egg industry chains.

agricultural products; quality control; eggs freshness; MobileNetV3-DA; dynamic convolution; coordinate attention

10.11975/j.issn.1002-6819.2022.17.021

TP391.41; TS253.7

A

1002-6819(2022)-17-0196-09

劉雪，沈長盈，呂學澤，等. 基于改進MobileNetV3-Large的雞蛋新鮮度識別模型[J]. 農(nóng)業(yè)工程學報，2022，38(17)：196-204.doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

Liu Xue, Shen Changying, Lyu Xueze, et al. Recognizing egg freshness using an improved MobileNetV3-Large[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 196-204. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.17.021 http://www.tcsae.org

2022-08-03

2022-08-29

現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術體系北京市創(chuàng)新團隊建設項目（BAIC11-2022）

劉雪，博士，副教授，研究方向為農(nóng)業(yè)信息智能采集與建模。Email：liusnow@cau.edu.cn