倒置殘差網(wǎng)絡(luò)結(jié)合注意力機(jī)制的摻假羊肉分類檢測系統(tǒng)構(gòu)建

何東宇，朱榮光,2，范彬彬，王世昌，崔曉敏，姚雪東

倒置殘差網(wǎng)絡(luò)結(jié)合注意力機(jī)制的摻假羊肉分類檢測系統(tǒng)構(gòu)建

何東宇1，朱榮光1,2※，范彬彬1，王世昌1，崔曉敏1，姚雪東1

（1. 石河子大學(xué)機(jī)械電氣工程學(xué)院，石河子 832003；2. 農(nóng)業(yè)農(nóng)村部西北農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室，石河子 832003）

針對羊肉精和染色劑作用下的豬肉摻假羊肉分類檢測問題，該研究提出并建立了一種檢測速度較快、精度較高的注意力機(jī)制結(jié)合倒置殘差網(wǎng)絡(luò)模型，同時(shí)基于智能手機(jī)開發(fā)了對應(yīng)的快速、準(zhǔn)確檢測應(yīng)用軟件。首先，對羊肉、不同部位豬肉、不同摻假比例下的豬肉摻假羊肉的原始手機(jī)圖像，使用數(shù)據(jù)增強(qiáng)方式進(jìn)行數(shù)據(jù)擴(kuò)充；其次，用倒置殘差結(jié)構(gòu)替換殘差網(wǎng)絡(luò)框架中的原有殘差結(jié)構(gòu)，以減少網(wǎng)絡(luò)參數(shù)量并加快模型收斂速度，同時(shí)，引入注意力機(jī)制（Convolutional Block Attention Module，CBAM），利用空間和通道特征對特征權(quán)重再分配，以強(qiáng)化摻假羊肉和羊肉之間的特征差異；然后，利用提出的注意力機(jī)制結(jié)合倒置殘差網(wǎng)絡(luò)（CBAM-Invert-ResNet）對樣本進(jìn)行訓(xùn)練并確定模型參數(shù)；最后，將訓(xùn)練好的網(wǎng)絡(luò)模型移植到智能手機(jī)，以實(shí)現(xiàn)摻假羊肉的移動端檢測。研究結(jié)果表明：與ResNet50和CBAM-ResNet50相比，Invert-ResNet50、CBAM-Invert-ResNet50模型的參數(shù)量分別減少了58.25%和61.64%，模型大小分別減小了58.43%和61.59%；針對背脊、前腿、后腿和混合部位數(shù)據(jù)集，CBAM-Invert-ResNet50模型驗(yàn)證集的分類準(zhǔn)確率分別為95.19%、94.29%、95.81%、92.96%；把建立的網(wǎng)絡(luò)模型部署到移動端后，每張圖片的檢測時(shí)間約為 0.3 s。該研究可實(shí)現(xiàn)對羊肉精和染色劑作用下的不同部位豬肉摻假羊肉的移動端快速、準(zhǔn)確分類檢測，可為維護(hù)市場秩序和保護(hù)食品安全提供技術(shù)支持。

圖像處理；深度學(xué)習(xí)；羊肉摻假；注意力機(jī)制；倒置殘差；智能手機(jī)；羊肉精；染色劑

0 引 言

羊肉是中國肉類市場的重要組成部分，含有較低的膽固醇和豐富的蛋白質(zhì)，營養(yǎng)價(jià)值高且味道鮮美[1-2]。近年來，羊肉價(jià)格不斷上漲，遠(yuǎn)遠(yuǎn)高于豬肉等肉類價(jià)格，市場上部分不法商販為獲取更大經(jīng)濟(jì)利益將豬肉摻入羊肉制成摻假羊肉。同時(shí)，為了使摻假羊肉從視覺和嗅覺上更接近羊肉，進(jìn)一步達(dá)到“以假亂真”的效果，不法商販在摻假羊肉中加入羊肉精和染色劑。羊肉精和染色劑作用下的摻假羊肉不僅嚴(yán)重侵害了消費(fèi)者的經(jīng)濟(jì)利益、破壞市場秩序，而且會對消費(fèi)者的健康造成威脅，進(jìn)而引發(fā)食品安全問題。因此，需要開發(fā)一種快速、準(zhǔn)確檢測技術(shù)，對羊肉精和染色劑作用下的摻假羊肉進(jìn)行檢測。

現(xiàn)用于肉類摻假或食品摻假的無損檢測手段主要有光譜技術(shù)[3-4]、電子鼻和電子舌技術(shù)[5]等，這些技術(shù)所需儀器昂貴，需要的預(yù)處理手段復(fù)雜，難以滿足快速、準(zhǔn)確檢測的要求。隨著智能手機(jī)的普遍應(yīng)用及其性能的提升，一些研究者逐漸將其應(yīng)用于肉類品質(zhì)的檢測[6]。孟令峰等[7]和張垚鑫等[8]分別使用智能手機(jī)結(jié)合機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法對不同部位羊肉進(jìn)行分類檢測，并開發(fā)出相應(yīng)的手機(jī)應(yīng)用軟件。Song等[9]使用智能手機(jī)結(jié)合偏最小二乘回歸模型檢測牛肉摻假，Seddaoui等[10]使用智能手機(jī)結(jié)合免疫分析法檢測不同肉類中的摻假豬肉。上述研究表明，智能手機(jī)能夠?qū)崿F(xiàn)對不同部位肉類的分類檢測和單一部位肉類的摻假檢測，但使用智能手機(jī)對不同部位肉類摻假研究較少。此外，利用智能手機(jī)對羊肉精和染色劑作用下的摻假羊肉檢測還未見報(bào)道。

卷積神經(jīng)網(wǎng)絡(luò)在圖像處理方面具有快速，準(zhǔn)確的優(yōu)勢[11-14]，現(xiàn)已應(yīng)用于玉米[15]、哈密瓜[16]、蘋果[17]等農(nóng)產(chǎn)品檢測中。人們?yōu)榱俗非蟾鼜?qiáng)的網(wǎng)絡(luò)性能，不斷加深卷積神經(jīng)網(wǎng)絡(luò)模型層數(shù)。然而，隨著網(wǎng)絡(luò)層數(shù)的加深，模型開始出現(xiàn)梯度消失和網(wǎng)絡(luò)退化等問題。而He等[18]提出的ResNet模型使用殘差結(jié)構(gòu)有效解決了該問題，ResNet網(wǎng)絡(luò)模型在圖像分類[19-20]、目標(biāo)檢測[21]等很多任務(wù)中取得了不錯的效果。但是，ResNet網(wǎng)絡(luò)仍存在網(wǎng)絡(luò)參數(shù)過多，收斂速度慢，不利于移植到移動端等問題。有研究表明，MobileNet[22-23]中的倒置殘差結(jié)構(gòu)，可通過減少高維空間計(jì)算量，降低內(nèi)存需求，來提高模型收斂速度，降低模型參數(shù)，實(shí)現(xiàn)模型結(jié)構(gòu)的輕量化。許帥等[24]在YOLOv5中引入倒置殘差結(jié)構(gòu)進(jìn)行手勢識別，模型大小比改進(jìn)前減小了33 MB。在羊肉精和染色劑等添加劑的作用下，摻假羊肉和羊肉特征差異較小[25]，現(xiàn)有的ResNet模型難以針對摻假羊肉實(shí)現(xiàn)高精度分類。有研究表明，注意力機(jī)制（Convolutional Block Attention Module，CBAM）[26-27]能利用圖像的空間、通道特征，對特征權(quán)重再分配，強(qiáng)化圖像的特征差異，有效提高模型精度。韓旭等[28]在DenseNet網(wǎng)絡(luò)基礎(chǔ)上引入注意力機(jī)制對番茄葉片缺素圖像分類，平均準(zhǔn)確率比改進(jìn)前提升了3.04個(gè)百分點(diǎn)；林森等[29]基于注意力機(jī)制與改進(jìn)YOLOv5對水下珍品進(jìn)行檢測，平均準(zhǔn)確率比改進(jìn)前提升了4.62個(gè)百分點(diǎn)。

因此，為實(shí)現(xiàn)基于移動端的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速、準(zhǔn)確分類檢測，本研究通過在ResNet模型的基礎(chǔ)上引入注意力機(jī)制和倒置殘差結(jié)構(gòu)，提出一種輕量級的注意力機(jī)制結(jié)合倒置殘差網(wǎng)絡(luò)（CBAM-Invert-ResNet），通過試驗(yàn)確定模型參數(shù)，并將訓(xùn)練好的模型移植到移動端開發(fā)出了一款手機(jī)應(yīng)用軟件。本研究提出一種在深度學(xué)習(xí)網(wǎng)絡(luò)框架中引入注意力機(jī)制和倒置殘差的方法，該方法可為其他深度學(xué)習(xí)網(wǎng)絡(luò)改進(jìn)提供參考。

1 材料與方法

1.1 圖像采集與預(yù)處理

1.1.1 試驗(yàn)材料

本試驗(yàn)以新鮮的羊后腿肉和不同部位的豬肉（背脊、前腿、后腿）以及羊肉精膏、紅曲紅為研究對象。試驗(yàn)所用的羊肉精膏采購于青島香海盛食品配料有限公司，紅曲紅染色劑購于廣東科隆生物科技有限公司，肉類材料采購于新疆石河子市友好超市，且均符合檢疫標(biāo)準(zhǔn)。肉品用保溫箱運(yùn)至實(shí)驗(yàn)室后去除明顯的筋膜及組織，并絞碎成3～5mm的肉糜顆粒，用保鮮膜標(biāo)記密封后，置于-5 ℃的冰箱中保存，以備后續(xù)使用。

樣品制備過程如下：首先根據(jù)羊肉精和紅曲紅染色劑的食品安全規(guī)范，將羊肉精按3 g/kg溶于蒸餾水制成質(zhì)量濃度為0.05 g/mL的羊肉精溶劑；將紅曲紅染色劑以0.5 g/kg溶于蒸餾水制成濃度為0.001 g/mL的紅曲紅溶劑，將兩種溶劑以1∶1的比例混合并振蕩攪拌10 min，使其顏色混合均勻；然后將混合溶劑摻入到不同部位的豬肉糜中浸泡20 min，待溶劑充分浸入豬肉糜后，去除其表面殘余液體；最后將混有羊肉精和染色劑的各部位豬肉糜按不同比例（10%、20%、30%、40%）摻入羊肉糜中制成摻假羊肉樣品。制備不同部位、不同比例豬肉摻假羊肉樣品各8個(gè)（8×4×3=96個(gè)），制備不同部位豬肉樣品各10個(gè)，共30個(gè)，制備羊肉樣品30個(gè)，總計(jì)156 個(gè)樣品。測定156個(gè)樣品RGB值，并進(jìn)行歸一化，（紅）、（綠）、（藍(lán)）均值范圍分別為：0.352 0～0.407 1、0.130 7～0.213 4、0.088 1～0.171 3。每個(gè)樣品質(zhì)量約30 g、直徑為6 cm的圓形或近圓形的餅狀肉樣。隨后將制備好的樣品連同培養(yǎng)皿放置在-5 ℃的冰箱中保存以待檢測。

1.1.2 數(shù)據(jù)采集

試驗(yàn)所采用的手機(jī)型號為華為P40，相機(jī)型號為ANA-AN00，采集圖片時(shí)，攝像頭的感光度為500，光圈值為f/1.9，曝光時(shí)間為1/100，焦距7 mm，色溫參數(shù)為4 500 K，圖像分辨率為（6 144×8 192）像素，圖像采集高度18 cm。

試驗(yàn)在溫度為（26±1）℃，相對濕度為30±5%的環(huán)境下進(jìn)行。將樣品置于暗箱中，暗箱頂部置有恒定光源，手機(jī)用三腳架固定，調(diào)整手機(jī)采集高度以及攝像頭參數(shù)后，進(jìn)行圖像采集，每個(gè)樣本采集1張圖片，共計(jì)156張圖片。采集過程示意圖如圖1所示。

圖1 手機(jī)圖像數(shù)據(jù)采集系統(tǒng)示意圖

1.1.3 數(shù)據(jù)預(yù)處理

將數(shù)據(jù)按摻假部位劃分為三個(gè)數(shù)據(jù)集：摻豬背脊的摻假羊肉數(shù)據(jù)集、摻豬前腿的摻假羊肉數(shù)據(jù)集和摻豬后腿的摻假羊肉數(shù)據(jù)集，每個(gè)數(shù)據(jù)集包含三個(gè)類別：羊肉、摻單一部位豬肉的摻假羊肉、單一部位豬肉。此外，將上述三個(gè)數(shù)據(jù)集混合作為混合部位數(shù)據(jù)集，并用于進(jìn)一步驗(yàn)證所開發(fā)模型的泛化性和穩(wěn)定性，該混合部位數(shù)據(jù)集包含三個(gè)類別：羊肉、摻混合部位豬肉的摻假羊肉、單一部位豬肉。將采集的數(shù)據(jù)使用霍夫圓形檢測法分割，去除樣品背景。深度學(xué)習(xí)的模型訓(xùn)練依賴大量數(shù)據(jù)，在少量數(shù)據(jù)上通常表現(xiàn)不好，故采用旋轉(zhuǎn)、偏移、鏡像等方法擴(kuò)充數(shù)據(jù)量。其數(shù)據(jù)劃分方法如下：首先從數(shù)據(jù)集中取出1/3數(shù)據(jù)作為獨(dú)立驗(yàn)證集并進(jìn)行數(shù)據(jù)擴(kuò)充，擴(kuò)充后的獨(dú)立驗(yàn)證集有2 600張圖片；然后將剩下的2/3數(shù)據(jù)集進(jìn)行數(shù)據(jù)擴(kuò)充后，按3∶1劃分為訓(xùn)練集和測試集。劃分后的數(shù)據(jù)集中，訓(xùn)練集3 900張圖片，測試集1 300張圖片。擴(kuò)充后的訓(xùn)練集原圖尺寸較大，若使用原圖訓(xùn)練模型耗時(shí)較長，為降低卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算量與運(yùn)算時(shí)間，將擴(kuò)充后的數(shù)據(jù)壓縮為（224×224）像素。

1.2 基于CBAM-Invert-ResNet網(wǎng)絡(luò)的摻假羊肉分類模型構(gòu)建

1.2.1 ResNet網(wǎng)絡(luò)

隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，網(wǎng)絡(luò)性能會逐漸增強(qiáng)，然而在不斷加深網(wǎng)絡(luò)層數(shù)后，會出現(xiàn)梯度消失和網(wǎng)絡(luò)退化等問題，模型性能并不會提高，反而導(dǎo)致網(wǎng)絡(luò)收斂更慢，準(zhǔn)確率也隨之降低。針對上訴問題，He等[18]提出ResNet殘差網(wǎng)絡(luò)，使用恒等映射（Identity Mapping，IM），將原始所需要學(xué)習(xí)的函數(shù)()轉(zhuǎn)換成()，解決梯度消失和網(wǎng)絡(luò)退化問題，以免在提取特征過程中丟失信息。然而，ResNet網(wǎng)絡(luò)在進(jìn)行分類和預(yù)測時(shí)仍存在準(zhǔn)確率不高、網(wǎng)絡(luò)參數(shù)量過多和不便移植到移動等問題。

1.2.2 倒置殘差網(wǎng)絡(luò)

隨著網(wǎng)絡(luò)層數(shù)增加，網(wǎng)絡(luò)的參數(shù)量也隨之增加，使得網(wǎng)絡(luò)訓(xùn)練效率逐漸降低。針對此問題，本研究借鑒MobileNet網(wǎng)絡(luò)中的倒置殘差結(jié)構(gòu)，代替ResNet網(wǎng)絡(luò)中的殘差結(jié)構(gòu)以獲得更高效的輕量化網(wǎng)絡(luò)。該結(jié)構(gòu)能顯著降低網(wǎng)絡(luò)參數(shù)量，以便將網(wǎng)絡(luò)模型部署到移動端。倒置殘差結(jié)構(gòu)如圖2所示。

注：圖中的Conv(1×1)為卷積核大小為1×1的卷積，k為卷積核數(shù)量，S為步長；BN為批歸一化，h-swish為激活函數(shù)；表示兩個(gè)通道特征圖上數(shù)的相加；F(x)為倒置殘差塊算子。

倒置殘差結(jié)構(gòu)將壓縮后的低維特征作為輸入，先使用1×1卷積實(shí)現(xiàn)升維，再通過3×3的單通道卷積提取特征，最后使用1×1卷積實(shí)現(xiàn)降維。圖2中，倒置殘差結(jié)構(gòu)a和b中的虛線部分為輸入的下采樣函數(shù)，b為下采樣添加卷積的倒置殘差結(jié)構(gòu)。

該函數(shù)利用高度優(yōu)化的矩陣乘法和卷積算子獲得更高的效率。與傳統(tǒng)殘差結(jié)構(gòu)相比，倒置殘差結(jié)構(gòu)交換了降維和升維的順序，并將標(biāo)準(zhǔn)卷積換為深度卷積，這種呈兩頭小、中間大的梭形結(jié)構(gòu)，顯著降低了內(nèi)存需求，實(shí)現(xiàn)了內(nèi)存的高效管理，從而能加快模型收斂速度[30]。

1.2.3 注意力機(jī)制

ResNet網(wǎng)絡(luò)在提取特征時(shí)，對有效特征和無效特征賦予相同的權(quán)重，模型在無效特征上浪費(fèi)過多計(jì)算量，因此，ResNet網(wǎng)絡(luò)在進(jìn)行分類時(shí)準(zhǔn)確率不夠高。針對此問題，本研究引入CBAM（Convolutional Block Attention Module）注意力模塊對特征進(jìn)行優(yōu)化。CBAM注意力機(jī)制分為空間注意力和通道注意力兩部分。CBAM的結(jié)構(gòu)如圖3所示。

特征圖輸入后，先進(jìn)入通道注意力模塊，基于特征圖的寬、高進(jìn)行全局最大池化和全局平均池化，經(jīng)過共享感知機(jī)得到通道的注意力權(quán)重，然后通過Sigmoid激活函數(shù)獲得歸一化注意力權(quán)重，最后通過乘法逐通道加權(quán)到原始輸入特征圖上，完成通道注意力對原始特征的重新標(biāo)定。計(jì)算如下所示

為了獲得在空間維度的注意力特征，經(jīng)通道注意力模塊輸出的特征圖同樣基于特征圖的寬度和高度進(jìn)行全局最大池化和全局平均池化，將特征維度由×轉(zhuǎn)變成1×1，接著經(jīng)過卷積核為7×7的卷積和Sigmoid激活函數(shù)后降低特征圖的維度，最后將經(jīng)過Sigmoid激活函數(shù)標(biāo)準(zhǔn)化處理后的特征圖與通道注意力輸出的特征圖進(jìn)行合并，從而在空間和通道兩個(gè)維度上完成對特征圖的重標(biāo)定。計(jì)算如下所示

在空間注意力模塊中，全局平均池化和全局最大池化獲得了空間注意力特征后，通過兩個(gè)卷積建立了空間特征間的相關(guān)性，同時(shí)保持了輸入輸出維度的不變。通過卷積核為7×7的卷積操作，極大地減少了參數(shù)和計(jì)算量，有利于建立高維度的空間特征相關(guān)性。經(jīng)過CBAM后，新的特征圖將得到通道和空間維度上的注意力權(quán)重，提高了各個(gè)特征在通道和空間上的聯(lián)系，更有利于提取目標(biāo)的有效特征。

注：圖中的MaxPool表示池化核大小為1×1的全局最大池化，AvgPool表示池化核大小為1×1的全局平均池化；Sigmoid為激活函數(shù)；表示兩個(gè)通道特征圖上數(shù)的相加；表示特征映射；表示兩個(gè)通道特征圖上數(shù)的相乘。

1.2.4 CBAM-Invert-ResNet網(wǎng)絡(luò)整體框架

本研究提出的CBAM-Invert-ResNet網(wǎng)絡(luò)是對ResNet網(wǎng)絡(luò)進(jìn)行以下2個(gè)方面進(jìn)行改進(jìn)而獲得的。首先，針對ResNet網(wǎng)絡(luò)對羊肉精和染色劑作用下的摻假羊肉分類結(jié)果不理想的問題，引入注意力機(jī)制，提高特征在通道和空間上的聯(lián)系，更有利于區(qū)分羊肉與摻假羊肉之間的特征。然后，針對模型網(wǎng)絡(luò)參數(shù)過大、不便移植到移動端等問題，將傳統(tǒng)殘差網(wǎng)絡(luò)結(jié)構(gòu)替換為倒置殘差結(jié)構(gòu)，降低計(jì)算成本，加快模型收斂速度，使模型更加輕量化，有利于移植到移動端。

本研究提出的CBAM-Invert-ResNet網(wǎng)絡(luò)主要由以下7個(gè)部分組成：卷積層、池化層、歸一化層、倒置殘差結(jié)構(gòu)、CBAM結(jié)構(gòu)、全連接層、Softmax分類層。以ResNet50為例，將ResNet50網(wǎng)絡(luò)中的殘差結(jié)構(gòu)替換為倒置殘差結(jié)構(gòu)，并在每一個(gè)倒置殘差結(jié)構(gòu)后面加上CBAM模塊，CBAM-Invert-ResNet50與ResNet50結(jié)構(gòu)對比如表1所示。

1.3 評價(jià)指標(biāo)

在建立分類模型時(shí)，將樣品劃分為三類標(biāo)簽：羊肉樣品、摻假羊肉樣品和豬肉樣品，通過計(jì)算模型的準(zhǔn)確率評估模型效果，計(jì)算公式如（4）所示

其中TP代表真陽性（摻假樣品中被正確分為摻假樣品的數(shù)量），F(xiàn)N代表假陰性（摻假樣品中被誤分為未摻假樣品的數(shù)量），TN代表真陰性（未摻假樣品中被正確分為未摻假樣品的數(shù)量），F(xiàn)P代表假陽性（未摻假樣品中被誤分為摻假樣品的數(shù)量）。

1.4 試驗(yàn)環(huán)境

試驗(yàn)環(huán)境：硬件包括Intel?CoreTM i7-10750HCPU @ 2.60 GHz 處理器，16 GB內(nèi)存和NVIDIA GeForce RTX 2060顯卡等，軟件包括操作系統(tǒng)Windows 10（64 位）、編程語言 Python3.8、深度學(xué)習(xí)框架 TensorFlow 2.3.0、通用計(jì)算架構(gòu)CUDA10.1.243 和GPU加速庫 CUDNN 7.4.1。手機(jī)APP 開發(fā)及軟件測試的環(huán)境：硬件為內(nèi)存 256 GB的華為手機(jī)（P40，華為技術(shù)有限公司，中國），軟件包括 HarmonyOS 2.0.0 操作系統(tǒng)和Android Studio 安卓應(yīng)用軟件開發(fā)環(huán)境。

表1 CBAM-Invert-ResNet50和ResNet50網(wǎng)絡(luò)模型結(jié)構(gòu)比較

注：圖中Dwise(3×3)為卷積核大小為3×3的深度卷積，CBAM為注意力模塊；在CBAM-Invert-ResNet50中，Conv3_1、Conv4_1、Conv5_1為下采樣添加卷積的倒置殘差結(jié)構(gòu)，且Dwise(3×3)的步長為2，其余為下采樣不添加卷積的倒置殘差結(jié)構(gòu)，且步長為1；3-d fc表示3個(gè)神經(jīng)元的全連接層，Softmax為激活函數(shù)。

Note: The Dwise (3×3) in the figure indicates the depthwise convolution with kernel size of 3×3,CBAM is the Convolutional Block Attention Module; In the CBAM-Invert-ReNet50, the structure of Conv3_1, Conv4_1and Conv5_1 is inverted residual structure of down-sampling with convolution, and the stride of them is 2, the rest of structure is inverted residual structure of down-sampling without convolution, and the stride of them is 1; The 3-d fc represents the fully-connected layers with 3 neurons, Softmax is the softmax activation function.

2 結(jié)果與分析

2.1 倒置殘差結(jié)構(gòu)對網(wǎng)絡(luò)模型復(fù)雜度的影響

利用倒置殘差結(jié)構(gòu)替換ResNet50網(wǎng)絡(luò)中的傳統(tǒng)殘差結(jié)構(gòu)后，模型先在高維空間提取特征，再壓縮至低維空間，倒置殘差網(wǎng)絡(luò)在高維空間所用的卷積核數(shù)量遠(yuǎn)少于傳統(tǒng)殘差網(wǎng)絡(luò)。為驗(yàn)證倒置殘差結(jié)構(gòu)對模型復(fù)雜度的影響，本文通過模型大小、參數(shù)量來衡量模型的輕量化程度。所設(shè)計(jì)的CBAM-Invert-ResNet50模型與ResNet50、Invert-ResNet50和CBAM-ResNet50模型的對比如表2所示。

與ResNet50相比，Invert-ResNet50網(wǎng)絡(luò)模型的參數(shù)量由2.359×107降至9.85×106，參數(shù)量減少了58.25%；Invert-ResNet50網(wǎng)絡(luò)模型的大小由44.89 MB縮小至18.66 MB，模型大小減小了58.43%。與CBAM-ResNet50相比，CBAM-Invert-ResNet50網(wǎng)絡(luò)模型的參數(shù)量由2.612×107降至1.002×107，參數(shù)量減少了61.64%；CBAM-Invert-ResNet50網(wǎng)絡(luò)模型的大小由49.75 MB縮小至19.11 MB，模型大小減小了61.59%。

結(jié)果表明，與ResNet50和CBAM-ResNet50網(wǎng)絡(luò)相比，Invert-ResNet50和CBAM-Invert-ResNet50網(wǎng)絡(luò)參數(shù)量明顯減少，倒置殘差結(jié)構(gòu)能顯著地減小模型網(wǎng)絡(luò)參數(shù)量，壓縮模型體積，實(shí)現(xiàn)模型結(jié)構(gòu)的輕量化，這有利于將模型移植到手機(jī)移動端，為后續(xù)開發(fā)手機(jī)移動端應(yīng)用軟件提供基礎(chǔ)。

表2 CBAM-Invert-ResNet50與ResNet50、Invert-ResNet50、CBAM-ResNet50模型大小和參數(shù)量對比

2.2 倒置殘差結(jié)構(gòu)對模型收斂速度的影響

為了進(jìn)一步驗(yàn)證倒置殘差結(jié)構(gòu)對模型收斂速度的影響，分別將本模型與MobileNetV3、ResNet50、Invert-ResNet50和CBAM-ResNet50模型的訓(xùn)練過程進(jìn)行對比。在訓(xùn)練模型時(shí)，采用SGD優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，試驗(yàn)過程中的批次樣本數(shù)為16，最大迭代次數(shù)為100次。背脊數(shù)據(jù)集、前腿數(shù)據(jù)集、后腿數(shù)據(jù)集以及混合部位數(shù)據(jù)集下MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50、CBAM-Invert-ResNet50網(wǎng)絡(luò)模型的訓(xùn)練集分類準(zhǔn)確率隨迭代次數(shù)的變化如圖4所示。

在背脊數(shù)據(jù)集中，Invert-ResNet50收斂速度最快，其次是CBAM-Invert-ResNet50；在前腿數(shù)據(jù)集中，Invert-ResNet50收斂速度最快，其次是CBAM-Invert- ResNet50，在第65次后，5種模型收斂速度趨于一致；在后腿數(shù)據(jù)集中，Invert-ResNet50收斂速度最快，CBAM-Invert-ResNet50模型和CBAM-ResNet50模型收斂速度基本一致，ResNet50和MobileNetV3明顯慢于前三者；在混合部位數(shù)據(jù)集中，Invert-ResNet50和CBAM-Invert-ResNet50模型收斂速度明顯快于其余三種模型。結(jié)果表明，與ResNet50網(wǎng)絡(luò)模型和MobileNetV3網(wǎng)絡(luò)模型相比，Invert-ResNet50、CBAM-Invert-ResNet50網(wǎng)絡(luò)模型收斂速度最快。采用倒置殘差結(jié)構(gòu)的CBAM-Invert-ResNet50網(wǎng)絡(luò)利用高度優(yōu)化的矩陣乘法和卷積算子獲得了更高的計(jì)算效率。CBAM-Invert-ResNet50網(wǎng)絡(luò)顯著降低了內(nèi)存需求，實(shí)現(xiàn)了內(nèi)存的高效管理，顯著加快了模型訓(xùn)練時(shí)的收斂速度。

a. 背脊數(shù)據(jù)集a. Loin datasetb. 前腿數(shù)據(jù)集b. Fore shank datasetc. 后腿數(shù)據(jù)集c. Hind shank datasetd. 混合部位數(shù)據(jù)集d. Mix parts dataset

2.3 注意力機(jī)制對數(shù)據(jù)特征的影響

為了驗(yàn)證注意力機(jī)制對羊肉、不同部位豬肉和不同部位豬肉摻假羊肉特征提取的影響，將各類別具有代表性的樣品原始圖像輸入ResNet50、Invert-ResNet50和CBAM-Invert- ResNet50網(wǎng)絡(luò)模型中，對比經(jīng)過3種網(wǎng)絡(luò)模型提取特征后的最后一層輸出特征圖。特征圖對比如圖5所示，其中，第一行為樣品原始輸入圖像；第二行圖像是輸入圖像經(jīng)過ResNet50網(wǎng)絡(luò)模型后的輸出特征；第三行圖像是輸入圖像經(jīng)過Invert-ResNet50網(wǎng)絡(luò)模型后的輸出特征；第四行圖像是輸入圖像經(jīng)過CBAM-Invert-ResNet50網(wǎng)絡(luò)模型后的輸出特征。在樣品原始輸入圖像中，圖a為羊肉圖像，圖b、c、d為不同部位豬肉摻假羊肉圖像，圖e、f、g為豬肉圖像，由圖可知，羊肉圖像與摻假羊肉圖像差異較小，肉眼難以區(qū)分，豬肉圖像與其余兩者差異較大。經(jīng)過ResNet50和Invert-ResNet50網(wǎng)絡(luò)模型處理后，羊肉、摻假羊肉和豬肉三類的輸出特征可視化結(jié)果差異較小。經(jīng)過CBAM-Invert- ResNet50網(wǎng)絡(luò)模型處理后，羊肉和摻假羊肉和豬肉的輸出特征可視化結(jié)果在顏色上具有明顯差異，原因是注意力機(jī)制可以增大感受野，創(chuàng)建不同通道間的依賴關(guān)系，對更重要的特征進(jìn)行權(quán)重分配，強(qiáng)化不同部位豬肉摻假羊肉之間的特征差異。因此，注意力機(jī)制能用于羊肉、不同部位豬肉和摻假羊肉的分類。

2.4 模型準(zhǔn)確率對比

為了驗(yàn)證本網(wǎng)絡(luò)模型對背脊數(shù)據(jù)集、前腿數(shù)據(jù)集、后腿數(shù)據(jù)集以及混合部位數(shù)據(jù)集分類檢測的有效性，本文選用MobileNetV3、ResNet50、Invert-ResNet50、CBAM-ResNet50四個(gè)模型與本模型進(jìn)行準(zhǔn)確率對比，5個(gè)網(wǎng)絡(luò)模型對4個(gè)數(shù)據(jù)集的驗(yàn)證集分類準(zhǔn)確率對比如表3所示。

由表3可知，與ResNet50和Invert-ResNet50網(wǎng)絡(luò)模型相比，加入CBAM注意力機(jī)制后，CBAM-ResNet50與CBAM-Invert-ResNet50網(wǎng)絡(luò)模型對背脊數(shù)據(jù)集、前腿數(shù)據(jù)集、后腿數(shù)據(jù)集和混合部位數(shù)據(jù)集的分類準(zhǔn)確率均有較大的提升。在四個(gè)數(shù)據(jù)集中，CBAM-ResNet50網(wǎng)絡(luò)模型比ResNet50網(wǎng)絡(luò)模型的分類準(zhǔn)確率分別提高了5.09、2.18、14.17和1.92個(gè)百分點(diǎn)；CBAM-Invert-ResNet50網(wǎng)絡(luò)模型比Invert-ResNet50網(wǎng)絡(luò)模型的分類準(zhǔn)確率分別提高了6.08、2.62、14.70和4.23個(gè)百分點(diǎn)。此外，與目前流行的移動端模型MobileNetV3相比，CBAM-Invert-ResNet50對四個(gè)數(shù)據(jù)集的分類準(zhǔn)確率分別提高了12.44、9.6、13.73和4.87個(gè)百分點(diǎn)。

注：b、c、d的摻假比例均為20%。

表3 四個(gè)數(shù)據(jù)集下不同模型驗(yàn)證集準(zhǔn)確率對比

其中，CBAM-ResNet50、CBAM-Invert-ResNet50對前腿數(shù)據(jù)集和混合部位數(shù)據(jù)集的分類準(zhǔn)確率較低，其原因在于，CBAM提取的圖像特征中，前腿摻假羊肉的核心特征與羊肉較為相似，圖5中，CBAM-Invert-ResNet50對羊肉和前腿摻假羊肉的特征可視化結(jié)果中，兩者核心特征在顏色上較為一致，所以CBAM-ResNet50和CBAM-Invert- ResNet50對前腿數(shù)據(jù)集的分類準(zhǔn)確率較低；混合部位數(shù)據(jù)集是背脊、前腿和后腿數(shù)據(jù)集的混合，該數(shù)據(jù)集包含了前三個(gè)數(shù)據(jù)集的特征，數(shù)據(jù)集復(fù)雜，模型對數(shù)據(jù)集的分類難度更大，所以準(zhǔn)確率有一定程度降低。

CBAM注意力機(jī)制能強(qiáng)化不同部位豬肉摻假羊肉之間的特征差異，進(jìn)而提高分類準(zhǔn)確率。引入CBAM注意力機(jī)制后，結(jié)果表明，與ResNet50和Invert-ResNet50網(wǎng)絡(luò)模型相比，CBAM-ResNet50和CBAM-Invert-ResNet50網(wǎng)絡(luò)模型對背脊數(shù)據(jù)集、前腿數(shù)據(jù)集、后腿數(shù)據(jù)集以及混合部位數(shù)據(jù)集的分類準(zhǔn)確率均有較大提升，CBAM-Invert-ResNet50網(wǎng)絡(luò)模型整體性能均優(yōu)于ResNet50和MobileNetV3網(wǎng)絡(luò)模型。

2.5 模型性能評價(jià)

混淆矩陣常用來可視化地評估模型的性能優(yōu)劣。圖6給出了四個(gè)數(shù)據(jù)集下三種網(wǎng)絡(luò)模型對羊肉、摻假羊肉和豬肉三種類別檢測準(zhǔn)確率的分類混淆矩陣。由圖7可知，在背脊數(shù)據(jù)集中，本模型對羊肉的識別準(zhǔn)確率為90.65%，與ResNet50相比，提高了16.42個(gè)百分點(diǎn)，對摻假羊肉的識別準(zhǔn)確率為95%，與MobileNetV3相比，提高了42.58個(gè)百分點(diǎn)；在前腿數(shù)據(jù)集中，本模型對羊肉的識別準(zhǔn)確率為79.97%，與ResNet50和MobileNetV3相比，分別提高了1.32和25.09個(gè)百分點(diǎn)；在后腿數(shù)據(jù)集中，本模型對摻假羊肉的識別準(zhǔn)確率為100%，與ResNet50和MobileNetV3相比，分別提高了42.33和36.83個(gè)百分點(diǎn)；在混合部位數(shù)據(jù)集中，本模型對摻假羊肉的識別準(zhǔn)確率為97.93%，與ResNet50和MobileNetV3相比，分別提高了8.34和24.08個(gè)百分點(diǎn)。以上結(jié)果表明，在背脊數(shù)據(jù)集、前腿數(shù)據(jù)集、后腿數(shù)據(jù)集以及混合部位數(shù)據(jù)集中，與ResNet50、MobileNetV3相比，本模型對羊肉和摻假羊肉的識別率明顯提升。

2.6 網(wǎng)絡(luò)模型的移動端部署

為實(shí)現(xiàn)基于智能手機(jī)的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速、準(zhǔn)確分類檢測，本研究采用TensorFlow Lite框架將訓(xùn)練好的CBAM-Invert-ResNet50網(wǎng)絡(luò)模型部署到Android設(shè)備中，開發(fā)出一款移動端摻假羊肉檢測系統(tǒng)如圖7所示。

注：M，羊肉；MP，摻假羊肉；P，豬肉。

圖7 移動端摻假羊肉檢測系統(tǒng)流程圖及檢測示例

首先，將訓(xùn)練好的CBAM-Invert-ResNet50網(wǎng)絡(luò)模型保存為.tflite格式，然后，在Android Studio開發(fā)環(huán)境中開發(fā)摻假羊肉檢測移動端系統(tǒng)，該系統(tǒng)主要包括前端界面和后端處理。前端界面主要由.xml文件進(jìn)行布局，通過添加文本和按鈕組件實(shí)現(xiàn)羊肉圖片和檢測結(jié)果的顯示。后端處理通過編寫Java語言實(shí)現(xiàn)，包括圖像獲取、圖像處理和模型判別功能。輸入一張圖像，獲取的圖像被自動裁剪為224像素×224像素，系統(tǒng)獲取圖像后會調(diào)用模型對圖像進(jìn)行分類，檢測其是否摻假，并輸出其類別以及相應(yīng)的可信度，檢測一張圖片耗時(shí)約為0.3 s。

3 結(jié) 論

1）為實(shí)現(xiàn)基于移動端的羊肉精和染色劑作用下不同部位豬肉摻假羊肉的快速分類檢測，本研究用倒置殘差結(jié)構(gòu)替換ResNet網(wǎng)絡(luò)框架中的原有殘差結(jié)構(gòu)，進(jìn)行更高層語義特征學(xué)習(xí)，使模型更加輕量化。與ResNet50和CBAM-ResNet50相比，Invert-ResNet50和CBAM-Invert-ResNet50的參數(shù)量分別減少了58.25%和61.64%，模型大小分別減小了58.43%和61.59%。在相同試驗(yàn)條件下，采用倒置殘差結(jié)構(gòu)可顯著加快模型訓(xùn)練時(shí)的收斂速度。

2）使用注意力機(jī)制可以強(qiáng)化不同肉類特征差異，提高模型精度，CBAM-Invert-ResNet50模型對羊肉精和染色劑作用下背脊、前腿、后腿數(shù)據(jù)集和混合部位數(shù)據(jù)集分類準(zhǔn)確率分別為95.19%、94.29%、95.81%、92.97%，與Invert-ResNet50相比，分別提高了6.08、2.62、14.70和4.23個(gè)百分點(diǎn)；與MobileNetV3網(wǎng)絡(luò)模型相比，分別提高了12.44、9.60、13.73、4.87個(gè)百分點(diǎn)

3）基于智能手機(jī)開發(fā)的羊肉精和染色劑作用下豬肉摻假羊肉的移動端檢測，檢測耗時(shí)約為0.3 s，滿足對摻假羊肉快速、準(zhǔn)確檢測的要求。

[1] 王彩霞，王松磊，賀曉光，等. 高光譜圖譜融合檢測羊肉中飽和脂肪酸含量[J]. 光譜學(xué)與光譜分析，2020，40(2)：595-601.

Wang Caixia, Wang Songlei, He Xiaoguang, et al. Detection of saturated fatty acid content in mutton by using the fusion of hyperspectral spectrum and image information[J]. Spectroscopy and Spectral Analysis, 2020, 40(2): 595-601. (in Chinese with English abstract)

[2] 甘春艷，李軍，金海. 2021年我國肉羊產(chǎn)業(yè)發(fā)展概況、未來發(fā)展趨勢及建議[J]. 中國畜牧雜志，2022，58(3)：258-263.

Gan Chunyan, Li Jun, Jin Hai. Development situation, future development trend and suggestions of mutton sheep industry in China in 2021[J]. Chinese Journal of Animal Husbandry, 2022, 58(3): 258-263. (in Chinese with English abstract)

[3] Vieira L S, Assis C, Queiroz M E L R de, et al. Building robust models for identification of adulteration in olive oil using FT-NIR, PLS-DA and variable selection[J]. Food Chemistry, 2021, 345: 128866.

[4] 白宗秀，朱榮光，王世昌，等. 高光譜圖像結(jié)合特征變量篩選定量檢測羊肉中狐貍?cè)鈸郊賉J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(17)：276-284.

Bai Zongxiu, Zhu Rongguang, Wang Shichang, et al. Quantitative detection of fox meat adulteration in mutton by hyper spectral imaging combined with characteristic variables screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 276-284. (in Chinese with English abstract)

[5] Wang Q, Li L, Ding W, et al. Adulterant identi?cation in mutton by electronic nose and gas chromatography-mass spectrometer, [J]. Food Control, 2019, 98: 431-438.

[6] 趙鑫龍，彭彥昆，李永玉，等. 基于深度學(xué)習(xí)的牛肉大理石花紋等級手機(jī)評價(jià)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：250-256.

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract)

[7] 孟令峰，朱榮光，白宗秀，等. 基于手機(jī)圖像的不同貯藏時(shí)間下冷卻羊肉的部位判別_孟令峰[J]. 食品科學(xué)，2020，41(23)：21-26.

Meng Lingfeng, Zhu Rongguang, Bai Zongxiu, et al. Discrimination of chilled lamb from different carcass parts at different storage times based on mobile phone images[J]. Food Science, 2020, 41(23): 21-26. (in Chinese with English abstract)

[8] 張垚鑫，朱榮光，孟令峰，等. 改進(jìn)ResNet18網(wǎng)絡(luò)模型的羊肉部位分類與移動端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：331-338.

Zhang Yaoxin, Zhu Rongguang, Meng Lingfeng, et al. Classification of mutton location on the animal using improved ResNet18 network model and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 331-338. (in Chinese with English abstract)

[9] Song W, Yun Y H, Wang H, et al. Smartphone detection of minced beef adulteration[J]. Microchemical Journal, 2021, 164: 106088.

[10] Seddaoui N, Amine A. Smartphone-based competitive immunoassay for quantitative on-site[J]. Talanta, 2021, 230: 122346.

[11] Li D, Wang R J, Xie C J, et al. A recognition method for rice plant diseases and pests video detection based on deep convolutional neural network[J]. Sensors, 2020, 20(3): 578.

[12] He Y. Brown rice planthopper (Nilaparvata lugens Stal) detection based on deep learning[J]. Precision Agriculture, 2020, 21(6): 1385-1402.

[13] Cecotti H, Rivera A, Farhadloo M, et al, Grape detection with convolutional neural networks[J]. Expert Systems with Applications, 2020, 159: 113588

[14] 李云霞，馬浚誠，劉紅杰，等. 基于RGB圖像與深度學(xué)習(xí)的冬小麥田間長勢參數(shù)估算系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(24)：189-198.

Li Yunxia, Ma Juncheng, Liu Hongjie, et al. Field growth parameter estimation system of winter wheat using RGB digital images and deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(24): 189-198. (in Chinese with English abstract)

[15] 孫紅，喬金博，李松，等. 基于深度學(xué)習(xí)的玉米拔節(jié)期冠層識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：53-61.

Sun Hong, Qiao Jinbo, Li Song, et al. Recognition of the maize canopy at the jointing stage based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 53-61. (in Chinese with English abstract)

[16] 李小占，馬本學(xué)，喻國威，等. 基于深度學(xué)習(xí)與圖像處理的哈密瓜表面缺陷檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(1)：223-232.

Li Xiaozhan, Ma Benxue, Yu Guowei, et al. Surface defect detection of Hami melon using deep learning and image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(1): 223-232. (in Chinese with English abstract)

[17] 高芳芳，武振超，索睿，等. 基于深度學(xué)習(xí)與目標(biāo)跟蹤的蘋果檢測與視頻計(jì)數(shù)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：217-224.

Gao Fangfang, Wu Zhenchao, Suo Rui, et al. Apple detection and counting using real-time video based on deep learning and object tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 217-224. (in Chinese with English abstract)

[18] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016.

[19] 徐建鵬，王杰，徐祥，等. 基于RAdam卷積神經(jīng)網(wǎng)絡(luò)的水稻生育期圖像識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(8)：143-150.

Xu Jianpeng, Wang Jie, Xu Xiang, et al. Image recognition for different developmental stages of rice by RAdam deep convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(8): 143-150. (in Chinese with English abstract)

[20] 萬鵬，趙竣威，朱明，等. 基于改進(jìn)Res Net50模型的大宗淡水魚種類識別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(12)：159-168.

Wan Peng, Zhao Junwei, Zhu Ming, et al. Freshwater fish species identification method based on improved Res Net50 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(12): 159-168. (in Chinese with English abstract)

[21] Mukti I Z, Dipayan B. Transfer learning based plant diseases detection using ResNet50[C]. 2019 4th International Conference on Electrical Information and Communication Technology (EICT), Khulna, Bangladesh 2019.

[22] Howard A, Sandler M, Chu G, et al. Searching for MobileNetV3[C]. International Conference on Computer Vision (ICCV), Seoul, Korea ,2019.

[23] Sandler M, Howard A, Zhu M L, et al. MobileNetV2: Inverted Residuals and Linear Bottlenecks[C]. 31st IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018.

[24] 許帥，姜俊厚，高偉，等. 適用于移動設(shè)備的輕量化手勢識別算法[J]. 青島大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，35(2)：51-56.

Xu Shuai, Jiang Junhou, Gao Wei, et al. Lightweight gesture recognition algorithm for mobile devices[J]. Journal of Qingdao University (Natural Science Edition), 2022, 35(2): 51-56. (in Chinese with English abstract)

[25] Fan B B, Zhu R G, He D Y et al. Evaluation of mutton adulteration under the effect of mutton flavour essence using hyperspectral imaging combined with machine learning and sparrow search algorithm[J]. Foods, 2022, 11: 2278.

[26] Woo S, Park J, Lee J Y, et al. CBAM: Convolutional Block Attention Module[C]. Computer Vision - ECCV 2018, Springer, 2018: 3-19.

[27] Zhu X Y, Zhang X W, Sun Z, et al. Identification of oil tea (era) cultivars using EfficientNet-B4 CNN Model with attention mechanism[J]. Forests, 2022, 13(1): 1.

[28] 韓旭，趙春江，吳華瑞，等. 基于注意力機(jī)制及多尺度特征融合的番茄葉片缺素圖像分類方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(17)：177-188.

Han Xu, Zhao Chunjiang, Wu Huarui, et al. Image classification method for tomato leaf deficient nutrient elements based on attention mechanism and multi-scale feature fusion[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(17): 177-188. (in Chinese with English abstract)

[29] 林森，劉美怡，陶志勇. 采用注意力機(jī)制與改進(jìn)YOLOv5的水下珍品檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：307-314.

Lin Sen, Liu Meiyi, Tao Zhiyong, et al. Detection of underwater treasures using attention mechanism and improved YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 307-314. (in Chinese with English abstract)

[30] Li Y Y, Zhang D, Lee D J. IIRNet: A lightweight deep neural network using intensely inverted residuals for image recognition[J]. Image and Vision Computing, 2019, 92: 103819.

Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module

He Dongyu1, Zhu Rongguang1,2※, Fan Binbin1, Wang Shichang1, Cui Xiaomin1,Yao Xuedong1

(1.,,832003,; 2.,,832003,)

Accurate and real-time detection of meat adulteration has been an ever-increasing high demand in the food industry in recent years. However, the presence of mutton flavor essence and dye can make the detection more difficult than before. In this study, a residual network (ResNet) model was proposed to classify the mutton adulteration using Convolutional Block Attention Module (CBAM) combined with the inverted residual (Invert). Meanwhile, an application software was also developed to realize the rapid and accurate classification using smart phones. Firstly, the original images were collected from the mutton, three parts pork, and adulterated mutton using a mobile phone. Hough circle detection was then used to remove the background of the images. Data augmentation (such as rotation, offset, and mirroring) was used to expand the sample images. 6800 images were acquired, two-thirds of which were used as the training and testing dataset. Furthermore, the training dataset was three times larger than the testing one. The rest was then used as the independent validation dataset. Secondly, the original residual structure of the ResNet framework was replaced by the Invert structure, in order to reduce the number of network parameters for the high convergence speed. At the same time, the CBAM was introduced into the Invert structure. As such, the feature difference was strengthened to redistribute the feature weights in the spatial and channel. The convolution neural network (CBAM-Invert-ResNet) was then developed using the sample data. Furthermore, the MobileNet and resnet50 were also developed using the same data to compare the convergence speed and accuracy of the model. Finally, the CBAM-Invert-ResNet network model was transplanted to mobile phones by the TensorFlow Lite framework and AndroidStudio development environment. The mobile terminal classification was realized in real time. The results showed that the CBAM greatly enhanced the feature difference among categories, whereas, the Invert significantly reduced the parameters and size of the network, indicating the accelerated convergence speed. The parameters of Invert-ResNet50 model are 9.85×106, and the model size is 18.66 MB, which were reduced by 58.25% and 58.43% compared with the ResNet50 model. Specifically, the parameters of the CBAM-Invert-ResNet50 model were 1.002×107with a model size of 19.11MB, which were reduced by 61.64% and 61.59% compared with the CBAM-ResNet50 model, respectively, compared with the ResNet50 model. The convergence speed of the CBAM-Invert-ResNet50 model was much faster than that of the ResNet50 one. There were also many more outstanding differences in color during feature visualization of the mutton, adulterated mutton, and pork using the CBAM-Invert-ResNet50 model. The classification accuracies of the CBAM-Invert-ResNet50 model for the pork adulteration with the loin, hind shank, fore shank and mix parts datasets were 95.19 %, 94.29 %, 95.81 %, and 92.96% in validation dataset, which were improved by 6.08、2.62、14.70 and 4.23 percentage points compared with the Invert-ResNet50 model, respectively, compared with the ResNet50 model. Furthermore, the classification accuracies of the CBAM-Invert-ResNet50 model were improved by 12.44, 9.6, 13.73, and 4.87 percentage points, respectively, compared with the MobileNet. Moreover, the application software with the CBAM-Invert-ResNet50 model was developed to quickly and accurately classified mutton, pork, and mutton adulterationwith the different ratios of porkingredients. The detection time of each image was about 0.3 s in the mobile terminal. The rapid and accurate classification was realized for the mutton adulteration with the pork under the effect of mutton flavor essence and dye. The finding can provide technical support to maintain the market order in food safety.

image processing; deep learning; mutton adulteration; attention mechanism; inverted residual; mobile terminal; mutton flavor essence; dyeing agents

10.11975/j.issn.1002-6819.2022.20.030

TP391.41; TS251.53

A

1002-6819(2022)-20-0266-10

何東宇，朱榮光，范彬彬，等. 倒置殘差網(wǎng)絡(luò)結(jié)合注意力機(jī)制的摻假羊肉分類檢測系統(tǒng)構(gòu)建[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38(20)：266-275.doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

He Dongyu, Zhu Rongguang, Fan Binbin, et al. Construction of the detection system for mutton adulteration classification based on inverted residual network and convolutional block attention module[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(20): 266-275. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2022.20.030 http://www.tcsae.org

2022-07-15

2022-09-18

國家自然科學(xué)基金地區(qū)科學(xué)基金項(xiàng)目（31860465）；兵團(tuán)中青年科技創(chuàng)新領(lǐng)軍人才計(jì)劃項(xiàng)目（2020CB016）

何東宇，研究方向?yàn)閳D像處理，機(jī)器學(xué)習(xí)。Email：hedy_1221@163.com

朱榮光，博士，教授，博士生導(dǎo)師，研究方向?yàn)檗r(nóng)畜產(chǎn)品無損檢測與裝備研發(fā)。Email：rgzh_jd@163.com