基于深度學(xué)習(xí)的牛肉大理石花紋等級手機(jī)評價(jià)系統(tǒng)

趙鑫龍，彭彥昆，李永玉，王亞麗，趙 苗

·農(nóng)產(chǎn)品加工工程·

基于深度學(xué)習(xí)的牛肉大理石花紋等級手機(jī)評價(jià)系統(tǒng)

趙鑫龍，彭彥昆※，李永玉，王亞麗，趙 苗

（中國農(nóng)業(yè)大學(xué)工學(xué)院，國家農(nóng)產(chǎn)品加工技術(shù)裝備研發(fā)分中心，北京 100083）

大理石花紋是影響牛肉品質(zhì)等級的重要指標(biāo)，目前中國牛肉加工企業(yè)對大理石花紋的評價(jià)是由專業(yè)分級人員參照標(biāo)準(zhǔn)圖譜完成，具有主觀性強(qiáng)、耗費(fèi)人工的缺點(diǎn)。針對上述問題，該研究提出了基于深度學(xué)習(xí)的智能分級方法，設(shè)計(jì)一種具有4層卷積的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了大理石花紋特征的自動提取，并基于智能手機(jī)開發(fā)了牛肉大理石花紋檢測軟件。該研究共采集樣本圖像1 800張，按3:1:1分為校正集、驗(yàn)證集和測試集。為進(jìn)一步驗(yàn)證模型，將該方法與傳統(tǒng)機(jī)器視覺方法進(jìn)行了比較，提取了牛肉大理石花紋的大、中、小脂肪顆粒個(gè)數(shù)，脂肪總面積和脂肪分布均勻度5個(gè)參數(shù)，并建立了多元線性回歸模型。試驗(yàn)結(jié)果表明，該研究所用方法大理石花紋檢測準(zhǔn)確率更高，驗(yàn)證集檢測正確率為97.67%。最后編寫了手機(jī)軟件，將模型移植入Android手機(jī)，在手機(jī)平臺上調(diào)用模型進(jìn)行大理石花紋檢測。試驗(yàn)表明，該軟件對測試集樣本的檢測準(zhǔn)確率為95.56%，單張檢測時(shí)間低于0.5 s。該研究結(jié)合卷積神經(jīng)網(wǎng)絡(luò)分類能力強(qiáng)和智能手機(jī)運(yùn)行速度快等優(yōu)點(diǎn)，開發(fā)了牛肉大理石花紋的手機(jī)評價(jià)系統(tǒng)，具有較好的實(shí)用性和便攜性，可提高牛肉大理石花紋檢測效率，有助于提高農(nóng)畜產(chǎn)品檢測的智能化水平。

模型；牛肉；大理石花紋；卷積神經(jīng)網(wǎng)絡(luò)；手機(jī)

0 引 言

牛肉是國際肉類市場的重要組成部分，含有豐富的蛋白質(zhì)、氨基酸等，營養(yǎng)價(jià)值高且味道鮮美。牛肉的品質(zhì)等級主要由大理石花紋和生理成熟度兩個(gè)指標(biāo)來評分[1]。大理石花紋是反映肌內(nèi)脂肪含量和分布狀態(tài)的重要指標(biāo)。目前，中國牛肉屠宰加工企業(yè)對牛肉大理石花紋的評分主要是由專業(yè)的分級人員參照標(biāo)準(zhǔn)圖譜來完成。這種依賴感官視覺的方法易受主觀因素影響，且費(fèi)時(shí)費(fèi)力不利于企業(yè)的自動化生產(chǎn)。近20 a來，國內(nèi)外有很多學(xué)者利用機(jī)器視覺技術(shù)對該問題進(jìn)行了探索與研究[2-7]。周彤等[8]通過提取大理石花紋的脂肪顆粒面積等特征參數(shù)建立主成分回歸模型，預(yù)測相關(guān)系數(shù)為0.88，校正集分級準(zhǔn)確率達(dá)97%，驗(yàn)證集分布及準(zhǔn)確率為91.2%。張彥娥等[9]基于多尺度區(qū)間插值小波法，對牛眼肌切面圖像進(jìn)行處理提高了牛肉等級判定的準(zhǔn)確度。Velasquez等[10]利用高光譜技術(shù)采集牛肉圖像，對528 nm波長下的圖像分割樣品和背景，基于決策樹方法對440 nm下的樣本圖像進(jìn)行處理得到的分類誤差為0.08%。但上述研究中所用方法依賴復(fù)雜昂貴的檢測設(shè)備，開發(fā)成本較高。智能手機(jī)作為一個(gè)獨(dú)立的操作平臺，配置了多種傳感器，例如近紅外傳感器，陀螺儀和照相機(jī)。用戶可以通過安裝第三方程序來實(shí)現(xiàn)特定功能，已經(jīng)有學(xué)者將智能手機(jī)與圖像處理技術(shù)應(yīng)用于農(nóng)產(chǎn)品檢測等領(lǐng)域[11-14]，然而，尚未有關(guān)于牛肉大理石花紋檢測的報(bào)道。

牛肉大理石花紋的檢測環(huán)境易受外界光照等影響，周彤等[8]在試驗(yàn)時(shí)使用白光環(huán)形光源和封閉的遮光外殼，獲得了穩(wěn)定的圖像采集環(huán)境。而手機(jī)拍攝的干擾因素較多，因此，基于智能手機(jī)的圖像檢測系統(tǒng)需要一種更加可靠的算法來適應(yīng)復(fù)雜的檢測環(huán)境。隨著人工智能技術(shù)的發(fā)展與計(jì)算機(jī)硬件的完善，深度學(xué)習(xí)改變了傳統(tǒng)算法的思路[15-17]。卷積神經(jīng)網(wǎng)絡(luò)作為一種經(jīng)典的深度學(xué)習(xí)算法在圖像處理領(lǐng)域取得了一定的突破[18-21]，并被應(yīng)用在檢測小麥[22-24]、花生[25-26]等農(nóng)業(yè)相關(guān)的領(lǐng)域[27-29]。張博等[30]將空間金字塔池化與改進(jìn)的YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了一種基于空間金字塔池化的深度卷積神經(jīng)網(wǎng)絡(luò)農(nóng)作物害蟲種類識別算法，對20類害蟲的識別精度均值達(dá)88.07%。鄧寒冰等[31]提出基于RGB-D的肉牛圖像全卷積網(wǎng)絡(luò)，將統(tǒng)計(jì)像素準(zhǔn)確率平均提高 2.5%。Mu?oz等[32]基于卷積神經(jīng)網(wǎng)絡(luò)提出了一種干火腿肌內(nèi)脂肪分割方法，能夠以0.99的像素精度對肌內(nèi)脂肪進(jìn)行提取，分割脂肪的召回率和精確度分別接近0.82和0.84。

為開發(fā)牛肉大理石花紋的深度學(xué)習(xí)型手機(jī)評價(jià)系統(tǒng)，本研究基于深度學(xué)習(xí)算法設(shè)計(jì)了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采集并制作了牛肉樣本數(shù)據(jù)集，通過監(jiān)督學(xué)習(xí)的方式訓(xùn)練網(wǎng)絡(luò)模型，并基于Android平臺編寫手機(jī)軟件。結(jié)合智能手機(jī)和智能方法對牛肉大理石花紋分級，用機(jī)器視覺代替感官評價(jià)，不僅能提高肉牛企業(yè)工作效率，降低成本，更能規(guī)范生產(chǎn)水平，有利于牛肉品質(zhì)合理分級。

1 材料與方法

1.1 樣品準(zhǔn)備

該研究所使用樣本采集于北京御香苑畜牧有限公司分割車間，選取魯西黃牛第11肋至第13肋間背最長肌為檢測對象，樣本厚度為3 cm，經(jīng)真空包裝后放入4℃冷藏箱運(yùn)回實(shí)驗(yàn)室冷藏。此次共采集樣本300塊，由專業(yè)評分人員對照大理石花紋等級圖譜標(biāo)注其真實(shí)等級。依據(jù)農(nóng)業(yè)部2010年修訂的行業(yè)標(biāo)準(zhǔn)NY/T676-2010[1]，等級5花紋最豐富，等級1幾乎沒有花紋。

1.2 圖像采集與預(yù)處理

圖像采集所用設(shè)備為Android手機(jī)，型號為榮耀V10。手機(jī)拍攝時(shí)環(huán)境較為開放，沒有固定光源和遮光外殼，因此相同的樣品可能會由于拍攝地點(diǎn)不同和光源不同而產(chǎn)生細(xì)微差異。為減少此類干擾的影響，分別在9:00和15:00于3處不同的地點(diǎn)進(jìn)行了圖像采集，以保證數(shù)據(jù)樣本同時(shí)包括室內(nèi)采集與室外采集的情況。

本次試驗(yàn)采集的圖像大小為3 456像素×4 608像素，色彩為、、三通道。所采集原圖尺寸較大，若使用原圖訓(xùn)練模型耗時(shí)較長，為降低卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算量與運(yùn)算時(shí)間，通常使用減小尺寸的方式壓縮圖像。大理石花紋的豐富程度決定了其等級，為保證數(shù)據(jù)集質(zhì)量，在原圖中選出反映真實(shí)等級的部位，將該區(qū)域裁剪保存為待測樣本，并壓縮為224像素×224像素備用，不同等級的牛肉樣本如圖1所示。

圖1 牛肉樣本圖像

最后共得到待測樣本圖像1 800張，將采集得到的圖像按照3:1:1隨機(jī)分為校正集、驗(yàn)證集和測試集。其中校正集1 080張，驗(yàn)證集360張，測試集360張，其分布情況如表1所示。校正集和驗(yàn)證集分別用于訓(xùn)練和模型驗(yàn)證，測試集作為手機(jī)檢測樣本。

表1 樣品分布情況

深度學(xué)習(xí)的模型訓(xùn)練依賴大量的標(biāo)簽數(shù)據(jù)，在少量數(shù)據(jù)上通常表現(xiàn)不好。本研究采用旋轉(zhuǎn)、鏡像、調(diào)節(jié)亮度對比度、增加噪聲等方法擴(kuò)增樣本數(shù)據(jù)量，擴(kuò)增前后的變化如圖2所示。最后得到校正集圖像5 400張，驗(yàn)證集圖像1 800張。

圖2 擴(kuò)增前后的牛肉圖像

1.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)是一種包含了卷積操作的深層前饋神經(jīng)網(wǎng)絡(luò)，屬于深度學(xué)習(xí)的經(jīng)典算法，在圖像分類、模式識別等領(lǐng)域得到廣泛應(yīng)用，對于平移、旋轉(zhuǎn)、縮放等變化具有較好的魯棒性。相較于傳統(tǒng)的多層神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的隱藏層層數(shù)更深一些，隱藏層主要是由卷積層、池化層與激活函數(shù)組成以實(shí)現(xiàn)特征提取。雖然層數(shù)增加導(dǎo)致網(wǎng)絡(luò)更為復(fù)雜，但是卷積神經(jīng)網(wǎng)絡(luò)通過局部感受野、權(quán)重共享和下采樣3種方式大大降低了模型的復(fù)雜程度。卷積神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元無需感知圖像中的每一個(gè)像素，由滑動窗口感知局部區(qū)域內(nèi)的信息，然后在更深的層面中將局部的信息進(jìn)行合并從而得到圖像的完整信息。每個(gè)滑動窗口內(nèi)的神經(jīng)單元只響應(yīng)感受野內(nèi)的區(qū)域，這樣的局部連接保證了學(xué)習(xí)到的卷積核權(quán)重對輸入的局部有最強(qiáng)的響應(yīng)。權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。本研究設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共12層，具體結(jié)構(gòu)如圖3所示，包括了輸入層、卷積層、池化層、全連接層和輸出層。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)采用原始圖像作為輸入，可以有效從大量樣本中學(xué)習(xí)到相應(yīng)特征，避免了復(fù)雜的特征提取過程。輸入圖像為三通道的彩色圖像，包含了牛肉圖像豐富的特征信息，輸入層的大小為224像素×224像素。

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心部分，卷積層內(nèi)有若干個(gè)卷積核對輸入信息進(jìn)行遍歷，每一次遍歷都會進(jìn)行線性加權(quán)求和運(yùn)算，相當(dāng)于提取了局部感受野內(nèi)的特征信息，直至遍歷結(jié)束輸出一張新的特征圖（Feature map）。卷積的過程實(shí)現(xiàn)了特征的自動提取，一般卷積神經(jīng)網(wǎng)絡(luò)包含有多個(gè)卷積層，輸入信息在這些卷積層中依次傳遞，輸出更高維度的特征信息。卷積核也叫過濾器，是一種帶有權(quán)重和偏置的“滑動窗口”，通常使用3×3或5×5的大小，該研究在網(wǎng)絡(luò)的前半部分使用5×5卷積核，后半部分使用3×3卷積核。圖像經(jīng)過一次卷積運(yùn)算，其輸出尺寸會發(fā)生變化。假設(shè)輸入圖像的尺寸表示為1、1、1，輸出圖像的尺寸表示為2、2、2，輸出圖像尺寸的計(jì)算公式如下：

2=（3）

式中為卷積核的大小，為卷積核的個(gè)數(shù)，為零填充的大小，為平移的步長。

為增加了非線性因素，解決線性不可分的問題，在卷積層后增加激活函數(shù)ReLU。卷積層進(jìn)行特征提取后，將新的特征圖傳至池化層進(jìn)行特征再次篩選和過濾。

卷積神經(jīng)網(wǎng)絡(luò)多用于解決分類問題，在網(wǎng)絡(luò)結(jié)構(gòu)的尾部需要將二維的特征圖轉(zhuǎn)換為一個(gè)列向量，因此常在卷積神經(jīng)網(wǎng)絡(luò)的最后增加至少一個(gè)全連接層（Fully connected layer）。全連接層中的每個(gè)神經(jīng)元與其前一層的所有神經(jīng)元連接，對卷積后的局部感受野內(nèi)的特征進(jìn)行整合，因此全連接層也是權(quán)重最多的部分。通常會在全連接層增加丟棄層和正則化函數(shù)，能有效地維持模型的穩(wěn)定性，降低過擬合現(xiàn)象。本研究對象分為5個(gè)等級，因此輸出層為一個(gè)包含了5個(gè)元素的列向量。各層網(wǎng)絡(luò)的具體參數(shù)如表2所示。

表2 卷積神經(jīng)網(wǎng)絡(luò)中各層參數(shù)

2 結(jié)果與分析

本研究基于計(jì)算機(jī)完成模型訓(xùn)練，操作系統(tǒng)為Windows 10，CPU為Intel Core i9-9900，GPU為RTX 2080ti，顯存11G。編程語言為Python，并安裝了Pycharm和深度學(xué)習(xí)框架Tensorflow。本次的試驗(yàn)包括模型訓(xùn)練、模型驗(yàn)證和手機(jī)驗(yàn)證三部分。在分析各等級樣本的分類結(jié)果時(shí)，使用準(zhǔn)確率（Accuracy）指標(biāo)進(jìn)行評價(jià)，其定義如下：

2.1 模型訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程為兩個(gè)階段，分別是數(shù)據(jù)的前向傳遞與誤差的反向傳播，如圖4所示。在數(shù)據(jù)的前向傳遞過程中數(shù)據(jù)經(jīng)輸入層傳遞至隱藏層提取特征信息，反向傳播中通過梯度下降法尋找誤差的下降梯度，實(shí)現(xiàn)權(quán)重參數(shù)的更新。模型的訓(xùn)練依賴大量帶標(biāo)簽的樣本數(shù)據(jù)，通過計(jì)算預(yù)測值與標(biāo)簽值的偏差反映模型擬合的效果，并更新模型參數(shù)。

圖4 訓(xùn)練流程

訓(xùn)練的批次量是模型每批次學(xué)習(xí)的樣本數(shù)量，批次的引入可以有效防止內(nèi)存溢出，但是批次量會影響模型的優(yōu)化程度和速度。在訓(xùn)練樣本較多的情況下，一次輸入全部數(shù)據(jù)會引起內(nèi)存爆炸。因此，選擇適當(dāng)?shù)挠?xùn)練批次量可以盡可能提高內(nèi)存利用率，也能使模型權(quán)重參數(shù)優(yōu)化方向更為準(zhǔn)確。學(xué)習(xí)率是模型損失函數(shù)向著梯度下降方向移動時(shí)的步長系數(shù)，適當(dāng)?shù)靥岣邔W(xué)習(xí)率可加快擬合速度，而過大的學(xué)習(xí)率則有可能使模型參數(shù)越過最優(yōu)值，導(dǎo)致訓(xùn)練結(jié)果不收斂。一次樣本迭代使全部樣本完成一次訓(xùn)練，迭代的過程就是模型優(yōu)化求最優(yōu)權(quán)重值的過程。迭代次數(shù)過小會使模型訓(xùn)練強(qiáng)度不夠，不能達(dá)到最優(yōu)值，一般會根據(jù)損失函數(shù)的變化情況合理地設(shè)置迭代次數(shù)。經(jīng)過多次組合試驗(yàn)，發(fā)現(xiàn)設(shè)定學(xué)習(xí)率為0.001時(shí)模型收斂速度最快，準(zhǔn)確率最高，同時(shí)設(shè)置迭代次數(shù)為100次，批次為100。訓(xùn)練過程的準(zhǔn)確率變化如圖5所示。由圖中可以看出在第9次迭代后首次出現(xiàn)了正確率100%，然后出現(xiàn)過擬合階段。在第59次迭代之后準(zhǔn)確率一直維持在100%，模型的損失值也在第59次迭代之后接近于0。

圖5 準(zhǔn)確率變化趨勢

2.2 模型驗(yàn)證

為驗(yàn)證模型的效果，將驗(yàn)證集的1 800張圖像輸入訓(xùn)練好的模型進(jìn)行驗(yàn)證，校正集和驗(yàn)證集的驗(yàn)證結(jié)果如表3所示。校正集分級準(zhǔn)確率為100%，說明該模型在充分訓(xùn)練后具備了提取大理石花紋特征的能力。1 800張驗(yàn)證集牛肉圖像等級判斷正確1 758張，判錯42張，總體的分級準(zhǔn)確率為97.67%。其中等級1全都判斷正確，等級1的牛肉含有極少的大理石花紋，其圖像上的脂肪顆粒較少，相應(yīng)的準(zhǔn)確率也高。等級2判錯8張，都被判為等級3。等級3判錯11張，其中有3張被誤判為等級2，有8張被誤判為等級4。等級4判錯14張，其中有5張被誤判為等級3，有9張被判為等級5；等級5判錯9張，都被判為等級4。判錯等級的樣本沒有出現(xiàn)連跨兩個(gè)等級的情況。挑出誤判的圖像比對觀察，誤判圖像的大理石花紋豐富程度與誤判等級較為相似，大理石花紋的得分情況處于標(biāo)簽等級與誤判等級之間。為減少此類誤判的發(fā)生，在制作數(shù)據(jù)集時(shí)應(yīng)盡量從校正集中去除此類樣本，保證特征不重疊。在GPU圖形處理器的支持下，檢測時(shí)間也大大縮短，平均每張圖像的檢測時(shí)間為0.09 s。

表3 牛肉大理石花紋分級結(jié)果

為進(jìn)一步探究本方法的檢測效果，參考逄濱[5]、周彤等[8]提取大理石花紋特征的方法，將本文方法與手動提取特征的方法進(jìn)行比較。本研究所使用的樣本都取自有效眼肌區(qū)域，且尺寸都是224像素×224像素，因此提取了牛肉大理石花紋的大、中、小脂肪顆粒個(gè)數(shù)，脂肪總面積和脂肪分布均勻度5個(gè)特征參數(shù)對大理石花紋的得分情況進(jìn)行綜合評價(jià)，得分計(jì)算公式如下：

式中15分別代表了5個(gè)特征參數(shù)，1～5分別代表了其對應(yīng)系數(shù)，為偏置，則是大理石花紋的得分情況，可依據(jù)得分劃分其等級。對提取到的5個(gè)特征進(jìn)行多元線性回歸建模，校正集相關(guān)系數(shù)為0.94。使用該模型對驗(yàn)證集樣本進(jìn)行驗(yàn)證，總體分級準(zhǔn)確率為92.5%，低于本研究所提出方法。

由以上分析可得，本研究設(shè)計(jì)的網(wǎng)絡(luò)具有較優(yōu)秀的分類能力，可以解決大理石花紋的分級問題，驗(yàn)證集的分級效果較好，誤差在可接受范圍內(nèi)。相較于傳統(tǒng)的機(jī)器視覺方法，該方法準(zhǔn)確率較高，模型穩(wěn)定。在下一步的研究中可嘗試通過適當(dāng)增加網(wǎng)絡(luò)層數(shù)或提高數(shù)據(jù)集質(zhì)量來提高模型準(zhǔn)確率。

2.3 手機(jī)評價(jià)系統(tǒng)的驗(yàn)證

上述方法的訓(xùn)練與驗(yàn)證過程都是在計(jì)算機(jī)上運(yùn)行，為了實(shí)現(xiàn)在智能手機(jī)上檢測大理石花紋，本研究進(jìn)一步地基于Android平臺上開發(fā)了大理石花紋的手機(jī)評價(jià)系統(tǒng)，將上述模型轉(zhuǎn)換為pb文件導(dǎo)入安卓手機(jī)，以便于檢測時(shí)調(diào)用。使用智能手機(jī)型號為榮耀V10，內(nèi)置Android9.0操作系統(tǒng)，運(yùn)行內(nèi)存6GB。并在Windows10系統(tǒng)下配置Java JDK 8，Android studio軟件和OpenCV庫。

2.3.1 系統(tǒng)軟件

該軟件包括前端展示界面和后臺處理兩部分，其中前端通過編寫XML文件實(shí)現(xiàn)頁面布局，為頁面添加按鍵以及展示窗口，使用到了Button組件，ImageView組件和TextView組件，前端展示效果如圖6a所示。后臺處理通過編寫Java語言實(shí)現(xiàn)調(diào)用相機(jī)與相冊，為便于對數(shù)據(jù)的管理，本軟件在拍攝圖像時(shí)，自動獲取當(dāng)前時(shí)間作為文件名，并保存在本地目錄下的文件夾中。將選取圖像壓縮與裁剪為224像素×224像素，并利用OpenCV工具的高斯濾波對樣本進(jìn)行去噪，完成圖像檢測，具體流程如圖6b所示。

圖6 軟件結(jié)果展示與流程圖

2.3.2 軟件驗(yàn)證

為驗(yàn)證手機(jī)軟件的操作性和可行性，對未使用過的測試集360張樣本進(jìn)行測試。經(jīng)測試，該軟件單張圖像的檢測時(shí)間低于0.5 s，對測試集的分級準(zhǔn)確率為95.56%，其中判斷正確344張，誤判16張，結(jié)果如表4所示。其中出現(xiàn)誤判的樣本與驗(yàn)證集情況類似，檢測樣本的大理石花紋豐富程度介于標(biāo)簽等級與誤判等級之間。表明該方法可以實(shí)現(xiàn)對牛肉大理石花紋的快速檢測。與傳統(tǒng)檢測設(shè)備相比，將智能手機(jī)作為手持采集端具有體積小，效率高等優(yōu)點(diǎn)。智能手機(jī)的普及為本方法提供了廣闊的發(fā)展空間，與ARM便攜設(shè)備相比，該方法以手機(jī)作為檢測載體，無需再額外購買輔助設(shè)備，減少了硬件開發(fā)成本，同時(shí)也提高了檢測手段的智能化水平。

表4 手機(jī)驗(yàn)證結(jié)果

3 結(jié) 論

1）本研究提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的牛肉大理石花紋檢測方法，從深度學(xué)習(xí)的角度探討了將智能算法應(yīng)用在牛肉品質(zhì)檢測的可行性。設(shè)計(jì)了多層卷積神經(jīng)網(wǎng)絡(luò)，包括輸入層、卷積層、池化層、全連接層和輸出層，牛肉大理石花紋的特征主要由卷積層和池化層進(jìn)行提取，在輸出層輸出測試樣本等級。在訓(xùn)練數(shù)據(jù)集的過程中，循環(huán)59次后模型保持穩(wěn)定，未出現(xiàn)過擬合現(xiàn)象，使用該模型測試驗(yàn)證集，準(zhǔn)確率為97.67%。并進(jìn)一步地對比了人工提取特征的方法，提取了大理石花紋的大、中、小脂肪顆粒個(gè)數(shù)，脂肪總面積和脂肪分布均勻度5個(gè)特征參數(shù)進(jìn)行建模，結(jié)果顯示卷積神經(jīng)網(wǎng)絡(luò)的分類效果優(yōu)于傳統(tǒng)方法，總體準(zhǔn)確率為92.5%。在下一步的研究中可以繼續(xù)提高數(shù)據(jù)集的質(zhì)量和適當(dāng)改變網(wǎng)絡(luò)層數(shù)和內(nèi)部參數(shù)來提高精度。

2）將智能方法與智能手機(jī)結(jié)合，基于Android平臺開發(fā)了檢測軟件，可利用手機(jī)自帶相機(jī)采集牛肉圖像，也可以從相冊中選取圖像。試驗(yàn)結(jié)果表明，測試集的檢測準(zhǔn)確率與為95.56%，證明了跨平臺調(diào)用模型的可行性。而且該方法不需要額外的硬件支撐，具有開發(fā)成本低，檢測速度快的優(yōu)點(diǎn)。

[1] 牛肉等級規(guī)格：NY/T 676-2010[S]. 北京：中國農(nóng)業(yè)出版社，2010.

[2] 陳坤杰. 牛肉大理石花紋計(jì)盒維數(shù)和信息維的測定[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2007，23(7)：145-149.

Chen Kunjie. Determination of the box-counting fractal dimension and information fractal dimension of beef marbling[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2007, 23(7): 145-149. (in Chinese with English abstract)

[3] 陳坤杰，姬長英. 基于圖像運(yùn)算的牛肉大理石花紋分割方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2007，38(5)：195-196.

Chen Kunjie, Ji Changying. Beef marbling segmentation method based on image processing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2007, 38(5): 195-196. (in Chinese with English abstract)

[4] 郭輝，彭彥昆，江發(fā)潮，等. 手持式牛肉大理石花紋檢測系統(tǒng)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(S1)：207-210.

Guo Hui, Peng Yankun, Jiang Fachao, et al. Development of conveyable beef-marbling detection system[J]. Transactions of the Chinese Society for Agricultural Machinery, 2012, 43(1): 207-210. (in Chinese with English abstract)

[5] 逄濱. 牛肉質(zhì)量在線分級技術(shù)的研究與系統(tǒng)開發(fā)[D]. 南京：南京農(nóng)業(yè)大學(xué)，2014.

Pang Bin. Beef Quality Online Grading Technology and System Development[D]. Nanjing: Nanjing Agricultural University, 2014. (in Chinese with English abstract)

[6] 仇金宏，沈明霞，彭增起，等. 基于改進(jìn)型FCM算法的牛肉大理石花紋提取方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(8)：184-188.

Qiu Jinhong, Shen Mingxia, Peng Zengqi, et al. Beef marbling extraction based on modified fuzzy C-means clustering algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(8): 184-188. (in Chinese with English abstract)

[7] 賈淵，姬長英，湯曉艷. 基于計(jì)算機(jī)視覺的牛肉分級技術(shù)綜述[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2004，20(5)：47-50.

Jia Yuan, Ji Changying, Tang Xiaoyan. Review of beef grading with computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(5): 47-50. (in Chinese with English abstract)

[8] 周彤，彭彥昆. 牛肉大理石花紋圖像特征信息提取及自動分級方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(15)：286-293.

Zhou Tong, Peng Yankun. Method of information extraction of marbling image characteristic and automatic classification for beef[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(15): 286-293. (in Chinese with English abstract)

[9] 張彥娥，魏穎慧，梅樹立，等. 基于多尺度區(qū)間插值小波法的牛肉圖像中大理石花紋分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(21)：296-304.

Zhang Yan’e, Wei Yinghui, Mei Shuli, et al. Application of multi-scale interval interpolation wavelet in beef image of marbling segmentation[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(21): 296-304. (in Chinese with English abstract)

[10] Velásquez L, Cruz-Tirado J P, Siche R, et al. An application based on the decision tree to classify the marbling of beef by hyperspectral imaging[J]. Meat Science, 2017, 133: 43-50.

[11] 楊林楠，郜魯濤，林爾升，等. 基于Android系統(tǒng)手機(jī)的甜玉米病蟲害智能診斷系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(18)：163-168.

Yang Linnan, Gao Lutao, Lin Ersheng, et al. Intelligent diagnose system of diseases and insect pests in sweet corn based on mobile terminal with Android system[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(18): 163-168. (in Chinese with English abstract)

[12] 尚明華，秦磊磊，王風(fēng)云，等. 基于Android智能手機(jī)的小麥生產(chǎn)風(fēng)險(xiǎn)信息采集系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(5)：178-182.

Shang Minghua, Qin Leilei, Wang Fengyun, et al. Information collection system of wheat production risk based on Android smartphone[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(5): 178-182. (in Chinese with English abstract)

[13] 陳美鎮(zhèn)，王紀(jì)章，李萍萍，等. 基于 Android 系統(tǒng)的溫室異構(gòu)網(wǎng)絡(luò)環(huán)境監(jiān)測智能網(wǎng)關(guān)開發(fā)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(5)：218-225.

Chen Meizhen, Wang Jizhang, Li Pingping, et al. Development of intelligent gateway for heterogeneous networks environment monitoring in greenhouse based on Android system[J]. (Transactions of the CSAE), 2015, 31(5): 218-225. (in Chinese with English abstract)

[14] 李慧，劉星橋，李景，等.基于物聯(lián)網(wǎng) Android 平臺的水產(chǎn)養(yǎng)殖遠(yuǎn)程監(jiān)控系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(13)：175-181.

Li Hui, Liu Xingqiao, Li Jing, et al. Aquiculture remote monitoring system based on IOT Android platform [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(13): 175-181. (in Chinese with English abstract)

[15] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[16] Liu W, Wang Z, Liu X, et al. A survey of deep neural network architectures and their applications [J]. Neurocomputing, 2017, 234: 11-26.

[17] Zhang Q, Zhang M, Chen T, et al. Recent advances in convolutional neural network acceleration[J]. Neurocomputing, 2019, 323: 37-51.

[18] 魏存超. 基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分類的研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2017.

Wei Cunchao. Resaerch on Medical Image Classification Method Based on Convolutional Neural Network[D]. Harbin: Harbin Institute of Technology, 2017. (in Chinese with English abstract)

[19] Dyrmann M, Karstoft H, MidtibY HS. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[20] Lu Yang, Yi Shujuan, Zeng Nianyin, et al. Identification of rice diseases using deep convolutional neural networks[J]. Neurocomputing, 2017, 267: 378-384.

[21] 孫鈺，周焱，袁明帥，等. 基于深度學(xué)習(xí)的森林蟲害無人機(jī)實(shí)時(shí)監(jiān)測方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：74-81.

Sun Yu, Zhou Yan, Yuan Mingshuai, et al. UAV real-time monitoring for forest pest based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 74-81. (in Chinese with English abstract)

[22] 鮑文霞，孫慶，胡根生，等. 基于多路卷積神經(jīng)網(wǎng)絡(luò)的大田小麥赤霉病圖像識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(11)：174-181.

Bao Wenxia, Sun Qing, Hu Gensheng, et al. Image recognition of field wheat scab based on multi-way convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(11): 174-181. (in Chinese with English abstract)

[23] 周亮，慕號偉，馬海姣，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的中國北方冬小麥遙感估產(chǎn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(15)：119-128.

Zhou Liang, Mu Haowei, Ma Haijiao, et al. Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119-128. (in Chinese with English abstract)

[24]馬浚誠，劉紅杰，鄭飛翔，等. 基于可見光圖像和卷積神經(jīng)網(wǎng)絡(luò)的冬小麥苗期長勢參數(shù)估算[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(5)：183-189.

Ma Juncheng, Liu Hongjie, Zheng Feixiang, et al. Estimating growth related traits of winter wheat at seedling stages based on RGB images and convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 183-189. (in Chinese with English abstract)

[25] 張思雨，張秋菊，李可. 采用機(jī)器視覺與自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)檢測花生仁品質(zhì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(4)：269-277.

Zhang Siyu, Zhang Qiuju, Li Ke. Detection of peanut kernel quality based on machine vision and adaptive convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(4): 269-277. (in Chinese with English abstract)

[26] 趙志衡，宋歡，朱江波，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的花生籽粒完整性識別算法及應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(21)：195-201.

Zhao Zhiheng, Song Huan, Zhu Jiangbo, et al. Identification algorithm and application of peanut kernel integrity based on convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 195-201. (in Chinese with English abstract)

[27] 段凌鳳，熊雄，劉謙，等. 基于深度全卷積神經(jīng)網(wǎng)絡(luò)的大田稻穗分割[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：202-209.

Duan Lingfeng, Xiong Xiong, Liu Qian, et al. Field rice panicle segmentation based on deep full convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 202-209. (in Chinese with English abstract)

[28] 馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識別系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：186-192.

Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[29] Ding Weiguang, Taylor Graham. Automatic moth detection from trap images for pest management[J]. Computers and Electronics in Agriculture, 2016, 123: 17-28.

[30] 張博，張苗輝，陳運(yùn)忠. 基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(19)：209-215.

Zhang Bo, Zhang Miaohui, Chen Yunzhong. Crop pest identification based on spatial pyramid pooling and deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(19): 209-215. (in Chinese with English abstract)

[31] 鄧寒冰，周云成，許童羽，等. 基于 RGB-D 的肉牛圖像全卷積網(wǎng)絡(luò)語義分割優(yōu)化[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(18)：151-160.

Deng Hanbing, Zhou Yuncheng, Xu Tongyu, et al. Optimization of cattle’s image semantics segmentation withfully convolutional networks based on RGB-D[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactionsof the CSAE), 2019, 35(18): 151-160. (in Chinese with English abstract)

[32] Mu?oz I, Gou P, Fulladosa E. Computer image analysis for intramuscular fat segmentation in dry-cured ham slices using convolutional neural networks[J]. Food Control, 2019, 106: 106693.

Mobile phone evaluation system for grading beef marbling based on deep learning

Zhao Xinlong, Peng Yankun※, Li Yongyu, Wang Yali, Zhao Miao

(,,100083,)

Marbling is an important index that affects the quality of beef. However, the evaluation of marbling in beef processing enterprises is operated by professional, who test the beef by comparing samples with standard images, which is subjective and susceptible to the environment. To solve these problems, this study proposed an intelligent classification method based on deep learning and designed a neural network with 4-layer convolution including input layer, convolutional layer, pooling layer, fully connected layer and output layer. The automatic extraction of marbling features was achieved, and a beef marbling detection application based on mobile phone was developed. In this study, 1 800 images were divided into calibration set, validation set and test set according to the ratio of 3:1:1. The training process of deep learning model depends on a large number of labeled samples, and the training effect of a small amount of data is poor. Therefore, methods like rotating, mirroring, adjusting brightness, contrast, and increasing noise were used to amplify the sample data in this study. Finally, 5 400 images of calibration set and 1 800 images of validation set are obtained. The calibration set was used to train and adjust the internal parameters of the network, and the validation set was used to test the model. In order to further explore the accuracy of the model, this method was compared with the traditional machine vision method. And the number of large fat particles, medium fat particles, small fat particles, the total area of fat and the evenness degree of fat distribution were calculated. According to the above characteristics, a multiple linear regression model was established to identify the grades. The results showed that the method used in this paper had good classification ability for marbling, and the detection accuracy of validation set was 97.67%, which was higher than the traditional machine vision method. Samples with error grade did not span two levels. Through the observation of the misjudged images ，the marbling richness of misjudged images was similar to that of misjudged images, and the marbling score was between the labeled grade and the misjudged grade. Finally, an application program for marbling detecting was written. In this application, you call use the model generated in this study to realize real-time detection for marbling. Then the application was used to recognition the samples of test set. The accuracy was 95.56%, and the recognition time was less than 0.5 seconds per image. In this paper, a beef marbling mobile phone evaluation system was developed based on the advantages of convolution neural network with high classification accuracy and fast speed of smart phones. This method could improve the detection efficiency of beef marbling. Compared with traditional detection equipment, the smart phone as a handheld collection terminal has the advantages of small size and high efficiency. The popularization of smart phones provides a broad development space for this method. Compared with ARM portable devices, this method uses mobile phones as the detection carrier, which saves the need to purchase additional auxiliary equipment and reduces the cost of hardware development.

models; beef; marbling; convolutional neural network; mobile phone

趙鑫龍，彭彥昆，李永玉，等. 基于深度學(xué)習(xí)的牛肉大理石花紋等級手機(jī)評價(jià)系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：250-256.doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

Zhao Xinlong, Peng Yankun, Li Yongyu, et al. Mobile phone evaluation system for grading beef marbling based on deep learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 250-256. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.029 http://www.tcsae.org

2020-03-03

2020-06-04

國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2016YFD0101205）

趙鑫龍，博士生，主要從事農(nóng)畜產(chǎn)品無損檢測技術(shù)與裝備研究。Email：936803613@qq.com

彭彥昆，教授，博士生導(dǎo)師，主要從事農(nóng)畜產(chǎn)品無損檢測技術(shù)與裝備研究。Email：ypeng@cau.edu.cn

10.11975/j.issn.1002-6819.2020.13.029

TP391

A

1002-6819(2020)-13-0250-07