基于機器視覺的雞胴體原發(fā)性皮炎快速檢測

吳江春，王虎虎，徐幸蓮

（南京農(nóng)業(yè)大學(xué)食品科技學(xué)院，肉品質(zhì)量控制與新資源創(chuàng)制全國重點實驗室，江蘇 南京 210095）

雞肉營養(yǎng)價值豐富，含有多種易被人體吸收的蛋白質(zhì)和氨基酸，同時具有低脂肪、低能量和低膽固醇的優(yōu)勢。我國是雞肉生產(chǎn)和消費大國，在新冠肺炎疫情與禽流感的影響下，2021年全球肉雞產(chǎn)量增速下調(diào)，我國肉雞產(chǎn)量仍有小幅上升，據(jù)預(yù)測，2022年我國肉雞供需仍將延續(xù)增長趨勢[1]。日益增長的需求量要求肉雞市場有足夠的供應(yīng)量。目前我國肉雞產(chǎn)業(yè)向著集中屠宰、冰鮮上市的生產(chǎn)方式轉(zhuǎn)型升級，大型屠宰線在屠宰過程中基本實現(xiàn)了機械化[2-3]。如圖1所示，在肉雞屠宰工藝流程中，殘次品挑選是保證產(chǎn)品品質(zhì)的重要環(huán)節(jié)，但該環(huán)節(jié)對勞動力的依賴度高。

圖1 肉雞屠宰工藝流程Fig.1 Flow chart of broiler slaughtering

據(jù)調(diào)研，某大型肉雞屠宰廠一天屠宰的雞胴體缺陷率為3%～6%。在所有缺陷雞胴體中，原發(fā)性皮炎雞胴體占比約為7.4%，原發(fā)性皮炎是雞胴體質(zhì)檢的一個重要指標。雞胴體原發(fā)性皮炎是指雞胴體表面可見、分散不均勻的一種缺陷類型，在外觀上表現(xiàn)為粗糙、紅或黑的皮炎與結(jié)痂，由外傷、理化性、細菌和外寄生蟲以及感光過敏性刺激等因素造成[4]。質(zhì)檢人員將雞胴體表面發(fā)炎、結(jié)痂面積達3 cm2以上且無法修復(fù)的雞胴體分為皮炎品。雞胴體表面皮炎分布分散、面積占比小，且不同個體皮炎嚴重程度各不相同，因此人工識別存在速率慢、效率低、主觀性強等不足。此外，長時間、高強度的用眼會導(dǎo)致視覺疲勞，降低識別準確率，給工廠帶來損失。

機器視覺技術(shù)是近年興起的一項技術(shù)，廣泛用于工業(yè)、農(nóng)業(yè)、食品等領(lǐng)域。在禽類養(yǎng)殖、屠宰和加工過程中，機器視覺技術(shù)可用于禽類飼養(yǎng)環(huán)境的監(jiān)控[5]、形態(tài)與行為的診斷[6-7]、出欄體質(zhì)量的控制[8-9]，可用于冰鮮類產(chǎn)品的分割與品質(zhì)控制過程，如雞胴體的分割與掏膛[10-11]、質(zhì)量預(yù)測[12-13]、淤血識別[14]、表面污染物檢測[15-16]與雞胸肉的木質(zhì)化程度判定[17]。此外，在副食品加工中，機器視覺技術(shù)可用于熏雞腿顏色的識別[18]。但冰鮮雞質(zhì)檢所研究的產(chǎn)品缺陷類型以淤血、木質(zhì)化、新鮮度為主，并未涉及雞胴體表面的原發(fā)性皮炎檢測。因此，為利用機器視覺技術(shù)實現(xiàn)對肉雞屠宰后道質(zhì)檢端皮炎雞胴體的快速檢測，本研究利用機器視覺裝置采集及雞胴體表面圖像，根據(jù)皮炎的顏色、紋理特征和面積大小，提取相關(guān)特征值構(gòu)建皮炎檢測模型，以期為肉雞胴體的皮炎檢測提供技術(shù)參考。

1 材料與方法

1.1 材料

本研究的實驗對象為肉雞胴體，所有雞胴體圖像均采集于某大型肉雞屠宰線。選取生產(chǎn)線上經(jīng)人工質(zhì)檢的皮炎與正常雞胴體，用機器視覺裝置采集其3 個方位的視圖，共采集316 只雞胴體（皮炎、正常各158 只），獲得948 張樣本圖片。經(jīng)質(zhì)檢員判定，158 只皮炎雞胴體樣本皮膚發(fā)炎、結(jié)痂面積均大于3 cm2，且無法修復(fù)。皮炎和正常雞胴體的代表性樣本如圖2所示。

圖2 代表性皮炎樣本（A）和正常樣本（B）Fig.2 Representative dermatitis samples (A) and qualified samples (B)

1.2 圖像采集裝置

光源、相機、工控機等設(shè)備是機器視覺系統(tǒng)的重要組成部分[19-20]。雞胴體原發(fā)性皮炎主要分布在背部和兩側(cè)區(qū)域，本研究用含3 個相機的機器視覺裝置采集雞胴體后側(cè)、左側(cè)和右側(cè)3 個方位的視圖，各組成的選型均基于屠宰線的實際需求，安裝連接方法參考趙正東等[21]的研究，光源、相機和工控機的參數(shù)如表1所示。

表1 機器視覺裝置各組成的參數(shù)Table 1 Parameters of each component of machine vision system

相機支架與胴體支架的安裝方位如圖3所示，雞胴體以背部朝向相機1，倒掛在胴體支架上，各個相機的中軸線夾角為120°，相機鏡頭光心與雞胴體表面的距離固定為50 cm，3 個相機覆蓋的視野可完整獲取雞胴體表面信息。

如圖4所示，該裝置運用于肉雞屠宰廠后道質(zhì)檢端。相機的最小曝光時間為26 μs，快于肉雞495 mm/s的平均運動速率。該裝置可以成功捕獲清晰、無拖影的雞胴體圖像，并通過模型識別后在輸出端進行分開運輸?shù)牟僮?，實現(xiàn)雞胴體原發(fā)性皮炎的靜態(tài)檢測。

圖4 機器視覺裝置的安裝效果Fig.4 Installation diagram of machine vision device

1.3 雞胴體皮炎檢測

1.3.1 圖像的預(yù)處理

在授精前需要做好相關(guān)的飼養(yǎng)管理，輸精后的飼養(yǎng)管理也尤為重要。如在輸精后5～8 min時，可為母牛注射一定劑量的催產(chǎn)素，可使受胎率提高25%。在輸精后當天也可以注射50萬U的維生素A，這對提高母牛的受胎率也有很大幫助。有些母牛自身體質(zhì)較差，受胎率不高，這時也可以人工注射一些激素完善母牛的各項機能，較為常見的是注射新斯的明注射液，可有效提升母牛的卵巢機能，提高母牛配種后受孕率[3]。

從工廠采集的原始圖像存在干擾信息，因此需對圖像預(yù)處理，以減少噪聲，改善圖像的質(zhì)量，增加特征識別的準確性[22]。本研究采用加權(quán)平均值法將原始RGB圖轉(zhuǎn)換成灰度圖，經(jīng)二維中值濾波處理后采用迭代閾值法分割出雞胴體區(qū)域，將雞胴體二值圖與原始RGB圖點乘，獲得去除背景的雞胴體圖。

不同皮炎雞胴體的皮炎面積各不相同，且分布不集中，整體識別存在難度。因此采用提取雞胴體局部皮炎信息的方式，如圖5所示，將皮炎雞胴體的去背景圖用網(wǎng)格（單個網(wǎng)格邊長為128 像素）劃分成若干區(qū)域，從中篩選出顏色斑駁、紋理粗糙且黑色背景面積占比小的皮炎皮膚圖片；同理，劃分正常雞胴體去背景圖像，從中篩選出顏色均勻、表面光滑且黑色背景面積占比小的正常皮膚圖片。對所有雞胴體樣本進行分割和篩選后共獲得1537 張樣本圖片（皮炎皮膚762 張，正常皮膚775 張），在此基礎(chǔ)上提取特征值和建模。

圖5 皮炎皮膚（A）與正常皮膚（B）圖片篩選流程Fig.5 Dermatitic skin (A) and normal skin (B) image screening process

1.3.2 特征值的提取

如圖6所示，皮炎和正常皮膚在顏色和紋理上均有差異。皮炎樣本的皮膚為紅橙色或黑棕色；與正常皮膚相比，皮炎皮膚表面更粗糙、斑駁。故提取圖像的顏色特征、紋理特征以及皮炎面積作為皮炎檢測的特征值。

圖6 代表性皮炎（A）和正常（B）皮膚樣本Fig.6 Representative dermatitic skin sample (A) and normal skin sample (B)

1.3.21 顏色特征值的提取

顏色矩可用來表示圖像不同通道的顏色分布特征，由于顏色分布的信息主要存在顏色矩的低階矩中，本研究選取一、二、三階矩表示RGB圖像各分量圖的顏色分布[23-24]。其中一階矩為圖像顏色均值（μi），表示明暗程度；二階矩是圖像顏色的方差（σi），表示顏色分布的均勻性；三階矩是圖像顏色的斜度（si），表示顏色分布的對稱性，計算公式如下所示。分別提取上述皮炎與正常皮膚圖像R、G、B通道的三階顏色矩，共9 個顏色特征，記為μ1、σ1、s1；μ2、σ2、s2；μ3、σ3、s3。

式中：N為圖像的像素個數(shù)；i為通道數(shù)；pi,j為第i個通道的第j個像素。

1.3.22 紋理特征值的提取

表2 灰度共生矩陣特征值的英文縮寫對照Table 2 Abbreviations of gray-level co-occurrence matrix eigenvalues

1.3.23 皮炎面積的提取

圖像分割是根據(jù)圖像中目標對象的特點，分割出感興趣區(qū)域的圖像處理方法[29]。如圖7所示，采用Otsu閾值分割法提取皮炎區(qū)域面積，將樣本圖片從RGB顏色空間轉(zhuǎn)換到HIS空間，提取S分量圖，用Matlab中的graythresh()函數(shù)計算分割閾值，記為T。如圖8所示，隨機選取皮炎和正常皮膚樣本各30 個，計算其閾值。發(fā)現(xiàn)皮炎與正常皮膚樣本圖片的分割閾值大致以0.20為分界線，當S分量圖的分割閾值大于0.20時，則將其處理成二值圖，并計算皮炎面積，記為A1。A1為圖像中皮炎的像素個數(shù)，不是實際坐標的皮炎面積，因此在采集雞胴體時還需對圖像進行標定[30-31]。本研究采用10 cm×10 cm的標準正方形標定圖像，如圖9所示，經(jīng)計算得標定系數(shù)為1594.29 像素/cm2。記實際皮炎面積為A，計算公式如下：

圖7 皮炎面積提取示意圖Fig.7 Schematic diagram of dermatitis area extraction

圖8 皮炎與正常樣本圖的分割閾值分布Fig.8 Segmentation threshold distribution of dermatitis versus normal sample maps

圖9 標準正方形標定圖像[21]Fig.9 Standard square diagram for calibration

式中：A1為圖像中皮炎的像素個數(shù)。

1.3.3 模型的建立與驗證

用主成分分析（principal component analysis，PCA）法對特征值降維，選取方差累計貢獻率在95%以上的PC，分別將特征值與PC導(dǎo)入線性判別分析（linear discriminant analysis，LDA）模型、二次判別分析（quadratic discriminant analysis，QDA）模型、隨機森林（random forest，RF）、支持向量機（support vector machines，SVM）、反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)模型。GoogLeNet模型則以皮炎與正常皮膚圖片為輸入數(shù)據(jù)。所有模型均在MATLAB R 2020b中建立和運行，模型的訓(xùn)練集為1000 張皮膚圖片（皮炎與正常各500 張），測試集為537 張皮膚圖片（皮炎262 張、正常275 張），模型的分類效果采用召回率、精確度、F1分數(shù)、總準確率和平均檢測速率表示。

上述模型均基于128 像素×128 像素的圖像建立，為檢測最終模型對整只雞胴體的分類效果，隨機選取40 只雞胴體進行驗證（皮炎與正常各20 只）。以雞胴體后視圖為例，單側(cè)視圖檢測流程如圖10、11所示。僅當后視圖與兩側(cè)視圖全判定為正常時，所檢測的雞胴體為正常，否則為皮炎。

圖10 雞胴體后視圖檢測過程Fig.10 Chicken carcass rear view inspection process

圖11 雞胴體單側(cè)視圖檢測流程圖Fig.11 Flow chart of chicken carcass single-side view inspection

2 結(jié)果與分析

2.1 特征值的PCA

特征值的PCA結(jié)果如圖12和表3所示，在PCA碎石圖中可以觀察到從第6個PC開始，特征值的下降趨勢趨于平緩，但前6 個PC的方差累計貢獻率僅為87.92%，經(jīng)過綜合考慮選取方差累計貢獻率為96.29%的前10 個PC作為模型的輸入?yún)?shù)。

表3 PC方差貢獻率Table 3 Variance contribution of principal components

圖12 PCA碎石圖Fig.12 Principal component analysis scree plot

2.2 模型分類結(jié)果

以特征值和PC為輸入?yún)?shù)的模型分類效果如表4、5所示。在以特征值為輸入?yún)?shù)的模型中，QDA模型召回率最高，為90.08%；精確度、F1分數(shù)和總準確率最高的模型均為SVM，分別為90.38%、90.03%、90.32%。在以PC為輸入?yún)?shù)的模型中，RF模型的分類效果優(yōu)于其他模型，皮炎樣本的召回率為88.93%，識別精度為89.30%，F(xiàn)1分數(shù)為89.11%識別總準確率為87.71%；通過比較不同輸入?yún)?shù)的模型可發(fā)現(xiàn)，經(jīng)PCA降維后，LDA、QDA、SVM模型總準確率均有不同程度的下降。其原因是降維后數(shù)據(jù)是原始數(shù)據(jù)的近似表達，減少了原始數(shù)據(jù)特征，這與章振原[23]、劉廣昊[32]和王敏[33]等的研究一致。

表4 以特征值作為輸入?yún)?shù)的不同模型分類效果Table 4 Classification performance of different models with eigenvalues as input parameters

表5 以PC作為輸入?yún)?shù)的不同模型分類效果Table 5 Classification performance of different models with principal components as input parameters

如圖13所示，在GoogLeNet模型中，皮炎樣本的召回率為89.5%，識別精確度為90.6%，F(xiàn)1分數(shù)為90.0%，模型識別總準確率可達90.5%。

圖13 GoogLeNet混淆矩陣Fig.13 GoogLeNet Confusion matrix

模型的預(yù)測速率如圖14所示，其中以特征值為輸入?yún)?shù)的SVM模型預(yù)測速率最快，高達405895.69 張/s。GoogLeNet模型的預(yù)測速率為122.65 張/s，遠低于其他模型，但其預(yù)測速率仍高于人工質(zhì)檢速率。

綜合比較模型分類效果可發(fā)現(xiàn)，GoogLeNet模型對皮炎皮膚圖片的識別整體效果最好，因此利用該模型對40 只雞胴體樣本進行驗證。如表6所示，該模型對皮炎雞胴體的識別準確率為100%，對正常雞胴體的識別準確率為90%。部分樣本的檢測結(jié)果如表7所示，被誤分類的正常雞胴體皮炎面積分別為3.3981、3.9270 cm2。

表6 GoogLeNet模型對整雞的分類效果Table 6 Classification performance of GoogLeNet model for whole chicken carcasses

表7 部分雞胴體樣本檢測結(jié)果Table 7 Test results of selected chicken carcass samples

如圖15所示，在誤檢樣本中，樣本A與B側(cè)視圖翅膀上方均可觀察到如圖16所示的黃色小絨毛，這些絨毛被識別成皮炎，從而造成誤差。正確分類的18 個正常雞胴體樣本中均有皮炎檢出，其中12 個樣本皮炎面積小于1 cm2，4 個樣本皮炎面積在1～2 cm2內(nèi)，2 個樣本皮炎面積在2～3 cm2內(nèi)。

圖15 正常雞胴體的誤檢樣本A（A）與樣本B（B）Fig.15 False examination samples A (A) and B (B) of normal chicken carcasses

3 結(jié)論

本研究利用機器視覺裝置采集肉雞屠宰線上316 只雞胴體的正視圖與兩側(cè)視圖，經(jīng)圖像預(yù)處理去除背景和干擾后，用邊長為128 像素的網(wǎng)格劃分，并從皮炎雞胴體中篩選出皮炎皮膚圖片762 張，從正常雞胴體中篩選出正常皮膚圖片775 張。提取皮膚圖片的顏色矩、不同方向灰度共生矩陣特征的均值與方差、Tamura紋理特征以及皮炎分割閾值和面積共計24 個特征值，經(jīng)PCA降維后，用特征值與PC分別建立LDA、QDA、RF、SVM與BP神經(jīng)網(wǎng)絡(luò)模型。GoogLeNet卷積神經(jīng)網(wǎng)絡(luò)模型則用篩選出的皮膚圖片建立。模型的分類效果采用召回率、精確度、F1分數(shù)、總準確率和平均檢測速率判斷，經(jīng)過綜合分析發(fā)現(xiàn)所有模型中以GoogLeNet模型的分類效果最好，皮炎樣本的召回率為89.5%，識別精確度為90.6%，F(xiàn)1分數(shù)為90.0%，總準確率可達90.5%，預(yù)測時間為122.65 張/s。在對整雞胴體圖像識別的驗證實驗中，GoogLeNet模型對皮炎雞胴體的識別準確率為100%，正常雞胴體的識別準確率為90%。該模型對雞胴體原發(fā)性皮炎有較好的識別能力，可為雞胴體原發(fā)性皮炎的快速識別與分類提供技術(shù)參考。