改進(jìn)DeepLabv3+和XGBoost的羊骨架切割方法

李振強(qiáng)，王樹才，趙世達(dá)，白 宇

華中農(nóng)業(yè)大學(xué) 工學(xué)院，武漢430070

羊骨架切割是羊屠宰加工中的重要環(huán)節(jié)。目前國外基本實(shí)現(xiàn)羊肉的自動切割加工，Grégory等[1]以骨頭走向作為參考，搭建具有力傳感器的機(jī)器人單元，實(shí)現(xiàn)機(jī)器人可避讓式自動剔骨；Moreno[2]指出工業(yè)機(jī)器人并不能完全滿足食品加工業(yè)的特殊需求，提出適用于食品加工行業(yè)的低成本機(jī)械臂設(shè)計(jì)指南。由于飲食習(xí)慣和切割方式的不同，國外的自動化屠宰設(shè)備并不適合國內(nèi)現(xiàn)狀。目前國內(nèi)羊屠宰加工領(lǐng)域的研究多為綜述性研究，尚無羊骨架自動分割技術(shù)方面的研究。方夢琳等[3]通過對羊肉加工現(xiàn)狀的分析提出羊肉屠宰加工行業(yè)需要引入現(xiàn)代化加工技術(shù)以適應(yīng)行業(yè)發(fā)展需求。張進(jìn)[4]和李月娥[5]等對羊肉加工過程中的羊肉脫膻、嫩化和保藏等技術(shù)進(jìn)展做出總結(jié)。

國內(nèi)屠宰企業(yè)主要依靠人工借助半自動化機(jī)械完成，存在效率低、勞動強(qiáng)度大、噪音大等問題[6-7]。因此實(shí)現(xiàn)羊骨架自動切割對提升羊屠宰加工效率和食品安全具

有重要意義。隨著計(jì)算機(jī)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)、目標(biāo)檢測[8-13]、語義分割[14-17]等技術(shù)日益成熟，并在產(chǎn)品檢測加工領(lǐng)域得到廣泛應(yīng)用[18]。鐘思華等[19]通過引入密集連接層和改進(jìn)混合損失函數(shù)等方式對U-NET結(jié)構(gòu)進(jìn)行調(diào)整優(yōu)化，實(shí)現(xiàn)了CT圖像中肺結(jié)節(jié)的準(zhǔn)確分割。趙霞等[20]采用多尺度自適應(yīng)形態(tài)特征提取模塊和可變形卷積等方法搭建DeepLab-MAFE-DSC網(wǎng)絡(luò)，提升了物體部件分割網(wǎng)絡(luò)的分割精度和泛化能力。楊波等[21]通過嵌入注意力機(jī)制模塊和增加底層特征來源的方式對DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，改進(jìn)了網(wǎng)絡(luò)在手術(shù)器械分割上的表現(xiàn)。王慧芳等[22]針對電力系統(tǒng)電壓穩(wěn)定評估問題，以電力系統(tǒng)運(yùn)行狀態(tài)為特征集，以電壓穩(wěn)定裕度絕對值為標(biāo)簽，通過XGBoost算法實(shí)現(xiàn)了電壓穩(wěn)定裕度預(yù)測。這種基于機(jī)器學(xué)習(xí)和深度卷積神經(jīng)網(wǎng)絡(luò)的檢測加工方法，不僅能提升檢測加工效率還能有效控制二次污染。目前在羊骨架切割領(lǐng)域尚無相關(guān)研究，因此采用深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方法對羊骨架切割進(jìn)行研究具有理論和現(xiàn)實(shí)意義。為實(shí)現(xiàn)羊骨架自動切割，本研究以去腿后的羊骨架為研究對象，調(diào)整優(yōu)化DeepLabv3+網(wǎng)絡(luò)結(jié)構(gòu)，對羊骨架特征部位進(jìn)行分割；根據(jù)分割結(jié)果提取5個特征部位的35組形位特征，采用XGBoost框架建立切割位置預(yù)測模型，搭建機(jī)器人平臺對羊骨架進(jìn)行切割試驗(yàn)。

1 材料與方法

1.1 圖像采集和數(shù)據(jù)增廣

1.1.1 圖像采集

本研究所采用的圖像數(shù)據(jù)拍攝于美洋洋食品有限公司，采用CCD相機(jī)進(jìn)行數(shù)據(jù)采集，分辨率為1 200像素×960像素，光照條件為工廠白光照明。為了保證樣本的多樣性，圖像采集工作分2次進(jìn)行，每次持續(xù)時間為3天，采集過程中從不同角度進(jìn)行拍攝。分別對羊骨架的側(cè)面和胸腔部位進(jìn)行采集，如圖1所示，各采集2 000張。

圖1 羊骨架原始圖像Fig.1 Original images of sheep skeleton

1.1.2 分割方案

根據(jù)NY/T 1564-2007分割標(biāo)準(zhǔn)羊骨架切割為腰椎骨、胸椎骨、肋排、腹肋肉、鎖骨和頸部等6種產(chǎn)品，如圖2所示。

圖2 羊骨架切割標(biāo)準(zhǔn)Fig.2 Cutting standards of sheep skeleton

分別將切割點(diǎn)坐標(biāo)進(jìn)行標(biāo)記作為機(jī)器學(xué)習(xí)的標(biāo)簽，如圖3所示，圖中紅色圓點(diǎn)的圓心為切割位置。

圖3 羊骨架切割位置標(biāo)記Fig.3 Marking point location of image

1.1.3 圖像標(biāo)注和數(shù)據(jù)增廣

采用Labelme圖像標(biāo)記工具對羊骨架圖像特征部位進(jìn)行標(biāo)注，特征部位如圖4（a）和（b）所示。按照6∶2∶2的比例將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集。為了增加數(shù)據(jù)多樣性采用Pytorch中torch.transforms.compose（）方法對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)操作?；陔S機(jī)剪裁、旋轉(zhuǎn)隨機(jī)角度、縮放、錯切和翻轉(zhuǎn)等5種方法對圖像進(jìn)行仿射變換，以增加數(shù)據(jù)在形態(tài)和尺寸方面的多樣性；基于亮度、飽和度、對比度和色相等4種屬性對圖像進(jìn)行色彩抖動，以減弱光照條件對數(shù)據(jù)的影響。增廣后的部分圖像如圖4（c）、（d）、（e）和（f）所示，訓(xùn)練集的樣本容量擴(kuò)充為12 000張。

圖4 羊骨架圖像標(biāo)注和數(shù)據(jù)增廣Fig.4 Data tagging of images and data augmentation

1.2 基于DeepLabv3+的羊骨架特征部位分割

1.2.1 DeepLabv3+網(wǎng)絡(luò)架構(gòu)

DeepLabv3+是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）的語義分割框架，其網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示[17]。DeepLabv3+整體架構(gòu)分為Encoder和Decoder兩部分。Encoder網(wǎng)絡(luò)主要完成特征提取工作，采用不同擴(kuò)張率的空洞卷積（Atrous Convolution）[23]和圖像全局池化的方式搭建空洞空間金字塔池化（Atrous Spatial Pyramid Pooling，ASPP）模塊獲取多尺度圖像信息并進(jìn)行融合。Decoder對Encoder提取法人特征圖進(jìn)行上采樣并與底層特征圖進(jìn)行合并，最后再次進(jìn)行上采樣并完成預(yù)測任務(wù)。

圖5 DeepLabv3+網(wǎng)絡(luò)架構(gòu)Fig.5 Network architecture of DeepLabv3+

1.2.2 基于ResNet的羊骨架特征提取網(wǎng)絡(luò)

DeepLabv3+的特征提取網(wǎng)絡(luò)為ResNet-101，ResNet[24]主要包括Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x等模塊。為了使得特征提取網(wǎng)絡(luò)滿足羊骨架特征部位分割的需求，本研究對ResNet的Conv4_x模塊分別增加、減少6層和12層，得到ResNet-89、95、107和113，其結(jié)構(gòu)分別如圖6所示。

圖6 不同ResNet的Conv4_x結(jié)構(gòu)Fig.6 Conv4_x structures of different ResNet

1.2.3 ASPP模塊調(diào)整

Chen等[25]在DeepLabv1中證明了ASPP模塊有效提升了卷積核的感受野并提升了語義分割的精度，但較大的空洞擴(kuò)張率也帶來了信息丟失等問題。DeepLabv3+中的空洞擴(kuò)張率分別為1、6、12、18，卷積核尺寸為1×1和3×3。本研究分別設(shè)置1、3、6、12和1、6、9、12兩種尺度的擴(kuò)張率與原始結(jié)構(gòu)進(jìn)行對比。羊骨架不同部位邊緣具有明顯的生物特征，且受去腿工藝的影響具有顯著的不規(guī)則性。因此固定尺寸的卷積核性能會受到一定影響，為了減弱該情況對網(wǎng)絡(luò)性能的影響，本研究采用可形變卷積核[26]（Deformable Convlution，Def-Conv）替代固定形狀卷積核，通過偏移變量來對當(dāng)前位置周圍進(jìn)行隨機(jī)采樣，調(diào)整后的2種ASPP結(jié)構(gòu)如圖7所示。

圖7 不同的ASPP結(jié)構(gòu)Fig.7 Different structures of ASPP

1.2.4 Decoder模塊

在DeepLabv3+中羊骨架圖像經(jīng)過Encoder環(huán)節(jié)得到的特征圖尺寸較小，因此發(fā)生較多信息損失。為了彌補(bǔ)高層卷積帶來的羊骨架邊緣損失，本研究通過轉(zhuǎn)置卷積（Transposed Convolution）的方式將Encoder特征圖擴(kuò)大4倍，采用1×1的卷積核對羊骨架圖像的底層特征進(jìn)行卷積以降低通道數(shù)。將合并后的高層和底層特征圖采用3×3的卷積核進(jìn)行卷積操作以矯正羊骨架圖像分割效果，最后再次進(jìn)行上采樣將圖像還原到原始尺寸。

1.3 DeepLabv3+羊骨架特征部位分割實(shí)驗(yàn)

1.3.1 環(huán)境配置和評價標(biāo)準(zhǔn)

本研究基于Python3.5和Cuda9.0進(jìn)行Pytorch環(huán)境搭建，采用Pytorch框架對DeepLabv3+進(jìn)行搭建和調(diào)整，網(wǎng)絡(luò)訓(xùn)練的硬件為i7-770HQ（16 GB）和GPU-1080Ti。

為了合理評估網(wǎng)絡(luò)在羊骨架特征部位分割中的性能，本研究選取交并比（Intersection over Union，IOU）、像素精度（Pixel Accuracy，PA）和F值作為評價指標(biāo)。IOU是語義分割中的常用的評價標(biāo)準(zhǔn)[27-28]，其數(shù)學(xué)定義為預(yù)測區(qū)間和實(shí)際區(qū)間的交集與并集比值，計(jì)算公式如下：

式中，ps為網(wǎng)絡(luò)分割出的羊骨架特征部位；gs為標(biāo)簽中羊骨架特征部位。

像素精度定義為正確分類的像素與該區(qū)域全部像素的比值，計(jì)算公式如下：

式中，TP代表羊骨架特征部位正確分類的像素點(diǎn)個數(shù)；FP代表該特征部位未正確分類的像素點(diǎn)個數(shù)。

在羊骨架特征部位分割中，召回率和精度都是重要的性能指標(biāo)，為了平衡二者關(guān)系采用F值進(jìn)行評價，計(jì)算方法如下：

式中，F(xiàn)N代表網(wǎng)絡(luò)誤判為羊骨架特征部位的像素點(diǎn)個數(shù)。

1.3.2 網(wǎng)絡(luò)訓(xùn)練與試驗(yàn)分析

基于調(diào)整后的4種ResNet結(jié)構(gòu)和2種優(yōu)化的ASPP結(jié)構(gòu)搭建8種羊骨架特征部位分割網(wǎng)絡(luò)，與DeepLabv3+進(jìn)行對比實(shí)驗(yàn)。采用小批量的隨機(jī)梯度下降[29]（Stochastic Gradient Desent，SGD）對9種網(wǎng)絡(luò)進(jìn)行訓(xùn)練，小批量樣本容量設(shè)置為64，采用指數(shù)縮減策略進(jìn)行學(xué)習(xí)率更新。9種網(wǎng)絡(luò)的配置和分割性能如表1所示。

由表1中實(shí)驗(yàn)結(jié)果可知改進(jìn)優(yōu)化后的網(wǎng)絡(luò)性能較DeepLabv3+性能有一定提升，其中改進(jìn)網(wǎng)絡(luò)-6性能最佳，其基礎(chǔ)網(wǎng)絡(luò)為ResNet-95，擴(kuò)張率1、6、9、12，卷積核為可變形卷積核，MIoU為0.849，PA為0.870，F(xiàn)值為0.879，較原始的DeepLabv3+分別提升了1.6、2.2和0.7個百分點(diǎn)，網(wǎng)絡(luò)性能得到一定提升，可以用于羊骨架特征部位的分割。隨機(jī)選取2組圖像對網(wǎng)絡(luò)分割結(jié)果進(jìn)行可視化如圖8所示，由圖中分割效果可知，網(wǎng)絡(luò)較好地實(shí)現(xiàn)了羊骨架特征部位的分割，具備一定的泛化性能。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)的分割性能Table 1 Segmentation performance of different network structure

圖8 改進(jìn)網(wǎng)絡(luò)分割效果圖Fig.8 Identification effect of improves networks

1.4 特征提取

基于改進(jìn)網(wǎng)絡(luò)-6的分割結(jié)果對羊骨架的輪廓和4個特征部位進(jìn)行特征提取。本研究采用OpenCV中boundingRect()函數(shù)求取5個部位的最小外接矩形左上頂點(diǎn)和長寬坐標(biāo)參數(shù)，并基于該2組參數(shù)計(jì)算外接矩形的4個頂點(diǎn)坐標(biāo)和中心點(diǎn)坐標(biāo)，計(jì)算公式如下：

式中，w和h為矩形的寬高參數(shù)；x,y為左上頂點(diǎn)坐標(biāo)參數(shù)；O為中心點(diǎn)坐標(biāo)，B、C、D分別為頂點(diǎn)坐標(biāo)。

通過計(jì)算特征部位的最小外接矩形頂點(diǎn)和中點(diǎn)坐標(biāo)共獲得25組形位特征參數(shù)。在此基礎(chǔ)上引入5組寬高參數(shù)，特征集的維度達(dá)到35維。

2 基于XGBoost的羊骨架切割位置計(jì)算

2.1 數(shù)據(jù)預(yù)處理

2.1.1 數(shù)據(jù)平移

本研究提出的羊骨架切割位置計(jì)算模型假設(shè)羊骨架位于圖像中心，為保證特征數(shù)據(jù)滿足該假設(shè)條件，對特征集進(jìn)行數(shù)據(jù)平移操作，平移計(jì)算方法如下：

式中，d(x)和d(y)為平移前數(shù)據(jù)；D(x)和D(y)為平移后數(shù)據(jù)；M1和O1為圖像和羊骨架的中心點(diǎn)坐標(biāo)。

2.1.2 數(shù)據(jù)歸一化

由于羊骨架特征部位的尺寸不同導(dǎo)致形位參數(shù)的分布范圍存在一定差異，采用歸一化的方法將特征分布范圍壓縮到（0，1），計(jì)算公式如下：

式中，X為歸一化后的數(shù)據(jù)；x為原始數(shù)據(jù)；Xmax和Xmin為數(shù)據(jù)的最大最小值。

2.2 XGBoost預(yù)測模型

2.2.1 模型設(shè)置

XGBoost不僅具有特征篩選和集成功能，還能夠降低過擬合風(fēng)險(xiǎn)，因此本研究采用XGBoost框架建立羊骨架切割位置預(yù)測模型。XGBoost模型參數(shù)設(shè)置如下：收縮步長eta為0.02，樹的最大深度Max_depth為6，采樣比例subsample為0.6。采用交叉驗(yàn)證的方式對子節(jié)點(diǎn)最小樣本權(quán)重和進(jìn)行調(diào)整。為了衡量模型性能采用均方誤差MSE和R2擬合度對模型進(jìn)行打分，計(jì)算方法如下：

式中，y?、yˉ和yi分別代表羊骨架切割位置的預(yù)測位置、平均值和標(biāo)簽值；SS E、SST分別代表殘差平方和與總平方和。

2.2.2 模型訓(xùn)練與分析

分別建立Lasso和SVR回歸模型進(jìn)行對比實(shí)驗(yàn)，3種模型的綜合性能如表2所示。由訓(xùn)練結(jié)果可知XGBoost模型綜合性能明顯優(yōu)于Lasso和SVR模型，驗(yàn)證集和測試集的MSE分別為7.73和8.18，擬合度達(dá)到0.949，殘差絕對平均值達(dá)到2.47像素點(diǎn)。由此可知模型具有較好的泛化能力和預(yù)測精度。

表2 不同模型的預(yù)測性能Table 2 Segmentation performance of different network

2.3 羊骨架切割實(shí)驗(yàn)

2.3.1 實(shí)驗(yàn)平臺搭建

根據(jù)羊骨架的生物特性采用仿形學(xué)方法搭建羊骨架夾具系統(tǒng)，夾具3D模型如圖9（a）所示。基于羊骨架和夾具系統(tǒng)的空間尺寸對機(jī)械臂進(jìn)行選型，根據(jù)最大作業(yè)空間和負(fù)載等指標(biāo)選取華數(shù)HSR-JR620L工業(yè)機(jī)器人作為執(zhí)行機(jī)構(gòu)，如圖9（b）所示。實(shí)驗(yàn)流程如圖9（c）所示，羊骨架切割系統(tǒng)如圖9（d）所示。

圖9 實(shí)驗(yàn)設(shè)備及系統(tǒng)Fig.9 Experimental equipment and systems

2.3.2 切割實(shí)驗(yàn)與數(shù)據(jù)分析

采用6只羊骨架進(jìn)行切割實(shí)驗(yàn)，根據(jù)質(zhì)量分布將樣本分為3組進(jìn)行對比實(shí)驗(yàn)。A組樣本質(zhì)量分布區(qū)間為（6，7）kg，樣本數(shù)量為2；B組樣本質(zhì)量分布區(qū)間為（7，9）kg，樣本數(shù)量為2；C組樣本質(zhì)量分布區(qū)間為（9，10）kg，樣本數(shù)量為2。分別對3組樣本進(jìn)行切割實(shí)驗(yàn)并測量切割誤差和消耗時間，實(shí)驗(yàn)數(shù)據(jù)如表3所示。

表3 偏移距離和消耗時間統(tǒng)計(jì)表Table 3 Statistics of offset distance and consumption time

根據(jù)表中數(shù)據(jù)可得出以下結(jié)論：

羊骨架切割的平均誤差約為3.25 mm，平均每只消耗時間8.69 s，理論效率約為413只/h，較人工約提升

37.9%。

切割線2（頸部）誤差最小約為3.16 mm，切割線1（腰椎）、切割線4和5（肋排和腹肋肉）、切割線6和7（胸椎和肋排）誤差約為3.2 mm，切割線3（鎖骨）誤差約為3.48 mm。主要原因?yàn)殒i骨與頸部和骨架之間的分割界限并不明顯，且屠宰過程中容易導(dǎo)致頸部扭曲變形。

3組實(shí)驗(yàn)的平均誤差分別為3.3 mm、3.25 mm、3.2 mm，該方法可以用于切割質(zhì)量發(fā)生一定波動的羊骨架。

3 結(jié)論

改進(jìn)的DeepLabv3+有效地實(shí)現(xiàn)了羊骨架特征部位的分割，MIOU、PA和F值分別為0.849、0.870和0.879?；诜指罱Y(jié)果提取了35組特征參數(shù)，該組特征參數(shù)通過XGBoost模型能有效實(shí)現(xiàn)羊骨架切割位置的預(yù)測，驗(yàn)證集和測試集MSE分別為7.73和8.18，擬合度達(dá)到0.949，殘差絕對平均值達(dá)到2.47像素點(diǎn)，該方法能夠準(zhǔn)確快速地實(shí)現(xiàn)羊骨架切割位置的預(yù)測?；跈C(jī)器人平臺進(jìn)行切割實(shí)驗(yàn)，3組樣本的誤差分別為3.3 mm、3.25 mm、3.2 mm，該方法能夠?qū)崿F(xiàn)質(zhì)量發(fā)生波動的羊骨架切割，切割誤差為3.25 mm。平均切割時間為8.69 s，理論效率約為413只/h，較人工約提升37.9%。結(jié)果表明深度學(xué)習(xí)和機(jī)器人技術(shù)能較好解決生物體切割問題，且精度與效率有明顯提升。