基于深度學(xué)習(xí)的群豬圖像實(shí)例分割方法

高 云 郭繼亮 黎 煊 雷明剛 盧 軍 童 宇

(1.華中農(nóng)業(yè)大學(xué)工學(xué)院， 武漢 430070； 2.生豬健康養(yǎng)殖協(xié)同創(chuàng)新中心， 武漢 430070；3.華中農(nóng)業(yè)大學(xué)動(dòng)物科技學(xué)院動(dòng)物醫(yī)學(xué)院， 武漢 430070； 4.華中農(nóng)業(yè)大學(xué)理學(xué)院， 武漢 430070)

0 引言

機(jī)器視覺技術(shù)是檢測(cè)豬養(yǎng)殖狀況、評(píng)價(jià)豬福利的重要技術(shù)手段之一，具有易安裝、無侵入、設(shè)備平價(jià)等優(yōu)點(diǎn)。目前，機(jī)器視覺技術(shù)較多應(yīng)用于單體豬只的監(jiān)測(cè)，主要用于識(shí)別豬只飲水行為[1]及監(jiān)測(cè)豬只的飲水量[2-3]、監(jiān)測(cè)母豬的分娩行為[4]、檢測(cè)生豬的瘦肉率[5]、監(jiān)測(cè)豬只藍(lán)耳病疫情[6]等。對(duì)于群體飼喂階段，由于豬群有聚集在一起的習(xí)性，特別是躺臥時(shí)，當(dāng)使用機(jī)器視覺跟蹤監(jiān)測(cè)豬只時(shí)，圖像中存在較多的粘連豬體，且分割困難。目前要對(duì)群養(yǎng)豬個(gè)體進(jìn)行追蹤和監(jiān)測(cè)，尚未有較為成熟的應(yīng)用。但群養(yǎng)模式無論是在種豬場(chǎng)還是商品肉豬場(chǎng)均占有較大的比重[7-8]，對(duì)群養(yǎng)豬行為進(jìn)行監(jiān)測(cè)有利于全面改進(jìn)豬場(chǎng)養(yǎng)殖管理水平，提高豬場(chǎng)的生產(chǎn)效率，從而提高豬場(chǎng)的經(jīng)濟(jì)效益。因此，解決群養(yǎng)豬圖像中粘連豬體的分割問題是實(shí)現(xiàn)群豬視覺追蹤和監(jiān)測(cè)的關(guān)鍵步驟。

為了分割群養(yǎng)豬圖像中的粘連豬體，采用傳統(tǒng)數(shù)字圖像處理結(jié)合模式識(shí)別的方法已有較多研究[9-13]。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)方法[14-20]能夠在背景知識(shí)不清晰，推理規(guī)則不明確情況下，通過訓(xùn)練，自動(dòng)提取圖像中目標(biāo)特征，避免了通過人為觀察來設(shè)計(jì)算法提取目標(biāo)特征的過程，得到的算法模型普適性較強(qiáng)。GIRSHICK等[21]提出了將R-CNN(Regions with CNN)應(yīng)用到候選區(qū)域(Region proposal)的策略，訓(xùn)練模型用于定位目標(biāo)物和圖像分割，其分割的精度、效率均不高。為了提高分割精度，LONG等[22]對(duì) CNN 進(jìn)行改進(jìn)，提出了全卷積網(wǎng)絡(luò)(Fully convolutional networks，F(xiàn)CN)的圖像語義分割算法，主要用來理解場(chǎng)景中存在的感興趣對(duì)象，實(shí)現(xiàn)像素級(jí)別的分割，有研究人員也將該方法應(yīng)用到母豬個(gè)體識(shí)別和分割方面[23]。語義分割可以分割出同一類物體，但無法分割出同一類物體中的不同個(gè)體，不適用于分割群養(yǎng)豬中的粘連豬個(gè)體。

實(shí)例分割主要用來分割同類物體的不同個(gè)體。SILBERMAN等[24]在2014年用實(shí)例分割來分析室內(nèi)場(chǎng)景。LI等[25]實(shí)現(xiàn)了全卷積端到端實(shí)例分割模型(Fully convolutional instance-aware semantic segmentation，F(xiàn)CIS)。實(shí)例分割是一個(gè)多任務(wù)架構(gòu)網(wǎng)絡(luò)，通過卷積神經(jīng)網(wǎng)絡(luò)先提取初級(jí)特征，并提出感興趣區(qū)域(Region of interest，ROI)。對(duì)于每個(gè)ROI區(qū)域，通過對(duì)ROI池化層處理提取出對(duì)應(yīng)的特征。所提取特征共享給檢測(cè)目標(biāo)任務(wù)的網(wǎng)絡(luò)，完成目標(biāo)檢測(cè)、圖像分割與圖像分類任務(wù)。實(shí)例分割將圖像中不同類別和個(gè)體的感興趣對(duì)象分別進(jìn)行分割和標(biāo)記[26]。HE等[27]構(gòu)建的Mask R-CNN網(wǎng)絡(luò)將實(shí)例分割推上了一個(gè)新的高度，對(duì)各種不同的粘連物體表現(xiàn)出了很好的分割性能。 ZHANG等[28]對(duì)道路兩側(cè)粘連汽車圖像進(jìn)行了實(shí)例分割研究。WARD等[29]采用深度學(xué)習(xí)網(wǎng)絡(luò)Mask R-CNN實(shí)現(xiàn)了植物葉片的實(shí)例分割。實(shí)例分割框架在語義分割的基礎(chǔ)上，將相互粘連的同一類對(duì)象分割為不同的實(shí)例個(gè)體，為豬群中粘連個(gè)體的分割提供了可能性。目前還未見將實(shí)例分割用于粘連豬體分割的研究。

本文采用深度學(xué)習(xí)方法，對(duì)實(shí)例分割網(wǎng)絡(luò)進(jìn)行修改，并將其用于對(duì)群豬圖像中的粘連豬體進(jìn)行分割。通過對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到有效的分割模型，并通過試驗(yàn)驗(yàn)證算法的可行性與有效性。

1 試驗(yàn)材料與方法

1.1 圖像采集

于2018年3月12日— 4月8日在華中農(nóng)業(yè)大學(xué)試驗(yàn)豬場(chǎng)進(jìn)行圖像數(shù)據(jù)采集，6頭9.6 kg左右的大白保育豬養(yǎng)殖在環(huán)境多變量控制養(yǎng)殖箱內(nèi)。環(huán)境多變量控制養(yǎng)殖箱[30]是課題組按集約化豬舍設(shè)計(jì)標(biāo)準(zhǔn)設(shè)計(jì)的，已申請(qǐng)專利。根據(jù)養(yǎng)殖豬頭數(shù)，按集約化豬場(chǎng)的豬只需占空間面積，設(shè)計(jì)豬欄的長、寬為2.0 m×2.0 m。豬舍內(nèi)的料槽和鴨嘴式飲水器為商用豬舍產(chǎn)品。豬舍底部為全漏縫地板，地板下有水泡糞糞池，按照水泡糞的模式，水面超出10 cm，糞池容量設(shè)計(jì)為一周抽糞一次。箱內(nèi)用LED燈照明，豬生活區(qū)域照度根據(jù)豬場(chǎng)光照標(biāo)準(zhǔn)控制在50 lx左右[31]。1080 p高清攝像頭安裝于箱頂部正中間，垂直向下，采集RGB圖像，鏡頭距漏縫地板高度為180 cm，如圖1所示。采集速率為3幀/s，圖像為1 920像素×1 080像素的RGB彩色圖像，存儲(chǔ)為JPG格式。

圖1 圖像采集平臺(tái)Fig.1 Image acquisition platform 1.高清攝像頭 2.數(shù)據(jù)線 3.計(jì)算機(jī) 4.環(huán)境多變量控制養(yǎng)殖箱

1.2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的群養(yǎng)豬分割模型

已有研究采用FCN對(duì)粘連情況復(fù)雜的圖像進(jìn)行分割。FCN是一種深度學(xué)習(xí)的全卷積神經(jīng)網(wǎng)絡(luò)模型，其處理分割問題時(shí)性能較好。FCN網(wǎng)絡(luò)的優(yōu)勢(shì)[32]包括：①去掉了末端的全連接層，用卷積層代替，實(shí)現(xiàn)端到端的卷積網(wǎng)絡(luò)訓(xùn)練。②對(duì)圖像的每個(gè)像素都進(jìn)行預(yù)測(cè)分類，實(shí)現(xiàn)像素級(jí)分割。但對(duì)于粘連嚴(yán)重的豬群圖像，F(xiàn)CN網(wǎng)絡(luò)結(jié)構(gòu)[32]上采樣采取簡單的反卷積方式，這種方式的上采樣使得圖像失去了許多細(xì)節(jié)特征，導(dǎo)致最終分割圖中豬體輪廓模糊，難以對(duì)粘連嚴(yán)重的豬群進(jìn)行很好的分割。

Mask R-CNN網(wǎng)絡(luò)是一種實(shí)例分割(Instance segmentation)[27]方法，其檢測(cè)出每個(gè)目標(biāo)，并用邊界框、標(biāo)簽和不同顏色掩模對(duì)目標(biāo)個(gè)體進(jìn)行分割描述。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)基于REN等[33]提出的Faster R-CNN框架，該框架將特征抽取、方案(Proposal)提取、bounding box 回歸、分類整合在同一個(gè)網(wǎng)絡(luò)中。Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)是在Faster R-CNN框架分類和回歸層之后增加了一個(gè)針對(duì)每一個(gè)ROI的FCN網(wǎng)絡(luò)分支，實(shí)現(xiàn)對(duì)圖像目標(biāo)進(jìn)行實(shí)例分割。Mask R-CNN網(wǎng)絡(luò)采用ROIAlign操作替換了ROIPool操作，保留目標(biāo)空間位置的精度。ROIAlign是一個(gè)修正空間量化特征提取錯(cuò)位的層[27]，利用雙線性插值計(jì)算輸入對(duì)應(yīng)ROI bin上的4個(gè)坐標(biāo)值，作用是保留其網(wǎng)絡(luò)輸入和輸出之間的像素到像素的空間位置精度。Mask R-CNN網(wǎng)絡(luò)將判斷類別(Class)和輸出掩模(Mask)這兩個(gè)任務(wù)解耦合，用平均二值交叉熵?fù)p失對(duì)每個(gè)目標(biāo)獨(dú)立地預(yù)測(cè)一個(gè)二值掩模，避免引入類別間競(jìng)爭，大大提高了分割性能。本文中的每個(gè)目標(biāo)即為豬群中的每頭豬只區(qū)域，對(duì)每頭豬只預(yù)測(cè)一個(gè)二值掩模。

本文在Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，對(duì)Mask R-CNN網(wǎng)絡(luò)框架的網(wǎng)絡(luò)深度和寬度進(jìn)行優(yōu)化調(diào)整，在已經(jīng)有一定訓(xùn)練基礎(chǔ)的參數(shù)上，進(jìn)行遷移學(xué)習(xí)，用粘連群養(yǎng)豬圖像作為訓(xùn)練集，比較不同層數(shù)和不同卷積核的網(wǎng)絡(luò)模型的分割準(zhǔn)確率，確定較優(yōu)的分割粘連豬體圖像的網(wǎng)絡(luò)參數(shù)和模型。

最終，本文確定優(yōu)化模型為PigNet，其網(wǎng)絡(luò)較Mask R-CNN網(wǎng)絡(luò)做了兩點(diǎn)優(yōu)化改進(jìn)：①針對(duì)本文試驗(yàn)場(chǎng)景中類別單一的不同實(shí)例對(duì)象，將Mask R-CNN主干網(wǎng)絡(luò)第4階段卷積的69層卷積層結(jié)構(gòu)調(diào)整為12層(PigNet)，這樣不僅防止了特征損耗，而且減少了卷積運(yùn)算量。②Mask R-CNN網(wǎng)絡(luò)的Mask分支最后一層卷積層通道數(shù)80修改為2(PigNet)，代表類別數(shù)為兩類(pig類和background類)。PigNet具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 PigNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 PigNet network structure

PigNet主干網(wǎng)絡(luò)采用44層卷積層，有5個(gè)卷積階段，每1階段的卷積均采用殘差學(xué)習(xí)結(jié)構(gòu) (Building block)[34]，如圖3所示，藍(lán)色弧線包含的3個(gè)卷積層結(jié)構(gòu)中，3×3×256層表示卷積核為3×3、通道數(shù)為256的卷積層(圖3中類似的結(jié)構(gòu)，依此類推)，1 024表示向量維數(shù)為1 024的全連接層。殘差學(xué)習(xí)結(jié)構(gòu)的首端和末端采用1×1卷積核，中間采用3×3卷積核。殘差學(xué)習(xí)結(jié)構(gòu)的優(yōu)點(diǎn)在于：其極大地降低了參數(shù)的數(shù)目，減少計(jì)算量的同時(shí)保持了精度，如第2階段的第1個(gè)1×1的卷積將256維通道降到64維，然后再通過1×1卷積恢復(fù)到256維通道。殘差學(xué)習(xí)結(jié)構(gòu)有很多的旁路即藍(lán)色弧線，將輸入直接連接到后面的層，一定程度上解決特征損耗、梯度消失等訓(xùn)練問題。第1階段卷積層后連接有BatchNorm層、Scale層、ReLU激活層，之后連接有池化層，采用卷積核為3×3的Max pooling操作。BatchNorm層和Scale層作用是批量歸一化，ReLU激活層有利于訓(xùn)練收斂更快。后面的每層卷積層的滑動(dòng)步長(Stride)為 2 個(gè)像素，經(jīng)過一個(gè)殘差學(xué)習(xí)結(jié)構(gòu)的卷積、池化把尺寸縮小至原來的1/4，PigNet主干網(wǎng)絡(luò)滑動(dòng)步長不停的縮減尺寸，輸出通道數(shù)持續(xù)增加，達(dá)到2 048。

圖3 PigNet主干網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Backbone network structure of PigNet

主干網(wǎng)絡(luò)的特征提取分兩方面：一方面是網(wǎng)絡(luò)模型的conv4_12卷積層輸出的特征圖(Feature map)經(jīng)過區(qū)域候選網(wǎng)絡(luò)(Region proposal networks，RPN)計(jì)算處理，提供計(jì)算后提取的特征信息；另一方面是繼續(xù)向前傳播，生成特征圖。主干網(wǎng)絡(luò)所提取的特征圖由ROIAlign層處理。RPN的作用是更快地選取ROI。ROIAlign從ROI提取特征并保留輸入和輸出之間的像素的精準(zhǔn)空間位置。從ROI分出來兩個(gè)分支，一個(gè)分支經(jīng)過7×7卷積核、通道數(shù)256的卷積層，再經(jīng)過兩個(gè)1 024維特征向量的全連接層，最后完成預(yù)測(cè)類別和回歸框任務(wù)；另一Mask分支經(jīng)過5次14×14卷積核、通道數(shù)為256的卷積層運(yùn)算，再進(jìn)行上采樣生成 28×28的特征圖，最后使用28×28卷積核、通道數(shù)為2的卷積層對(duì)每個(gè)ROI目標(biāo)(本文為每頭豬只)預(yù)測(cè)輸出一個(gè)掩模。

PigNet實(shí)例分割網(wǎng)絡(luò)的損失函數(shù)包括3部分，公式[27]為

L=Lcls+Lbox+Lmask

(1)

式中L——損失函數(shù)

Lcls——分類誤差

Lbox——檢測(cè)誤差

Lmask——分割誤差

Lcls、Lbox利用全連接層處理，預(yù)測(cè)出每個(gè)ROI的所屬類別和回歸框坐標(biāo)值。Lmask對(duì)每個(gè)ROI的目標(biāo)進(jìn)行分割，并賦予掩模表示。Class分支、Box分支、Mask分支共享卷積計(jì)算得出ROI。對(duì)于每個(gè)ROI，Lcls負(fù)責(zé)預(yù)測(cè)該目標(biāo)的類別，若預(yù)測(cè)感興趣區(qū)域ROI為pig類，則在分割該ROI過程的損失時(shí)只使用pig類的相對(duì)熵誤差作為誤差值進(jìn)行計(jì)算，其他類別(如background類)的相對(duì)熵誤差不參與到該ROI的損失函數(shù)中，避免了類別間競(jìng)爭。Lbox用來控制該目標(biāo)的回歸框的位置坐標(biāo)。Lmask用來控制該目標(biāo)生成精準(zhǔn)的掩模。Class分支預(yù)測(cè)感興趣區(qū)域ROI為pig類，則Lmask僅僅單獨(dú)考慮ROI目標(biāo)的回歸框的pig類別相對(duì)熵誤差來預(yù)測(cè)該感興趣區(qū)域?qū)儆趐ig類別的像素點(diǎn)，精準(zhǔn)地分割出目標(biāo)輪廓，分割得到不同層深度的精準(zhǔn)輪廓位置坐標(biāo)信息，分割圖中使用不同顏色的掩模來表示不同層深度的目標(biāo)。對(duì)于本文測(cè)試圖像，PigNet網(wǎng)絡(luò)模型卷積計(jì)算得6個(gè)感興趣區(qū)域，Lcls預(yù)測(cè)每個(gè)感興趣區(qū)域類別為pig，Lbox預(yù)測(cè)6個(gè)目標(biāo)的回歸框的位置坐標(biāo)，Lmask采用平均二值交叉熵?fù)p失并使用Sigmoid函數(shù)對(duì)6個(gè)回歸框的位置均獨(dú)立地預(yù)測(cè)一個(gè)二值掩模，6個(gè)目標(biāo)分割的目標(biāo)輪廓信息放置在6個(gè)不同層深度，在分割圖中用6種不同顏色的掩模來表示6個(gè)目標(biāo)。對(duì)于數(shù)量更多的豬群圖像，PigNet模型對(duì)每個(gè)豬體分割生成一個(gè)對(duì)應(yīng)的二值掩模。

1.3 訓(xùn)練參數(shù)設(shè)置

本文網(wǎng)絡(luò)激活函數(shù)采用修正線性單元(Rectified linear units，ReLU)和基于批量隨機(jī)梯度下降法(Mini-batch stochastic gradient descend)的優(yōu)化模型，使用GPU運(yùn)算。批量訓(xùn)練的方法將數(shù)據(jù)集數(shù)據(jù)分為多個(gè)批次，設(shè)置迭代次數(shù)為10，每個(gè)批次訓(xùn)練系數(shù)為100，隨著迭代次數(shù)的增加，網(wǎng)絡(luò)損失函數(shù)損失收斂，訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率趨于穩(wěn)定，調(diào)整動(dòng)量因子參數(shù)為0.9，正則化權(quán)重衰減系數(shù)為0.000 1，網(wǎng)絡(luò)權(quán)重參數(shù)的基礎(chǔ)學(xué)習(xí)率為0.001。

2 群養(yǎng)豬圖像分割試驗(yàn)

2.1 試驗(yàn)硬件及軟件

本文分割算法處理平臺(tái)為臺(tái)式計(jì)算機(jī)，處理器為 Inter Core i5-7500，主頻為3.40 GHz，32 GB內(nèi)存，2TB 硬盤，顯卡為NVIDA GeForce GTX1060。軟件環(huán)境為Windows 10 64位系統(tǒng)，編程語言為Python，采用TensorFlow深度學(xué)習(xí)開源框架，使用Microsoft visual studio軟件編寫深度神經(jīng)網(wǎng)絡(luò)層。

2.2 試驗(yàn)方法

連續(xù)采集28 d圖像，包含了群養(yǎng)豬日常生活的吃食、飲水、躺臥、運(yùn)動(dòng)等多種行為的圖像樣本。為了確保訓(xùn)練樣本的多樣性，本文抽取試驗(yàn)前5 d中全天各時(shí)段不同行為狀態(tài)下的群養(yǎng)豬圖像2 000幅作為訓(xùn)練集。為了確保驗(yàn)證集與訓(xùn)練集之間無重疊圖像數(shù)據(jù)，抽取第6、7天的各個(gè)時(shí)段的群養(yǎng)豬圖像500幅作為驗(yàn)證集，總計(jì)2 500幅群養(yǎng)豬圖像樣本。

使用Labelme軟件制作訓(xùn)練數(shù)據(jù)集。標(biāo)注時(shí)，將每頭豬標(biāo)注為一個(gè)獨(dú)立的連通域。試驗(yàn)對(duì)象為6頭保育豬，因此每幅圖像中標(biāo)出6頭豬個(gè)體連通域，即6個(gè)目標(biāo)，人工每采集一個(gè)豬體目標(biāo)輪廓就給該豬體目標(biāo)賦予具體的標(biāo)簽。6個(gè)豬體目標(biāo)標(biāo)簽依次命名為pig1、pig2、…、pig6。標(biāo)注完一幅圖像后得到一個(gè)對(duì)應(yīng)的.json文件。解析.json文件，提取中位深度為24位的label.png標(biāo)簽圖像，再將24位label.png圖像轉(zhuǎn)換為8位的label.png圖像，完成一幅圖像數(shù)據(jù)的制作。

若將6個(gè)豬體目標(biāo)直接標(biāo)簽標(biāo)注為pig，則6個(gè)目標(biāo)會(huì)放置在同一個(gè)通道層，被識(shí)別為同一目標(biāo)對(duì)象。若把6個(gè)豬體目標(biāo)命名為不同的標(biāo)簽，將會(huì)被識(shí)別為6個(gè)不同對(duì)象。因此在圖像中用6種不同顏色表示，對(duì)應(yīng)Mask R-CNN網(wǎng)絡(luò)對(duì)不同的實(shí)例目標(biāo)需要放在不同層中的輸入要求。但是上述標(biāo)注后6個(gè)不同的標(biāo)簽代表6個(gè)類別，而在主網(wǎng)絡(luò)訓(xùn)練中要求6個(gè)豬體目標(biāo)是屬于1個(gè)類別標(biāo)簽，即pig大類別標(biāo)簽。本文采用w×h×n三維數(shù)組將在6個(gè)深度層的6個(gè)類別轉(zhuǎn)換為在6個(gè)深度層的1個(gè)類別，作為Mask R-CNN網(wǎng)絡(luò)的輸入。w和h分別為輸入圖像的長和寬，n為輸入圖像中實(shí)例目標(biāo)的豬頭數(shù)，本文設(shè)為6。讀取6個(gè)豬體目標(biāo)的類別標(biāo)簽為pig。

由于本研究的目是分割粘連的群養(yǎng)豬，準(zhǔn)確識(shí)別出獨(dú)立的豬個(gè)體目標(biāo)位置和個(gè)數(shù)，而圖像中豬個(gè)體區(qū)域的像素級(jí)別的差別，不在本文的研究范圍內(nèi)。因此分割算法將圖中的自然豬個(gè)體分割成獨(dú)立的連通域，即判為分割正確。本文采用準(zhǔn)確率指標(biāo)[35]評(píng)價(jià)PigNet模型分割效果，準(zhǔn)確率為分割模型正確分割豬個(gè)體的圖像數(shù)占驗(yàn)證集圖像數(shù)的百分比。

使用已在COCO(Common objects in context)數(shù)據(jù)集上訓(xùn)練好的Mask R-CNN模型權(quán)重對(duì)群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet進(jìn)行初始化(Fine-tuning)[36]。COCO 數(shù)據(jù)集由微軟提供，數(shù)據(jù)集中含有類別、位置信息等圖像目標(biāo)的標(biāo)注信息，是大多數(shù)深度神經(jīng)網(wǎng)絡(luò)圖像分割算法性能評(píng)價(jià)的常用數(shù)據(jù)集。COCO數(shù)據(jù)集不包含豬，但包含了貓、狗、馬、羊、牛等四肢行走動(dòng)物作為訓(xùn)練對(duì)象，訓(xùn)練集包含數(shù)十萬幅圖像。訓(xùn)練好的Mask R-CNN模型其權(quán)重已包含了動(dòng)物的常見特征，在此基礎(chǔ)上使用遷移學(xué)習(xí)方法來訓(xùn)練群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet，可以更快地學(xué)習(xí)豬只特征，大大地縮短了訓(xùn)練模型的時(shí)間。

為了進(jìn)行效果對(duì)比，使用PigNet模型與基于ResNet101網(wǎng)絡(luò)的Mask R-CNN模型及其改進(jìn)模型對(duì)圖像進(jìn)行分割，對(duì)比分析其分割結(jié)果。

2.3 試驗(yàn)流程

群養(yǎng)豬圖像的具體分割試驗(yàn)流程如圖4所示，具體步驟如下：

3.4 在高寒沙區(qū)利用機(jī)械固沙和生物固沙相結(jié)合，無灌溉條件下扦插、直播造林相結(jié)合的植被恢復(fù)綜合技術(shù)，是改善沙區(qū)生態(tài)環(huán)境的最有效的手段之一。

(1)從采集的群養(yǎng)豬圖像數(shù)據(jù)中抽取訓(xùn)練集，其中訓(xùn)練圖像盡量包含群養(yǎng)豬日常4種不同形態(tài)圖像，且驗(yàn)證集與訓(xùn)練集無交叉重復(fù)數(shù)據(jù)。

(2)使用Labelme軟件對(duì)訓(xùn)練集圖像進(jìn)行標(biāo)注，對(duì)應(yīng)標(biāo)簽圖像，完成訓(xùn)練集的制作。

(3)將制作好的數(shù)據(jù)集作為深度卷積網(wǎng)絡(luò)的輸入。

(4)搭建群養(yǎng)豬分割卷積網(wǎng)絡(luò)PigNet網(wǎng)絡(luò)。

(5)以Mask R-CNN網(wǎng)絡(luò)訓(xùn)練好的模型作為群養(yǎng)豬圖像分割網(wǎng)絡(luò)PigNet的初始化(Fine-tuning)，經(jīng)訓(xùn)練得PigNet模型。

(6)使用驗(yàn)證集圖像測(cè)試群養(yǎng)豬圖像分割模型——PigNet模型，得分割圖像。

(7)采用準(zhǔn)確率指標(biāo)評(píng)價(jià)PigNet模型的分割結(jié)果。

(8)根據(jù)評(píng)價(jià)結(jié)果調(diào)整PigNet模型的參數(shù)。

(9)重新訓(xùn)練PigNet模型，重復(fù)步驟(5)～(8)，直至訓(xùn)練集指標(biāo)與驗(yàn)證集指標(biāo)接近。

圖4 群養(yǎng)豬圖像分割試驗(yàn)流程圖Fig.4 Flow chart of group pig image segmentation test

3 結(jié)果與分析

3.1 PigNet特征圖可視化分析

分析PigNet模型的識(shí)別過程，模型的部分卷積層的可視化輸出如圖5所示。從圖5中可以看出，每層卷積提取出的特征各有側(cè)重，使PigNet模型學(xué)習(xí)豬個(gè)體顏色特征、形狀特征、紋理特征等特征。隨著卷積層層數(shù)的增多，PigNet模型學(xué)習(xí)的特征信息越來越趨于抽象，使PigNet模型學(xué)習(xí)了更為深度的豬個(gè)體特征。

圖5 群養(yǎng)豬圖像分割網(wǎng)絡(luò)算法的卷積特征圖可視化Fig.5 Convolutional characteristic map visualization of pig image segmentation network algorithms

3.2 PigNet模型性能分析

已訓(xùn)練的PigNet模型在2 000幅訓(xùn)練集、500幅驗(yàn)證集上的分割結(jié)果用評(píng)價(jià)指標(biāo)分析，結(jié)果如表1所示。其中，訓(xùn)練集4種行為圖像各500幅，驗(yàn)證集4種行為圖像各125幅。由表1可知，PigNet模型在訓(xùn)練集和驗(yàn)證集上均取得較好的分割結(jié)果，總分割準(zhǔn)確率均大于85.00%，訓(xùn)練集為86.15%，驗(yàn)證集為85.40%。在各行為樣本中，PigNet模型對(duì)吃食、飲水、運(yùn)動(dòng)等行為圖像分割性能較好，訓(xùn)練集和驗(yàn)證集準(zhǔn)確率均不小于86.40%。驗(yàn)證集對(duì)運(yùn)動(dòng)行為圖像分割準(zhǔn)確率高達(dá)92.00%。躺臥樣本圖像中豬體粘連情況最為嚴(yán)重，所有的樣本圖像中都有嚴(yán)重的豬體粘連現(xiàn)象，其它行為樣本中，粘連現(xiàn)象都不同程度地出現(xiàn)，如圖6所示。算法的總體準(zhǔn)確率及每種行為的驗(yàn)證集準(zhǔn)確率與訓(xùn)練集近似，較訓(xùn)練集略低，表明PigNet模型泛化性能較好。

表1 PigNet分割評(píng)價(jià)指標(biāo)分析Tab.1 Analysis of PigNet segmentation evaluation index

PigNet模型對(duì)分割不同形態(tài)的粘連群養(yǎng)豬具有較好的分割性能。如圖6所示，不同行為下，豬體有保持直線、彎曲、多豬粘連等情況，并未影響分割準(zhǔn)確率。由于攝像頭并未將整個(gè)豬欄區(qū)域完全覆蓋，有些豬體超出圖像范圍，算法對(duì)拍攝不完整的豬體分割也較為準(zhǔn)確，如圖6a、6c、6d所示。圖6d的分割難度最大，所有的豬只都聚集在一起，造成某些豬的部分豬體被其它豬只遮擋，導(dǎo)致無法拍攝部分豬只完整輪廓，算法也可準(zhǔn)確將其分開，說明PigNet網(wǎng)絡(luò)模型對(duì)粘連豬群能有效分割。

圖6 不同行為測(cè)試圖像的分割結(jié)果Fig.6 Segmentation results of diversity behavioral images

在用本文算法完成分割的樣本中，兩類行為模式的樣本出現(xiàn)少量錯(cuò)誤，如群養(yǎng)豬的運(yùn)動(dòng)和吃食圖像，如圖7所示。豬只個(gè)體存在頭部與頭部、頭部與尾部粘連嚴(yán)重或跨爬行為，造成圖像中的單個(gè)豬體被分為兩部分，從而引起分割錯(cuò)誤。

圖7 分割錯(cuò)誤圖像Fig.7 Split error images

3.3 改進(jìn)模型參數(shù)設(shè)置

為了得到較優(yōu)的分割粘連豬體圖像的網(wǎng)絡(luò)參數(shù)和模型，本文分別對(duì)Mask R-CNN主干網(wǎng)絡(luò)的卷積層數(shù)和寬度進(jìn)行了調(diào)整。調(diào)整后的網(wǎng)絡(luò)結(jié)構(gòu)模型的參數(shù)設(shè)置、分割準(zhǔn)確率如表2所示。從表2可以看出，網(wǎng)絡(luò)模型的深度對(duì)分割準(zhǔn)確率有明顯的影響。改進(jìn)模型1的準(zhǔn)確率最高，從最終圖像分割的質(zhì)量來看，改進(jìn)模型4～8的過分割現(xiàn)象明顯，故較101層和200層卷積深度，44層卷積層深度是較為適合豬群分割的層數(shù)。同時(shí)，改進(jìn)模型的第1階段的conv1卷積層采用不同卷積核，影響了網(wǎng)絡(luò)提取的豬體特征，最終體現(xiàn)在了網(wǎng)絡(luò)模型的分割準(zhǔn)確率。由表2可看出，改進(jìn)模型1、4、6的分割準(zhǔn)確率均高于同一網(wǎng)絡(luò)深度的其他改進(jìn)模型。如改進(jìn)模型1較改進(jìn)模型3，其分割準(zhǔn)確率高出0.6個(gè)百分點(diǎn)。從表2整體來看，卷積層數(shù)對(duì)網(wǎng)絡(luò)分割準(zhǔn)確率影響較大，卷積核對(duì)網(wǎng)絡(luò)分割準(zhǔn)確率影響較小。本文采用改進(jìn)模型1為分割粘連豬體圖像的模型，即確定PigNet模型卷積層數(shù)為44，第1階段的conv1卷積層卷積核為7×7。

表2 改進(jìn)網(wǎng)絡(luò)的參數(shù)設(shè)置和分割準(zhǔn)確率Tab.2 Parameter setting and segmentation accuracy of improved network

3.4 不同分割模型對(duì)比分析

將本文算法模型與Mask R-CNN模型的分割效果進(jìn)行對(duì)比。采用同樣的2 000個(gè)訓(xùn)練樣本和500個(gè)驗(yàn)證樣本，訓(xùn)練Mask R-CNN(ResNet101-FPN)模型。兩種網(wǎng)絡(luò)模型在500個(gè)驗(yàn)證樣本上的分割性能比較如表3所示。

表3 不同分割模型的性能比較Tab.3 Comparison of different segmentation networks performances

本文算法模型相較Mask R-CNN(ResNet101-FPN)模型，其準(zhǔn)確率高11.40個(gè)百分點(diǎn)，說明主干網(wǎng)絡(luò)的卷積層不是越深越好，合適的卷積層深度有利于分割性能的提高。本研究的目的是分割粘連的群養(yǎng)豬，獲得獨(dú)立連通域的豬個(gè)體。增加網(wǎng)絡(luò)卷積層運(yùn)算和粘連豬體的權(quán)重因子，有利于提高分割準(zhǔn)確率，但同時(shí)也容易導(dǎo)致分割性能的過擬合，將豬體部分區(qū)域分割為一個(gè)豬個(gè)體，造成同一目標(biāo)豬個(gè)體的過分割，如圖7所示。本文算法模型相較Mask R-CNN(ResNet101-FPN)模型較好地權(quán)衡了分割性能和模型過擬合，一定程度上減少了卷積參數(shù)，精簡了模型，同時(shí)使模型分割性能略有提高。

本文算法模型比Mask R-CNN(ResNet101-FPN)模型的單幅圖像分割處理時(shí)間縮短了30 ms。本文算法模型的層結(jié)構(gòu)較Mask R-CNN(ResNet101-FPN)模型，精簡了卷積層結(jié)構(gòu)，也減少了單幅圖像的分割處理時(shí)間。

4 結(jié)論

(1)提出了基于實(shí)例分割框架的粘連豬體圖像分割算法PigNet網(wǎng)絡(luò)模型，有效地解決群養(yǎng)豬俯視圖像中難以解決的豬體粘連問題。PigNet網(wǎng)絡(luò)模型在Mask R-CNN主干網(wǎng)絡(luò)基礎(chǔ)上建立PigNet主干網(wǎng)絡(luò)，經(jīng)過區(qū)域候選網(wǎng)絡(luò)提取的特征和主干網(wǎng)絡(luò)前向傳播提取的特征均被ROIAlign所共享。ROIAlign操作從ROI提取特征并保留輸入和輸出之間的像素精準(zhǔn)空間位置。從ROI分出兩個(gè)分支，一個(gè)分支完成預(yù)測(cè)類別和回歸框任務(wù)，另一Mask分支對(duì)每個(gè)ROI的目標(biāo)預(yù)測(cè)輸出一個(gè)掩模。

(2)PigNet模型在訓(xùn)練集和驗(yàn)證集上均取得較好的結(jié)果，總分割準(zhǔn)確率均大于85.00%，訓(xùn)練集為86.15%，驗(yàn)證集為85.40%。與Mask R-CNN模型及其改進(jìn)模型進(jìn)行分割效果對(duì)比，PigNet網(wǎng)絡(luò)模型驗(yàn)證集的準(zhǔn)確率較Mask R-CNN(ResNet101-FPN)模型高11.40個(gè)百分點(diǎn)，且分割運(yùn)算時(shí)間較Mask R-CNN(ResNet101-FPN)模型短30 ms。本文算法模型對(duì)不同形態(tài)、粘連嚴(yán)重的群養(yǎng)豬分割效果較好，能準(zhǔn)確地分割粘連嚴(yán)重的豬群圖像，可用于各種群養(yǎng)行為模式下的粘連豬體分割。