基于改進實例分割算法的智能豬只盤點系統(tǒng)設計

胡云鴿，蒼 巖，喬玉龍

基于改進實例分割算法的智能豬只盤點系統(tǒng)設計

胡云鴿1,2，蒼 巖1※，喬玉龍1

（1. 哈爾濱工程大學信息與通信工程學院，哈爾濱 150001；2. 北京小龍潛行科技有限公司，北京 100086）

基于圖像處理的動物資產(chǎn)計數(shù)方法，不僅可以減少人工投入，還可以縮短生物資產(chǎn)的計數(shù)周期，但該方法受光照條件影響嚴重，并且當動物間相互擠壓、遮擋時，計數(shù)精度較差。針對這些問題，該研究提出了一種基于圖像實例分割算法的生豬計數(shù)網(wǎng)絡。針對光照和目標邊緣模糊問題，利用拉普拉斯算子進行圖像預處理。對Mask R-CNN網(wǎng)絡的特征提取網(wǎng)絡進行改進，在原始特征金字塔網(wǎng)絡（Feature Pyramid Network, FPN）后面增加一條自底向上的增強路徑，直接將低層邊緣位置特征與高層特征相融合，提高對目標邊緣輪廓的識別能力，對非極大值抑制過程和損失函數(shù)進行優(yōu)化和改進，以提高分割精度。在河北豐寧、吉林金源和內(nèi)蒙古正大3個試驗豬場進行測試，驗證本文網(wǎng)絡的計數(shù)精度。采集設備在3個試驗豬場共采集2 400張圖像，經(jīng)圖像預處理去除模糊和光線差的圖像，從剩余的圖像中隨機選取共1 250張圖像作為原始數(shù)據(jù)集，其中豐寧豬場500張、金源豬場500張，正大豬場250張。將各豬場的原始數(shù)據(jù)集分別按2:2:1的比例分為3部分，包括訓練集905張，驗證集95張，測試集250張，對原始訓練集和驗證集進行數(shù)據(jù)增強，最終得到訓練集圖像1 500張，驗證集圖像150張，測試集圖想250張。河北和吉林的試驗豬場，每欄豬只數(shù)目為12～22頭，各測試100張圖像，完全準確清點的圖像比例分別為98%和99%，滿足實際應用要求。內(nèi)蒙古試驗豬場的單欄豬只密度大，每欄豬只數(shù)目平均80頭，測試50張圖像，完全準確清點的圖像比例為86%。該研究所提出的豬只盤點系統(tǒng)，通過修改網(wǎng)絡增強圖像中目標特征信息提取和優(yōu)化邊界框回歸過程，減少由于光線差和遮擋導致的目標漏檢情況，解決了基于圖像分割算法的豬只盤點中光照、模糊以及遮擋等問題，能夠滿足單欄飼養(yǎng)密度為1.03～1.32頭/m2的養(yǎng)殖場的豬只盤點需求。

圖像處理；算法；目標檢測；實例分割；豬只計數(shù)；深度學習；特征金字塔網(wǎng)絡

0 引 言

無論是農(nóng)業(yè)審計還是大規(guī)模豬場的日常養(yǎng)殖和管理，生豬計數(shù)都有重要意義。標準化養(yǎng)殖和精細化飼養(yǎng)已經(jīng)成為生豬養(yǎng)殖行業(yè)的發(fā)展趨勢。根據(jù)計數(shù)結(jié)果制定合理養(yǎng)殖計劃，采購適量飼料，可以提高養(yǎng)殖場收益。在精細育種方面，生豬計數(shù)有助于實時了解母豬生產(chǎn)信息，及時更新豬只數(shù)量[1]。傳統(tǒng)的豬只計數(shù)采用人工點數(shù)的方式進行，耗費大量的人力和物力，并且效率低。2000年初，電子耳標成為動物身份標識的主要方式，大型養(yǎng)殖場通過電子耳標掌握豬只信息，實現(xiàn)生豬計數(shù)。在一定范圍內(nèi)，讀取到的電子耳標數(shù)量即為豬只數(shù)量，該方法受距離影響較大，計數(shù)結(jié)果穩(wěn)定性較差，并且耳標容易脫落，成本相對較高。近年來，隨著人工智能技術的快速發(fā)展，基于圖像和視頻的智能計數(shù)方式逐漸開始應用于農(nóng)業(yè)領域[2-10]。張?zhí)礻坏萚11]針對儲備生豬，利用光學方法確定生豬的典型顏色特征，以此作為識別目標的RGB顏色分量相對比例判別依據(jù)，結(jié)合形態(tài)學算法和區(qū)域生長法進行目標數(shù)量的統(tǒng)計。梁炎森等[12]利用基于紋理特征的濾波方法實現(xiàn)了遠程視頻養(yǎng)殖場生豬的圖像識別計數(shù)，但系統(tǒng)的平均識別率只有85%。為提高識別精度，人流量統(tǒng)計模型逐漸遷移到畜牧業(yè)領域中?；趫D像和視頻的人流量統(tǒng)計方法主要有基于遞歸模型[13-14]以及基于圖像實例分割[15-21]。韓書慶等[22]采用決策樹分割算法提取圖像的豬體前景區(qū)域，通過分水嶺分割算法處理黏連豬體圖像，并根據(jù)檢測得到的邊界脊線，實現(xiàn)黏連豬體的分離。Miso等[23]利用Kinect采集豬只的深度圖像，通過圖像分割網(wǎng)絡實現(xiàn)了對豬只的監(jiān)測。Tian等[24]將RGB圖像轉(zhuǎn)換成為密度分布圖的形式，利用改進的CNN網(wǎng)絡，實現(xiàn)了15頭豬只的精確計數(shù)。Chattopadhyay等[25]設計了一個基于感數(shù)思想的計數(shù)模型，用來解決自然場景中的目標數(shù)量，外形和尺度存在很大變化的情況。Kashiha等[26]采用橢圓擬合算法和模式識別技術對豬進行定位和識別。綜上，基于深層神經(jīng)網(wǎng)絡的計數(shù)算法已經(jīng)廣泛應用于農(nóng)業(yè)生產(chǎn)領域中。但豬只計數(shù)具有一定難度，豬只的皮毛顏色相似，個體之間不易區(qū)分；豬是群居動物，通常會擠靠在一起，造成嚴重的相互遮擋；發(fā)生體態(tài)變化或碰撞擠壓時，豬體會發(fā)生形變，形狀差異較大，不易識別。針對上述問題，本文提出了一種基于圖像分割算法的豬只計數(shù)模型，在基于深度學習的實例分割算法Mask R-CNN基礎上修改特征提取網(wǎng)絡、非極大值抑制部分，損失函數(shù)和RPN網(wǎng)絡參數(shù)，進一步精確分割目標邊緣，減少相互遮擋目標間的互相影響，結(jié)合豬場圖像特點，訓練適用于不同場景的計數(shù)網(wǎng)絡模型，實現(xiàn)豬只計數(shù)。

1　數(shù)據(jù)來源與預處理

1.1 數(shù)據(jù)來源

本文分別在3種不同密度的試驗場地進行豬只計數(shù)試驗：河北豐寧試驗豬場、吉林金源試驗豬場以及內(nèi)蒙古正大集團化豬場。3個試驗豬場群養(yǎng)欄的大小和飼養(yǎng)密度有較大差異，其中河北豬場群養(yǎng)欄的大小為5.5 m×1.8 m，單欄內(nèi)平均飼養(yǎng)12頭豬，豬只數(shù)量較少，飼養(yǎng)密度為1.21頭/m2；吉林豬場群養(yǎng)欄的大小為5.5 m×3.9 m，單欄內(nèi)平均飼養(yǎng)22頭豬，飼養(yǎng)密度為1.03頭/m2；內(nèi)蒙古豬場群養(yǎng)欄的大小為11.4 m×5.28 m，單欄內(nèi)平均飼養(yǎng)80頭豬，飼養(yǎng)密度為1.32頭/m2。所有圖像均為自然光照條件采集，采集時間均為3個月。采集時間從早晨7點至傍晚19點，試驗共采集2 400張圖像，其中河北豬場1 000張，吉林豬場1 000張，內(nèi)蒙古豬場400張。試驗現(xiàn)場可見光攝像頭吊裝于豬欄的中間位置，每欄安裝1個攝像頭。

工作站遠程控制攝像頭在滿足拍攝條件時采集現(xiàn)場圖像，并將采集圖像保存在存儲設備硬盤柜中，采集圖像以“攝像頭編號+拍攝日期+拍攝時間”命名。圖像數(shù)據(jù)傳輸存儲方式是采集設備將圖像遠程傳送到工作站預測，工作站將預測結(jié)果返回采集設備并保存。

1.2 數(shù)據(jù)預處理及數(shù)據(jù)集構(gòu)建

對采集到的2 400張圖像首先通過圖像預處理剔除模糊和光線差的圖像。將采集到的RGB圖像轉(zhuǎn)換為灰度圖像后，計算圖像灰度值經(jīng)拉普拉斯算子卷積運算后與圖像灰度均值的方差，該方差定義為圖像清晰度()，如式（1）所示。

式中(,)表示坐標為(,)處圖像的灰度值，*表示圖像卷積運算，表示離散拉普拉斯算子的模板，為閾值，為圖像灰度平均值。依據(jù)經(jīng)驗閾值取100，清晰度大于定義為清晰圖像，小于定義模糊圖像，直接移除，最終得到2 000張圖像。

從預處理的圖像中隨機選取豐寧豬場500張、金源豬場500張和正大豬場250張共1 250張圖像作為原始數(shù)據(jù)集。將數(shù)據(jù)集劃分為3部分，包括訓練集905張，驗證集95張，測試集250張圖像。訓練集圖像包括河北豬場362張，吉林豬場362張，內(nèi)蒙古豬場181張、驗證集圖像河北豬場38張，吉林豬場38張，內(nèi)蒙古豬場19張。測試集圖像河北豬場100張，吉林豬場100張，內(nèi)蒙古豬場50張。使用VGG Image Annotator(VIA)標注原始圖像，生成json文件。

標注圖像后，通過數(shù)據(jù)增強擴充訓練集和驗證集，隨機挑選圖像進行人工亮度提升和旋轉(zhuǎn)，最終得到的數(shù)據(jù)集包括訓練集1 500張，驗證集150張和測試集250張共1 900張圖像。

2 生豬計數(shù)網(wǎng)絡結(jié)構(gòu)的設計

2.1 網(wǎng)絡結(jié)構(gòu)總體框架

本文所提出的生豬計數(shù)網(wǎng)絡基于TensorFlow框架的Mask R-CNN網(wǎng)絡結(jié)構(gòu)，針對豬只密度大、遮擋嚴重的特殊問題，采用ResNet-152作為Mask R-CNN特征提取網(wǎng)絡，同時，在原始特征金字塔網(wǎng)絡（Feature pyramid network, FPN）后面添加一條自底向上的增強路徑，將底層定位特征向上傳遞，提高邊界框定位的精確性，本文提出的基于Mask R-CNN改進算法的總體框圖如圖1所示。

圖1 基于Mask R-CNN改進算法的總體框圖

2.2 特征金字塔網(wǎng)絡的改進

FPN通過將高層特征圖上采樣后與下層特征圖相加實現(xiàn)不同網(wǎng)絡層提取的特征融合，自頂向下將高層特征逐層向下傳遞，只增強了高層的語義信息，沒有增強底層信息，而神經(jīng)網(wǎng)絡的底層信息多是邊緣、形狀等特征，這些特征對像素級的實例分割非常重要，尤其是本文應用場景中，受現(xiàn)場條件影響較大，比如光照條件較差，目標之間互相擠壓遮擋嚴重，目標輪廓邊緣經(jīng)常不是特別清晰。針對此問題，本文根據(jù)PANet（Path Aggregation Network for Instance Segmentation）在原始FPN后面添加一條自底向上的增強路徑，直接將低層邊緣位置特征與高層特征相融合，以提高對邊緣輪廓的識別能力。路徑快速增強的特征金字塔網(wǎng)絡總體結(jié)構(gòu)圖如圖2a所示，虛線框內(nèi)為增加的增強路徑，圖2b描述了特征圖的運算過程。具體而言，設計N2層至N4層，N3層至N5層的快速增強路徑，特征圖N2尺寸與P2相同，經(jīng)過步長為2的3×3卷積后，與P3經(jīng)1×1卷積求和得到N3。同時，N2經(jīng)過步長為4的5×5卷積后，與P4經(jīng)1×1卷積求和得到N4；依次得到N5和N6。

2.3 RPN參數(shù)優(yōu)化

RPN（Region Proposal Network）網(wǎng)絡負責候選區(qū)域的生成，候選區(qū)域生成過程中采用“錨點(anchor) 機制”。本文網(wǎng)絡的識別目標只有生豬，當豬只密度較大時，豬只之間互相擠壓，造成身體的變形，目標的橫縱比例會發(fā)生變化。當錨點的橫縱比和目標橫縱比差異較大時，容易產(chǎn)生目標漏檢。

注：C1~C5層為圖像卷積后的特征圖，P2~P5層為C2~C5層通過上采樣和卷積后的特征圖，N2~N6層為P2~P5層通過下采樣和卷積后的特征圖。

Note: C1-C5 layers are the feature image after image convolution, P2-P5 layers are C2-C5 layers through up sampling and convolution, N2-N6 layers are P2-P5 layers after down sampling and convolution.

a. 路徑快速增強的特征金字塔網(wǎng)絡結(jié)構(gòu)

a. Architecture of feature pyramid network with fast path enhancement

b. 特征運算過程

在豬只密度比較大的場景中，為了提高小目標的識別準確率，結(jié)合特征金字塔網(wǎng)絡，本文采用在不同尺寸的特征圖上，預測不同尺寸的目標。低層特征圖縮放比例較小，小目標特征保存比較完整，在低層大尺寸的特征圖上生成小尺寸的錨點，用于檢測小目標；高層特征圖縮放比例較大，但是可以學習到更多的語義信息，豐富大目標特征，在高層特征圖上生成大尺寸的錨點，用于檢測大目標。由各層特征圖映射回原圖的錨點尺寸如表1所示。

表1 各層特征圖的錨點尺寸

2.4 改進非極大值抑制過程

Mask R-CNN算法中的非極大值抑制（Non-maximum suppression，NMS）過程是將和得分最高邊界框的重疊度IoU（Intersection over Union）值大于設定閾值的預測框移除。當2個目標相互遮擋時，目標間邊界框的IoU（(Intersection over Union)）較大，NMS過程中會移除相鄰目標的邊界框，造成漏檢。針對此問題，本文對NMS過程進行優(yōu)化，根據(jù)Soft NMS（Soft Non-Maximum Suppression）修改處理過程，當預測框和得分最高邊界框的IoU大于閾值時，不直接移除預測框，而是修改預測框的得分。同時，為了減少冗余，采用IoU越大，得分越低的原則，預測框的新得分設置為原始分數(shù)乘以指數(shù)函數(shù)的形式，新得分設置為原始分數(shù)乘以指數(shù)函數(shù)的形式，如式（2）所示。

式中s為原始得分，為得分最高邊界框，b為當前處理預測框，表示收斂系數(shù)，依據(jù)測試集上模型測試效果本文取值0.5。

2.5 損失函數(shù)

遮擋問題是深度學習領域面臨的最嚴峻的問題，嚴重影響目標識別的準確率，當目標之間遮擋嚴重時，容易造成目標漏檢，且檢測到目標的邊界框定位不準確，邊界框位置偏向漏檢目標。為了提高對遮擋目標的識別能力，本文對邊界框回歸的損失函數(shù)進行優(yōu)化，在原有損失函數(shù)基礎上引入排斥項（L）。排斥項使得預測框和對應真實目標邊界框的距離縮小的同時，使之與相鄰無關目標邊界框（包括其他目標的真實邊界框和預測框）的距離增大。優(yōu)化后邊界框回歸損失由吸引項和排斥項組成，其計算公式如式（3）所示。其中L計算預測框與其真實目標框產(chǎn)生的損失值，使預測框與真實目標邊界框更加接近；排斥項L為預測框與IoU第二大的真實目標邊界框所產(chǎn)生的損失值，使預測框遠離與之相鄰的其他真實目標邊界框。預測框靠近真實目標邊界框的同時遠離相鄰目標的邊界框，可以提高邊界框定位精度，在一定程度上提高對相互遮擋目標的識別能力。

3 試驗結(jié)果與分析

3.1 遮擋條件下的試驗結(jié)果與分析

遮擋問題嚴重影響著生豬計數(shù)網(wǎng)絡的識別精度，當目標之間遮擋嚴重時，目標的輪廓信息缺失。Mask R-CNN網(wǎng)絡改進前后的檢測效果如圖3所示。由圖可知，快速增強FPN網(wǎng)絡對邊緣模糊目標的檢測效果有明顯提升，圖3a圖像1上方欄桿附近的2頭豬，由于互相彼此遮擋，并且圖像有些模糊，在網(wǎng)絡改進結(jié)構(gòu)之前被識別成為1只豬，改進網(wǎng)絡結(jié)構(gòu)之后則可以區(qū)分為2只豬。類似地，圖3a圖像2中正上方的2只豬，由于拍攝期間目標運動產(chǎn)生圖像模糊現(xiàn)象，改進網(wǎng)絡能夠正確區(qū)分為2個不同的目標，識別效果如圖3c所示。

圖3 Mask R-CNN網(wǎng)絡改進前后的測試結(jié)果對比

此外，在包含3個豬場的1 900張圖像數(shù)據(jù)集上訓練并測試了Resnet101、Resnet152、ResNext101和所提出的路徑增強的Resnet152網(wǎng)絡，各網(wǎng)絡迭代90 000次后，在訓練集以及驗證集的loss值如表2所示。特征提取網(wǎng)絡ResNet152訓練集的loss收斂數(shù)值比原來的ResNet101網(wǎng)絡低0.012 7，比ResNext101網(wǎng)絡低0.014，驗證集的loss收斂值比原來的ResNet101網(wǎng)絡低0.012 6，比ResNext101網(wǎng)絡低0.014。利用本文路徑增強Resnet152網(wǎng)絡采用路徑增強的FPN結(jié)合ResNet152網(wǎng)絡在包含3個豬場圖像的數(shù)據(jù)集上訓練90個循環(huán)（epochs），每個循環(huán)迭代1 000次，訓練過程中的loss值變化如圖4，由圖4可知，訓練集和驗證集的loss值均降至0.1以下，訓練集損失比ResNet152網(wǎng)絡低0.027 4，驗證集損失比ResNet152網(wǎng)絡低0.034 3，收斂效果最好。

表2 不同特征提取網(wǎng)絡的訓練結(jié)果

3.2 不同豬場的測試結(jié)果與分析

河北和吉林豬場豬欄的正上方懸掛170°廣角攝像頭，距離地面2.2 m高度。內(nèi)蒙古豬場群養(yǎng)欄由于拍攝面積過大，圖像采集盒攝像頭模組更換為210°魚眼鏡頭。圖5為3個試驗場所采集的原始圖像及相應的計數(shù)網(wǎng)絡輸出結(jié)果。表3為250張測試集圖像的精度統(tǒng)計結(jié)果，其中河北和吉林豬場分別測試100張圖像，河北豬場有2張圖像漏檢1個目標，計數(shù)準確率為98%，其中1張圖像是由于目標被遮擋導致漏檢，另1張圖像的清晰度合格但由于其中1只豬快速運動導致邊緣模糊造成漏檢。吉林豬場有1張圖像漏檢1個被遮擋目標，計數(shù)準確率為99%，計數(shù)準確率滿足實際應用需求。

圖4 Loss值變化曲線

圖5 本文網(wǎng)絡在不同豬場的輸出示例

表3 本文網(wǎng)絡精度測試結(jié)果

對于豬只密度較大的內(nèi)蒙古豬場，由于豬只擠壓、變形以及遮擋現(xiàn)象很嚴重，并且現(xiàn)場圖像背景干擾較多， 50張測試圖像的計數(shù)準確率為86%，有7張圖像存在漏檢，4張圖像漏檢1個目標，3張圖像漏檢2個目標，模型精度有一定的提升空間，也是后期計數(shù)網(wǎng)絡改進優(yōu)化的重點方向。表4為相同試驗條件下Yolov3，F(xiàn)aster R-CNN，Mask R-CNN和本文網(wǎng)絡對250測試集圖像的速度與精度對比。由表4可知，Yolov3檢測速度非常快，但對于遮擋目標和密集目標檢測效果較差，F(xiàn)aster R-CNN采用兩階段框架，檢測效果有所提升，Mask R-CNN增加掩膜分支，精度進一步提高。本文對Mask R-CNN網(wǎng)絡結(jié)構(gòu)進行增強，增加了網(wǎng)絡的復雜度，在提升精度的同時也導致運算成本增加，檢測圖像的平均耗時增加。

表4 不同生豬計數(shù)網(wǎng)絡測試結(jié)果對比

4 結(jié) 論

本文利用像素級實例分割算法設計了一種生豬計數(shù)網(wǎng)絡。采取圖像預處理程序剔除模糊和光線差圖像，針對豬只間的相互遮擋問題，目標邊緣輪廓不清晰的問題，改進Mask R-CNN的主干網(wǎng)絡，利用ResNet152網(wǎng)絡進行特征提取，使用修改后的快速增強FPN網(wǎng)絡方法，將低層的輪廓邊緣特征與高層特征融合，提升邊緣模糊目標的識別效果。通過改進非極大抑制過程，修改邊界框回歸損失函數(shù)和優(yōu)化RPN網(wǎng)絡參數(shù)解決遮擋目標漏檢問題。本文網(wǎng)絡在包含3個不同類型豬場采集的圖像數(shù)據(jù)集上對所提出的生豬計數(shù)網(wǎng)絡進行訓練和測試，試驗結(jié)果表明，本文提出的生豬計數(shù)網(wǎng)絡對單欄12~22頭豬只的計數(shù)精度達到98%以上，對單欄80頭左右的豬只計數(shù)精度為86%。本文算法也有一定的不足，算法對小目標和高密度目標圖像的檢測效果仍有待提高。后續(xù)研究中，可通過進一步增強圖像特征提取網(wǎng)絡和級聯(lián)訓練網(wǎng)絡逐步提高密集情況的豬只盤點準確率。

[1] 屠萍，祝海云. 智能盤點提高資產(chǎn)管理效率[J]. 通信企業(yè)管理，2016，352(8)：41-43.

Tu Ping, Zhu Haiyun. Intelligent inventory improves asset management efficiency[J]. Communication Enterprise Management, 2016, 352(8): 41-43. (in Chinese with English abstract)

[2] Chen S W, Shivakumar S S, Dcunha S, et al. Counting apples and oranges with deep learning: A data-driven approach[J]. IEEE Robotics & Automation Letters, 2017, 2(2): 781-788.

[3] Mads Dyrmann, Henrik Karstoft, Henrik Skov Midtiby. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering, 2016, 151: 72-80.

[4] Gemert J C V, Verschoor C R, Mettes P, et al. Nature conservation drones for automatic localization and counting of animals[C]//Proceedings of the European Conference on Computer Vision. Springer, Cham, 2015: 255-270.

[5] Kamilaris A, Prenafeta-Boldu F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90.

[6] Picon A, Alvarez-Gila A, Seitz M, et al. Deep convolutional neural networks for mobile capture device-based crop disease classification in the wild[J]. Computers & Electronics in Agriculture, 2019, 161(1): 280-290

[7] Rahnemoonfar M, Sheppard C. Deep count: Fruit counting based on deep simulated learning[J]. Sensors, 2017, 17(4): 905.

[8] 齊龍，蔣郁，李澤華，等. 基于顯微圖像處理的稻瘟病菌孢子自動檢測與計數(shù)方法[J]. 農(nóng)業(yè)工程學報，2015，31(12)：186-193.

Qi long, Jiang Yu, Li Zehua, et al. Automatic detection and counting method of Magnaporthe grisea spores based on micro image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE). 2015, 31(12): 186-193. (in Chinese with English abstract)

[9] Shen, Yufeng, Zhou, et al. Detection of stored-grain insects using deep learning[J]. Computers and Electronics in Agriculture, 2018, 145: 319-325.

[10] 張銀松，趙銀娣，袁慕策. 基于改進Faster-RCNN模型的粘蟲板圖像昆蟲識別與計數(shù)[J]. 中國農(nóng)業(yè)大學學報，2019，24(5)：115-122.

Zhang Yinsong, Zhao Yindi, Yuan Muce. Insect recognition and counting of armyworm board image based on improved fast RCNN model[J]. Journal of China Agricultural University, 2019, 24(5): 115-122. (in Chinese with English abstract)

[11] 張?zhí)礻?，梁炎森，何志? 圖像識別計數(shù)在儲備生豬統(tǒng)計的應用[J]. 計算機應用與軟件，2016，33(12)：173-178.

Zhang Tianhao, Liang Yansen, He Zhiyi. Application of image recognition counting in pig reserve statistics[J]. Computer Applications and Software, 2016, 33(12): 173-178. (in Chinese with English abstract)

[12] 梁炎森，張?zhí)礻?，何志? 畜牧養(yǎng)殖場圖像遠程采集與目標計數(shù)系統(tǒng)[J]. 桂林電子科技大學學報，2017，37(6)：10-14.

Liang Yansen, Zhang Tianhao, He Zhiyi. Remote image acquisition and object counting system for livestock farms[J]. Journal of Guilin University of Electronic Science and technology, 2017, 37(6): 10-14. (in Chinese with English abstract)

[13] Boominathan L, Kruthiventi S S, Babu R V. CrowdNet: A deep convolutional network for dense crowd counting[C]// Proceedings of the 24th ACM international conference, Multimedia, 2016: 640-644.

[14] Di K, Zheng M, Chan A B. Beyond counting: Comparisons of density maps for crowd analysis tasks-counting, detection, and tracking[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 29(5): 1408-1422.

[15] Cholakkal H, Sun G, Khan F S, et al. Object Counting and instance segmentation with image-level supervision[C]. Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach. CA, USA: CVPR, 2019: 12389-12397.

[16] Ooro-Rubio D, Roberto J López-Sastre. Towards perspective-free object counting with deep learning[C]// Proceedings of the European Conference on Computer Vision, Springer, Cham: ECCV, 2016: 615-629.

[17] Ma Z, Yu L, Chan A B. Small instance detection by integer programming on object density maps[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston: IEEE, 2015: 3689-3697.

[18] Xie S, Girshick R, Dollár, Piotr, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017: 5987-5995.

[19] Zhang C, Li H, Wang X, et al. Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision & Pattern Recognition, Los Alamitos, CA, USA: IEEE, 2015: 833-841.

[20] Zhang L, Shi M, Chen Q. Crowd counting via scale-adaptive convolutional neural network[C]//Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision (WACV), Los Alamitos, CA, USA: IEEE, 2018: 1113-1121.

[21] He Kaiming, Gkioxari G, Dollár P, et al. Mask R-CNN[C]// Proceedings of 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy: IEEE, 2017: 2980-2988.

[22] 韓書慶，張建華，孔繁濤，等. 基于邊界脊線識別的群養(yǎng)豬黏連圖像分割方法[J]. 農(nóng)業(yè)工程學報，2019，35(18)：161-168.

Han Shuqing, Zhang Jianhua, Kong Fantao, et al. Group-housed pigs image segmentation method by recognizing watershed ridge lines on boundary[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(18): 161-168. (in Chinese with English abstract)

[23] Miso J, Younchang C, Jihyun S. A kinect-based segmentation of touching-pigs for real-time monitoring[J]. Sensors, 2018, 18(6): 1746-1770.

[24] Tian Mengxiao, Guo Hao, Chen Hong, et al. Automated pig counting using deep learning[J]. Computers and Electronics in Agriculture. 2019, 163: 1-10.

[25] Chattopadhyay P, Vedantam R, Ramprasaath R S, et al. Counting everyday objects in everyday scenes[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI: IEEE, 2017: 4428-4437.

[26] Kashiha, Mohammadamin, Bahr C, et al. Automatic identification of marked pigs in a pen using image pattern recognition[J]. Computers & Electronics in Agriculture, 2013, 93: 111-120.

Design of intelligent pig counting system based on improved instance segmentation algorithm

Hu Yunge1,2, Cang Yan1※, Qiao Yulong1

(1.,,150001,;2...,100086,)

The existing pig counting system based on image processing are seriously affected by light conditions, and the counting accuracy is poor when pigs are crowded and obscured.To realize the intelligent pig counting, the paper proposed a counting scheme based on the improved instance segmentation algorithm was proposed in this study. Aiming at the problems of image illumination and target edge blur, Laplace operator was used to preprocess the images. The feature extraction network of MASK R-CNN network was improved by using Resnet-152 as the Mask R-CNN feature extraction network, and the original Feature Pyramid Network(FPN) was followed by a bottom-up enhancement path, which directly fused the low-level edge features with the high-level features to improve the recognition ability of the target edge bluring. The non maximum suppression process and loss function were optimized and improved to improve the segmentation accuracy. The experiments were carried out at three different real pig farms to verify the counting accuracy, respectively in Hebei province, Jilin province and Inner Mongolia. The size of the cage in Hebei pig farm was 5.5 m × 1.8 m, with an average of 12 pigs in a single pen, with a feeding density of 1.21 pigs/m2; the size of the cage in Jilin pig farm was 5.5 m × 3.9 m, with an average of 22 pigs in a single pen, and the average rearing density was 1.03 pigs/m2; the size of the cage in Inner Mongolia pig farm was 11.4 m × 5.28 m, with an average of 80 pigs in a single pen, the average feeding density was 1.32 pigs/m2. The RGB camera is wa nstalled on the top of the pen and acquired the image in daytime. 2 400 images were collected in total, and 2000 images were selected after image preprocessing, and 1 250 images of three pig farms were selected as the original data set according to the ratio of 2:2:1. The training set and verification set were enhanced to 1 500 and 150 images and 250 images for the test set, The experimental results showed that 98 images could realize exact counting and 2 images missed 1 pig in the Jilin pig farm, the accuracy of pig counting was 98%. In Hebei pig farm, 99 images could realize the exact counting and the accuracy of pig counting was 99%. For Inner Mongolia pig farms with high feeding density, the accuracy of pig counting was 86%, among the 50 test images, 7 images missed detection, 4 images missed 1 target, 3 images missed 2 targets,The results can provide the application of the artificial intelligent in agriculture field.

image processing; algorithms; object detection; instance segmentation; pig counting; deep learning; haracteristic pyramid network

胡云鴿,蒼巖,喬玉龍. 基于改進實例分割算法的智能豬只盤點系統(tǒng)設計[J]. 農(nóng)業(yè)工程學報，2020，36(19)：177-183.doi：10.11975/j.issn.1002-6819.2020.19.020 http://www.tcsae.org

Hu Yunge, Cang Yan, Qiao Yulong. Design of intelligent pig counting system based on improved instance segmentation algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(19): 177-183. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.19.020 http://www.tcsae.org

2020-05-10

2020-09-15

國家自然科學基金項目（61871142）

胡云鴿，研究方向為智能圖像處理。Email：986113728@qq.com

蒼巖，博士，講師，主要研究方向為智能信息處理。Email：cangyan@hrbeu.edu.cn

10.11975/j.issn.1002-6819.2020.19.020

TP391

A

1002-6819(2020)-19-0177-07