機(jī)器視覺在智慧豬業(yè)中的應(yīng)用

張利娟，張 波，邱進(jìn)杰

(1.重慶市畜牧科學(xué)院，重慶 400000；2.重慶市萬州區(qū)畜牧技術(shù)推廣站，重慶 萬州 400000)

0 引言

隨著人工智能和物聯(lián)網(wǎng)的發(fā)展，機(jī)器視覺已經(jīng)廣泛應(yīng)用于工業(yè)、金融、軍事和農(nóng)業(yè)等各個(gè)領(lǐng)域。非入侵、易安裝的方式使機(jī)器視覺在20世紀(jì)70年代末就開始用于農(nóng)業(yè)和畜牧業(yè)領(lǐng)域。只是由于當(dāng)時(shí)的軟硬件技術(shù)水平較低，未能被廣泛應(yīng)用。近年來，智慧豬業(yè)的發(fā)展步伐加快，機(jī)器視覺在養(yǎng)豬生產(chǎn)中的應(yīng)用也越來越廣泛。尤其是在豬只識(shí)別、豬只行為和運(yùn)動(dòng)檢測(cè)以及疾病監(jiān)測(cè)等方面顯示出了巨大的優(yōu)勢(shì)。

1 機(jī)器視覺簡介

機(jī)器視覺是人工智能(AI)的子集，主要用于解決圖像和視頻識(shí)別、分析和分類、媒體娛樂和自然語言處理等方面的問題[1-3]。

機(jī)器視覺首先需要采集圖像，即通過攝像頭來捕捉數(shù)字信息。攝像頭的種類很多，不同類型的相機(jī)能夠提供不同的信息和圖像參數(shù)。目前養(yǎng)豬研究中主要使用CCD、深度和紅外相機(jī)。CCD相機(jī)可以捕獲物體的2D彩色圖像，提供顏色、紋理、形狀、寬度、高度和像素值等信息，以數(shù)字形式表示出來。深度圖像是具有圖像像素距離值的2D圖像，最初用于測(cè)量距離。隨著人工智能的發(fā)展，深度相機(jī)被用在很多地方?，F(xiàn)在已經(jīng)可以使用深度信息來構(gòu)建3D圖像，并將這些圖像用于面部識(shí)別、運(yùn)動(dòng)識(shí)別和其他類型的形態(tài)識(shí)別[4]。紅外相機(jī)的工作原理與RGB相機(jī)相同。熱成像系統(tǒng)最初用于石油和天然氣行業(yè)、制藥行業(yè)和國防等領(lǐng)域，后來才被用于探測(cè)動(dòng)物溫度。豬是恒溫動(dòng)物，通過體表散發(fā)熱量，因此可以使用熱圖像來快速識(shí)別。

機(jī)器視覺其次需要圖像分析。獲取的圖像需要相關(guān)軟件來讀取數(shù)據(jù)，并進(jìn)行后續(xù)研究。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種基于深度學(xué)習(xí)的魯棒算法，可完成圖像分析任務(wù)[1-3]。在基于CNN的基礎(chǔ)上，發(fā)展出支持向量機(jī)(SVM)、基于區(qū)域的CNN(R-CNN)、Mask R-CNN、Faster R-CNN和YOLO等各種算法。預(yù)先訓(xùn)練的CNN模型可以針對(duì)不同問題靈活使用，并且有很多預(yù)訓(xùn)練模型可供使用。

2 豬只的識(shí)別

2.1 豬臉識(shí)別

識(shí)別出豬只個(gè)體不但能明晰所有權(quán)[5]，也是動(dòng)物福利[5-6]、行為識(shí)別[7]和疾病診斷[8-9]等后續(xù)研究的基礎(chǔ)。生產(chǎn)上有多種識(shí)別豬只的方法，比如剪耳缺、在豬身上編號(hào)或標(biāo)記、佩戴耳標(biāo)或射頻識(shí)別器 (RFID)等。RFID具有機(jī)制簡單、成本低等優(yōu)點(diǎn)，曾經(jīng)很流行；但其讀取范圍有限、不能同時(shí)讀取多個(gè)數(shù)據(jù)、容易磨損、弄臟及丟失等，不再適用于智慧養(yǎng)豬的需求。其他方法也都各有局限，現(xiàn)在均已被淘汰。

人臉識(shí)別在各個(gè)應(yīng)用場(chǎng)景得到廣泛使用，這也為識(shí)別豬臉提供了可能[9-10]。RFID 在識(shí)別動(dòng)物方面的局限性可通過使用攝像頭的面部識(shí)別得到克服。與人臉識(shí)別機(jī)制類似，豬臉識(shí)別需要提取豬鼻子、眼部區(qū)域和皺紋等特征用于訓(xùn)練集和驗(yàn)證集。Marsot et al.[9]使用深度CNN模型來識(shí)別豬臉，準(zhǔn)確率超過90%。Hansen et al.[10]使用Fisher人臉、VGG人臉模型和深度CNN算法進(jìn)行豬臉識(shí)別，準(zhǔn)確率達(dá)為96.7%。

豬是多胎動(dòng)物，全同胞個(gè)體數(shù)量多，且生長迅速，影響了豬臉識(shí)別的準(zhǔn)確性。未來可以通過增加訓(xùn)練集、使用RGB圖像、訓(xùn)練前進(jìn)行預(yù)處理等方式來提高算法的準(zhǔn)確性。

2.2 個(gè)體追蹤

從群體中識(shí)別出豬只個(gè)體并進(jìn)行追蹤，對(duì)于豬的運(yùn)動(dòng)、行為和活動(dòng)的研究非常重要。最初生產(chǎn)上常使用RFID耳標(biāo)，但有局限。機(jī)器視覺運(yùn)作高效，無需接觸，并且可以遠(yuǎn)程控制，更適用于進(jìn)行個(gè)體豬只的識(shí)別和追蹤[11-14]。2D相機(jī)最常用于識(shí)別群體中的豬只，現(xiàn)在也采用3D和深度相機(jī)。首先從圖像中檢測(cè)物體，然后使用形態(tài)特征從檢測(cè)到的物體中識(shí)別出個(gè)體豬只。很多算法及其改進(jìn)方法被引入其中，比如基于GMM的背景消除[15]、使用低通濾波和Otsu閾值法去噪、形態(tài)學(xué)運(yùn)算、橢圓擬合[13]、基于圖形模塊的分割[16]和基于學(xué)習(xí)的跟蹤[14]等。

在實(shí)際生產(chǎn)中，豬場(chǎng)的光線變化很大，很難找到一頭豬與另一頭豬之間的明顯差異；并且豬場(chǎng)環(huán)境惡劣，攝像頭容易損壞；各種蚊蠅和灰塵都容易對(duì)識(shí)別結(jié)果造成干擾。這些情況都會(huì)導(dǎo)致追蹤失敗，并且使得監(jiān)控過程不穩(wěn)定。Zhang et al.[11]使用2D相機(jī)，采用CNN、Faster R-CNN、R-FCN和SSD模型對(duì)個(gè)體豬只進(jìn)行識(shí)別，采用邊界框法對(duì)豬進(jìn)行跟蹤，結(jié)果基于CNN的模型以94.72%的精度和94.74%的召回率成功地檢測(cè)出標(biāo)簽框中的個(gè)體豬只。Sa et al.[17]使用深度相機(jī)進(jìn)行了在各種光照條件下快速檢測(cè)豬只的研究，使用深度圖像或紅外圖像來解決光照限制，使用Otsu閾值法進(jìn)行圖像分割，并使用YOLO 9000進(jìn)行快速監(jiān)控，結(jié)果表明該方法準(zhǔn)確率更高，檢測(cè)時(shí)間更短。在金耀 等[18]的研究中，使用基于YOLO v3的識(shí)別模型，在識(shí)別速率和識(shí)別精度上都達(dá)到了較高水平。

2.3 智能估重

豬的飼養(yǎng)成本占總生產(chǎn)成本的75%或更多，所以活重對(duì)于豬場(chǎng)至關(guān)重要。采食量和增重呈線性相關(guān)，通過定期監(jiān)測(cè)豬只體重可揭示飼喂不足或過度飼喂問題，從而優(yōu)化成本。定期稱重不僅可以監(jiān)測(cè)豬只采食量，還是評(píng)價(jià)繁殖力和生長速度[4]、確定繁殖周期[19]、計(jì)算飼料轉(zhuǎn)化率[20]和監(jiān)測(cè)疾病[21]的重要手段。

估重最初純靠眼睛和手，準(zhǔn)確率低。后來生產(chǎn)上常用電子稱重平臺(tái)或稱重傳感器來測(cè)量豬只體重，但是費(fèi)時(shí)長，消耗人工，操作不便[4]。早期的研究人員嘗試通過體尺估測(cè)體重，同樣存在費(fèi)人工、對(duì)豬只造成應(yīng)激、預(yù)測(cè)不準(zhǔn)等問題。但是，這些研究也證明了形態(tài)和體重間存在相關(guān)性，提供了通過非接觸式方法估測(cè)體重的可能性。1990年，Schofield[4]使用照相機(jī)拍攝豬來估測(cè)生豬體重。其他研究人員[22]也利用CCD相機(jī)拍攝豬的長度、寬度和邊界區(qū)域等特征來估算活豬體重?，F(xiàn)在主要采用基于3D的深度相機(jī)通過全自動(dòng)系統(tǒng)監(jiān)測(cè)活體重[23]。傳感器收集通過形態(tài)過濾預(yù)處理的深度和紅外信息，并使用DNN和Faster R-CNN算法估重，相對(duì)誤差僅為4%～5%。李卓等[24]證明使用多個(gè)體尺的主成分冪回歸體質(zhì)量估測(cè)模型較為精確，可用在機(jī)器視覺估測(cè)豬體質(zhì)量的應(yīng)用中。

3 豬只行為和運(yùn)動(dòng)檢測(cè)

3.1 姿勢(shì)檢測(cè)

豬的姿勢(shì)及行為是其生理狀態(tài)、健康狀況和福利水平的反映。豬的姿勢(shì)細(xì)化下來有近百種[25]。環(huán)境狀況、空間大小、營養(yǎng)和健康狀況等都會(huì)影響豬的姿勢(shì)[26]。有效的姿勢(shì)和行為檢測(cè)非常重要。

早期研究通過使用ANN算法分析豬的姿勢(shì)來確定熱舒適度[26]。后來Shao et al.[27]構(gòu)建了姿態(tài)實(shí)時(shí)檢測(cè)模型。Nilsson et al.[28]成功分割出側(cè)臥和胸骨臥位。利用CNN模型如TSN、DLM、YOLO5、Resnet和SCN成功對(duì)豬的多種姿勢(shì)進(jìn)行了分類[24]。CNN算法功能強(qiáng)大且能夠進(jìn)行多行為識(shí)別，能從2D圖像/視頻中對(duì)豬的多種姿勢(shì)進(jìn)行分類。隨后，基于深度的 3D 相機(jī)被用于此目的；使用基于深度的傳感器進(jìn)行了更深入的分析。Matthews et al.[29]等開展了基于深度傳感器的行為研究。也有使用Faster R-CNN算法的哺乳母豬姿勢(shì)研究[30]，準(zhǔn)確率達(dá)93.5%。使用類似的機(jī)制，可識(shí)別姿勢(shì)分布時(shí)間，計(jì)算姿勢(shì)改變的頻率。這種研究可用于分析和識(shí)別行為研究中位置的顯著變化。

3.2 運(yùn)動(dòng)和跛足

豬正常步行常被定義為運(yùn)動(dòng)，運(yùn)動(dòng)失敗則定義為跛足。運(yùn)動(dòng)跟蹤是在運(yùn)動(dòng)中進(jìn)行的姿勢(shì)監(jiān)測(cè)。跛足對(duì)于豬只的健康及生產(chǎn)成績均有影響。豬舍、地板類型、衛(wèi)生條件、遺傳以及營養(yǎng)缺乏都可能引起豬的跛足，進(jìn)而出現(xiàn)運(yùn)動(dòng)異常。監(jiān)測(cè)運(yùn)動(dòng)狀況是一種可檢測(cè)出跛足并立即采取措施的方法。早期研究使用2D相機(jī)[31]、紅外攝像機(jī)[32]、GoPro[33]或網(wǎng)絡(luò)攝像機(jī)來識(shí)別運(yùn)動(dòng)[34]。研究人員最初通過橢圓擬合方法進(jìn)行對(duì)象標(biāo)記，使用Otsu閾值提取對(duì)象進(jìn)行進(jìn)一步處理，提出用于識(shí)別運(yùn)動(dòng)的自動(dòng)監(jiān)測(cè)系統(tǒng)[31]，以89.8%的準(zhǔn)確率檢測(cè)到豬的運(yùn)動(dòng)。使用光流估計(jì)和校正也可監(jiān)測(cè)豬的步行運(yùn)動(dòng)[33]。該研究提出了基于網(wǎng)絡(luò)攝像頭的運(yùn)動(dòng)檢測(cè)[10]。在該研究中，使用了基于主成分分析的多變量圖像分析(MIA)方法，填充了標(biāo)準(zhǔn)框架，直到對(duì)象分割，然后引入運(yùn)動(dòng)過濾器將豬分為移動(dòng)和非移動(dòng)。StavrakakisA et al.[19]研發(fā)出一種用于評(píng)估豬的行走模式的微軟體感傳感器，預(yù)計(jì)能夠在沒有任何標(biāo)記的情況下跟蹤豬。

3.3 攻擊性行為

豬只在群體中存在攻擊行為，除了影響生產(chǎn)成績，還可能造成皮膚創(chuàng)口進(jìn)而導(dǎo)致感染或死亡。攻擊性行為分為兩類：中等攻擊性(頭對(duì)頭敲擊、頭對(duì)身體敲擊、平行按壓、反向平行按壓和逃跑等)和高等攻擊性(咬脖子、咬身體和耳朵等)。混群常導(dǎo)致攻擊行為。

早期通過人眼進(jìn)行攻擊性行為監(jiān)視，費(fèi)時(shí)費(fèi)力。后來使用2D相機(jī)和3D深度相機(jī)開發(fā)出基于計(jì)算機(jī)視覺的攻擊行為識(shí)別。Viazzi et al.[35]提出了基于2D相機(jī)的特征提取方法，用于對(duì)攻擊性行為進(jìn)行分類。該研究認(rèn)為攻擊的持續(xù)時(shí)間與豬之間的接觸有關(guān)，因此如果兩只豬的接觸時(shí)間超過5 s，則該事件被視為攻擊。將線性判別分析(LDA)和基于神經(jīng)網(wǎng)絡(luò)的模型來識(shí)別群養(yǎng)豬的攻擊行為發(fā)現(xiàn)[36]，如果豬的運(yùn)動(dòng)有力，則攻擊的影響更大。

目前已有基于深度傳感器的攻擊行為識(shí)別研究:使用體感深度傳感器和CCD相機(jī)對(duì)攻擊行為進(jìn)行自動(dòng)識(shí)別[37]。該研究將攻擊定義為敲頭和追逐，且使用2個(gè)基于SVM的模型對(duì)攻擊行為進(jìn)行分類。

3.4 飲水和采食

準(zhǔn)確識(shí)別豬的飲水和采食，可以調(diào)整飼喂方案，減少豬只爭斗，從而達(dá)到精準(zhǔn)飼喂。早期檢測(cè)豬的飲水和采食常采用RFID來識(shí)別[38]:傳感器放置在靠近食槽或飲水器的位置，采集訪問時(shí)間和持續(xù)時(shí)長等信息，進(jìn)而對(duì)收集的數(shù)據(jù)進(jìn)行分析，但是性價(jià)比較低，且不夠智能。后來采用3D相機(jī)跟蹤豬的行為變化[29]，用于區(qū)分采食或非采食狀態(tài)。Lao et al.[39]對(duì)哺乳母豬的行為進(jìn)行了基于深度圖像的研究，將母豬在食槽中上下移動(dòng)頭部定義為采食。該研究不僅能識(shí)別出采食，還能準(zhǔn)確識(shí)別出躺、坐、站、跪、飲水和移動(dòng)等。此外，豬也有玩水的情況。為了保證每頭豬有充足的飲水，應(yīng)監(jiān)測(cè)飲水時(shí)間和訪問次數(shù)。研究者使用Faster R-CNN[29，40]、YOLO[40]及2D相機(jī)成功地進(jìn)行飲水行為的識(shí)別。

4 疾病監(jiān)測(cè)

對(duì)豬只進(jìn)行早期的疾病監(jiān)測(cè)是預(yù)防和減少疾病的重要措施，對(duì)于確保豬的健康和防止流行病從豬傳染給人至關(guān)重要。監(jiān)測(cè)豬的狀態(tài)可以用于豬的早期疾病監(jiān)測(cè)。豬只感染通常會(huì)導(dǎo)致體溫升高、虛弱和晝夜活動(dòng)減慢等[23]，監(jiān)測(cè)豬的飲水、采食、躺臥和行走等運(yùn)動(dòng)狀態(tài)意義重大。非侵入式數(shù)據(jù)收集或監(jiān)測(cè)可減少人類和豬只接觸。因此，機(jī)器視覺是一種非常好的手段。

大多數(shù)感染都會(huì)引起發(fā)燒，采用體溫監(jiān)測(cè)是識(shí)別牛病毒性腹瀉 (BVD)、鼠傷寒沙門氏菌感染、大腸桿菌感染等的簡單方法。健康豬只身體不同部位溫度不同。使用紅外熱成像監(jiān)測(cè)體溫已經(jīng)非常成熟。利用IRI對(duì)患有鼠傷寒沙門氏菌和大腸桿菌感染的豬進(jìn)行早期疾病檢測(cè)[41]，發(fā)現(xiàn)豬的平均日增重與其感染前后的溫度相關(guān)。感染前后動(dòng)物體溫差異顯著。

疾病還會(huì)降低豬的正?；顒?dòng)，研究認(rèn)為嗜睡是識(shí)別非洲豬瘟 (ASF)的一種方法。比較感染非洲豬瘟隔離豬只和健康豬只的活動(dòng)[42]，采用基于CNN進(jìn)行對(duì)象識(shí)別，并使用卡爾曼濾波器來跟蹤行為指標(biāo)，能很好地實(shí)現(xiàn)非洲豬瘟的識(shí)別。

5 結(jié)語

利用機(jī)器視覺來實(shí)現(xiàn)豬的識(shí)別、行為和運(yùn)動(dòng)檢測(cè)以及疾病監(jiān)測(cè)是可行的。算法模型是建立在特定群體上的，目前尚無全球化的模型，不同品種、地區(qū)、飼養(yǎng)管理水平等因素都將影響分析結(jié)果。即使有了統(tǒng)一的算法，也需要相關(guān)數(shù)據(jù)來訓(xùn)練算法。而且，對(duì)于不同的識(shí)別目標(biāo)須由不同的算法來解決，如使用Mask R-CNN、Faster R-CNN模型、YOLO等，目前還沒有一種算法能夠滿足所有需求，仍然缺乏可以同時(shí)解決多個(gè)問題的集成算法或系統(tǒng)。

此外，我國互聯(lián)網(wǎng)領(lǐng)域配套的基礎(chǔ)設(shè)施建設(shè)發(fā)展迅速，攝像頭也應(yīng)用普遍，但是養(yǎng)殖企業(yè)仍然面臨成本問題。同時(shí)，2D、3D和深度攝像頭有各自的優(yōu)缺點(diǎn)，簡單、實(shí)用且廉價(jià)的攝像頭將是未來發(fā)展的重點(diǎn)。