基于機(jī)器視覺(jué)的奶牛發(fā)情行為視頻監(jiān)測(cè)算法研究

蔡兆暉，林學(xué)杰

（廈門(mén)大學(xué)嘉庚學(xué)院，福建 漳州 363100）

在奶牛養(yǎng)殖過(guò)程中，對(duì)奶牛發(fā)情行為進(jìn)行監(jiān)測(cè)，可以幫助養(yǎng)殖戶準(zhǔn)確地判斷奶牛的排卵時(shí)間，從而確定配種適期，及時(shí)進(jìn)行配種或人工授精，達(dá)到提高受胎率的目的，并且可以幫助縮短胎間期，增加奶牛產(chǎn)奶量。此外，通過(guò)對(duì)奶牛發(fā)情行為進(jìn)行監(jiān)測(cè)，養(yǎng)殖戶還可以判斷奶牛的發(fā)情行為是否正常，從而有效地進(jìn)行疫病監(jiān)控與預(yù)防。

在規(guī)?；r(nóng)場(chǎng)，由于用工成本上升和監(jiān)控要求提升，對(duì)奶牛各種生理狀態(tài)的監(jiān)控已經(jīng)不能完全依賴傳統(tǒng)的人工監(jiān)測(cè)了，因此發(fā)展基于現(xiàn)代信息技術(shù)的自動(dòng)監(jiān)測(cè)技術(shù)，從而提高奶牛養(yǎng)殖的精準(zhǔn)化和智能化程度是十分必要的。

本文借助機(jī)器視覺(jué)技術(shù)，從動(dòng)態(tài)的監(jiān)控圖像入手，通過(guò)背景過(guò)濾、圖像增強(qiáng)、奶牛個(gè)體自動(dòng)識(shí)別及奶牛爬跨行為自動(dòng)監(jiān)測(cè)等算法的設(shè)計(jì)，創(chuàng)立了基于視頻圖像動(dòng)態(tài)識(shí)別的奶牛發(fā)情行為視頻監(jiān)測(cè)算法體系，從而在不增加過(guò)多額外設(shè)施和傳感器的基礎(chǔ)上，幫助養(yǎng)殖戶實(shí)現(xiàn)對(duì)奶牛發(fā)情行為的有效自動(dòng)監(jiān)測(cè)。

1 奶牛發(fā)情自動(dòng)監(jiān)測(cè)概述

隨著現(xiàn)代畜牧養(yǎng)殖業(yè)的發(fā)展，傳統(tǒng)的以人工經(jīng)驗(yàn)進(jìn)行奶牛發(fā)情監(jiān)測(cè)已經(jīng)無(wú)法滿足集約式、規(guī)?；B(yǎng)殖模式的要求，因此引入信息技術(shù)對(duì)奶牛進(jìn)行精細(xì)化、科學(xué)化的管理與監(jiān)測(cè)是未來(lái)畜牧業(yè)智能化發(fā)展的必然趨勢(shì)。對(duì)奶牛發(fā)情體征進(jìn)行監(jiān)測(cè)的方法和手段主要分為以下3類(lèi)：

1.1 傳感器監(jiān)測(cè)

以電子傳感器監(jiān)測(cè)、采集和記錄奶牛的發(fā)情體征，從而準(zhǔn)確地判斷奶牛的發(fā)情時(shí)間，這是監(jiān)測(cè)奶牛發(fā)情行為的重要手段。傳統(tǒng)的傳感器主要包括植入式傳感器和穿戴式傳感器2種。

植入式傳感器主要為植入式陰道傳感器，其原理是通過(guò)在奶牛陰道中植入包含溫度采集和無(wú)線電接收設(shè)備的棒狀無(wú)線遙測(cè)系統(tǒng)，對(duì)奶牛的陰道狀況進(jìn)行實(shí)時(shí)數(shù)據(jù)采集，并分析確定發(fā)情狀態(tài)。此外，一些植入式傳感器還會(huì)增加振動(dòng)傳感器等輔助模塊，實(shí)時(shí)監(jiān)測(cè)奶牛運(yùn)動(dòng)量，從而提高奶牛發(fā)情行為的判斷準(zhǔn)確率。

穿戴式傳感器主要以振動(dòng)、姿態(tài)、溫度和壓力傳感器的有機(jī)組合為主，主要原理是通過(guò)采集奶牛的體溫、運(yùn)動(dòng)量、靜臥時(shí)間、爬跨接觸及強(qiáng)弱運(yùn)動(dòng)比例等數(shù)據(jù)，通過(guò)綜合分析來(lái)判斷奶牛是否發(fā)情。

1.2 視頻圖像監(jiān)測(cè)

視頻圖像監(jiān)測(cè)是在奶牛養(yǎng)殖場(chǎng)所安裝以俯視、頂視為主的監(jiān)控?cái)z像頭，通過(guò)圖像識(shí)別算法對(duì)奶牛的運(yùn)動(dòng)量和行為進(jìn)行分析，從而判斷其是否發(fā)情。在現(xiàn)有的研究中，大部分視頻圖像識(shí)別算法受限于養(yǎng)殖場(chǎng)所的光線和牛群之間的重疊遮擋等因素，無(wú)法以純圖像識(shí)別的方式達(dá)到較佳的效果，因此通常情況下視頻圖像監(jiān)測(cè)會(huì)通過(guò)一些輔助手段來(lái)提高檢測(cè)準(zhǔn)確率。例如攝像頭可以觀察到當(dāng)發(fā)情奶牛發(fā)生爬跨行為時(shí)，由于接觸和運(yùn)動(dòng)帶來(lái)的顏色形狀改變，從而判斷奶牛是否發(fā)情。

1.3 聲音信號(hào)監(jiān)測(cè)

聲音信號(hào)監(jiān)測(cè)是通過(guò)對(duì)奶牛的聲音信號(hào)進(jìn)行觀測(cè)，分析奶牛發(fā)情狀態(tài)下的聲音信號(hào)特征，以聲音信號(hào)的持續(xù)時(shí)間、強(qiáng)度和共振峰特征參數(shù)對(duì)奶牛發(fā)情時(shí)的聲音特征進(jìn)行標(biāo)識(shí)，從而實(shí)現(xiàn)對(duì)奶牛發(fā)情行為的自動(dòng)監(jiān)測(cè)。

1.4 小結(jié)

目前，針對(duì)奶牛發(fā)情行為的自動(dòng)監(jiān)測(cè)手段中，傳感器手段一來(lái)成本較高，二來(lái)由于奶牛表皮毛發(fā)較濃密，難以固定各類(lèi)穿戴式傳感器。而陰道植入式傳感器又存在感染風(fēng)險(xiǎn)、能耗較高及舒適感較差等問(wèn)題未被養(yǎng)殖戶廣泛使用。聲音信號(hào)監(jiān)測(cè)由于受養(yǎng)殖場(chǎng)所噪音、不同牛叫聲重疊等因素干擾，準(zhǔn)確率較低，可靠性較差，無(wú)法達(dá)到實(shí)際應(yīng)用的要求。

因此，筆者認(rèn)為在未來(lái)奶牛養(yǎng)殖的自動(dòng)監(jiān)測(cè)方案中，借助目前規(guī)?；B(yǎng)殖場(chǎng)已有的監(jiān)控設(shè)備，輔以科學(xué)有效的監(jiān)控圖像檢測(cè)算法進(jìn)行奶牛發(fā)情行為檢測(cè)，是一種在成本、可行性及準(zhǔn)確率上都能夠達(dá)成最優(yōu)的有效方法。由此，本文借助工業(yè)界較為成熟的機(jī)器視覺(jué)算法，將其引入到奶牛養(yǎng)殖業(yè)中進(jìn)行奶牛發(fā)情行為的自動(dòng)檢測(cè)，從而實(shí)現(xiàn)一套智能化的奶牛發(fā)情行為監(jiān)測(cè)機(jī)制。

2 基于機(jī)器視覺(jué)的奶牛監(jiān)控視頻背景去噪

在奶牛監(jiān)控圖像中，由于養(yǎng)殖場(chǎng)所的背景環(huán)境復(fù)雜及雜光干擾較多，針對(duì)復(fù)雜背景下的奶牛發(fā)情行為檢測(cè)需要以有效的背景去噪算法為前提。養(yǎng)殖場(chǎng)所內(nèi)的奶牛通常行動(dòng)較慢，表面因?yàn)橛忻じ采w反光較弱，并且發(fā)情行為發(fā)生時(shí)的奶牛必然處在不斷運(yùn)動(dòng)之中，基于這些特點(diǎn)，本文采用灰化背景差分法對(duì)奶牛監(jiān)控視頻進(jìn)行動(dòng)態(tài)背景去噪。灰化背景差分法首先是將彩色監(jiān)控圖像由三通道RGB圖像轉(zhuǎn)化為灰化二值圖像，然后通過(guò)直方圖均衡化將圖像進(jìn)行非線性拉伸，使得監(jiān)控圖像中的奶牛與背景差異加大，最后以Background Subtraction算法進(jìn)行動(dòng)態(tài)前后幀對(duì)比，并去除一定閾值內(nèi)的相似像素點(diǎn)。

由于牛舍中處于安靜狀態(tài)的奶牛不需要進(jìn)行發(fā)情與否的判別，因此本文對(duì)傳統(tǒng)的背景差分計(jì)算進(jìn)行了適應(yīng)性改進(jìn)，在監(jiān)控圖像檢測(cè)過(guò)程中，假設(shè)Pt-1(x,y)為t-1時(shí)刻奶牛監(jiān)控視頻中最新圖像的前一幀，Nt(x,y)為t時(shí)刻奶牛監(jiān)控視頻中的最新一幀，對(duì)差分運(yùn)算得到差分圖像Dt(x,y)為：

Dt(x,y)=│Nt(x,y)-Pt-1(c,y)│

在差分結(jié)果圖像中，通過(guò)逐行掃描，將結(jié)果圖像的灰度值與閾值進(jìn)行比較，僅取結(jié)果圖像中大于閾值的部分作為ROI區(qū)域，從而濾除背景和噪音的影響?？紤]到奶牛體毛反光較差而具有一定的吸光性，并且結(jié)合奶牛發(fā)情行為一般為夜間的實(shí)際情況，本文將背景去噪閾值設(shè)定為10，以達(dá)到更好的背景過(guò)濾效果，結(jié)果如圖1所示。

圖1 奶牛監(jiān)控視頻圖像背景去噪效果對(duì)比圖

3 基于機(jī)器視覺(jué)的奶牛監(jiān)控視頻圖像增強(qiáng)

由于奶牛養(yǎng)殖環(huán)境較為復(fù)雜，在夜間、雨天及霧天等因素干擾下，監(jiān)控圖像往往會(huì)出現(xiàn)圖像模糊、偏暗、噪聲及光暈等不良圖像特征，并且由于多數(shù)奶牛在夜間發(fā)情，因此進(jìn)行發(fā)情行為檢測(cè)前必須對(duì)圖像進(jìn)行增強(qiáng)處理，以突出主要視覺(jué)特征。

圖像增強(qiáng)作為圖像預(yù)處理的一種手段有很多算法，由于本文在圖像增強(qiáng)前已經(jīng)進(jìn)行了背景去噪，因此本文使用空間域圖像增強(qiáng)方法，以自適應(yīng)直方圖均衡算法（AHE,Adaptive Histogram Equalization）對(duì)奶牛監(jiān)控圖像進(jìn)行圖像增強(qiáng)。AHE是一種用來(lái)改善圖像對(duì)比度的圖像增強(qiáng)技術(shù)，與傳統(tǒng)的直方圖均衡算法不同，AHE算法通過(guò)計(jì)算圖像每一個(gè)顯著區(qū)域的直方圖來(lái)重新分布圖像的亮度值，因此它更適合于用來(lái)改善圖像的局部對(duì)比度，以及增強(qiáng)圖像邊緣信息，從而有利于在奶牛監(jiān)控圖像中加強(qiáng)不同奶牛間的邊緣界線，有利于后續(xù)對(duì)奶牛待分析區(qū)域的圖像切割。

假設(shè)待處理奶牛監(jiān)控圖像為灰度圖像，r表示監(jiān)控視頻幀的灰度，并有 γ∈［0,L-1］，其中 r=0表示黑色，r=L-1表示白色，直方圖均衡化的過(guò)程對(duì)應(yīng)于一個(gè)變換T：

S=T(r),0≤r≤L-1

基于該算法的奶牛視頻監(jiān)控圖像增強(qiáng)效果如圖2所示，對(duì)比不同圖像灰度值分布直方圖可以發(fā)現(xiàn)，經(jīng)過(guò)直方圖均衡化處理的奶牛監(jiān)控灰度圖像中，奶牛邊緣與背景的差異得到了增強(qiáng)，圖像整體失真較小，突出了原有圖像的細(xì)節(jié)特征，使得增強(qiáng)后的圖像更加符合人眼的視覺(jué)特征。

圖2 奶牛監(jiān)控視頻圖像增強(qiáng)效果對(duì)比及灰度直方圖(原始圖像-背景去噪-灰化圖像-AHE均衡化圖像)

4 基于機(jī)器視覺(jué)的奶牛爬跨行為判斷機(jī)制

在背景去噪和圖像增強(qiáng)后的奶牛監(jiān)控視頻圖像上，由于圖像已經(jīng)去除了噪點(diǎn)，并且加強(qiáng)了奶牛圖像邊緣的細(xì)節(jié)特征，因此本文使用分水嶺算法對(duì)奶牛個(gè)體進(jìn)行圖像切割以辨識(shí)不同的奶牛個(gè)體，并通過(guò)對(duì)其外接四邊形的角度變化判斷來(lái)確定其是否發(fā)生爬跨行為，從而完成對(duì)奶牛發(fā)情行為的動(dòng)態(tài)監(jiān)測(cè)。

分水嶺算法以奶牛監(jiān)控圖像中的每個(gè)像素點(diǎn)灰度值作為第三維坐標(biāo)進(jìn)行三維化，并以此為基礎(chǔ)考慮三類(lèi)像素點(diǎn)：第一種為局部性最小值點(diǎn)或最小值面；第二種為不在局部最小值上的隨機(jī)位置，在該點(diǎn)上當(dāng)一滴水放在該位置時(shí)，在三維空間上該水滴會(huì)下落到一個(gè)單一的最小值點(diǎn)；第三種為不同最小值點(diǎn)中間的邊緣峰線位置，當(dāng)水處在該位置時(shí)，水會(huì)等概率地流向不止一個(gè)這樣的最小值點(diǎn)。因此，第二種點(diǎn)的結(jié)合稱(chēng)為分水嶺，而第三種點(diǎn)的集合即為分割線，由此得到圖像的切割結(jié)果，如圖3所示。

圖3 奶牛監(jiān)控圖像個(gè)體圖區(qū)切割分水嶺算法示意圖

基于分水嶺算法的切割結(jié)果，本文以最小外接長(zhǎng)方形對(duì)分割區(qū)域進(jìn)行擬合，并對(duì)該長(zhǎng)方形角度進(jìn)行檢測(cè)，當(dāng)該長(zhǎng)方形角度超過(guò)一定閾值時(shí)，便可以推斷為該區(qū)域圖像所表征的奶牛出現(xiàn)了爬跨，如圖4所示。當(dāng)該行為出現(xiàn)頻率超過(guò)數(shù)次后，便可以觸發(fā)發(fā)情行為提示，提示農(nóng)場(chǎng)養(yǎng)殖人員關(guān)注該發(fā)情奶牛，及時(shí)進(jìn)行后續(xù)處理。

圖4 奶牛監(jiān)控視頻圖像爬跨行為檢測(cè)結(jié)果圖（爬跨前-爬跨后）

5 結(jié)論

奶牛發(fā)情特征的自動(dòng)采集對(duì)于其發(fā)情行為的自動(dòng)檢測(cè)有著十分重要的作用，因此借助機(jī)器視覺(jué)手段，從奶牛的監(jiān)控動(dòng)態(tài)圖像中進(jìn)行發(fā)情行為判斷是規(guī)?；B(yǎng)殖農(nóng)場(chǎng)可以采用的低成本、可操作性較強(qiáng)的自動(dòng)檢測(cè)方案。

本文借助機(jī)器視覺(jué)算法對(duì)奶牛監(jiān)控視頻圖像進(jìn)行背景去噪、圖像增強(qiáng)和自動(dòng)分割擬合，從而形成了一套有效的奶牛爬跨行為自動(dòng)判定程序，借助奶牛爬跨行為特征的實(shí)時(shí)檢測(cè)實(shí)現(xiàn)高效的自動(dòng)化奶牛發(fā)情行為判定，從而為制定奶牛養(yǎng)殖智能化方案提供科學(xué)的輔助依據(jù)。