機(jī)器視覺(jué)在奶牛個(gè)體識(shí)別中的研究進(jìn)展

王思懿

摘要：奶牛養(yǎng)殖是中國(guó)畜牧業(yè)重要的組成部分，為提高養(yǎng)殖場(chǎng)的規(guī)模和管理效率，增強(qiáng)產(chǎn)業(yè)經(jīng)濟(jì)效益，應(yīng)用計(jì)算機(jī)視覺(jué)處理奶牛信息成為一種主流趨勢(shì)。奶牛個(gè)體的精確識(shí)別作為機(jī)器視覺(jué)處理奶牛信息的基礎(chǔ)步驟，對(duì)其信息獲取的準(zhǔn)確性有著重要的影響。該文將從牛只圖像位置獲取技術(shù)、牛只身份識(shí)別技術(shù)和增強(qiáng)牛只圖像信息量技術(shù)對(duì)奶牛的精準(zhǔn)識(shí)別進(jìn)行綜述。

關(guān)鍵詞：計(jì)算機(jī)視覺(jué);信息技術(shù);奶牛;圖像識(shí)別;研究

1? ? 機(jī)器視覺(jué)技術(shù)監(jiān)管

目前，中國(guó)奶牛養(yǎng)殖從整體上來(lái)看，有著規(guī)模小、養(yǎng)殖觀念傳統(tǒng)、缺乏養(yǎng)殖和管理經(jīng)驗(yàn)等缺陷，這導(dǎo)致牧場(chǎng)的管理水平低下， 影響了奶牛養(yǎng)殖的產(chǎn)量與質(zhì)量[1]。普遍的人力監(jiān)管方式難以避免人為因素導(dǎo)致的牛奶質(zhì)量問(wèn)題，且其獲取養(yǎng)殖場(chǎng)的綜合信息能力較低。因此為保證奶牛得到高效率的監(jiān)管，增加養(yǎng)殖收益，使用機(jī)器視覺(jué)技術(shù)監(jiān)管成為一種趨勢(shì)。

機(jī)器視覺(jué)作為一種智慧農(nóng)場(chǎng)實(shí)現(xiàn)的熱點(diǎn)技術(shù)，具有非接觸、不易干擾奶牛正常生活、長(zhǎng)時(shí)間連續(xù)監(jiān)控、算法更新迅速的優(yōu)點(diǎn)。對(duì)于奶牛的個(gè)體準(zhǔn)確識(shí)別是機(jī)器視覺(jué)對(duì)獲取到的奶牛圖像進(jìn)行各類(lèi)體況分析的前提，也是將奶牛體況信息精準(zhǔn)記錄到每一只奶牛的基礎(chǔ)技術(shù)。該文將從以下三方面基礎(chǔ)技術(shù)對(duì)奶牛個(gè)體的精準(zhǔn)識(shí)別研究進(jìn)展進(jìn)行綜述，即從圖像中識(shí)別到奶牛具體位置的算法，對(duì)奶牛身份進(jìn)行識(shí)別對(duì)應(yīng)的算法，獲取更多奶牛信息量的算法。

2? ? 精確識(shí)別牛只技術(shù)

2.1? ?牛只圖像位置識(shí)別技術(shù)

所有對(duì)于奶牛圖像的各類(lèi)人工智能分析方法，都建立在一個(gè)最基礎(chǔ)的問(wèn)題上——奶牛圖像的獲取。攝像機(jī)等硬件設(shè)備能夠拍攝獲得奶牛所處場(chǎng)景的整體圖像，但無(wú)法單獨(dú)獲取奶牛個(gè)體的圖像。因此，為了進(jìn)行后續(xù)對(duì)奶牛個(gè)體動(dòng)作和狀態(tài)的分析，首先需要解決奶牛個(gè)體圖像的準(zhǔn)確提取。顧靜秋等[2]提出了使用聚類(lèi)算法和熵結(jié)合的方式獲取奶牛對(duì)象。通過(guò)閾值區(qū)分天空、地面和目標(biāo)對(duì)象的圖像灰度，再對(duì)圖像歐氏空間內(nèi)的特征向量進(jìn)行聚類(lèi)，抽取分離奶牛對(duì)象。實(shí)驗(yàn)中奶牛對(duì)象提取效果較好，但由于其方法基于灰度值的計(jì)算，在目標(biāo)對(duì)象與背景灰度近似時(shí)可能會(huì)造成準(zhǔn)確度的影響。趙凱旋[3]同樣提出了一種對(duì)圖像灰度進(jìn)行分析的方法。通過(guò)按照灰度值劃分不重疊的子區(qū)，使用動(dòng)態(tài)RGB通道合成參數(shù)調(diào)整的方法對(duì)目標(biāo)及背景圖像進(jìn)行適時(shí)調(diào)整，然后使用背景去除和最后進(jìn)行子區(qū)域拼接的方法完成目標(biāo)的檢測(cè)。檢測(cè)率為88.34%，誤檢率、誤檢幀和拒檢幀較低，且對(duì)光照變化適應(yīng)性較強(qiáng)。但文章只對(duì)單頭奶牛和單一背景進(jìn)行了實(shí)驗(yàn)，對(duì)于這一方法的適用性還需要更多應(yīng)用和測(cè)試來(lái)進(jìn)行評(píng)估。同樣是背景去除的方法，宋懷波等[4]將圖像轉(zhuǎn)換為HSV圖像，對(duì)亮度分量進(jìn)行二值化得到奶牛目標(biāo)提取的掩模，使用高斯去噪后，使用掩模在灰度圖上去除無(wú)關(guān)背景后，得到奶牛目標(biāo)。其算法一定程度上補(bǔ)充了背景去除算法的思路。

不同于利用灰度值的思想，宋懷波等還提出了使用光流法對(duì)于奶牛個(gè)體或其所需要檢測(cè)的部位圖像進(jìn)行提取。光流是一種圖像亮度模式的表觀運(yùn)動(dòng)，其表達(dá)了目標(biāo)的運(yùn)動(dòng)信息，其引申出的光流場(chǎng)概念描述了圖像中所有像素點(diǎn)構(gòu)成的瞬時(shí)速度場(chǎng)，因此光流法提取目標(biāo)主要應(yīng)用于運(yùn)動(dòng)較劇烈的目標(biāo)的提取。宋懷波等[5]使用每幀圖像的光流場(chǎng)，通過(guò)識(shí)別光流場(chǎng)的變化，檢測(cè)奶牛較大運(yùn)動(dòng)部位，作為目標(biāo)區(qū)域的候選。對(duì)圖像用合適閾值分割，使用有較大變化的光流值的幀，疊加分割后幀的二值圖像，利用牛反芻時(shí)嘴部運(yùn)動(dòng)最為劇烈的特點(diǎn)，通過(guò)最終疊加后的二值圖像識(shí)別牛的嘴部區(qū)域。

除光流法外，也有其他對(duì)于圖像中的運(yùn)動(dòng)區(qū)域進(jìn)行識(shí)別的方法被應(yīng)用于奶牛個(gè)體的識(shí)別。Tsai D等[6]使用IP攝像機(jī)從牛棚頂部拍攝奶牛，通過(guò)對(duì)視頻的時(shí)空表示識(shí)別高水平的運(yùn)動(dòng)區(qū)域，得到運(yùn)動(dòng)強(qiáng)度圖，然后通過(guò)區(qū)域生長(zhǎng)分割的方法，保留面積最大的區(qū)域進(jìn)行進(jìn)一步處理。使用基于模式的前景分割從當(dāng)前圖像中提取奶牛的形狀。分割后的運(yùn)動(dòng)區(qū)域用來(lái)限制目標(biāo)物體的前景，消除附近不相關(guān)的牛的部分。該方法能夠得到對(duì)奶牛個(gè)體的最小包圍框，而非沿奶牛個(gè)體邊界的精確提取。

2.2? ?牛只身份識(shí)別技術(shù)

為解決對(duì)牛個(gè)體間的區(qū)分問(wèn)題，研究人員常利用機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的方法對(duì)牛只身份進(jìn)行識(shí)別。趙凱旋等[7]提出通過(guò)幀間差值法計(jì)算直線行走側(cè)視奶牛視頻中的粗略輪廓，再由分段跨度分析對(duì)應(yīng)二值圖像，從而定位器軀干區(qū)域，使用二值圖像對(duì)軀干進(jìn)行比對(duì)跟蹤。將上述方法得到的軀干圖像進(jìn)行灰度化，并進(jìn)行插值運(yùn)算和歸一化轉(zhuǎn)換為矩陣，作為神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)。通過(guò)第一卷積層，第二下采樣層，第三卷積層和第四下采樣層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，建立與奶牛頭數(shù)相當(dāng)?shù)母兄?，使每一種奶牛個(gè)體作為一個(gè)模式進(jìn)行輸出。該方法對(duì)視頻中奶牛個(gè)體的識(shí)別準(zhǔn)確率達(dá)到了93.33%，同時(shí)，方法中減少了卷積層中特征圖的數(shù)量，提高了網(wǎng)絡(luò)對(duì)圖像信息的利用率。然而再對(duì)相似圖像進(jìn)行處理時(shí)，會(huì)由于先前對(duì)圖像進(jìn)行的變化導(dǎo)致細(xì)節(jié)信息的損失，從而降低了方法的準(zhǔn)確性。Kumar等[8]提出利用牛的鼻口處紋路判斷牛的身份。該團(tuán)隊(duì)先提出利用Fisher線性保留映射 FLPP （Fisher Linear Preserving Projection） 的方法來(lái)提取?？诒翘卣?，通過(guò) SVM 訓(xùn)練預(yù)測(cè)達(dá)到 96.87% 的準(zhǔn)確率。在這一研究基礎(chǔ)上，Kumar等[9]又對(duì)算法進(jìn)行了更改。提出利用加速魯棒性特征和局部二值模式的特征提取方法，對(duì)口鼻處不同程度的高斯金字塔平滑圖像紋路特點(diǎn)進(jìn)行描述。通過(guò)融合加權(quán)求和的方法，得到最終的特征描述。其團(tuán)隊(duì)建立了500頭牛的5000張圖像數(shù)據(jù)集，通過(guò)對(duì)比多種算法的性能，最終選擇使用LDA算法，通過(guò)Fisher識(shí)別標(biāo)準(zhǔn)最大化組間和組內(nèi)的主要特征比例;使用ICA算法得到對(duì)口鼻圖像高階統(tǒng)計(jì)量更敏感的識(shí)別方式;采用基于SURF和LBP特征描述的技術(shù)對(duì)鼻口圖像進(jìn)行評(píng)估，將融合后的相似度評(píng)分作為最終判定的依據(jù)。該方法交叉驗(yàn)證得到身份識(shí)別準(zhǔn)確率為93.87%，且方法為未來(lái)的持續(xù)性改進(jìn)留有余地。方法中對(duì)于紋路的識(shí)別分析算法，以及對(duì)身份識(shí)別的算法，都可以根據(jù)算法的性能進(jìn)行具體的更改。這使得算法在未來(lái)有更廣的使用方式和應(yīng)用場(chǎng)景。

2.3? ?提高牛只圖像信息量技術(shù)

牛只個(gè)體識(shí)別這一基礎(chǔ)技術(shù)的準(zhǔn)確度主要受制于圖像質(zhì)量。如同人眼視物，如果人眼本身接收到的圖像不清楚，則在人腦中反映出的信息也是不準(zhǔn)確的。

增強(qiáng)圖像本身的清晰程度和信息表現(xiàn)能力，是最基礎(chǔ)直接地提高獲取信息量的方法。劉忠超[10]借助雙域?yàn)V波去噪，通過(guò)低頻和高頻圖像分解、貝葉斯估計(jì)高頻圖像的小波閾值、Garrote函數(shù)小波去噪、伽馬變換矯正、暗通道先驗(yàn)算法去霧、自適應(yīng)直方圖均衡的算法處理，增強(qiáng)圖像清晰程度，擴(kuò)充其涵蓋信息量。且在各時(shí)間段，各類(lèi)天氣環(huán)境下都能夠有效地去噪、增強(qiáng)信息和改善圖像視覺(jué)效果，能夠?yàn)榕Ｅ锃h(huán)境中的奶牛識(shí)別提供良好的樣本。

另一方面，由于設(shè)備硬件的條件本身決定了圖片質(zhì)量的上限，訓(xùn)練能夠有效進(jìn)行模糊識(shí)別的算法也是一種高信息量獲取的重要途徑。劉杰鑫等[11]為了解決傳統(tǒng)機(jī)器學(xué)習(xí)方法提取特征不充足和采用 CNN 的研究中深度學(xué)習(xí)網(wǎng)絡(luò)識(shí)別率不高的問(wèn)題，提出了通過(guò)建立高斯混合模型，確定像素點(diǎn)與分布的匹配關(guān)系決定其歸屬，通過(guò)多個(gè)分布對(duì)背景進(jìn)行建模。完成背景建模后，可以二值化提取到奶牛的模糊輪廓，使用最大連通域?qū)δ膛＿M(jìn)行定位，通過(guò)定位框的坐標(biāo)和尺寸信息獲取奶牛個(gè)體圖像，隨機(jī)作為訓(xùn)練集和測(cè)試集。然后使用Alex net網(wǎng)絡(luò)softmax和svm分類(lèi)器對(duì)牛個(gè)體進(jìn)行遷移學(xué)習(xí)。該方法采用規(guī)定像素占比的方式較好地避免了光線突變和鏡頭抖動(dòng)帶來(lái)的噪聲干擾，且相較于先前的研究有著較好的準(zhǔn)確性提高。

3? ?結(jié)論與展望

從近年研究情況來(lái)看，由于各類(lèi)算法的更新以及設(shè)備的迭代，對(duì)于奶牛個(gè)體的精確識(shí)別在各個(gè)研究的測(cè)試環(huán)境下都能夠得到較準(zhǔn)確的識(shí)別效果，且能夠依據(jù)不同的需求，對(duì)奶牛輪廓、奶牛花紋、奶牛嘴部等實(shí)驗(yàn)所需識(shí)別部位進(jìn)行較為精準(zhǔn)的識(shí)別。對(duì)于牛只的身份確認(rèn)，也能有較良好的表現(xiàn)。研究者也從圖像本身入手，著眼于提高圖像的信息量，以達(dá)到提供更好的算法訓(xùn)練數(shù)據(jù)。整體而言，對(duì)于個(gè)體的精確識(shí)別一方面在對(duì)環(huán)境的適應(yīng)和遷移上有所欠缺，另一方面各類(lèi)奶牛個(gè)體的識(shí)別技術(shù)在可視化和與人交互方面的不足，可能會(huì)造成技術(shù)在推廣應(yīng)用方面的阻力。為了能夠進(jìn)一步提升機(jī)器視覺(jué)技術(shù)在實(shí)際應(yīng)用中的可行性，未來(lái)能從以下幾個(gè)方面繼續(xù)發(fā)展：（1）建立奶牛圖像信息的互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)庫(kù)能夠交流不同地區(qū)環(huán)境采集到的奶牛圖像，豐富研究者在實(shí)驗(yàn)中可獲取的奶牛圖像信息量。（2）研究綜合性算法。應(yīng)用單一的算法檢測(cè)奶牛個(gè)體時(shí)，總會(huì)受到某個(gè)算法的弊端影響?？梢酝ㄟ^(guò)將多種算法進(jìn)行綜合，或可能夠減少單一算法帶來(lái)的誤差。（3）應(yīng)用更新的人工智能算法?，F(xiàn)在人臉識(shí)別算法的準(zhǔn)確度和普及度都十分可觀，人工智能的應(yīng)用也在社會(huì)中十分廣泛。其中應(yīng)用的各類(lèi)新型算法思路，也可以被修改和應(yīng)用到奶牛養(yǎng)殖業(yè)，乃至其他畜牧養(yǎng)殖業(yè)管理中。

總而言之，中國(guó)的奶牛養(yǎng)殖業(yè)還處于一種較為粗放的管理方式之中，對(duì)于奶牛的精細(xì)管理和信息化數(shù)據(jù)記錄以及分析都尚處于初級(jí)階段。各類(lèi)自動(dòng)化的監(jiān)控方式也都處于研究階段，進(jìn)行落地轉(zhuǎn)化的技術(shù)較少。期望相關(guān)的研究單位能結(jié)合具體國(guó)情，研發(fā)更多可以投入生產(chǎn)生活中的技術(shù)，提升中國(guó)奶牛養(yǎng)殖業(yè)的自動(dòng)化、精細(xì)化和智能化水平，促進(jìn)其繁榮發(fā)展。

參考文獻(xiàn)：

[1] 趙威.中國(guó)奶牛養(yǎng)殖產(chǎn)業(yè)發(fā)展現(xiàn)狀及趨勢(shì)[J].畜禽業(yè)， 2018， 29（02）： 24.

[2] 顧靜秋， 王志海， 高榮華，等. 基于融合圖像與運(yùn)動(dòng)量的奶牛行為識(shí)別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017（06）：150-156.

[3] 趙凱旋. 基于機(jī)器視覺(jué)的奶牛個(gè)體信息感知及行為分析[D].西北農(nóng)林科技大學(xué)，2017.

[4] 宋懷波，吳頔華，陰旭強(qiáng)，姜波，何東健.基于Lucas-Kanade稀疏光流算法的奶牛呼吸行為檢測(cè)[J].農(nóng)業(yè)工程學(xué)報(bào)，2019，35（17）：215-224.

[5] 宋懷波，李通，姜波，吳倩，何東健.基于 Horn-Schunck 光流法的多目標(biāo)反芻奶牛嘴部自動(dòng)監(jiān)測(cè)[J]， 農(nóng)業(yè)工程學(xué)報(bào)，2018（10）：163-171.

[6] Tsai D，Huang C.A motion and image analysis method for automatic detection of estrus and mating behavior in cattle [J].Comput Electron Agr，2014，104： 25-31.

[7] 趙凱旋，何東健.基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個(gè)體身份識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31（5）： 181-187.

[8] Kumar S，Singh S K，Singh R S，et al.Real-time recognition of cattle using animal biometrics[J].Journal of Real Time Image Processing，2016，13（3）： 1-22.

[9] Kumar S，Singh S K，Singh A K. Muzzle point pattern based techniques for individual cattle identification[J].Iet Image Processing，2017，11（10） ： 805-814.

[10] 劉忠超.奶牛發(fā)情體征及行為智能檢測(cè)技術(shù)研究[D].西北農(nóng)林科技大學(xué)，2019.

[11] 劉杰鑫，姜波，何東健，宋懷波.2018.基于高斯混合模型與 CNN 的奶牛個(gè)體識(shí)別方法研究.[J].計(jì)算機(jī)應(yīng)用與軟件，35（10）：159-164.