基于計算機視覺的牛臉輪廓提取算法及實現(xiàn)

蔡 騁，宋肖肖，何進榮

（西北農(nóng)林科技大學信息工程學院，楊凌 712100）

基于計算機視覺的牛臉輪廓提取算法及實現(xiàn)

蔡 騁，宋肖肖，何進榮

（西北農(nóng)林科技大學信息工程學院，楊凌 712100）

計算機視覺技術(shù)已越來越多地應用于檢測牛個體行為以給出養(yǎng)殖管理決策，牛臉輪廓的提取及形狀分析能夠進一步提高牛身份鑒別，咀嚼分析及健康狀況評估的自動化程度。為實現(xiàn)基于計算機視覺的無接觸、高精度、適用性強的肉牛養(yǎng)殖場環(huán)境下的牛臉輪廓提取，提出用自適應級聯(lián)檢測器定位牛臉位置，用統(tǒng)計迭代模型提取牛臉輪廓的方法。該方法采集牛臉正面圖像，用級聯(lián)式檢測器定位出牛臉的位置，并分別采用監(jiān)督式梯度下降算法（supervised descent method, SDM），局部二值算法（local binary features, LBF）和主動外觀模型算法（fast active appearance model, FAAM）3種算法被用于提取牛臉輪廓。對20頭肉牛共拍攝800幅牛臉正面圖，隨機選取訓練數(shù)據(jù)720幅和測試數(shù)據(jù)80幅。結(jié)果表明，主動外觀模型算法準確率最高，其輪廓提取誤差為0.0184 像素，適于應用在輪廓提取精度要求較高的場合，而局部二值算法的運行效率最高，在分辨率為744 像素（水平）×852像素（垂直）的牛臉圖像中輪廓提取時間為0.35 s，更適于應用在實時性要求較高的場合。該方法可實現(xiàn)養(yǎng)殖場中肉牛的無接觸精確的面部輪廓提取，具有適用性強、成本低的特點。

計算機視覺；算法；模型；牛臉；輪廓提?。惶卣鼽c標定；圖像特征

0 引 言

計算機視覺及智能監(jiān)控已逐步深入到畜禽養(yǎng)殖的許多領域[1-4]，其中智能感知和識別肉牛的行為并給出養(yǎng)殖管理決策支持成為當今研究的熱點[5-9]。個體身份鑒別及分析方法是肉牛精細化管理的技術(shù)前提和應用基礎[10]。目前對肉牛的飼養(yǎng)仍以傳統(tǒng)的肉眼觀察為主，該方法耗時費力。另外，人的活動容易給牛造成應激反應，不適宜在現(xiàn)代化規(guī)模肉牛養(yǎng)殖中繼續(xù)采用。因此，迫切需要一種基于計算機視覺的肉牛的個體識別方法，以提高肉牛行為檢測的自動化程度并降低成本，進一步提高計算機視覺算法在肉牛行為分析領域的的實用性。

用計算機視覺的方法實現(xiàn)肉牛的個體身份識別已引起學者的關(guān)注。Xia等[11]提出一種基于局部二值模式（local binary patterns, LBP）紋理特征的臉部描述模型，并使用主成分分析（principal component analysis, PCA）結(jié)合稀疏編碼分類（sparse representation-based classifier, SRC）對肉牛臉部圖像進行識別。但識別系統(tǒng)對肉牛臉部圖像的拍攝位置和角度敏感，難以實現(xiàn)自動化識別。Cai等[12]在人臉識別方法的基礎上對LBP進行改進，提出了基于LBP改進后的牛臉模型，并使用稀疏和低秩分解對牛臉測試圖像進行校準，克服了光照變化、圖像尺寸偏差以及局部遮擋的影響。但該模型處理的是灰度牛臉圖像，無法應用在真實的肉牛養(yǎng)殖環(huán)境中。

上述方法僅對牛臉進行識別，未對牛的面部輪廓進行提取，但是，牛的面部輪廓包含了牛的咀嚼情況、健康狀態(tài)以及身份信息，通過牛的面部輪廓可以分析牛的病理情況。人臉輪廓提取算法已經(jīng)解決了在室外環(huán)境下，多角度、非均勻光照以及局部遮擋情況下的輪廓提取問題[13-18]，為了實現(xiàn)在肉牛真實養(yǎng)殖環(huán)境下，基于計算機視覺算法非接觸、低成本的肉牛個體識別方法，本研究在人臉輪廓算法的基礎上，根據(jù)牛臉圖像的特征，定義牛臉輪廓模型，用牛臉圖像訓練并測試輪廓提取算法的精度和效率，最終實現(xiàn)肉牛實際養(yǎng)殖環(huán)境下面部輪廓的自動提取。

1 材料與方法

1.1 圖像采集

試驗圖像拍攝于自陜西楊凌區(qū)西北農(nóng)林科技大學秦川肉牛養(yǎng)殖試驗站，采集于2015年11月8日，拍攝對象為健康的秦川肉牛。牛在進食過程中，牛臉會頻繁地伸出柵欄，產(chǎn)生臉部俯仰，使用數(shù)碼相機拍攝多角度下的牛臉數(shù)據(jù)集。

拍攝時段為16:00－18:00時段獲取20頭肉牛的進食圖像。為每頭肉牛拍攝40幅正面圖，共計800幅圖像，每幅圖像分辨率為4 272像素（水平）×2 848像素（垂直）。

后續(xù)圖像處理平臺處理器為Inter Core i3-6100，主頻為3.70 GHz，48 GB內(nèi)存，4 TB硬盤，算法開發(fā)平臺為MATLAB 2015a。

1.2 供試數(shù)據(jù)

將采集的800幅牛臉圖像隨機分為10組，其中9組作為訓練集，1組作為測試集，共得到720幅訓練用牛臉圖像集，及80幅測試用牛臉圖像集。由于試驗圖像是在真實場景中拍攝，牛臉存在局部遮擋現(xiàn)象，例如，在進食過程中草對牛面部的遮擋（如圖1a所示），牛同伴之間的相互遮擋，牛舌頭的局部遮擋（如圖1b所示）。另外，牛的不同毛發(fā)差別將會影響局部特征的提取。圖1c是非均勻光照下的牛臉圖像，不同光照強度下提取的牛臉局部特征差異較大，因此在自然環(huán)境下要考慮到光照的影響。圖1d是大角度偏移下的牛臉，大角度的變化會對最后的檢測結(jié)果產(chǎn)生影響。

圖1 復雜場景下的牛臉Fig.1 Face cattle in complex scene

1.3 牛臉輪廓模型定義

牛臉特征不僅包括眼睛、鼻子、嘴巴以及臉頰外輪廓，與人臉相比牛臉還有其獨有的特征，例如，牛臉表面有許多絨毛，牛臉的五官較為分散，牛臉的背景較為復雜等。

結(jié)合牛臉的特征，為了建立牛臉的全局形狀模型，需要獲取牛臉圖像特征的數(shù)學表示。在牛臉模型訓練階段，手工選擇牛臉中關(guān)鍵的面部特征點，這些特征點的選擇一般在高曲率的交界點，以及描述外界輪廓的中間點[19]，利用標記后的特征點坐標來建立牛臉形狀的數(shù)學模型。根據(jù)上述規(guī)則，本研究選擇能夠表現(xiàn)牛臉輪廓的特征點，例如眼睛，鼻子以及臉頰外輪廓。圖2b為牛臉特征點橫縱坐標去歸一化后的特征點標定圖，從圖中可以看出歸一化后牛臉特征點的中心點置于原點。從圖2b，可以看出左右眼睛分別標記3個特征點，左右鼻孔分別標記2個特征點，牛的臉頰輪廓標記19個特征點，共29個特征點。本研究通過這29個特征點來建立牛臉輪廓模型。牛臉與人臉相比頰側(cè)較長，拍攝時易受到不同角度的影響，本研究將牛臉分為上下2部分進行輪廓模型定義，如圖2b所示，其中黑色坐標表示牛臉輪廓的上半部分，紅色坐標表示牛臉輪廓的下半部分。

圖2 牛臉輪廓模型定義Fig.2 Definition of cattle face contour model

在牛臉特征點標記時，特征點位置偏差的原因不僅有人為標記的因素，還包括拍攝時光照以及拍攝角度等因素的影響。這些外界因素使得牛臉的尺寸和位置存在差異，直接對牛臉特征點進行統(tǒng)計建模是不合理的，不能反映樣本的形變規(guī)律。為了解決這個問題，需要將這些特征點進行對齊操作，對齊之后的數(shù)據(jù)可以反映其變化規(guī)律的統(tǒng)計形狀模型。對齊操作就是以一個形狀為標準模型，所有形狀通過旋轉(zhuǎn)、縮放、平移與其對齊。

對齊之前，首先需要計算每個特征點的加權(quán)值。加權(quán)值表示特征點的穩(wěn)定程度，即不同形狀中該特征點與其它特征點距離變化的大小。式（1）表示了特征點k的穩(wěn)定程度。

式中wk表示特征點k的權(quán)重，Rkl表示在一個形狀中特征點k和特征點l的距離，klRV表示所有形狀向量中特征點k和特征點l距離的方差。

本研究中使用Procrustes算法[20]對牛臉訓練集進行對齊處理，對齊流程如圖3所示。

圖3 牛臉的對齊流程Fig.3 Alignment process of cattle face

對齊操作后的牛臉訓練集坐標表示如圖4所示。經(jīng)過對齊處理后，最終所有的牛臉形狀處于統(tǒng)一的尺度下，特征點之間的位置差異較小。

圖4 對齊后的牛臉Fig.4 Cattle face after aligned

1.4 牛臉檢測器訓練

在牛臉輪廓提取之前，首先要定位圖中牛臉的位置，基于自適應級聯(lián)（adaptive boost，AdaBoost）檢測器檢測速度快、檢測準確率高等優(yōu)點，本文結(jié)合牛臉特征訓練牛臉檢測器[21-22]。

AdaBoost檢測器是基于積分圖像、級聯(lián)檢測器和AdaBoost算法進行模型訓練的。其中，AdaBoost算法的基本思想是將大量的分類能力一般的弱分類器通過一定方法疊加起來，構(gòu)成一個分類能力較強的強分類器[23]。本研究中牛臉檢測器的訓練參數(shù)如表1所示。

表1 牛臉檢測器訓練參數(shù)Table 1 Training parameters of cattle face detector

牛臉檢測器加載表1中的訓練參數(shù)之后，將進入每一層的訓練階段。在訓練過程中，檢測器的檢測精確度越高，檢測器的層數(shù)越多。在實際的牛臉檢測中非牛臉圖像會在前端被排除掉，只有牛臉圖像才能通過各級強分類器的檢測。此外，由于非牛臉圖像會被級聯(lián)分類器的前幾層迅速排除掉，從而加快了AdaBoost算法的檢測速度。

為了測試牛臉檢測器的有效性，本研究使用800幅肉牛圖像進行測試。本文針對牛臉的檢測采用檢測率（detection rate, DR）和誤檢率（false positive rate, FPR）作為評價準則[24]，其中DR和FPR分別定義為

式（2）中M表示手工標定的牛臉區(qū)域數(shù)，式（2）和式（3）中N+表示檢測算法正確檢測的牛臉區(qū)域數(shù)，錯誤檢測的區(qū)域數(shù)為N?。相應的可以得到檢測算法漏檢的牛臉數(shù)量為（M?N+）。圖5顯示了牛臉檢測器的檢測結(jié)果。牛臉檢測的性能測試中，手工標定的牛臉個數(shù)為800個，其中，正確檢測牛臉數(shù)量為768個，錯誤檢測的牛臉數(shù)量為25個，漏檢的牛臉個數(shù)為32個。因此，牛臉檢測的檢測率為96%，誤檢率為3.2%。從牛臉檢測器的檢測率可知，該牛臉檢測器滿足了復雜環(huán)境下牛臉位置檢測的需求。通過對牛臉檢測器準確性的測試，可以將訓練出的牛臉檢測器應用到牛臉輪廓提取中。

圖5 牛臉檢測結(jié)果Fig.5 Result of cattle face detection

為了測試牛臉檢測器的準確性，本研究使用800幅肉牛圖像進行測試，單幅牛臉圖像的檢測率達96%，滿足了復雜環(huán)境下牛臉位置檢測的需求。通過對牛臉檢測器準確性的測試，可以將訓練出的牛臉檢測器應用到牛臉輪廓提取中。

1.5 牛臉輪廓提取算法

借鑒人臉輪廓提取算法，本研究對比分析了3種常用人臉輪廓提取算法，即監(jiān)督式梯度下降算法、局部二值算法和主動外觀模型算法，并分別介紹這3種算法在牛臉輪廓提取中的應用。

1.5.1 監(jiān)督式梯度下降算法

監(jiān)督式梯度下降算法（supervised descent method, SDM）是一種有監(jiān)督的迭代算法，該算法在人臉輪廓提取中應用廣泛[25]。SDM算法的主要思想是在訓練期間不斷學習一系列梯度下降方向和偏移量。訓練過程中，假定初始化的牛臉特征點是已知的，記作x?。SDM算法通過學習一系列梯度下降的方向和縮放的比例，生成迭代更新序列，即xk+1=xk+Δxk，xk為第k次迭代的特征向量，Δxk為第k次迭代形狀變化量。當牛臉訓練集的特征向量從xk收斂到x?時，該算法訓練結(jié)束。

SDM算法在測試過程中使用訓練出的梯度下降方法和偏移量進行迭代學習，具體過程如圖6所示。

圖6 監(jiān)督式梯度下降算法的測試流程Fig.6 Testing process of supervised descent method algorithm

SDM算法在特征提取過程中采用了尺度不變的特征（scale invariant feature transform, SIFT）[26-27]，因此該算法對光照變化具有較強的魯棒性。由于牛臉圖像是在復雜場景下拍攝的，存在大量的局部遮擋和大角度變化問題，使用SDM算法對牛臉輪廓進行提取可能會出現(xiàn)在局部遮擋情況下檢測率較差的情況，為此引入高效率的局部二值算法。

1.5.2 局部二值算法

局部二值算法（local binary features, LBF）是基于局部二值特征進行描述的，該算法的運行效率高，能夠?qū)崿F(xiàn)臉部輪廓的實時提取[28]。LBF算法采用特征點周圍的局部二值特征，建立如下形式的迭代格式

式中St表示關(guān)鍵點相對于整張牛臉圖像的位置，Rt表示一個回歸器，I表示輸入牛臉圖像，t表示級聯(lián)的層數(shù)。式（4）中Rt根據(jù)輸入圖像和形狀的位置信息，預測一個形變量ΔSt，并將它加到當前形狀上組成一個新的形狀。

LBF算法將隨機樹的輸出表示成一個二值特征，將所有隨機樹的二值特征按照先后順序連接起來組成一個高維特征向量，并將形變作為預測目標，對特征向量進行線性回歸，訓練得到一個線性回歸器迭代過程，即

式中ΔS?t表示第i次迭代時第t層的形變目標變量，Φt表

i示第t層的二值特征，Wt是第t層的線性回歸參數(shù)，λ是防止模型過擬合的抑制參數(shù)。

LBF算法采用多級級聯(lián)回歸方法，每一層上首先用隨機森林提取局部二值特征，然后利用局部二值特征做全局線性回歸，來預測形狀增量ΔS?it，最后根據(jù)預測結(jié)果，訓練全局性回歸模型。由于LBF特征高度稀疏，因此使用雙坐標下降方法來訓練線性回歸模型。當牛臉輪廓提取時，先用隨機森林求出它的LBF特征，然后使用線性回歸參數(shù)進行回歸得出下一層的形狀，這樣不斷迭代，可得到最終的牛臉輪廓。

LBF算法的優(yōu)勢在于算法的實現(xiàn)速度較快，但是在牛臉檢測時收斂位置精度欠佳，為此下面引入高精度的主動外觀模型算法。

1.5.3 主動外觀模型算法

主動外觀模型算法（fast active appearance model, FAAM）是基于形狀模型和紋理模型進行建模的。該算法采用多分辨率進行搜索，將形狀參數(shù)和紋理參數(shù)的信息建立關(guān)系，使算法具有較高的檢測精確度[29-30]。在牛臉輪廓的擬合階段，為了同時考慮形狀參數(shù)p和紋理擬合參數(shù)c，建立如下的擬合模型

式中W(x;p)是分段仿射變化函數(shù)，x是牛臉特征點向量，p為形狀參數(shù)，A0是平均外觀向量，I是牛臉檢測圖像，A為m個特征值組成的外觀向量，用于描述牛臉輪廓的主要形狀，m是采用主成分分析算法獲取的表示牛臉主要形狀的特征值個數(shù)，c為紋理參數(shù)。根據(jù)交替優(yōu)化思想，可將式（6）改寫為

式（7）是FAAM算法的優(yōu)化模型，分別采用同時反向合成算法（simultaneous inverse compositional，SIC）算法和快速前向算法進行求解[31]。其中，SIC優(yōu)化算法的核心思想是對A0+A? c進行泰勒展開，在算法迭代過程中同時考慮形狀參數(shù)p和紋理擬合參數(shù)c的影響，并將形狀參數(shù)p初始化為0，形狀參數(shù)變化量Δc和紋理參數(shù)變化量Δp求偏導數(shù)，并令偏導數(shù)為0，可獲得迭代計算公式。

快速前向算法則是使用標準的Lukas-Kanade算法線性化輸入牛臉圖像[32]，其迭代公式為

式中JI是牛臉檢測圖像I的雅克比矩陣，c為紋理參數(shù)，Δp為形狀參數(shù)變化量。式（8）在每次迭代計算形狀參數(shù)變化量Δp 時不需要優(yōu)化紋理參數(shù)c，因此極大的降低了算法的計算復雜度，此時FAAM算法的時間復雜度由原來的O((n+m)2?N) 降低為O(m?N)，其中，m和n在FAAM模型中分別表示紋理參數(shù)的數(shù)量和形狀參數(shù)的數(shù)量，m>>n，N表示牛臉圖像中像素數(shù)量。

2 試驗結(jié)果與分析

2.1 牛臉輪廓檢測效率分析

試驗數(shù)據(jù)集為人工標記的800幅牛臉數(shù)據(jù)集，每幅牛臉標記29個特征點。為驗證輪廓提取算法的時間效率，本研究采用十折交叉驗證的方法對算法進行測試[33]。

為了對輪廓提取算法的時間效率進行定量分析，本文使用牛臉輪廓提取的時間均值和標準差比較3種輪廓提取算法的時間性能。訓練階段的時間效率比較，SDM、LBF和FAAM 3種算法的訓練時間分別為(789.23±116.46)、(694.30±83.57)和(1 104.22±53.25) s。測試階段的時間效率對比，SDM、LBF和FAAM3種算法對每幅牛臉的檢測時間分別為(1.75±0.65)、(0.35±0.17)和(60.62±21.47) s。這是由于LBF使用隨機森林提取局部二值特征，采用多級聯(lián)回歸的方法，極大的減少了算法的復雜度，因此算法的時間效率較好。由于本研究中訓練的牛臉圖像分辨率較大，而FAAM使用多分辨率搜索，因此在特征點搜索階段的耗時較長，導致算法的時間效率較差。

2.2 牛臉輪廓檢測精度分析

為了進一步驗證輪廓提取算法的準確性，本文采用左右眼角坐標歸一化后點對點的歐式距離度量誤差[34]，對3種輪廓提取算法進行評估。

本研究對80幅牛臉正面圖像進行測試，計算出每幅牛臉圖像檢測得到的牛臉特征點與手工標記的特征點之間的誤差。SDM、LBF和FAAM的左右眼角歸一化后點對點的歐式距離度量平均誤差分別為0.018 8，0.024 5，0.018 4像素。

為了直觀的對比3種輪廓提取算法的準確性，本文采用盒圖進行試驗誤差的繪制。圖7顯示了左右眼角坐標歸一化后點對點的歐式距離度量誤差評估方法計算得到的均值、最大值、最小值誤差。

圖7 3種輪廓提取算法的誤差對比Fig.7 Error comparison of three contour extraction algorithms

從圖7的檢測精度對比圖中可以看出，SDM的誤差值較集中，LBF和FAAM的誤差值較分散，表明了SDM算法的穩(wěn)定性較高，而FAAM算法的誤差最大值和最小值較其他2種算法小，表明了FAAM的算法準確率最高。

為了對牛臉輪廓提取效果進行直觀的分析，圖8顯示了3種輪廓算法在牛臉大角度變化及舌頭局部遮擋的情況下輪廓提取效果圖，圖9顯示了非均勻光照下的牛臉輪廓提取結(jié)果。從圖8中可以看出在牛臉大角度變化及局部遮擋的情況下，LBF算法在嘴巴和眼睛輪廓的特征點檢測效果欠佳，SDM算法在舌頭遮擋附近的特征點的檢測效果較差，而FAAM算法的檢測效果較其他2種算法好。從圖9中的檢測結(jié)果中可以看出，SDM和LBF算法在眼睛位置的特征點檢測效果欠佳，F(xiàn)AAM算法的檢測效果較好。

FAAM算法采用多分辨率搜索，提高了算法的準確性。LBF算法使用特征點的局部二值特征進行特征提取，該算法對處理圖像的背景較為敏感，由于牛臉的背景較為復雜，因此該算法的準確率較低。綜上所述，F(xiàn)AAM算法在肉牛的真實養(yǎng)殖環(huán)境下牛臉輪廓提取中魯棒性較高，特別是在牛臉局部有遮擋的情況下算法的準確率較高，LBF算法的輪廓提取準確率最低，SDM算法準確率介于2者之間。

圖8 局部遮擋的牛臉輪廓提取結(jié)果Fig.8 Results of cattle face contour extraction under partial occlusion

圖9 非均勻光照下牛臉輪廓提取結(jié)果Fig.9 Results of cattle face contour extraction under non-uniform illumination

由于本文的牛臉試驗集是在復雜的場景下拍攝的，牛臉圖像可能受到局部遮擋、非均勻光照以及大角度偏移等噪聲干擾。圖10a是大角度變化和舌頭遮擋影響下的牛臉圖像，從檢測結(jié)果中可以看出眼睛輪廓和臉頰輪廓的檢測結(jié)果欠佳。圖10b是牛臉左側(cè)大角度偏移圖，從檢測的結(jié)果中可以看出臉頰輪廓和嘴巴輪廓檢測效果欠佳。圖10c是牛臉大角度偏移俯視圖，最終的檢測結(jié)果顯示臉頰輪廓的欠佳。因此在以后的研究中為了提高復雜環(huán)境下牛臉輪廓提取準確率，可引入形變參數(shù)對此進行改善。

圖10 輪廓提取精度欠佳的牛臉Fig.10 Cattle face with poor precision of contour extraction

3 結(jié) 論

1）定義了分離式牛臉輪廓模型，牛臉與人臉相比頰側(cè)較長，拍攝時易受到不同角度的影響，因此將牛臉分為上下2部分進行輪廓模型定義，有效抑制了角度變化造成的誤差。

2）基于AdaBoost檢測器訓練出的牛臉檢測器在800幅牛臉圖像中準確率達96%，滿足了復雜環(huán)境下牛臉位置檢測的需求。

3）對20頭肉牛共800幅牛臉正面圖的輪廓提取結(jié)果表明，F(xiàn)AAM輪廓提取的精度最高，其輪廓提取誤差為0.018 8像素，適于應用在輪廓提取精度要求較高的場合，而局部二值算法的運行效率最高，在分辨率為744像素（水平）×852像素（垂直）的牛臉圖像中輪廓提取時間為0.35 s，從而驗證了牛臉輪廓提取算法的有效性和可行性。

基于計算機視覺的牛臉輪廓提取方法具有耗時短，魯棒性高的優(yōu)點。當前主要存在問題是實時性欠佳，今后的研究中可以使用GPU，F(xiàn)PGA等硬件加速平臺來提高算法的實時性，進一步提高牛臉輪廓提取的實用性。

[1] 陳長喜，張宏福，王兆毅，等. 畜禽健康養(yǎng)殖預警體系研究與應用[J]. 農(nóng)業(yè)工程學報，2010，26(11)：215－220. Chen Changxi, Zhang Hongfu, Wang Zhaoyi, et al. Study and application of early warning architecture of animal health culture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(11): 215－220. (in Chinese with English abstract)

[2] 趙凱旋，何東健，王恩澤. 基于視頻分析的奶牛呼吸頻率與異常檢測[J]. 農(nóng)業(yè)機械學報，2014，45(10)：258－263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(10): 258－263. (in Chinese with English abstract)

[3] 何東健，劉冬，趙凱旋. 精準畜牧業(yè)中動物信息智能感知與行為檢測研究進展[J]. 農(nóng)業(yè)機械學報，2016，47(5)：231－244. He Dongjian, Liu Dong, Zhao Kaixuan. Review of perceiving animal information and behavior in precision livestock farming[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 231－244. (in Chinese with English abstract)

[4] 何東健，張海亮，寧紀鋒，等. 農(nóng)業(yè)自動化領域中計算機視覺技術(shù)的應用[J]. 農(nóng)業(yè)工程學報，2002，18(2)：171－175. He Dongjian, Zhang Hailiang, Ning Jifeng, et al. Application of computer vision technique to automatic production in agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2002, 18(2):171－175. (in Chinese with English abstract)

[5] 李志剛，賈策，王曉聞，等. 牛肉質(zhì)構(gòu)特性的近紅外光譜無損檢測[J]. 農(nóng)業(yè)工程學報，2016，32(16)：286－292. Li Zhigang, Jia Ce, Wang Xiaowen, et al. Nondestructive determination of beef textural properties by near infrared spectroscopy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(16): 286－292. (in Chinese with English abstract)

[6] 趙凱旋，何東健. 基于卷積神經(jīng)網(wǎng)絡的奶牛個體身份識別方法[J]. 農(nóng)業(yè)工程學報，2015，31(5)：181－187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networks[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181－187. (in Chinese with English abstract)

[7] 何東健，孟凡昌，趙凱旋，等. 基于視頻分析的犢?；拘袨樽R別[J]. 農(nóng)業(yè)機械學報，2016，47(9)：294－300. He Dongjian, Meng Fanchang, Zhao Kaixaun, et al. Recongnition of calf basic behaviors based on video analysis[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(9): 294－300. (in Chinese with English abstract)

[8] 劉冬，趙凱旋，何東健，等. 基于混合高斯模型的移動奶牛目標實時檢測[J]. 農(nóng)業(yè)機械學報，2016，47(5)：288－294. Liu Dong, Zhao Kaixuan, He Dongjian, et al. Real-time target detection for moving cows based on gaussian mixture model[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(5): 288－294. (in Chinese with English abstract)

[9] 趙凱旋，李國強，何東健. 基于機器學習的奶牛深度圖像身體區(qū)域精細分割方法[J]. 農(nóng)業(yè)機械學報，2017，48(4)：173－179. Zhao Kaixuan, Li Guoqiang, He Dongjian. Fine segment method of cows’body parts in depth images based on Machine learning[J].Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(4): 173－179. (in Chinese with English abstract)

[10] Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensing[J]. Applied Animal Behaviour Science, 2013, 146(1/2/34): 11－18.

[11] Xia M, Cai C. Cattle face recognition using sparse representation classifier[J]. ICIC Express Letters, Part B: Applications, 2012, 3(6): 1499－1505.

[12] Cai C, Li J. Cattle face recognition using local binary pattern descriptor[C]//Signal and Information Processing Association Summit and Conference, Taiwan, 2013: 1－4.

[13] 山世光，高文，陳熙霖. 基于紋理分布和變形模板的面部特征提取[J]. 軟件學報，2001，4(4)：570－577. Shan Shiguang, Gao Wen, Chen Xilin. Facial feature extraction based on facial texture distrbution and deformabale template[J]. Journal of Software, 2001, 4(4): 570－577. (in Chinese with English abstract)

[14] Cao X, Wei Y, Wen F, et al, Face alignment by explicit shape regression[J]. International Journal of Computer Vision, 2012, 107(2): 2887－2894.

[15] Yan S, Liu C, Li S Z, et al. Face alignment using texture-constrained active shape models[J]. Image and Vision Computing, 2003, 21(1): 69－75.

[16] Wu S, Kan M, He Z, et al. Funnel-structured cascade for multi-view face detection with alignment-awareness[J]. Neurocomputing, 2016, 221: 138－145.

[17] 黃福珍，蘇劍波. 基于Level Set方法的人臉輪廓提取與跟蹤[J]. 計算機學報，2003，26(4)：491－496. Huang Fuzhen, Su Jianbo. Face contour extraction and tracking using level sets[J]. Computer Journal of Computers, 2003, 26(4): 491－496. (in Chinese with English abstract)

[18] 侯云舒，付中華，張艷寧，等. 基于改進ASM的人臉特征點提取[J]. 計算機應用研究，2006，23(11)：255－257. Hou Yunshu, Fu Zhonghua, Zhang Yanning, et al. Face feature points extraction based on refined ASM[J]. Application Research of Computers, 2006, 23(11): 255－257. (in Chinese with English abstract)

[19] 張志剛，周明全，耿國華. 人臉關(guān)鍵特征點自動標定研究[J].計算機工程與應用，2007，43(21)：197－198. Zhang Zhigang, Zhou Mingquan, Geng Guohua．Research on automatic localization of facial key features[J]. Computer Engineering and Applications, 2007, 43(21): 197－198. (in Chinese with English abstract)

[20] Slice D E. Landmark coordinates aligned by procrustes analysis do not lie in kendall's shape space[J]. Systematic Biology, 2001, 50(1): 141－149.

[21] 熊盛武，宗欣露，朱國鋒. 改進的基于AdaBoost算法的人臉檢測方法[J]. 計算機應用研究，2007，24(11)：298－300. Xiong Shenwu, Zong Xinlu, Zhu Guofeng. Improved face detection method based on adaboost algorithm[J]. Application Research of Computers, 2007, 24(11): 298－300. (in Chinese with English abstract)

[22] Jones M, Viola P. Fast multi-view face detection[C]//Proc of Computer Vision and Pattern Recognition, Madison, 2003: 276－286.

[23] 魏冬生，李林青. Adaboost人臉檢測方法的改進[J]. 計算機應用，2006，26(3)：619－621. Wei Dongsheng, Li Linqing. Improvement of adaboost face detection[J]. Computer Applications, 2006, 26(3): 619－621. (in Chinese with English abstract)

[24] Hosang J, Benenson R, Dollar P, et al. What makes for effective detection proposals[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(4): 814－830.

[25] Xiong X, Fernando D L T. Supervised descent method and its applications to face alignment[C]//IEEE Conference on Computer Vision and Pattern Recognition, Portland, 2013: 532－539.

[26] Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image descriptors[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, 2004: 506－513.

[27] Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: A new approach to appearance-based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131－138.

[28] Ren S, Cao X, Wei Y, et al. Face alignment at 3000 FPS via regressing local binary features[J]. IEEE Transactions on Image Processing, 2014, 25(3): 1685－1692.

[29] 時華良，李維國. 基于局部與全局擬合的活動輪廓模型[J].計算機工程，2012，38(18)：203－206. Shi Hualiang, Li Weiguo. Active contour model based on local and global fitting[J]. Computer Engineering, 2012, 38(18): 203－206. (in Chinese with English abstract)

[30] Cootes T F, Edwards G J, Taylor C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(6): 681－685.

[31] Tzimiropoulos G, Pantic M. Optimization problems for fast AAM ftting in-the-wild[C]//IEEE International Conference on Computer Vision, Sydney, 2013: 593－600.

[32] Hoog A C B, Singh T, Singla P, et al. Evaluation of advanced lukas-kanade optical flow on thoracic 4D-CT[J]. Journal of Clinical Monitoring and Computing, 2013, 27(4): 433－441.

[33] 郭立力，趙春江. 十折交叉檢驗的支持向量機參數(shù)優(yōu)化算法[J]. 計算機工程與應用，2009，48(8)：55－57. Guo Lili, Zhao Chunjiang. Optimizing parameters of support vector machine’s model based on genetic algorithm[J]. Computer Engineering and Application, 2009, 48(8): 55－57. (in Chinese with English abstract)

[34] Ramanan D, Zhu X. Face detection, pose estimation, and landmark localization in the wild[C]//IEEE Conference on Computer Vision and Pattern Recognition, Providence, 2012: 2879－2886.

Algorithm and realization for cattle face contour extraction based on computer vision

Cai Cheng, Song Xiaoxiao, He Jinrong
(College of Engineering Information Engineering, Northwest A&F University, Yangling 712100, China)

Since cattle facial information is very rich, ranging from skin color, chewing conditions to health status, it is of great importance for cattle disease monitoring. This paper proposed a scheme on cattle facial automatic extraction to cope with the problems caused by different camera angles, varied illumination and partial occlusion. Three classical human facial contour extraction algorithms were employed in the study: Supervised descent method (SDM), local binary features (LBF) and fast active appearance model (FAAM). For contour extraction performance evaluation, 800 cattle facial images were collected from a cattle farm at Northwest A&F University. For each cattle face, 29 facial feature points were manually labeled. In order to cope with cattle face scale and rotation, all the labeled facial feature points were aligned to a normalized model. Compared with human face, cattle face height-width ratio was much larger. Based on the characteristics of cattle face, this study used the AdaBoost detector to train cattle face detector. Because cattle face was rather long, we cut the image to the size of 15×25 pixels. And the background was a negative sample with the same size. The detection rate of the cattle face detector for 800 cattle face images was 96%. Considering the characteristics of cattle face, we improved the algorithms and optimized our parameters. Also because of the long face, a split model was used to initialize the cattle face model. The first part included an eye contour with cheeks on both sides, and the second part included the nose and mouth contour. The results showed that the accuracy of the contour extraction was improved significantly. We then analyzed and compared the time efficiency and the accuracy of the 3 algorithms. Finally, the performance of each method was evaluated by the Euclidean errors normalized by the left and right corners of the eyes and their corresponding computational time costs. The average computational costs of the 3 contour information extraction methods were 1.75, 0.35, and 60.62 s respectively. The average pairwise Euclidean errors normalized by the left and right corners of the eyes were 0.018 8, 0.024 5, and 0.018 4 pixel. The experiment verified the feasibility and practicability of the facial contour extraction methods. Results showed that the FAAM algorithm achieved the highest accuracy with the minimal alignment errors while the LBF algorithm was the most efficient. Therefore, in the process of facial contour extraction, we can choose proper algorithm in varied situation which requires different accuracy and efficiency. The contour extraction algorithm can effectively extract cattle facial contour information, which provides a theoretical basis for the further analysis of cattle facial expressions. As this is the first time that the contour extraction algorithm is applied to cattle face analysis, the present study serves as a good guide for other researches, which provides feasible data for computer vision based cattle disease analysis and a comprehensive guideline on cattle facial analysis under different circumstances in intelligent farm.

computer vision; algorithms; models; cattle face; contour extraction; feature point calibration; image feature

10.11975/j.issn.1002-6819.2017.11.022

TP391.41

A

1002-6819(2017)-11-0171-07

蔡 騁，宋肖肖，何進榮. 基于計算機視覺的牛臉輪廓提取算法及實現(xiàn)[J]. 農(nóng)業(yè)工程學報，2017，33(11)：171－177.

10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

Cai Cheng, Song Xiaoxiao, He Jinrong. Algorithm and realization for cattle face contour extraction based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 171－177. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2017.11.022 http://www.tcsae.org

2017-01-07

2017-05-10

國家自然科學基金（61473235）?大型動物行為模型與高級行為智能視頻感知新方法研究

蔡 騁，男，山東濰坊人，教授，博士，研究方向為機器學習與模式識別。楊凌 西北農(nóng)林科技大學信息工程學院，712100。

Email：chengcai@nwsuaf.edu.cn