許貝貝, 王文生,2*, 郭雷風, 陳桂鵬
(1.中國農業(yè)科學院農業(yè)信息研究所, 北京 100086; 2.農業(yè)農村部信息中心, 北京 100125; 3.江西省農業(yè)科學院農業(yè)經濟與信息研究所, 南昌 330200)
畜牧業(yè)作為農業(yè)農村經濟的主導產業(yè),已成為保障城鄉(xiāng)居民肉、蛋、奶消費和動物蛋白攝取的基礎性產業(yè),特別是近年來,大力發(fā)展畜牧業(yè)又成為很多西部地區(qū)和少數民族聚居較多的省區(qū)扶貧攻堅新舉措。奶牛和肉牛養(yǎng)殖是整個農業(yè)組成的重要部分,在農業(yè)經濟體系中占據重要地位。當前養(yǎng)殖業(yè)中,瘋牛病、口蹄疫等具有強烈傳染性疾病的出現對奶制品和畜產品的質量安全有極大的影響,因此對個體進行精細化養(yǎng)殖是現代養(yǎng)殖的主要研究方向。隨著畜牧養(yǎng)殖業(yè)向規(guī)?;⑿畔⒒?、精細化的方向發(fā)展,集約化牛場將漸漸取代散戶養(yǎng)殖等小規(guī)模的養(yǎng)殖模式。在大規(guī)?;鲋幸獙崿F對牛個體自動化、信息化的日常精細化管理,實現對每頭牛的健康狀況追蹤以及奶源和肉制品追溯,必須實現質量追溯體系的搭建與完善,而關鍵又在于對牛個體身份的識別。
因此,快速準確的牛個體識別不僅是奶制品和肉制品溯源的基礎,也是奶牛生產性能記錄體系和遺傳改良體系最重要的組成部分,如選種選配和母牛產犢等生產管理都需要先快速識別個體身份。此外,肉牛保險政策作為我國政策性農業(yè)保險制度的重要組成部分,目前已成為各級政府支持肉牛發(fā)展和保障養(yǎng)殖利益的重要手段,個體身份的準確識別將促進肉牛保險的順利開展,解決理賠肉牛與承保肉牛不能完全匹配的問題,提高核保理賠的準確率。因此,實施牛個體身份識別,結合可穿戴式設備等采集其他生理信息建立全產業(yè)鏈質量追溯體系,將大幅提高勞動生產率、提高奶制品和肉制品的產量和質量,對改善消費者健康水平具有非常重要的意義。同時,也對加強奶牛育種生產、有效的疾病防控和肉牛保險虛假索賠提供重要的信息,從而促進畜牧飼養(yǎng)產業(yè)健康發(fā)展。
傳統(tǒng)的牛個體識別通過物理方法標記身體某部位或者通過嵌入微芯片的標記方法,但無法防止欺詐行為包括標記被復制和設備被盜竊等,動物福利也較差。近年來,基于視覺生物特征的非接觸式識別已成為動物個體識別的新發(fā)展趨勢。我國在非接觸式牛個體身份識別研究方面剛起步,而國外在該領域已取得較大進步。因此,本文立足于國內外研究現狀,分別從不同識別部位綜述其研究進展,重點關注牛臉識別,探討目前牛臉識別面臨的挑戰(zhàn),在此基礎上,對深度學習在牛個體身份識別研究中的應用進行了設計與構思,以期為國內研究者開展非接觸式牛個體身份識別提供參考。
牛個體身份識別方法主要歸納為基于接觸式的識別技術和基于非接觸式的識別技術,如圖1所示。基于接觸式的識別包括永久性識別(耳切口[2]、耳紋[3]、熱鐵烙印[4]、冷凍打號[5])、臨時識別(耳標識別技術[6])以及電子方法(嵌入微芯片的標記方法[7-9])。耳標標記是澳大利亞中小型農場最廣泛使用的個體識別方法,耳標由金屬或塑料部件構成,同時打上數字進行標記。但永久性識別和耳標識別的標記方案都很容易被復制或盜竊,在身份識別方面不可靠[6]。嵌入微芯片的標記方法通常是在耳標或者其他穿戴式設備中利用嵌入式無線射頻識別 (radio frequency identification,RFID)技術,但局限于監(jiān)測的數量和成本以及監(jiān)測距離,且佩戴的設備可能會丟失或損壞[8-9]。因此,上述基于接觸式識別技術無法為牛只有效的身份識別提供保障,還會造成應激反應,影響動物福利,不適宜在現代化規(guī)模養(yǎng)殖中繼續(xù)采用,具體對比見表1。而基于生物識別的技術主要利用計算機視覺技術和智能監(jiān)控設備,根據牛只的生理特征如面部圖像、形態(tài)模式及其視覺特征等,利用圖像處理和分析技術構建不同個體身份信息的數據庫,從而可為牛只身份識別提供高效的方法。
圖1 牛個體身份識別方法[1]Fig.1 Identification methods of cattle[1]
表1 接觸式識別方法對比Table 1 Comparison of contact identification methods
傳統(tǒng)的牛個體身份識別需借助外部工具對身體某部位進行標記或者佩戴標記裝置,識別方法具有侵入性,不僅嚴重影響日常行為,還可能引發(fā)安全隱患[10]。而基于生物特征的非接觸式識別可便捷快速地使用相機等拍照設備獲得牛的相關圖像數據進行識別分析,如,分別利用牛個體中獨特的視網膜、虹膜、類似于人指紋的牛鼻紋以及牛臉圖像進行身份識別。非接觸識別利用牛獨特而又穩(wěn)定不變的生物特征,即不易被復制或盜竊、采取低成本、容易操作的方式進行識別,不僅可以提高動物福利,還可以幫助建立更可靠、更精確、更實用的識別系統(tǒng),以提高牛場精細化管理水平并降低成本,有效減少對牛的刺激和物理傷害[11]。非接觸識別的不同方法對比見表2。
Simon等[12]于1935年發(fā)現人眼具有獨特的血管模式,每只眼睛都有不同的血管,即視網膜血管模式在人類中是獨一無二的。1978年,Huntzinger等[13]在人類雙胞胎中研究了視網膜脈管系統(tǒng),證實了這一發(fā)現。因此,視網膜成像自20世紀70年代以來一直被美國海軍用作安全通道的手段。而視網膜圖案也幾乎存在于所有物種中,因此也被看作是獨特的適合用于生物個體識別的標志[14-16]。Whittier等[17]通過人工觀察對比視網膜血管的位置和數量等特征來確定牛個體身份,如圖2所示。Rusk等[14]利用Optibrand 公司為捕獲牲畜視網膜圖像設計的OptiReader設備捕獲牛和羊的視網膜圖像,邀請志愿者比較兩幅圖像的差異進行識別,結果表明,正確識別牛的概率可達96.2%,且無需聘請專業(yè)人員進行驗證。基于視網膜圖案識別的缺點是如果因眼睛角膜受傷,識別將受到極大影響。
類似于人類虹膜,牛的虹膜也包含斑點、細絲、冠狀、條紋、隱窩等形狀特征,且組合方式自出生后便終生不會改變[18],因此,可作為個體鑒別的重要特征。眼科科學家Flom等[19]在1987年首次提出利用虹膜自動識別身份,隨后,1991年美國洛斯阿莫斯國家實驗室Johnson[20]第一次開發(fā)了虹膜身份識別系統(tǒng)。牛眼虹膜識別的核心是虹膜定位和特征提取。Daugman[21]在1993年首先提出使用虹膜結合二維Gabor濾波器以調制虹膜相位信息,便于構建虹膜特征。有學者也提出使用SIFT算法進行特征表示構建基于虹膜模式的牛個體識別[22]。特征表示通常會隨著圖像的屬性如強度、顏色和紋理特征改變,但研究中虹膜識別的局部特征是在圖像多個點處計算的,因此不受圖像比例和旋轉的影響。
表2 非接觸式識別方法對比Table 2 Comparison of non-contact identification methods
圖2 匹配的兩張牛視網膜圖像[17]Fig.2 Two retina images of cattle to be matched[17]
近幾年,有研究利用二維復小波變換特征(2D-CWT)方法研究牛的虹膜生物識別,對無接觸式手持設備收集的家畜虹膜圖像實驗,身份識別準確度為98.33%[23]。孔強等[24]運用改進的Sobel算子并引入二次B樣條曲線算法完成牛眼虹膜的精確定位;盛大瑋[18]應用最小二乘原理定位牛眼虹膜,通過Gabor濾波抽取特征,并按改進的歐氏距離的匹配準則進行對比;李超等[25]設計了一種牛眼虹膜快速定位方法,即對內邊界同時采用灰度均值法粗定位與“三點定圓”精定位相結合,對外邊界逐點掃描分層圓環(huán)算法來精確擬合;魏征[26]分別使用改進的線性判別分析算法2DLP-LDA即引入了LPP算法和高斯權重函數,以及虛擬圖像和多流形判別分析的單樣本圖像識別算法(VI-MDA)用于特征表示和識別。
牛鼻子區(qū)域有豐富濃郁的紋理特征,包含鼻子點的山脊以及表面的珠子特征,珠子圖像特征是一組突出的紋理特征模式,由非均勻圖像模式組成,脊部特征是均勻圖像圖案,類似于人類指紋圖像的脊(圖3)[27]。利用鼻印識別牛的身份最早在1922年被Petersen[28]首次發(fā)表,具體是將墨水噴灑到鼻子上并印在紙上;Barry等[29]研究指出,牛個體的差異可關注其鼻子區(qū)域,個體的差異類似于人類指紋的差異。通過掃描印在紙張上的牛鼻印圖像,Minagawa等[30]應用濾波技術、二進制轉換和形態(tài)學方法對牛鼻子區(qū)域進行特征提取和功能關鍵點匹配。
圖3 牛鼻印圖像[27]Fig.3 Muzzleprint images of cattle[27]
Barry等[29]提出基于鼻印圖像特征值的歐幾里得距離分類(euclidean distance classification,EDC)技術和基于主成分分析(principal components analysis,PCA)的識別,但特征匹配時,出現嚴重的非惡意匹配;Awad等[31]針對牛鼻印圖像提出了一種改善性能的方法,使用尺度不變特征變換(scale Invariant feature transformation,SIFT)方法與隨機樣本共識(random sample consensus,RANSAC)耦合分別用于特征關鍵點檢測及特征分類,同時去除異常值,增強識別的魯棒性;而Tharwat等[32]嘗試使用基于Gabor濾波器的特征提取方法,并比較不同內核(高斯、多項式、線性和Sigmoid)的支持向量機分類器(support vector machine,SVM),結果表明,基于高斯的SVM分類器識別精度達到99.5%。此外,使用基于紋理和諸如加速魯棒特征(speeded up robust features,SURF)之類的表述方法描述牛鼻子特征也已被用于牛的身份識別[33]。Kumar等[34]對采集的鼻印圖像采用基于混合紋理特征提取的方法,對比使用K近鄰算法(K-nearest neighbors,K-NN)、模糊K近鄰算法(fuzzy K-nearest neighbors, FK-NN)、決策樹(desion tree,DT)、概率神經網絡(probabilistic neural network,PNN)、徑向基函數(radial basis function, RBF)、多層感知機(multilayer perceptron, MLP)和樸素貝葉斯模型(naive Bayesian model,NBM)對提取的特征進行分類,K-NN識別準確率可達96.74%。Kusakunniran等[35]融合紋理特征提取的Gabor特征和局部二值模式(local binary pattern,LBP)直方圖表示牛鼻印特征,支持向量機用以分類。Kusakunniran等[36]還提出結合鼻印和牛臉多重特征的一種多模態(tài)分類器,使用基于群稀疏表示的分類技術(group sparse representation classification,GSRC)對牛鼻印圖像進行識別。GSRC是為多模態(tài)多特征的面部和鼻印圖像提供更好的特征表示,并且通過求解組稀疏性標準來確定測試鼻印圖像的類別。
現有人工設計的紋理特征提取即基于外觀的特征表示,該方法無法滿足在無約束環(huán)境中實現牛身份識別。近年來,深度學習作為計算機視覺的新興領域,已成功用于檢測和表示物種和個體動物的表型外觀和視覺生物特征。Kumar等[37]結合卷積神經網絡(convolutional neural networks,CNN)和深度信念網絡(deep belief networks,DBN)方法來學習牛鼻印紋理特征的提取,引入疊加去噪自動編碼器(stacked denoising auto encoder,SDAE)框架對肉牛個體鼻子區(qū)域特征進行編碼和解碼,便于更好的特征表示。為了有更好的分類效果,采用了Adaboost算法對提取特征進行從弱分類器到強分類器的迭代。當前已有的基于鼻印模式的牛個體識別方法總結如表3所示。
牛臉是個體最直接的外部可視信息,面部特征的差異性使牛臉得以作為個體身份的標識。2005年Kim等[46]為調查圖像處理技術是否可用于無花紋特征的牛個體識別,采集了12頭日本和牛進食時的圖像數據,計算其特征參數,輸入到聯(lián)想記憶神經網絡中進行學習,并變換圖像亮度、扭曲度、噪聲以及旋轉角度以驗證算法的健壯性。該方法證明使用牛臉圖像識別牛個體是可行的,但該算法識別耗時長,不適用于運動中牛只的實時識別,可用于靜止牛只的識別。Xia等[47]提出一種基于局部二值模式(LBP)紋理特征的臉部描述模型,并使用主成分分析(PCA)結合稀疏編碼分類(sparse representation classifier,SRC)對肉牛臉部圖像進行識別。但識別時對采集的肉牛臉部圖像位置和角度要求很高,因此,很難實現自動化識別。Cai等[48]基于人臉識別方法提出了基于 LBP 改進后的牛臉模型,且由于光照變化、局部遮擋以及圖像尺寸偏差的影響,使用稀疏和低秩分解對牛臉測試圖像進行校準。該模型針對灰度牛臉圖像,因此無法在真實的肉牛養(yǎng)殖環(huán)境中應用。這類方法前期工作量也較大,且只關注牛的正臉,在實際應用中自動采集數據較難實現。有學者將各種特征提取、特征降維方法與分類器模型結合,包括PCA、局部判別分析(LDA)分析對比了這些傳統(tǒng)方法在牛臉識別應用中的結果[49-51]。
表3 基于鼻印模式的牛個體識別方法對比Table 3 Comparison of cattle identification methods based on muzzleprint pattern
國內最近幾年才開始進行牛臉識別研究。蔡騁等[52]和宋肖肖[53]針對真實生產環(huán)境下,牛場視頻監(jiān)控圖像中存在的拍攝角度差異大、光照不均勻、牛臉局部有遮擋等問題,首先對采集的牛臉正面圖像采用級聯(lián)式檢測器進行定位,利用監(jiān)督式梯度下降算法(supervised descent method,SDM)、局部二值算法(local binary feature, LBF)和主動外觀模型算法(fast active appearance model, FAAM)3種算法提取定位到的牛臉輪廓信息,驗證了牛臉特征點檢測的可行性和實用性。呂昌偉[54]以荷斯坦奶牛為研究對象,針對牛臉識別提出增量識別框架,提出了一種增量識別算法框架,充分利用卷積神經網絡特征可判別性好、遷移能力強,稀疏表示分類器矩陣運算速度快、追加特征容易等優(yōu)點,實現了復雜環(huán)境下牛臉實時準確增量識別的目的。姚禮垚等[55]針對傳統(tǒng)檢測方法在牛臉檢測應用方面存在的檢測設備易損、檢測結果不理想等問題,對比分析了目前有代表性的幾種基于深度網絡模型目標檢測方法,分別用于牛臉識別,結果表明,對不同角度和不同光照下的牛臉檢測準確率較高,說明檢測模型能很好地適應角度和光照變化,但是對于遮擋和多牛臉信息的檢測效果明顯下降。茍先太等[56]針對多牛檢測場景精度的需求,使用Inception v2替換ZF網絡作為Faster R-CNN的基礎網絡,并且對非極大值抑制(non-maximum suppression, NMS)進行相應優(yōu)化,牛臉識別模型召回率大幅提升。
基于非接觸式的牛個體身份識別使用計算機視覺和模式識別方法來提取生物特征用于識別個體身份,盡管在動物福利、準確性和實用性等方面有很大優(yōu)勢,但也面臨一些難題。如牛視網膜血管識別方法,由于數據收集操作有較高要求,尤其是捕獲有眼疾的視網膜圖像,導致在實際應用時可接受性差,圖像分析也較為麻煩。虹膜識別時,如果被牛眼瞼或睫毛遮擋將會影響識別精度,且虹膜的某些紋理等外觀可能隨著疾病和藥物而變化。如果牛鼻子在日?;顒踊蛘唢嬍硶r有濕潤臟物堆積,或者未能保持固定姿態(tài)導致圖像不清,均會極大降低識別效果。因此,從應用角度,與虹膜、指紋、視網膜、鼻印等生物識別技術相比,牛臉識別更符合習慣,具有自然、直觀、非接觸的優(yōu)點,不需要牛固定姿態(tài)等的配合;從技術角度,與人臉識別類似,牛臉識別不但在抗干擾性和接受性方面有較大的優(yōu)勢,還具有較好的普遍性、唯一性和擴展性。正因為這些特點,牛臉識別更易于被牧場管理者或者農產品保險企業(yè)接受,具有廣泛的應用前景和潛在價值。
自20世紀60年代起,基于生物特征中的人臉識別就一直是學術領域探討和研究的熱點問題,引起了很多生物學家以及計算機視覺與圖像處理領域研究人員的興趣。目前,人臉檢測和識別已趨于成熟。由于人臉有結構化特征,五官部位的位置也較為穩(wěn)定,便于識別。而牛臉有毛發(fā)和紋理變化等干擾因素,且圖像采集更不可控,無法讓牛自覺地將臉部較長時間穩(wěn)定地靜止在攝像頭前。特別是在自然和野外的環(huán)境下,光照條件的變化、視角和距離的不同、復雜的背景、牛的運動等因素使圖像采集更加困難。不理想的臉部圖像會對模型訓練和識別有負面影響。因此,相較于人臉識別,由于牛臉特征的復雜性以及各種環(huán)境因素的影響,當前牛臉識別未能在實際中普及應用。
因此,需要開展面向牛場真實養(yǎng)殖環(huán)境下個體身份識別的研究,建立同時適用牛場白天和晚上以及運動狀態(tài)場景,拍攝像素差別大、光照不均勻、姿態(tài)多樣、面部局部有遮擋等的牛臉識別模型,解決復雜背景下牛個體識別精度低以及動物福利差的問題,實現準確實時地獲取牛個體信息,為畜產品質量追溯、疾病防控、驗證農業(yè)保險假保險索賠以及奶牛育種監(jiān)測和品種生產等提供重要的技術支撐,提高奶牛養(yǎng)殖的經濟效益和生產效率,增強我國畜產品的核心競爭力。
基于國內外奶牛養(yǎng)殖個體身份研究發(fā)展現狀,針對基于生物特征的牛臉識別,結合計算機視覺領域深度學習算法,參考人臉識別的最新研究進展,把握當前研究重點方法以及未來發(fā)展趨勢。借鑒人臉識別模型,根據牛場實際養(yǎng)殖環(huán)境下牛臉識別遇到的瓶頸,在現有模型的基礎上,采用多任務學習和改進深度網絡結構來提高基準點定位準確性,同時引入稀疏跨模態(tài)度量集成學習進行牛臉特征度量,以適用非限定條件下的多模態(tài)牛臉識別,具體的模型設計見圖4。
首先,針對牛場養(yǎng)殖真實環(huán)境下,由于姿態(tài)、光照、面部遮擋以及不同拍攝設備等干擾,致使牛臉識別模型的魯棒性較差,需要構建多模態(tài)(不同的圖像傳感器以及不同的圖像分辨率)和無約束條件(存在姿態(tài)、光照、遮擋等變化)的牛臉數據。分別在夜間和白天采集近紅外和可見光的牛臉圖像,采集不同分辨率、不同姿態(tài)、有無面部遮擋以及不同光照的圖像。但需要通過牛臉切割、數據規(guī)整、平滑去噪和姿態(tài)矯正進行預處理,用于克服冗余信息的干擾,減弱噪聲的影響,降低牛臉數據集的類內差異。
其次,牛臉識別的過程主要包括牛臉定位、牛臉特征提取及牛臉分類。牛臉定位和特征提取是牛臉識別中的核心模塊,需要從解決跨模態(tài)和增加對復雜環(huán)境(姿態(tài)、光照、遮擋等)的魯棒性角度進行算法模型的設計。
①在實際生產環(huán)境中無約束牛臉基準點定位是牛臉識別的重要處理步驟,即通過定位牛臉基準點將牛臉圖像變換至標準姿態(tài),以降低識別難度。稀疏牛臉基準點定位是指給定任意牛臉圖像,定位兩個眼睛中心、兩個鼻口和兩邊嘴角這六點的一類問題。因為這六個點鄰域的特征豐富,因此容易精確可靠的定位。另外,基于六點建立的變換也能較好地對齊牛臉,稀疏基準點定位也是人臉識別系統(tǒng)中常采用的關鍵環(huán)節(jié)[57-58]。然而,無約束牛臉基準點定位是需要提取牛臉的本質特征用于基準點定位,但易受到表情和姿態(tài)等的干擾,一定程度上增加了準確定位的難度。深度卷積神經網絡(deep convolutional neural network,DCNN)[59]通過多個隱層的網絡結構能有效提取圖像的高層語義特征,并且已經在人臉識別等多個計算機視覺領域應用[60-62]。以非特定牛的無約束牛臉基準點定位為研究對象,同時針對DCNN級聯(lián)框架訓練耗時、模型復雜的問題,采用修正線性單元、填充卷積層和局部響應歸一化等新的模型結構元素構造深度模型應用于稀疏牛臉基準點定位問題。此外,在同一數據增強程序的基礎上選用多模型平均方法,對各個DCNN以直接回歸方式的訓練,且運用多層級組合方式提升定位巧度。
圖4 基于深度學習的牛臉識別模型Fig.4 Model of cattle face recognition based on deep learning
②在特征提取時,針對帶有模態(tài)干擾(有待比對識別的牛臉來自不同的模態(tài))的牛臉特征表示,學習距離度量[63]消除模態(tài)的干擾,使得不同模態(tài)牛臉的同類與不同類距離可分。此外,針對遮擋、光照等干擾,創(chuàng)建稀疏跨模態(tài)度量集成學習方法,不僅可消除模態(tài)的干擾,還可進行更具判別性的特征選擇(消除遮擋、光照變化等干擾)。主要基于弱的跨模態(tài)距離度量學習方法,進行基于組的稀疏特征選擇來消除牛臉特征中的噪聲特征(對應于遮擋、光照變化等),通過集成學習的方法來學習一系列可相互補充的弱距離度量,并將它們集成為一個強距離度量可處理多種噪聲對跨模態(tài)特征提取時的干擾。
我國畜牧業(yè)的發(fā)展依次經歷了“家庭散養(yǎng)、自給自足”為主、市場供給為輔的傳統(tǒng)畜牧1.0時代、“搭棚圈地、作坊式粗放養(yǎng)殖”的畜牧2.0時代、“企業(yè)規(guī)?;?、現代化、信息化養(yǎng)殖”的畜牧3.0時代。然而在當前傳統(tǒng)向現代畜牧業(yè)轉型的重要時期,隨著經濟社會發(fā)展與轉型,制約畜牧業(yè)發(fā)展的內外部因素也日益復雜多樣,如缺乏勞動力、牧場管理困難以及成本高等問題。未來,我國畜牧業(yè)若想實現既快又好的可持續(xù)發(fā)展,現代信息技術必將是重要的推動力。推動信息技術尤其是人工智能在農業(yè)的應用,大力發(fā)展智慧畜牧養(yǎng)殖,是加快推進農業(yè)現代化、全面建成小康社會的迫切需要。未來畜牧4.0必將是融合互聯(lián)網的“高度智能化、生態(tài)化”的精準養(yǎng)殖管理。
利用牛臉識別技術確定牛個體的獨特身份是計算機視覺、模式識別和和認知科學前沿領域實際應用的探索嘗試。緊密結合計算機視覺領域深度學習算法和人臉識別的最新研究成果,并在此基礎上研究發(fā)展新的適用于牛場養(yǎng)殖非接觸、非限定條件下的多模態(tài)牛臉識別算法模型,滿足現代畜牧業(yè)精準、健康、福利養(yǎng)殖的需求,進而為復雜背景下奶牛個體識別提供理論和算法支撐,提升奶牛養(yǎng)殖精細化管理的智能化水平。