基于EfficientNet與點(diǎn)云凸包特征的奶牛體況自動(dòng)評(píng)分

趙凱旋 劉曉航 姬江濤

(河南科技大學(xué)農(nóng)業(yè)裝備工程學(xué)院，洛陽 471003)

0 引言

奶牛產(chǎn)犢前儲(chǔ)備一定的脂肪是其安全渡過能量負(fù)平衡期的重要保證，對(duì)其體脂儲(chǔ)量進(jìn)行評(píng)測(cè)是保證圍產(chǎn)期奶牛營(yíng)養(yǎng)與健康的重要前提[1]。體況評(píng)分(Body condition score, BCS)是指對(duì)動(dòng)物脂肪保有量進(jìn)行定量評(píng)價(jià)，已成為衡量動(dòng)物能量?jī)?chǔ)備、健康狀況和飼喂管理水平的有效工具[2-3]。體況評(píng)分對(duì)奶牛產(chǎn)前和產(chǎn)后管理非常重要，體況異常和突變是奶牛代謝紊亂的主要表征之一[4-5]。定期評(píng)估奶牛體況是預(yù)防代謝疾病、保障個(gè)體福利、增加經(jīng)濟(jì)效益的有效途徑。

目前，奶牛體況評(píng)分主要采取人工方法，根據(jù)一定的規(guī)則，對(duì)腰、骶骨等關(guān)鍵區(qū)域進(jìn)行肉眼觀察，主觀評(píng)估奶牛的脂肪富積程度[6-7]。受人工主觀性影響，評(píng)分結(jié)果的重復(fù)性和可靠性較低，評(píng)定過程耗時(shí)、費(fèi)力，并嚴(yán)重依賴于評(píng)估人員的經(jīng)驗(yàn)。人工體況評(píng)分方法難以滿足規(guī)模化養(yǎng)殖對(duì)奶牛個(gè)體營(yíng)養(yǎng)狀態(tài)實(shí)時(shí)監(jiān)測(cè)的需求[8-10]，亟需一種長(zhǎng)期、連續(xù)對(duì)奶牛體況進(jìn)行精準(zhǔn)評(píng)分的自動(dòng)化系統(tǒng)。

機(jī)器視覺技術(shù)應(yīng)用于體況評(píng)分的研究已逐漸成為研究熱點(diǎn)，這對(duì)于降低主觀性、提高評(píng)估效率具有重要意義[6,11]。使用機(jī)器視覺進(jìn)行體況評(píng)分反演時(shí)通?；凇疤卣魈崛?模型分析”的評(píng)分方法[12-15]，即從低成本2D相機(jī)拍攝的RGB圖像中提取與體況相關(guān)的體表幾何特征(輪廓、形狀、曲線等)，建立特征值與人工評(píng)分值回歸關(guān)系，以此實(shí)現(xiàn)奶牛體況的評(píng)估，這種方法能夠達(dá)到0.5步長(zhǎng)內(nèi)96.7%的體況識(shí)別率[15]。通過RGB圖像雖然初步實(shí)現(xiàn)了體況的自動(dòng)評(píng)價(jià)，但提取的體表幾何特征主要為相關(guān)性較弱的間接特征。并且受環(huán)境對(duì)圖像采集質(zhì)量的影響，系統(tǒng)的自動(dòng)化程度較低，且在體況評(píng)分實(shí)時(shí)性、識(shí)別準(zhǔn)確率及可靠性方面難以滿足實(shí)際養(yǎng)殖的管理需求。

隨著三維機(jī)器視覺技術(shù)的發(fā)展，深度圖像包含更多與動(dòng)物體況直接相關(guān)的特征，且在降低評(píng)分主觀性、提高評(píng)估效率與精度、加速系統(tǒng)商業(yè)化等方面表現(xiàn)出極大潛力[16-17]。但深度圖像中所含奶牛三維結(jié)構(gòu)特征較為復(fù)雜，傳統(tǒng)手工構(gòu)建的特征提取器存在有效性缺失、魯棒性差、過程繁瑣等問題[18]。為此研究者提出采用深度學(xué)習(xí)技術(shù)替代特征構(gòu)建與提取，從而實(shí)現(xiàn)直接由圖像到體況得分的體況評(píng)估方法，大大提高了體況評(píng)估的效率與精度，且0.25步長(zhǎng)內(nèi)評(píng)分準(zhǔn)確率可達(dá)到82%[19-21]。深度學(xué)習(xí)與3D技術(shù)的使用使自動(dòng)體況評(píng)分精度有了進(jìn)一步提升，但在實(shí)際生產(chǎn)中，為滿足奶牛不同生長(zhǎng)階段的營(yíng)養(yǎng)管理需求，奶牛體況值與理想值差距應(yīng)始終維持在0.25步長(zhǎng)內(nèi)[6,12]，現(xiàn)有自動(dòng)評(píng)分系統(tǒng)的精度與實(shí)際養(yǎng)殖管理標(biāo)準(zhǔn)仍具有一定差距。

為進(jìn)一步提高奶牛體況自動(dòng)評(píng)分精度，本文根據(jù)采集的奶牛背部深度圖像，提出一種基于EfficientNet網(wǎng)絡(luò)和凸包特征的體況自動(dòng)評(píng)分方法。首先對(duì)獲取的奶牛背部深度圖像進(jìn)行預(yù)處理，提取含有主要體況信息的奶牛后軀背部點(diǎn)云數(shù)據(jù)；其次通過對(duì)點(diǎn)云進(jìn)行體素化及凸包化處理獲取其凸包特征圖像；最后構(gòu)建EfficientNet模型，對(duì)特征圖像進(jìn)行分類，以期實(shí)現(xiàn)養(yǎng)殖環(huán)境下奶牛個(gè)體體況的精準(zhǔn)高效評(píng)分。

1 材料與方法

1.1 圖像采集系統(tǒng)

研究數(shù)據(jù)采集于美國(guó)肯塔基大學(xué)研究奶牛場(chǎng)。研究對(duì)象包括77頭處于泌乳期的荷斯坦奶牛，每天05:00和16:00進(jìn)行擠奶，擠奶完成后經(jīng)由室內(nèi)窄道返回牛舍。窄道左右兩側(cè)墻壁相距1.03 m，能夠有效限制奶牛的活動(dòng)幅度，便于圖像采集與處理。

圖像采集系統(tǒng)[6]如圖1所示，主要由3D攝像機(jī)、補(bǔ)光燈、光線傳感器及安裝底座組成。其中3D攝像機(jī)(PrimeSense Carmine 1.08，Tel Aviv, 以色列)用來捕獲奶牛經(jīng)窄道返回牛舍時(shí)的背部深度圖像，補(bǔ)光燈(60 W泛光照明燈)用于拍攝RGB圖像時(shí)的照明與補(bǔ)光。采集系統(tǒng)安裝在距離混凝土地面高3.05 m的天花板上，其視野能夠完全覆蓋窄道寬度。攝像機(jī)同時(shí)獲取彩色和深度圖像，并通過USB延長(zhǎng)線連接牛場(chǎng)辦公室計(jì)算機(jī)，深度圖像的分辨率為320像素×240像素，幀率為30 f/s。圖像處理平臺(tái)處理器為Intel i5-8400，主頻為2.80 GHz，內(nèi)存容量為8 GB，操作系統(tǒng)為Windows 10，算法開發(fā)平臺(tái)為Matlab 2020b。

設(shè)計(jì)的圖像采集與控制軟件，用以檢測(cè)場(chǎng)景中是否出現(xiàn)奶牛，并控制攝像機(jī)進(jìn)行圖像采集。如圖2所示[20]，奶牛由左側(cè)進(jìn)入窄道后，會(huì)依次觸發(fā)4條檢測(cè)線。當(dāng)僅觸發(fā)檢測(cè)線②、③、④時(shí)，說明奶牛背部區(qū)域完整地呈現(xiàn)在采集視野中，此時(shí)攝像機(jī)同時(shí)拍攝彩色圖像和深度圖像。

1.2 數(shù)據(jù)采集

數(shù)據(jù)采集于2014年4—6月，泌乳期奶牛每天在擠奶后采集2次數(shù)據(jù)。在試驗(yàn)數(shù)據(jù)采集階段，由3名經(jīng)驗(yàn)豐富的專業(yè)評(píng)分人員按照相同的評(píng)分標(biāo)準(zhǔn)(5分制)，每周對(duì)所有試驗(yàn)?zāi)膛＿M(jìn)行一次體況評(píng)分，并以3個(gè)評(píng)分值的中值作為奶牛在對(duì)應(yīng)周次內(nèi)的體況得分，以減小人工評(píng)分的主觀差異。研究表明，正常情況奶牛體況得分在一周內(nèi)的變化不超過0.25[6]，因此按照此規(guī)則，對(duì)每頭奶牛體況得分的時(shí)間序列進(jìn)行分析，剔除人工評(píng)分時(shí)間序列中的異常值。最終構(gòu)建的數(shù)據(jù)集包含77頭奶牛的5 119幅深度圖像及對(duì)應(yīng)的人工評(píng)分值。隨機(jī)選取2 560幅圖像用于后續(xù)模型的訓(xùn)練，剩余的1 536幅和1 023幅圖像用于模型的驗(yàn)證與測(cè)試，三者的比例為5∶3∶2，3個(gè)數(shù)據(jù)集的BCS分布如表1所示。3個(gè)數(shù)據(jù)集在隨機(jī)選取過程中均涵蓋所有的BCS值，且保留了整體數(shù)據(jù)集的樣本分布特性。

表1 不同BCS對(duì)應(yīng)的數(shù)據(jù)集圖像分布

1.3 圖像預(yù)處理

為便于后續(xù)的算法開發(fā)及特征提取，對(duì)原始深度圖像進(jìn)行目標(biāo)提取、目標(biāo)旋轉(zhuǎn)、后軀圖像獲取等預(yù)處理操作[22-23]，以提取含有主要體況信息的奶牛后軀背部點(diǎn)云，具體步驟如圖3所示。

1.3.1目標(biāo)提取

為提高目標(biāo)提取質(zhì)量，采用1 200幅深度背景圖像進(jìn)行背景建模，并利用實(shí)際采集中未檢測(cè)到目標(biāo)奶牛的圖像對(duì)其進(jìn)行更新，以避免任意單個(gè)深度背景圖像存在潛在錯(cuò)誤。將捕獲的深度圖像與建模所得背景圖像進(jìn)行差分運(yùn)算，并對(duì)差值結(jié)果進(jìn)行閾值處理，即可得到不含背景的奶牛深度圖像。背景去除后，將相機(jī)與地面的距離(3.05 m)與奶牛圖像各像素值相加即可將圖像像素的深度轉(zhuǎn)換為與地面的距離。

1.3.2目標(biāo)旋轉(zhuǎn)

為降低因采集過程奶牛身體傾斜對(duì)數(shù)據(jù)一致性造成的影響，對(duì)提取的目標(biāo)奶牛圖像進(jìn)行旋轉(zhuǎn)，使其脊柱方向與圖像橫軸平行，以便于后續(xù)算法沿脊柱方向?qū)蓚?cè)作對(duì)稱性處理。選取奶牛深度圖像中每列的最高值作為脊柱點(diǎn)，采用線性擬合方法對(duì)其擬合以獲取脊柱線，依據(jù)脊柱線與圖像橫軸的夾角進(jìn)行旋轉(zhuǎn)即可得到沿脊柱對(duì)稱分布的奶牛深度圖像。并通過計(jì)算奶牛脊柱線兩側(cè)相較于脊柱線的二階矩對(duì)旋轉(zhuǎn)后圖像進(jìn)行對(duì)稱度檢驗(yàn)。

1.3.3后軀圖像獲取

由于體況評(píng)分的考察區(qū)域(腰角骨、臀骨、脊柱、短肋骨、髖骨、尾骨)均位于奶牛后軀，因此對(duì)不含體況信息的前軀圖像進(jìn)行刪除以減少圖像信息的冗余，且為提高奶牛后軀圖像的獲取質(zhì)量，對(duì)離散像素點(diǎn)及尾巴(影響評(píng)分)進(jìn)行了剔除，結(jié)果如圖4所示，具體步驟如下：

(1)尾巴去除與濾波

定位圖像最左側(cè)像素點(diǎn)所在列，并從此列開始，當(dāng)某列所有非0像素點(diǎn)的跨度Wj(j=1,2,…,n)大于閾值Tt(試驗(yàn)中設(shè)為200)時(shí)，將此列的像素值修改為0使得圖像一分為二(圖4a)，并依據(jù)圖像區(qū)域的連通域?qū)傩裕瑸V除尾巴區(qū)域及后腹部的離散像素點(diǎn)(圖4b、4c)。

(2)圖像修剪

采用深度閾值DT對(duì)濾波后的奶牛深度圖像(圖4d)進(jìn)行高度方向的修剪，以分割出深度圖像中與體況評(píng)分相關(guān)的考察區(qū)域。即剔除圖像中各列像素點(diǎn)與該列像素點(diǎn)深度最大值Hspj(即脊柱點(diǎn)深度)的差大于深度閾值DT的像素點(diǎn)，并保留其余像素點(diǎn)。經(jīng)反復(fù)試驗(yàn)與驗(yàn)證發(fā)現(xiàn)DT=100 mm時(shí)圖像修剪效果最佳。

(3)腰角骨定位及后軀圖像獲取

由圖4e可知，修剪后奶牛圖像的前后軀以腰角骨連線為明顯界限，因此可通過定位腰角骨來實(shí)現(xiàn)后軀圖像的獲取。即以10列為一個(gè)滑動(dòng)窗口，步長(zhǎng)為1，從左到右依次計(jì)算掩模矩陣Mask中各滑動(dòng)窗口所含列的元素值之和，取其中的最大值作為腰角骨所在的列，并通過定位該列中遠(yuǎn)離奶牛對(duì)稱線的A、B兩點(diǎn)的X坐標(biāo)值來標(biāo)識(shí)左右腰角骨所在的行。保存A、B兩點(diǎn)連接線左側(cè)的像素點(diǎn)即可得到奶牛后軀圖像(圖4f)。為便于后續(xù)特征提取，將奶牛后軀圖像轉(zhuǎn)換為點(diǎn)云圖。

1.4 凸包特征提取

奶牛體況評(píng)分主要是對(duì)各考察區(qū)域皮下脂肪厚度的綜合評(píng)測(cè)，而胖瘦程度不同的奶牛在不同考察區(qū)域的脂肪填充度是不同的，因而與其周圍骨骼包絡(luò)線所形成的凹陷度(空間大小、距離)也不同，如圖5所示[6]。對(duì)于胖奶牛而言，由于脂肪堆積，各區(qū)域凹陷較小且后軀整體以脊柱為中心，向兩側(cè)呈平坦過渡狀；而瘦奶牛由于其脂肪含量少，骨骼(脊柱)較為突出，整體凹陷明顯，且后軀呈倒V形。

奶牛由瘦到胖的過程是脂肪在骨骼間區(qū)域的富積填充過程，因此基于包絡(luò)線原理及奶牛由瘦到胖后軀外形的漸變特性，提出基于奶牛后軀凸包化的三維凹陷度特征提取方法。步驟如下：

(1)統(tǒng)計(jì)濾波

如圖6所示，采用統(tǒng)計(jì)濾波方法對(duì)奶牛后軀兩腹側(cè)稀疏離群點(diǎn)云進(jìn)行濾除，以獲取服從高斯分布的緊湊點(diǎn)云。其中高斯分布的平均值由任意一點(diǎn)與其200個(gè)臨近點(diǎn)的平均距離決定，并將標(biāo)準(zhǔn)差系數(shù)設(shè)為3。

(2)體素化

受奶牛個(gè)體差異及拍攝過程奶牛身體晃動(dòng)等因素的影響，所獲取的后軀點(diǎn)云在數(shù)量級(jí)及各坐標(biāo)值所含信息量上均不具備可比性。因此，基于組成圖像像素小方格的位置標(biāo)號(hào)與定量特性，對(duì)已濾波的后軀點(diǎn)云進(jìn)行體素柵格化(圖7)，使其初步具備圖像特性。其中，初始體素的長(zhǎng)寬高(l,w,h)由X、Y、Z3個(gè)方向點(diǎn)云數(shù)據(jù)坐標(biāo)的最大值與最小值之差決定，體素分辨率設(shè)為(10,10,Zmax-Zmin),體素重心坐標(biāo)為體素內(nèi)所有點(diǎn)的坐標(biāo)均值。由于柵格化后，體素編號(hào)均為(i,j,1)且每個(gè)體素內(nèi)僅含1個(gè)點(diǎn)，若以體素編號(hào)代替各體素重心的X、Y坐標(biāo)值，以其Z坐標(biāo)值為像素值，則體素云將初具圖像特性，并通過后續(xù)的像素值替換與尺寸變換使其在X、Y、Z方向上均具有可比性。

(3)凸包特征提取

基于奶牛生長(zhǎng)過程中體脂在各骨骼間區(qū)域富積程度對(duì)其后軀外形的影響特性，計(jì)算后軀區(qū)域體素化后點(diǎn)云的三維凸包，得到外圍體素到最近凸包面之間的距離并投影至XY平面上，最終得到凸包特征圖，以達(dá)到依據(jù)不同奶牛完整后軀的凹陷度差異鑒別其胖瘦程度的目的。完整后軀的凹陷度由凸包多面體內(nèi)部各點(diǎn)(包含邊界點(diǎn))與其表面最近距離(特征距離)所組成的特征向量表示。無效體素的特征距離設(shè)為0。將各體素重心的X、Y、Z坐標(biāo)值依次替換為其體素編號(hào)i、j和特征距離，并形成特征圖像。坐標(biāo)值的替換使得其在Z軸方向具備了可比性與體況評(píng)價(jià)意義，但受初始體素的長(zhǎng)寬差異影響，在體素分辨率相同時(shí)，不同后軀點(diǎn)云所形成的特征圖像尺寸也不盡相同。因而采用最鄰近插值法對(duì)其進(jìn)行尺寸變換，使得不同點(diǎn)云的特征圖像具備可比性，試驗(yàn)過程中特征圖像的尺寸均統(tǒng)一為60像素×60像素。凸包的計(jì)算使用了Matlab中的convhulln 函數(shù)，其核心思想基于Quickhull算法[24]，該算法無需設(shè)置參數(shù)數(shù)值，具有良好的魯棒性和效率。對(duì)于任一三維點(diǎn)集Q(點(diǎn)數(shù)大于4)，均能通過Quickhull算法實(shí)現(xiàn)凸包化。由凸包概念可知，三維凸包是由集合Q內(nèi)一系列已知頂點(diǎn)組成，因此在形成凸包的過程中，并不受數(shù)據(jù)自身特性(是否為隨機(jī)數(shù)據(jù)、是否有噪聲)的影響。而數(shù)據(jù)自身特性僅會(huì)影響算法的計(jì)算耗時(shí)，相較于gift-wrapping、Clarkson和Shor算法，Quickhull算法的效率更高。而本文在凸包計(jì)算前進(jìn)行濾波是為了濾除后軀點(diǎn)云中噪聲，避免因潛在的噪聲點(diǎn)導(dǎo)致凸包的某一面極其突出進(jìn)而影響最終凸包的質(zhì)量。圖8給出了凸包計(jì)算結(jié)果及凸包特征圖。通過人工檢查，所有點(diǎn)云數(shù)據(jù)的凸包和特征圖均得到正確的計(jì)算結(jié)果。

1.5 模型構(gòu)建與優(yōu)化

1.5.1模型構(gòu)建

為避免傳統(tǒng)圖像分類算法中存在的特征尺度單一、信息豐富度低、分類效果差、特征依賴性強(qiáng)等問題，選取優(yōu)勢(shì)明顯且應(yīng)用廣泛的卷積神經(jīng)網(wǎng)絡(luò)對(duì)獲取的特征圖像進(jìn)行分類，以簡(jiǎn)化特征設(shè)計(jì)、提取及分類的繁瑣過程[25-27]，減少人工構(gòu)建特征的有效性、魯棒性對(duì)分類精度的影響，提高BCS評(píng)定過程的自動(dòng)化水平與精度。為此，本文依據(jù)網(wǎng)絡(luò)模型參數(shù)量、準(zhǔn)確率等指標(biāo)從現(xiàn)有分類網(wǎng)絡(luò)中選取在標(biāo)準(zhǔn)圖像集ImageNet下分類性能最優(yōu)的EfficientNet網(wǎng)絡(luò)進(jìn)行圖像分類。

EfficientNet網(wǎng)絡(luò)采用簡(jiǎn)單高效的復(fù)合縮放方法，在預(yù)先設(shè)定的內(nèi)存和計(jì)算量的限制下，通過網(wǎng)格搜索找到一組固定縮放系數(shù)(α、β和γ)對(duì)基線網(wǎng)絡(luò)維度(深度d、寬度w、分辨率r)進(jìn)行統(tǒng)一縮放，以實(shí)現(xiàn)網(wǎng)絡(luò)維度的平衡及模型整體性能的提升[28]。此外，該網(wǎng)絡(luò)通過使用多目標(biāo)神經(jīng)結(jié)構(gòu)搜索開發(fā)了基線網(wǎng)絡(luò)EfficientNet-B0，以進(jìn)一步提升模型性能及其擴(kuò)展的有效性。其結(jié)構(gòu)如圖9a所示，在內(nèi)部結(jié)構(gòu)上基線網(wǎng)絡(luò)主要由7個(gè)區(qū)塊(block)組成，凸包特征圖像在經(jīng)過3×3卷積層提取其局部特征后，進(jìn)入多個(gè)block結(jié)構(gòu)中進(jìn)一步提取并豐富用于預(yù)測(cè)的特征細(xì)節(jié)，最后經(jīng)過卷積-池化-全連接操作來替代分類器，實(shí)現(xiàn)由特征圖像所代表的BCS值的分類。其中3種block結(jié)構(gòu)均由多個(gè)相同的移動(dòng)翻轉(zhuǎn)瓶頸卷積(Mobile inverted bottleneck conv, MBConv)模塊前后連接組成，并在MBConv模塊中引入擠壓、激發(fā)模塊(Squeeze-and-excitation, SE)進(jìn)行優(yōu)化，使得淺層網(wǎng)絡(luò)同樣能夠通過全局感受野來捕獲圖像特征對(duì)圖像進(jìn)行描述。此外，為增強(qiáng)高維空間內(nèi)特征的非線性與網(wǎng)絡(luò)表達(dá)能力，避免模型訓(xùn)練時(shí)的梯度消失問題，選用ReLU函數(shù)作為網(wǎng)絡(luò)的激活函數(shù)，并采用Softmax回歸函數(shù)和交叉熵?fù)p失函數(shù)用于全連接層輸出的歸一化及損失值計(jì)算。其中，H、W、F分別表示輸入圖像的高度、寬度和通道數(shù)。

1.5.2復(fù)合參數(shù)優(yōu)化

表2 WOA算法參數(shù)的初始化設(shè)置

1.6 模型評(píng)價(jià)指標(biāo)

對(duì)于多分類而言，混淆矩陣作為分析給定分類器識(shí)別不同類組能力的有力工具，可提供比單一評(píng)價(jià)指標(biāo)更多的信息，而被廣泛應(yīng)用于分類方法的評(píng)估中。因此本文采用混淆矩陣來顯示模型對(duì)各BCS類別的分類詳情，并基于此提出以下度量指標(biāo)：準(zhǔn)確率(Accuracy，A)用于衡量分類器的有效性，即正確預(yù)測(cè)分類的樣本數(shù)占總體預(yù)測(cè)樣本的比例。精度(Precision，P)反映分類器的查準(zhǔn)率，由于奶牛體況為多分類問題，因此采用各類別精度的平均值作為最終度量指標(biāo)。召回率(Recall，R)反映分類器的查全率，以各類別召回率的平均值作為最終度量標(biāo)準(zhǔn)。F1值是精度與召回率的調(diào)和平均值，用以衡量存在罕見類別時(shí)分類器的性能。

此外，為消除人工評(píng)分誤差對(duì)模型性能的影響，統(tǒng)計(jì)BCS誤差小于等于0.25與小于等于0.50時(shí)的上述指標(biāo)值，以實(shí)現(xiàn)準(zhǔn)確評(píng)估模型性能并便于與其他研究做對(duì)比分析。

2 結(jié)果與討論

2.1 混淆矩陣

為提高模型泛化能力，避免過擬合，采用驗(yàn)證集對(duì)訓(xùn)練過程中的模型參數(shù)進(jìn)行調(diào)整，并使用測(cè)試集對(duì)模型進(jìn)行評(píng)估。EfficientNet網(wǎng)絡(luò)評(píng)分結(jié)果的混淆矩陣如圖11所示，紅、橙、黃3種顏色分別表示精準(zhǔn)預(yù)測(cè)、BCS誤差在0.25內(nèi)和BCS誤差在0.50內(nèi)的預(yù)測(cè)結(jié)果。盡管與理想混淆矩陣的主對(duì)角線分布有所差異，但可以看出，除3.25這一類別外，各BCS類別均實(shí)現(xiàn)了70%以上樣本的主對(duì)角線分布(與RODRIGUEZ等[21]研究相比提升了50%)及95%以上樣本沿主對(duì)角線及其兩側(cè)分布，這表明本文所提出的基于凸包特征的模式識(shí)別方法能夠有效區(qū)分與BCS變化相關(guān)的奶牛變異性。極端BCS值下的優(yōu)越性為提高規(guī)?；B(yǎng)殖中大多數(shù)奶牛及個(gè)別病牛的體況檢測(cè)精度提供了可能。3.25類別呈現(xiàn)的主對(duì)角線低樣本分布問題可能與其處于胖瘦分界線、受該類訓(xùn)練樣本大小影響、模型難以提取與之相關(guān)的信息并形成區(qū)別于相鄰類別的有效判據(jù)有關(guān)。

2.2 模型評(píng)價(jià)

表3為不同誤差范圍內(nèi)不同BCS對(duì)應(yīng)的模型精度、召回率及F1值。對(duì)于精度而言，BCS誤差為0和誤差小于等于0.25時(shí)中間BCS對(duì)應(yīng)的模型精度比極端BCS低，這一結(jié)果也驗(yàn)證了HUANG等[11]的結(jié)論，BCS在3.25時(shí)分別取得最低精度61%和91%，擴(kuò)大誤差范圍至0.50時(shí)，BCS僅在2.75、3.00、3.25時(shí)實(shí)現(xiàn)了精度提升，分別提升1、1、7個(gè)百分點(diǎn)。對(duì)于召回率而言，除3.25外，其余BCS均實(shí)現(xiàn)了71%及以上的召回率(0誤差)，其中極端BCS(2.25、4.00)的高查全率(召回率大于等于86%)能夠及時(shí)發(fā)現(xiàn)奶牛健康管理問題，以便采取應(yīng)急措施，減少經(jīng)濟(jì)損失。BCS在0.25和0.50誤差均實(shí)現(xiàn)了不小于94%和98%的召回率，并以3.75和4.00為最優(yōu)，達(dá)到了100%。F1值在0誤差內(nèi)波動(dòng)較大且整體得分先減后增，并在BCS為4.00時(shí)取得最大值100%，當(dāng)考慮不同誤差范圍(±0.25、±0.50)時(shí)，BCS波動(dòng)均較小，且F1值的最小值分別為92%和97%。BCS誤差在0.25以內(nèi)時(shí)模型平均精度、召回率及F1值均為98%，與現(xiàn)有研究相比取得了一定進(jìn)展。表4顯示了不同誤差范圍內(nèi)現(xiàn)有評(píng)分方法的識(shí)別準(zhǔn)確率，與其他基于模式識(shí)別的智能體況評(píng)分方法相比[10,19,21,30-31]，本文方法的精準(zhǔn)識(shí)別率提高了62.5%，誤差在0.25內(nèi)的識(shí)別準(zhǔn)確率提高了20%。作為評(píng)價(jià)模型精度的關(guān)鍵指標(biāo)，誤差0.25內(nèi)的模型精度大幅提升，為集約化牧場(chǎng)提高體況評(píng)估效率與精度、實(shí)時(shí)監(jiān)測(cè)牛群營(yíng)養(yǎng)健康水平及生產(chǎn)繁殖性能、實(shí)現(xiàn)精細(xì)養(yǎng)殖管理提供了有力工具。誤差由小于等于0.25擴(kuò)大至小于等于0.50時(shí)模型精度提升了0.71個(gè)百分點(diǎn)，表明凸包特征與EfficientNet網(wǎng)絡(luò)的組合能夠精準(zhǔn)復(fù)現(xiàn)具有特定BCS(2.25～4.00)的奶牛體況且誤差小于0.25，優(yōu)勢(shì)明顯且滿足實(shí)際需求。

表3 不同誤差范圍內(nèi)不同BCS的精度、召回率及F1值

表4 基于監(jiān)督學(xué)習(xí)的體況評(píng)分方法識(shí)別準(zhǔn)確率

2.3 模型對(duì)比

為驗(yàn)證不同模式識(shí)別網(wǎng)絡(luò)對(duì)最終評(píng)分結(jié)果的影響，在凸包特征圖像數(shù)據(jù)集的基礎(chǔ)上對(duì)比分析了4種網(wǎng)絡(luò)模型(LeNet-5、XceptionNet、MobileNet-V2、EfficientNet)的分類性能，其混淆矩陣如圖12所示。整體而言，4種模型的混淆矩陣差異較小，樣本整體預(yù)測(cè)值與真實(shí)值誤差分布集中在0.25以內(nèi)，但對(duì)于個(gè)別BCS，4種模型表現(xiàn)出不同的特性。4種模型均在BCS為3.25時(shí)識(shí)別準(zhǔn)確率最??；BCS在3.50和2.50時(shí)，4種模型的識(shí)別準(zhǔn)確率從高到低依次為L(zhǎng)eNet-5、EfficientNet、XceptionNet、MobileNet-V2；在BCS為2.25和2.75時(shí)該排序相反，即LeNet-5模型表現(xiàn)最差，并遠(yuǎn)低于最優(yōu)的EfficientNet；而在BCS模型為3.00和3.75時(shí)，EfficientNet和XceptionNet模型均優(yōu)于LeNet-5和MobileNet-V2。除此之外，除MobileNet-V2外，其他3類模型均在BCS為4.00時(shí)識(shí)別準(zhǔn)確率達(dá)到100%。模型自身的結(jié)構(gòu)差異導(dǎo)致對(duì)特征圖像具有不同的學(xué)習(xí)能力，是造成各BCS間識(shí)別準(zhǔn)確率存在差異性的主要原因。

為進(jìn)一步分析4種網(wǎng)絡(luò)的模型性能，依據(jù)測(cè)試集樣本分類的混淆矩陣，采用1.6節(jié)定義的指標(biāo)對(duì)4種網(wǎng)絡(luò)進(jìn)行綜合評(píng)估，評(píng)估結(jié)果如圖13所示。由圖13a可知，誤差為0時(shí)，EfficientNet與XceptionNet對(duì)特征圖像的識(shí)別速率分別為0.007 25 s/f和0.007 59 s/f，但EfficientNet網(wǎng)絡(luò)的整體檢測(cè)性能明顯優(yōu)于XceptionNet，且與XceptionNet相比，其整體識(shí)別準(zhǔn)確率與召回率分別提高2.29、2.31個(gè)百分點(diǎn)。與EfficientNet相比，盡管MobileNet-V2與LeNet-5識(shí)別速率(分別為2.74倍和5.99倍)大幅提升，但兩者均犧牲了識(shí)別準(zhǔn)確率(分別下降8.93、5.28個(gè)百分點(diǎn))，且在精度、召回率及F1值指標(biāo)上，LeNet-5網(wǎng)絡(luò)比MobileNet-V2網(wǎng)絡(luò)分別提高6.84、4.81、5.44個(gè)百分點(diǎn)。除此之外，BCS評(píng)分的高效便捷不僅是實(shí)際生產(chǎn)中的核心需求，也是制約現(xiàn)有研究商業(yè)化的關(guān)鍵因素，尤其是系統(tǒng)對(duì)單幀圖像的評(píng)分速率。而本文中圖像預(yù)處理、凸包特征提取、特征圖像生成等步驟所需時(shí)間分別為0.116、3.00、0.325 s，由于室內(nèi)通道單次僅容一頭奶牛通過，兩頭奶牛觸發(fā)拍攝的時(shí)間間隔與由原始圖像生成特征圖像所用時(shí)間相同，在特征提取階段，是FISCHER等[16]關(guān)鍵點(diǎn)標(biāo)識(shí)所用時(shí)間(3 min)的1/60，且系統(tǒng)平均識(shí)別速率為3.441 s/f，接近劉燕[32]使用首個(gè)商用全自動(dòng)體況評(píng)分系統(tǒng)時(shí)的檢測(cè)水平(3 s/f)。由于4種模型均使用相同特征圖像集，因此結(jié)合上述分析可知，BCS誤差為0時(shí)模型的優(yōu)劣順序?yàn)镋fficientNet、XceptionNet、LeNet-5、MobileNet-V2。

圖13b、13c分別為誤差小于等于0.25及小于等于0.50時(shí)4種模型評(píng)分性能的對(duì)比結(jié)果。由圖中準(zhǔn)確率可知，不同步長(zhǎng)時(shí)4種模型的最低識(shí)別準(zhǔn)確率分別為96.2%和98.7%，并均在EfficientNet模型上取得最高值即98.6%和99.31%?？疾炷Ｐ途取⒄倩芈始癋1值時(shí)，除MobileNet-V2模型外，3種指標(biāo)受模型類別的影響均較小，且這種趨勢(shì)并不受誤差的影響，即BCS誤差在0.25和0.50以內(nèi)時(shí)3種指標(biāo)波動(dòng)范圍分別為0.01～0.93個(gè)百分點(diǎn)、0.28～0.93個(gè)百分點(diǎn)和0.18～0.61個(gè)百分點(diǎn)。除此之外，誤差對(duì)模型的影響也較小，即BCS誤差由小于等于0.25增至小于等于0.50時(shí)，任一模型的任一指標(biāo)的提升均不超過1.68個(gè)百分點(diǎn)，MobileNet-V2模型提升了4個(gè)百分點(diǎn)左右。上述兩種趨勢(shì)的出現(xiàn)可能與凸包特征的高效性及EfficientNet、XceptionNet、LeNet-5這3種模型在BCS誤差為0時(shí)的高準(zhǔn)確率及分類誤差小而緊湊有關(guān)。綜合上述分析可知，盡管模型類別會(huì)影響最終的評(píng)分精度，但凸包特征是保證奶牛體況評(píng)分精度的關(guān)鍵，且4種模型中EfficientNet模型具有更高的體況識(shí)別準(zhǔn)確率，可實(shí)現(xiàn)奶牛體況的精準(zhǔn)高效識(shí)別。

3 結(jié)束語

提出一種從深度圖像中提取凸包特征并用于體況評(píng)分的方法。該方法從奶牛行走過程中的頂視深度圖提取其后軀，并作為體況評(píng)定區(qū)域，對(duì)后軀點(diǎn)云進(jìn)行體素化與凸包化，得到特征圖像，采用EfficientNet模型對(duì)其進(jìn)行分類，以確定其BCS。所提出的凸包特征與體況得分之間具有較高的相關(guān)性，對(duì)個(gè)體差異具有良好的魯棒性，BCS識(shí)別誤差在0.25以內(nèi)時(shí)EfficientNet模型精確識(shí)別圖像占比達(dá)到98.6%，識(shí)別效果優(yōu)于MobileNet-V2、XceptionNet和LeNet-5網(wǎng)絡(luò)模型，平均識(shí)別速率為3.441 s/f，顯著提高了養(yǎng)殖場(chǎng)奶牛體況評(píng)分的精度與效率。