融合數(shù)據(jù)增強與改進ResNet34的奶牛熱紅外圖像乳腺炎檢測

張 倩，楊 穎*，劉 剛, 2, 3，吳 瀟，寧遠霖

1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083 2.現(xiàn)代精細農(nóng)業(yè)系統(tǒng)研究教育部重點實驗室，北京 100083 3.農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點實驗室，北京 100083

引 言

隨著人民生活水平的提高，人們更加重視食物的營養(yǎng)健康，牛奶中含有豐富的乳蛋白和維生素，日常飲用牛奶有益于提高人體的免疫力。據(jù)《中國奶業(yè)統(tǒng)計資料》顯示：2020年全國牛奶產(chǎn)量為3 440萬噸，占比全球總產(chǎn)量的5%，奶牛養(yǎng)殖規(guī)模比例達到67%[1]。發(fā)展奶牛養(yǎng)殖業(yè)對于國家的畜牧業(yè)發(fā)展和農(nóng)業(yè)農(nóng)村經(jīng)濟發(fā)展都有極其重要的作用[2]。奶牛乳房炎是奶牛生產(chǎn)養(yǎng)殖中最為嚴(yán)重的疾病之一。奶?；既橄傺准膊?dǎo)致產(chǎn)奶量下降、牛奶質(zhì)量降低，會對養(yǎng)殖戶造成嚴(yán)重的經(jīng)濟損失[3]。根據(jù)臨床癥狀不同，奶牛乳房炎主要可分為顯性乳房炎和隱性乳房炎[4]。患有顯性乳房炎的部位表現(xiàn)出肉眼可見的紅、腫、熱等癥狀，然而，隱性乳房炎的發(fā)病率高且奶牛乳房外觀變化細微，檢測較為困難[5]。早期由于缺乏有效的科技手段，養(yǎng)殖人員通過人工觀察奶牛乳腺炎的發(fā)病情況，判斷具有一定的主觀性，誤診率較高。隨著我國奶牛養(yǎng)殖廠的數(shù)量規(guī)模不斷擴大，急需一種高效、準(zhǔn)確的奶牛隱性乳房炎早期檢測方法。

早期比較常規(guī)的“接觸式”奶牛隱性乳房炎檢測方法主要包括直接體細胞計數(shù)法(SCC)、加州乳房炎檢測法(CMT)、電導(dǎo)率法(EC)等等。此類法均需要對奶牛乳液進行采樣，并通過專業(yè)儀器測量樣品的理化成分從而判定奶牛是否患乳房炎，整個過程需要嚴(yán)格控制檢測樣品的環(huán)境條件，具有實驗操作繁瑣、周期長且成本價格昂貴等弊端，從而限制了其在生產(chǎn)實際中的應(yīng)用[6-8]。

紅外熱成像技術(shù)[9](infrared thermograph technology, IRT)近些年來應(yīng)用領(lǐng)域愈加廣泛，其原理是利用傳感器檢測物體表面輻射出的電磁波信號，并轉(zhuǎn)換成視覺可見的熱紅外圖像或視頻，其不同的明亮程度以及顏色代表不同溫度從而可以判斷患病區(qū)域表面溫度以及炎癥反應(yīng)程度。IRT技術(shù)作為一種安全、低成本、非侵入性的快速疾病篩查方法，可以在早期發(fā)現(xiàn)乳腺病變，基于IRT的“非接觸式”畜類乳腺炎檢測方法開始受到研究人員的關(guān)注。Zaninelli[10]等將采集到的奶牛熱紅外像圖像通過應(yīng)用軟件計算每個乳房的溫度數(shù)據(jù)，結(jié)果證實了奶牛乳房表面溫度與其牛奶樣品中的體細胞數(shù)量之間存在顯著相關(guān)性。Bartolome[11]等通過熱紅外圖像以及心率來評估動物眼睛溫度，研究表明動物的眼睛顯示出最高的溫度代表最接近內(nèi)部核心體溫的溫度。Sathiyabarathi[12]等采用IRT技術(shù)檢測奶牛體溫和乳房表皮溫度(USST)，結(jié)果表明：患乳腺炎的部位平均USST高于平均體溫0.8 ℃。因此，研究者們提出采用熱紅外熱像儀測量奶牛眼睛和乳房等關(guān)鍵部位溫度，可以作為奶牛乳房疾病判斷依據(jù)。

Metzner[13]等采用不同的幾何工具手動測量出奶牛熱紅外圖像關(guān)鍵部位，并通過受試者工作特征曲線(receiver operating characteristic, ROC)分析比較出最佳檢測方法。然而人工標(biāo)記很容易產(chǎn)生誤差，且消耗大量人力。為了實現(xiàn)奶牛乳房炎的自動檢測，張旭東[14]等提出了一種基于閾值分割的奶牛眼睛和乳房自動定位算法，并根據(jù)溫度閾值對奶牛乳房炎發(fā)病程度進行評級，結(jié)果表明，一級奶牛乳腺炎檢測準(zhǔn)確率為87.5%，二級的檢測準(zhǔn)確率僅有33.3%。該研究中的分割方法對噪聲敏感，關(guān)鍵部位定位誤差大，導(dǎo)致二級乳腺炎檢測準(zhǔn)確極低。

隨著深度學(xué)習(xí)在計算機視覺領(lǐng)域的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(CNN)對大規(guī)模的數(shù)據(jù)具有強大的學(xué)習(xí)功能，在復(fù)雜背景的目標(biāo)檢測場景中取得了顯著的成績[15]。為了提高奶牛關(guān)鍵部位的識別準(zhǔn)確度，Xudong[16]等提出了一種基于熱紅外圖像的EFMYOLOv3深度學(xué)習(xí)算法，該方法定位平均精確率達到96.8%，乳腺炎分類準(zhǔn)確率為83.33%。王彥超[17]等提出了一種改進YOLO v3-tiny的奶牛乳房炎檢測方法，奶牛乳房炎檢測精度可達77.3%。然而，在實際場景中由于運動目標(biāo)的測量距離、角度、環(huán)境等因素都會造成測量溫度漂移，再經(jīng)過與閾值比較，誤差擴大，嚴(yán)重影響到最終的乳腺炎分類。無論是目標(biāo)檢測或是圖像分割法均需定位識別出奶牛的眼睛、乳房等關(guān)鍵部位，其次通過特定軟件從每頭牛奶的多張圖片中提取出該區(qū)域溫度，然后將其與標(biāo)準(zhǔn)理化指標(biāo)進行比較。這種“多步式”的檢測方法不僅過程冗余復(fù)雜，而且很容易由于外部因素造成誤差累計，因此更需要一種從輸入數(shù)據(jù)到得出最終結(jié)果，無需其他人工操作步驟的“端到端”奶牛乳腺炎檢測方法。

針對上述問題，為了實現(xiàn)更快速、更高精度的“一步式”奶牛乳腺炎疾病檢測，本工作提出一種基于熱紅外圖像拼接的改進ResNet34奶牛乳腺炎檢測算法。無需人工手動標(biāo)記奶牛熱紅外數(shù)據(jù)，首先將原始局部圖像拼接成完整圖片，再采用RandAugment數(shù)據(jù)增強技術(shù)擴充數(shù)據(jù)集，最后基于遷移學(xué)習(xí)和改進ResNet34算法直接對奶牛熱紅外圖像進行識別，將奶牛乳腺狀況進行分類(患病或正常)。

1 實驗部分

1.1 數(shù)據(jù)來源

實驗數(shù)據(jù)來自于北京市延慶區(qū)大地集團的荷斯坦奶牛養(yǎng)殖場。采集時間控制在上午8—10點時間段內(nèi)，采集地點設(shè)置在養(yǎng)殖場室內(nèi)。數(shù)據(jù)采集場景如圖1(a—d)所示，泌乳期奶牛依次通過寬度為90 cm的入口通道進入擠奶廳(18臺擠奶儀器)，入口處的射頻識別(RFID)裝置用以記錄視頻中每一頭奶牛的ID號，入口通道兩側(cè)分別安裝一臺固定拍攝裝置——FLIR A310熱像儀(FLIR系列，美國)。為確保熱像儀能拍到實驗對象的關(guān)鍵部位，并減少視野盲區(qū)，熱像儀鏡頭(FOL 18 mm)與通道直線距離180 cm，鏡頭高度設(shè)置為90 cm。按照實際情況調(diào)整熱成像儀的反射溫度、相對濕度并設(shè)置其發(fā)射率為0.98，與Zaninelli等[10]研究保持一致。采用FLIR Tools的Altas SDK圖庫記錄360頭奶牛的熱紅外視頻(視頻的格式為SEQ，像素大小為320×240)，并通過體細胞分析儀對采集的牛奶樣品進行檢測。根據(jù)Zaninelli等[10]的研究表明：當(dāng)SCC值大于或等于20 W·mL-1時，奶牛的該乳房部位被確認為患有乳腺炎。

圖1 奶牛熱紅外數(shù)據(jù)采集裝置示意圖

1.2 圖像預(yù)處理

實驗共計獲取360頭奶牛熱紅外視頻。SCC檢測結(jié)果顯示29頭奶牛患有乳腺炎疾病，為了使數(shù)據(jù)較為均衡，隨機挑選37頭正常奶牛，共計66頭奶牛選為最終實驗對象，然后通過MATLAB R2018b將其SEQ視頻按照15 fps速率分幀成像素大小為320×240，格式為jpg的原始熱紅外圖片。

采集過程中，自然行走的奶牛由于運動導(dǎo)致眼睛和乳房無法一直保持在同一幀畫面之中。為了增強有關(guān)信息的可檢測性，本研究提出一種奶牛熱紅外圖像拼接方法：將同一頭奶牛連續(xù)幀中單獨包含眼睛或乳房的局部圖片，一對一水平拼接成同時包含眼睛和乳房的整體圖片[圖2(a, b, c)所示]。這樣既保留了數(shù)據(jù)處理前后的時空聯(lián)系，又解決了動態(tài)目標(biāo)導(dǎo)致的數(shù)據(jù)特征缺失問題。根據(jù)上述預(yù)處理方法共得到2 234張(37頭)正常、1 064張(29頭)患病奶牛熱紅外圖像，并將樣本數(shù)量按照3∶1∶1劃分訓(xùn)練集、驗證集、測試集。劃分結(jié)果如表1所示。

表1 數(shù)據(jù)劃分結(jié)果

圖2 數(shù)據(jù)預(yù)處理效果

1.3 數(shù)據(jù)增強

數(shù)據(jù)增強是以提高深度學(xué)習(xí)模型的魯棒性為目的，從同源數(shù)據(jù)中產(chǎn)生具有相同的標(biāo)簽的樣本，擴充訓(xùn)練數(shù)據(jù)集的技術(shù)。深度殘差網(wǎng)絡(luò)一貫的數(shù)據(jù)增強方式是：在模型訓(xùn)練過程中將獲得每一批數(shù)據(jù)進行增強與變換，具體過程是：首先將圖像按比例縮放像素大小為256×256，然后對圖像進行隨機裁剪為224×224，最后將像素進行歸一化處理。

為了進一步提升樣本多樣性，在原有數(shù)據(jù)增強的基礎(chǔ)上結(jié)合RandAugment數(shù)據(jù)增強新方法。當(dāng)數(shù)據(jù)增強操作使得增強樣本和原樣本之間的分布產(chǎn)生了較大的差異，反而會降低模型性能，因此從RandAugment操作集中剔除與本實驗有負影響的4種操作，其余10種操作分別為：自動明暗對比(AutoContrast)、均衡化(Equalize)、旋轉(zhuǎn)(Rotate)、色調(diào)分離(Posterize)、對比度(Contrast)、銳化(Sharpness)、沿X軸錯切(Shear-X)、沿Y軸錯切(Shear-Y)、沿X軸移位(Translate-X)、沿Y軸移位(Translate-Y)。RandAugment有兩個關(guān)鍵性參數(shù)：N和M，即每次數(shù)據(jù)增強子策略按照1/10等概率原則選取N種操作方法，每種操作使得圖像形變程度為M，共有10N種生成圖像。數(shù)據(jù)增強的最佳強度取決于模型大小和訓(xùn)練集大小，過于極端的增強操作可能會產(chǎn)生一定的信噪比，從而導(dǎo)致數(shù)據(jù)增強效果適得其反。圖3(a—d)展示的是當(dāng)N=3、M=15時使用RandAugment數(shù)據(jù)增強, 經(jīng)過包含沿X軸錯切、沿Y軸移位和旋轉(zhuǎn)三種增強方式的增強子策略所生成的效果圖。

圖3 數(shù)據(jù)增強效果圖

1.4 遷移學(xué)習(xí)

遷移學(xué)習(xí)是一種運用已有知識對相關(guān)領(lǐng)域問題進行求解，在經(jīng)驗信息的基礎(chǔ)上使得快速解決新任務(wù)能力的機器學(xué)習(xí)新方法。從圖像分類流程來看，參數(shù)遷移屬于遷移學(xué)習(xí)主要方式之一，參數(shù)遷移可以使得模型訓(xùn)練過程具有一個較好的初始狀態(tài)，能有效縮短訓(xùn)練時間[18]。ImageNet是一個具有超過1 400萬圖像，2萬多個類別的大型可視化數(shù)據(jù)庫，其樣本類別覆蓋范圍廣、種類豐富多樣。奶牛熱紅外數(shù)據(jù)與ImageNet中動物圖片在紋理、色彩、結(jié)構(gòu)等方面有相似的宏觀特征[19]。本研究選用參數(shù)遷移學(xué)習(xí)方法進行模型訓(xùn)練，將深度殘差網(wǎng)絡(luò)模型在ImageNet上預(yù)訓(xùn)練參數(shù)權(quán)重加載到所搭建好的模型中進行網(wǎng)絡(luò)的微調(diào)，若預(yù)訓(xùn)練權(quán)重與新構(gòu)建網(wǎng)絡(luò)層匹配則保留其值，反之，不匹配層(改進部分)使用默認隨機參數(shù)初始化，訓(xùn)練過程不凍結(jié)任何網(wǎng)絡(luò)層。

1.5 改進ResNet34模型構(gòu)建

深度殘差網(wǎng)絡(luò)(deep residual network)由2015年微軟亞洲研究院的He等所提出，其核心思想——短路機制巧妙的緩解了傳統(tǒng)卷積層中由于深度增加導(dǎo)致網(wǎng)絡(luò)退化問題。近年來，殘差網(wǎng)絡(luò)各種變體模型應(yīng)時而生，在圖像分類、目標(biāo)檢測、以及語義分割等領(lǐng)域取得突破性進展[20]。

ResNet34作為深度殘差網(wǎng)絡(luò)的一員，其表征能力和學(xué)習(xí)能力較高且模型參數(shù)較少，是圖像分類領(lǐng)域研究的熱點方向，因此本研究采用ResNet34殘差網(wǎng)絡(luò)作為實驗的基礎(chǔ)網(wǎng)絡(luò)。ResNet34首先采用7×7卷積層和3×3最大池化層下采樣減小輸入圖像特征尺寸，然后通過layer1—layer4提取高層特征信息，并經(jīng)過自適應(yīng)全局平均池化層輸入到全連接層，最后進行分類輸出。其中每一層layer分別包含3，4，6和3個BasicBlock模塊，BasicBlock架構(gòu)如圖4(c)所示：主要使用了兩個3×3的卷積、批歸一化處理、ReLU激活函數(shù)等操作，再將深層特征與捷徑連接傳遞的低層信息相加。當(dāng)BasicBlock輸入和輸出數(shù)據(jù)維度一致時其殘差支路不做任何變化(路線②)，否則，利用卷積層進行下采樣，并相應(yīng)改變通道數(shù)量(路線①)。

實驗的數(shù)據(jù)采集場景單一，與自然可見光圖像相比，熱紅外圖像紋理清晰，色彩、明亮對比度明顯。針對紅外熱成像自身的特點，為了使該模型更適用于奶牛乳腺炎分類任務(wù)，提出一種改進ResNet34網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)如圖4所示，其中(a)部分表示模型內(nèi)部層數(shù)改進，(b)為新增輔助分類器，(d)和(e)為多融合池化層。圖5為每層網(wǎng)絡(luò)的特征圖可視化。

圖4 改進ResNet34模型結(jié)構(gòu)

圖5 特征圖可視化

1.5.1 網(wǎng)絡(luò)層數(shù)改進

冗余的特征以及權(quán)重會使網(wǎng)絡(luò)模型占用更多的內(nèi)存資源，為了在最大限度地保持模型準(zhǔn)確性的同時實現(xiàn)高效深度學(xué)習(xí)，對Layer層進行輕量化，如圖4(a)所示：將傳統(tǒng)ResNet34模型內(nèi)部四層Layer分別包含3，4，6和3個BasicBlock精簡化為3，2，2和3個殘差單元，保留淺層以及深層的特征提取層，刪減部分中間層從而大幅度壓縮空間、降低計算量，達到速度與準(zhǔn)確率之間的平衡。

1.5.2 多融合池化層

最大池化可以提取具有強烈的語義信息和紋理特征；平均池化可以更多地保留圖像背景信息。傳統(tǒng)ResNet34殘差網(wǎng)絡(luò)使用單一的最大或平均池化進行特征圖降維，可能會導(dǎo)致有用信息丟失。為盡量避免類似情況發(fā)生，設(shè)計了新的池化層如圖4(d)和(e)部分所示：將大小為3×3、步長為2的最大池化層與平均池化進行融合，結(jié)合兩者優(yōu)勢，在降低特征維度的同時增強網(wǎng)絡(luò)的非線性表達能力使得提取內(nèi)容更加豐富。前向傳播時具體計算公式如式(1)，假設(shè)由輸入特征圖X對應(yīng)池化窗口的值可以計算輸出特征圖Y中某一位置的值，則

(1)

式(1)中，n表示特征圖號，c是通道號，h是行號，w是列號，s為步長大小，kh和kw是池化窗口的長、寬大小。

1.5.3 輔助分類器

基于GoogLeNet網(wǎng)絡(luò)在中間層添加輔助分類器促進模型更穩(wěn)定學(xué)習(xí)和更好收斂的思想，本研究分別在Layer2和Layer3的輸出層設(shè)置兩組輔助分類器，獲取更多的淺層以及中間層信息，彌補由于模型精簡帶來的特征損失。如圖4(b)部分所示：輔助分類器由大小為3×3的多融合全局池化層與全連接層組成并輸出輔助分類結(jié)果，其輸出并不影響主分類器的分類結(jié)果，而是在反向傳播時額外增加兩個淺層網(wǎng)絡(luò)的Loss損失值。

在分類問題中，假設(shè)模型預(yù)測第i類的概率為Pi，則交叉熵損失函數(shù)值L的表達式如式(2)

(2)

式(2)中，N為樣本個數(shù)，yi表示樣本i的標(biāo)簽(正類為1，負類為0)。

設(shè)新增輔助分類器的損失值表達式如式(3)，則利用輔助分類器后總的損失函數(shù)值表達式如式(4)

(3)

(4)

1.6 模型評價指標(biāo)

選取查準(zhǔn)率、查全率、特異性、F1分?jǐn)?shù)作為最終的模型性能評價指標(biāo)，具體表達公式如式(5)—式(8)

(5)

(6)

(7)

(8)

式(5)—式(8)中的TP表示模型預(yù)測為正的正樣本數(shù)量，TN表示模型預(yù)測為負的負樣本數(shù)量，F(xiàn)P表示模型預(yù)測為正的負樣本數(shù)量，F(xiàn)N表示模型預(yù)測為負的正樣本。

2 結(jié)果與討論

實驗硬件環(huán)境：Intel i9-10900K處理器、NVIDIA GTX3060GPU、64G內(nèi)存、12G顯存；軟件環(huán)境：Ubuntu18.04操作系統(tǒng)、PyTorch1.9.0深度學(xué)習(xí)框架、Python3.8.11編程語言、PyCharm集成開發(fā)環(huán)境、CUDA11.4。設(shè)置模型參數(shù)：Batch-size為32、Adam優(yōu)化器、交叉熵損失函數(shù)。

實驗流程如圖6所示，首先將處理好的實驗數(shù)據(jù)應(yīng)用于幾種經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)模型，并根據(jù)驗證準(zhǔn)確率、測試準(zhǔn)確率、平均訓(xùn)練時間等指標(biāo)對改進ResNet34模型與其他模型性能進行比較；然后基于改進ResNet34模型結(jié)合遷移學(xué)習(xí)、數(shù)據(jù)增強、學(xué)習(xí)率進行微調(diào)，最后根據(jù)實驗結(jié)果進行評價與分析。

圖6 實驗流程圖

2.1 改進ResNet34模型與其他模型性能的比較

將改進ResNet34與四種傳統(tǒng)經(jīng)典網(wǎng)絡(luò)模型——VGG16，GoogLeNet，ResNet34，ResNet50的奶牛乳腺炎分類性能進行對比。設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為200、學(xué)習(xí)率為0.000 1。改進ResNet34模型中輔助分類器的衰減系數(shù)按照層數(shù)由淺至深將其分別設(shè)置為0.1，0.2和1。實驗結(jié)果如表2所示，從表中可以看出ResNet系列網(wǎng)絡(luò)的驗證準(zhǔn)確率明顯高于其他模型，其中ResNet34與ResNet50測試準(zhǔn)確率僅相差0.2%，經(jīng)過模型改進以后ResNet34測試準(zhǔn)確率比ResNet50高0.8%；改進前后的ResNet34模型平均檢測速度相差無幾，均處于優(yōu)勢地位，但改進后模型的分類速度提升5.9%，測試準(zhǔn)確率提升了1%；VGG16在幾種模型中訓(xùn)練時間最久，分類準(zhǔn)確率相對較低；GoogLeNet模型總體性能處于中游。從訓(xùn)練損失圖7中可以看出ResNet34模型擬合速度相對較快，穩(wěn)定后的Loss值相對最低。

表2 不同模型性能比較

圖7 不同分類模型損失圖

圖8展示了改進ResNet34模型性能，由圖可知改進ResNet34模型在訓(xùn)練過程中收斂速度較快，大約在第30個Epoch時模型訓(xùn)練準(zhǔn)確率達到88.4%，證明所提出的改進模型具有較好的分類效果。為了進一步提高模型性能，以改進ResNet34模型為基礎(chǔ)進行實驗。

圖8 改進Resnet34模型性能圖

2.2 遷移學(xué)習(xí)和數(shù)據(jù)增強以及超參數(shù)對模型性能的影響

2.2.1 遷移學(xué)習(xí)對網(wǎng)絡(luò)性能的影響

為了比較遷移學(xué)習(xí)對改進ResNet34模型性能的影響，設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為200、學(xué)習(xí)率為0.000 1。實驗訓(xùn)練結(jié)果準(zhǔn)確率如圖9(a, b)所示：基于遷移學(xué)習(xí)的改進ResNet34模型訓(xùn)練準(zhǔn)確率比未遷移的改進ResNet34模型高大約1.3%，遷移之后模型的初始性能更高，訓(xùn)練過程中模型收斂速度更快、訓(xùn)練損失更小。

圖9 遷移學(xué)習(xí)對模型訓(xùn)練結(jié)果影響對比

2.2.2 數(shù)據(jù)增強對模型性能的影響

為了比較數(shù)據(jù)增強對改進ResNet34模型性能的影響，參照RandAugment原作者實驗以及本文數(shù)據(jù)實際情況，設(shè)置參數(shù)N和M分別為3和15。設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為500、學(xué)習(xí)率為0.000 1。實驗結(jié)果如圖10(a,b)所示：數(shù)據(jù)增強后模型的訓(xùn)練準(zhǔn)確率高于未增強模型1.5%，但模型擬合速度有些許變慢，損失值有所上升。該組實驗證明在一定程度上數(shù)據(jù)增強可以提高本實驗?zāi)Ｐ偷姆诸悳?zhǔn)確率，但還有很大提升空間。

圖10 數(shù)據(jù)增強對模型訓(xùn)練結(jié)果影響對比

2.2.3 學(xué)習(xí)率對模型性能的影響

學(xué)習(xí)率主要控制模型到達最優(yōu)點過程中權(quán)重的更新步長，為了比較不同學(xué)習(xí)率對模型性能影響，設(shè)置四組對照實驗。實驗結(jié)果如表3所示：當(dāng)學(xué)習(xí)率為0.000 1時改進ResNet34模型的分類準(zhǔn)確率達到相對最優(yōu)；當(dāng)學(xué)習(xí)率小于0.000 01時模型性能出現(xiàn)退化。決定選擇學(xué)習(xí)率為0.000 1進行最終的改進ResNet34模型訓(xùn)練。

表3 不同學(xué)習(xí)率下的模型訓(xùn)練結(jié)果對比

2.2.4 綜合數(shù)據(jù)增強與遷移學(xué)習(xí)對模型性能影響

上述實驗分別證明了遷移學(xué)習(xí)、數(shù)據(jù)增強以及調(diào)整學(xué)習(xí)率對于改進ResNet34模型性能都有一定的提升。為了探究綜合以上幾種方式對改進ResNet34模型性能的影響，設(shè)置模型參數(shù)：訓(xùn)練輪數(shù)為600，學(xué)習(xí)率為0.000 1，RandAugment中N=3，M=15。實驗結(jié)果表明：融合遷移學(xué)習(xí)和數(shù)據(jù)增強的改進ResNet34模型的每張圖片檢測時間達到0.003 39 s，驗證準(zhǔn)確率達到90.3%，測試準(zhǔn)確率為88.4%，分別比傳統(tǒng)ResNet34模型分類準(zhǔn)確率高5.3%和2.9%。由此證明了融合遷移學(xué)習(xí)和數(shù)據(jù)增強對改進ResNet34模型訓(xùn)練效果以及分類準(zhǔn)確率有很大的幫助。

2.3 模型評價

2.3.1 模型性能評價

為了評估融合遷移學(xué)習(xí)和數(shù)據(jù)增強的改進ResNet34網(wǎng)絡(luò)模型對于奶牛乳腺炎疾病檢測的性能，對從未參與訓(xùn)練過程的測試樣本進行預(yù)測，結(jié)果如表4所示。

表4 測試集混淆矩陣結(jié)果

由表6以及式(5)—式(8)計算出改進ResNet34網(wǎng)絡(luò)模型在測試集上查準(zhǔn)率為91.2%、查全率為91.6%、特異度為0.818、F1分?jǐn)?shù)為0.914，表明本研究提出的奶牛乳腺炎檢測算法分類能力強且模型具有良好的穩(wěn)健性。

在基于紅外圖像的奶牛乳腺炎疾病檢測領(lǐng)域中，文獻[14]提出一種基于閾值分割奶牛乳腺炎疾病檢測方法，一級和二級奶牛乳腺炎檢測準(zhǔn)確率分別為87.5%和33.3%。文獻[16]改進的深度學(xué)習(xí)網(wǎng)絡(luò)，對奶牛乳腺炎疾病檢測率的83.33%, 文獻[17]提出的一種改進YOLO v3-tiny的奶牛關(guān)鍵部位檢測方法，奶牛乳房炎檢測精度為77.3%。從表5中可以看出，所構(gòu)建的改進ResNet34算法的奶牛乳腺炎分類準(zhǔn)確率在相關(guān)研究中表現(xiàn)出色，證明了本研究所提出的方法具有明顯優(yōu)勢。

表5 相關(guān)研究結(jié)果對比

2.3.2 模型的泛化性評價

為了證明本研究方法的泛化性，需進一步保證各數(shù)據(jù)集之間樣本的獨立性，將奶牛個體數(shù)量按照3∶1∶1劃分為訓(xùn)練集、驗證集和測試集，劃分結(jié)果如表6所示。將數(shù)據(jù)樣本送入融合遷移學(xué)習(xí)和數(shù)據(jù)增強的改進ResNet34模型中，并設(shè)置上述實驗相同的模型參數(shù)。實驗結(jié)果如表7所示，按照奶牛個體數(shù)量劃分?jǐn)?shù)據(jù)測得模型的分類效果同樣令人滿意，證明本文所提出的融合遷移學(xué)習(xí)和數(shù)據(jù)增強的改進ResNet34模型對未知奶牛患乳腺炎的疾病檢測準(zhǔn)確率達到80%以上，該模型具有很好的魯棒性以及有效性。

表6 按照奶牛個體劃分?jǐn)?shù)據(jù)

表7 按照奶牛個體劃分?jǐn)?shù)據(jù)檢測結(jié)果

3 結(jié) 論

基于殘差網(wǎng)絡(luò)提出了一種改進ResNet34模型，通過模型精簡以及引入輔助分類器模塊和多融合池化層，能夠有效提高奶牛熱紅外圖像乳腺炎檢測準(zhǔn)確率，縮短分類時間。經(jīng)過與幾種經(jīng)典深度學(xué)習(xí)模型對比，在考慮遷移學(xué)習(xí)、學(xué)習(xí)率、數(shù)據(jù)增強以及數(shù)據(jù)集劃分方式等因素影響的情況下，設(shè)置多組對比實驗，實驗結(jié)果表明：當(dāng)學(xué)習(xí)率為0.000 1時，融合遷移學(xué)習(xí)和RandAugment數(shù)據(jù)增強的改進ResNet34模型測試準(zhǔn)確率為88.4%，高于傳統(tǒng)ResNet34模型2.5%。通過混淆矩陣計算出模型查準(zhǔn)率為0.912、查全率為0.916、F1分?jǐn)?shù)為0.914，證明本研究所提出的奶牛乳腺炎檢測模型具有很好的健壯性與魯棒性。與前人基于熱紅外圖像奶牛乳腺炎研究相比，本方法無需人工手動標(biāo)記樣本，能有效避免中間操作造成的誤差累計，疾病檢測準(zhǔn)確率較高且平均檢測時間僅需約0.003 39 s，本研究可以提高奶牛乳腺炎早期檢測的識別效率，為牛場管理人員科學(xué)養(yǎng)殖提供參考。然而，由于本研究依賴于奶牛的熱紅外數(shù)據(jù)，而固定的采集設(shè)備很難捕獲到包含完整目標(biāo)的數(shù)據(jù)，且關(guān)鍵部位(乳房、眼睛)的位置影響溫度的獲取。因此，在后續(xù)研究中，還需進一步提高數(shù)據(jù)采集設(shè)備，例如：利用深度相機與可移動、便攜式熱像儀獲取帶有位置信息的優(yōu)質(zhì)數(shù)據(jù)集，提高關(guān)鍵部位溫度讀取精度，增強奶牛乳腺炎檢測系統(tǒng)性能。