基于改進(jìn)型YOLOv4的病死金鯧魚識(shí)別方法

俞國燕，羅櫻桐，王 林，梁貽察，侯明鑫

(1 廣東海洋大學(xué)機(jī)械與動(dòng)力工程學(xué)院，廣東 湛江 524088;2 廣東省海洋裝備及制造工程技術(shù)研究中心，廣東 湛江 524088 3 南方海洋科學(xué)與工程廣東省實(shí)驗(yàn)室，廣東 湛江 524013)

淺灘養(yǎng)殖是漁業(yè)養(yǎng)殖中重要分支。受溫度、水質(zhì)和養(yǎng)殖密度等因素影響，金鯧魚淺灘養(yǎng)殖存在一定程度的病死率。為更好地分析病死金鯧魚因素，實(shí)現(xiàn)高質(zhì)量養(yǎng)殖已成為新的研究熱點(diǎn)。隨著視覺檢測技術(shù)逐步成熟，簡便的相機(jī)模塊能夠?qū)崿F(xiàn)病死魚的實(shí)時(shí)監(jiān)測，從而大大降低勞動(dòng)力成本。

目前國內(nèi)外關(guān)于病死金鯧魚研究較少，但是機(jī)器視覺在水產(chǎn)養(yǎng)殖領(lǐng)域已經(jīng)有了一定的進(jìn)展。在水產(chǎn)養(yǎng)殖中，設(shè)計(jì)多模塊網(wǎng)絡(luò)能夠有效實(shí)現(xiàn)養(yǎng)殖魚的自動(dòng)計(jì)數(shù)，其中特征提取模塊負(fù)責(zé)增強(qiáng)特征的描述，注意力模塊識(shí)別圖像中關(guān)鍵信息以及密度圖模塊將統(tǒng)計(jì)魚群的分布并在以上兩個(gè)模塊下實(shí)現(xiàn)自動(dòng)計(jì)數(shù)。該方法在滿足精度要求同時(shí)實(shí)現(xiàn)了魯棒性目標(biāo)檢測[1]。

近幾年，深度學(xué)習(xí)逐漸興起，因其精確檢測效果與高魯棒性被廣泛利用在視覺識(shí)別場景中。俞偉沖等[2]為實(shí)現(xiàn)準(zhǔn)確識(shí)別水下海膽、海參和扇貝3種珍品，使用MobileNet-SSD(MobileNet-Single Shot MultiBox Detector)小模型網(wǎng)絡(luò)對目標(biāo)進(jìn)行快速檢測。但是在密集目標(biāo)識(shí)別中存在明顯的漏檢現(xiàn)象。王珂力等[3]提出改進(jìn)的SSD(Single Shot MultiBox Detector)網(wǎng)絡(luò)，在一定程度上提高了小目標(biāo)水產(chǎn)動(dòng)物的識(shí)別準(zhǔn)確度，但是該網(wǎng)絡(luò)在檢測重疊目標(biāo)中準(zhǔn)確度較低。

在近幾年目標(biāo)檢測算法中，基于改進(jìn)型YOLO算法[4-6]被廣泛應(yīng)用行人檢測[7]、車輛檢測[8-9]以及水果檢測[10-12]等方面上。趙德安等[13]在水下河蟹識(shí)別中，分析水下光線衰減大、視野模糊等問題，提出了數(shù)據(jù)增強(qiáng)Retinex算法，并結(jié)合YOLOv3模型對河蟹識(shí)別與定位；類似的還有在水產(chǎn)養(yǎng)殖生物檢測中YOLO融合算法的研究[14-19]，這些算法都在某特定場景中提升了目標(biāo)檢測性能與魯棒性。但是受日照光線的影響，離線校準(zhǔn)的視覺傳感器難以穩(wěn)定獲取顏色紋理信息；同時(shí)在風(fēng)浪沖擊所產(chǎn)生的水霧也會(huì)導(dǎo)致圖像退化，低對比度和細(xì)節(jié)丟失的淺灘復(fù)雜環(huán)境下[20]，上述方法在淺灘養(yǎng)殖場景檢測死魚中均不適用。

在復(fù)雜淺灘養(yǎng)殖環(huán)境下，為提高病死金鯧魚定位檢測精度與特征細(xì)化能力，本研究提出一種基于YOLOv4[21]的改進(jìn)算法。其中YOLOv4-v2為基于損失函數(shù)與多尺度特征層模塊的創(chuàng)新，通過與YOLOv4算法對比評估該算法的可靠性以及在復(fù)雜淺灘養(yǎng)殖環(huán)境下的魯棒性能；YOLOv4-v1模塊是基于YOLOv4-v2算法基礎(chǔ)上加入Super模塊，對比YOLOv4-v2模型凸顯Super結(jié)構(gòu)在本文場景下的特征細(xì)化與特征增強(qiáng)優(yōu)越性。在評估方案上選擇平均精度、精確率、召回率等指標(biāo)對3種模型在第3節(jié)試驗(yàn)中對比分析與探討。

1 圖像數(shù)據(jù)與開發(fā)環(huán)境

1.1 試驗(yàn)環(huán)境

YOLOv4-v1目標(biāo)識(shí)別算法在配置為64核數(shù)Intel W-2145 CPU 3.7GHZ與顯卡型號(hào)為GeForce RTX 2070的操作系統(tǒng)Windows10上，通過Anaconda環(huán)境管理器安裝相關(guān)工具包，在Pycharm編譯器實(shí)現(xiàn)Python代碼編輯的同時(shí)，在Pytorch架構(gòu)上實(shí)現(xiàn)算法的訓(xùn)練與測試。

1.2 圖像數(shù)據(jù)采集

識(shí)別對象主要為病死金鯧魚(學(xué)名卵形鯧鯵)，數(shù)據(jù)集采集地點(diǎn)為廣東省湛江市東海島，圖像采集使用尼康(Nikon)D7500單反相機(jī)多角度且遠(yuǎn)近尺度拍攝所得。在淺灘養(yǎng)殖中，由于潮起潮落使得一部分病死魚分布在沙灘上而另一部分漂浮在水面，試驗(yàn)中通過上述光感相機(jī)搜集到的1 400張病死魚圖像作為本研究的數(shù)據(jù)集。為了增強(qiáng)數(shù)據(jù)集的多樣性以及模型在養(yǎng)殖場景中分類性能，設(shè)置檢測類別分別為病死態(tài)與存活態(tài)金鯧魚兩類。本研究主要分析死魚檢測結(jié)果。并統(tǒng)一為三通道416×416規(guī)格圖像。同時(shí)，在1 400幅數(shù)據(jù)集樣本中隨機(jī)篩選1 200(90%)幅圖像作為訓(xùn)練集數(shù)據(jù)，其余200(10%)幅作為訓(xùn)練驗(yàn)證集(trianval)。利用for與if函數(shù)，對重復(fù)出現(xiàn)在訓(xùn)練集與trianval中的圖像標(biāo)記寫入到trianval與測試集中，否則寫入到trianval與驗(yàn)證集。

1.3 標(biāo)注工具與方法

本研究標(biāo)簽制作采用LabelImg軟件[22]，通過人工交互方式對圖像中目標(biāo)進(jìn)行標(biāo)記，而標(biāo)注的目的是生成網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)樣本(圖1)。標(biāo)注的方法是在labelImg軟件中，設(shè)定好數(shù)據(jù)集樣本與目標(biāo)樣本文件目錄，在讀取每幅圖像中對病死態(tài)與存活態(tài)金鯧魚以矩形框的形式實(shí)現(xiàn)目標(biāo)坐標(biāo)的定位與邊界框的繪制，并給定不同對象唯一dead_fish或fish標(biāo)簽。標(biāo)注后目標(biāo)信息保存為與圖像同名的XML文件，其內(nèi)容包含當(dāng)前圖像各目標(biāo)的標(biāo)簽信息以及繪制框左上角與右下角坐標(biāo)信息等。

圖1 淺灘環(huán)境下病死金鯧魚圖像示例Fig.1 Example of an image of a dead golden pomfret in a shallow sea environment

2 方法

2.1 數(shù)據(jù)處理

為了保證網(wǎng)絡(luò)在訓(xùn)練樣本中能夠收斂到全局最優(yōu)點(diǎn)或者在該平衡點(diǎn)附近來回震蕩。圖像在輸入網(wǎng)絡(luò)前通過以下3種算法對數(shù)據(jù)進(jìn)行預(yù)處理：

(1)Mosaic數(shù)據(jù)增強(qiáng)函數(shù)。在淺灘環(huán)境會(huì)受到諸如海浪遮擋等對傳回圖像的噪聲干擾，在圖像中加入10%模糊度的馬賽克信息，用以降低網(wǎng)絡(luò)對離線環(huán)境特征信息的依賴，從而提高模型在實(shí)時(shí)識(shí)別中的準(zhǔn)確度與泛化能力。

(2)余弦退火算法。在訓(xùn)練初期快速跳出局部最優(yōu)點(diǎn)以逼近全局最優(yōu)，而后逐漸降低學(xué)習(xí)率。該算法既能防止模型過擬合，同時(shí)加快了網(wǎng)絡(luò)的收斂效率。

(3)標(biāo)簽平滑算法。該算法將網(wǎng)絡(luò)評估的置信度結(jié)果以一定的閾值偏離0與1。在分類任務(wù)上，Loss在迭代中不斷變小，分類標(biāo)簽與真實(shí)標(biāo)簽在One-Hot維度的絕對值誤差將不斷趨近于0，在極端情況下會(huì)造成模型的過擬合，因此引入適當(dāng)?shù)钠交瑓?shù)值可提升模型的魯棒性與泛化能力。根據(jù)相關(guān)文獻(xiàn)的查找[23-26]與淺灘場景下的多次試驗(yàn)，本研究平滑參數(shù)取0.005時(shí)模型具有最優(yōu)預(yù)測性能。

2.2 基于YOLOv4改進(jìn)算法分析

2.2.1 Tanh-v1激活函數(shù)

在Super結(jié)構(gòu)中，激活函數(shù)設(shè)計(jì)對網(wǎng)絡(luò)的性能至關(guān)重要。Tanh函數(shù)雖然具有良好的收斂性能，但是隨著網(wǎng)絡(luò)不斷加深，模型可能會(huì)出現(xiàn)梯度消失的情況；在不影響收斂速率下，本研究采用基于Tanh改進(jìn)的Tanh-v1激活函數(shù)[27]，為防止梯度消失，對基于分層殘差修正的權(quán)重矩陣正則化，在低層特征與高層特征通過非線性形式融合，該操作能夠更好地表達(dá)目標(biāo)各邊界，輪廓特征。

(1)

2.2.2 損失函數(shù)的定義

本研究YOLOv4-v1網(wǎng)絡(luò)采用二元交叉熵(Binary Cross Entropy,BCE)損失函數(shù)[28]：

(2)

本研究中的總損失函數(shù)Losstotal分割為以下3種損失函數(shù)進(jìn)行說明[29-30]。

目標(biāo)框定位評價(jià)采用的損失函數(shù)：

(3)

(4)

目標(biāo)框置信度評價(jià)采用損失函數(shù)：

(5)

dead_fish與fish的標(biāo)簽分類評價(jià)采用損失函數(shù)：

(6)

式中：m′ —最大置信度先驗(yàn)框；lk(m′)—通過Sigmoid選取第k個(gè)最大置信度先驗(yàn)框；K—選取的先驗(yàn)框個(gè)數(shù)。l′k(m′)函數(shù)表示對第k個(gè)最大置信度先驗(yàn)框進(jìn)行標(biāo)簽平滑化。具體Sigmoid函數(shù)：

(7)

其中標(biāo)簽平滑函數(shù)：

(8)

式中：n—分類數(shù)2(因分dead_fish和fish兩類)。ls—平滑系數(shù)，m′k—第k個(gè)目標(biāo)的最大置信度先驗(yàn)框。

最終由式(3)、式(4)、式(5)得YOLOv4-v1總的損失函數(shù)：

Ltotal=i·Losscls+j·Lossconf+k·Lossloc

(9)

式中：i、j、k分別表示對應(yīng)3個(gè)置信度評價(jià)的特征系數(shù)，這里3個(gè)常數(shù)均取1。

2.2.3 YOLOv4-v1網(wǎng)絡(luò)設(shè)計(jì)結(jié)構(gòu)圖

YOLOv4-v1網(wǎng)絡(luò)總結(jié)構(gòu)模型見圖2，其中Conv為卷積模塊，ResBlockBoby0～4為殘差卷積塊。設(shè)計(jì)主要以3×3的卷積核進(jìn)行提取，通過該小規(guī)格的卷積核一方面可以大大減少訓(xùn)練時(shí)的網(wǎng)絡(luò)參數(shù)量，降低模型的復(fù)雜度；另一方面能夠從原始圖像中抓取目標(biāo)特征信息。

圖2 YOLOv4-v1網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 YOLOv4-v1 Network Structure Diagram

在CSPDarkNet53網(wǎng)絡(luò)中并行輸出4層特征層的同時(shí)，對104×104×128特征層輸入到Super編碼結(jié)構(gòu)中，采用3×3的下采樣，防止病死魚邊緣信息的丟失，生成的特征圖通過Tanh-v1函數(shù)歸一化縮放為6×6×1024。該步驟分離出了4種程度不同的特征集成圖，一方面為解碼網(wǎng)絡(luò)中特征信息拼接用以提取出更多病死魚輪廓與紋理信息，從而解決日照變化中光源對目標(biāo)檢測干擾做準(zhǔn)備；另一方面在主方向特征少的ResBlockBody1層輸出中，引入了Super網(wǎng)絡(luò)結(jié)構(gòu)(圖3)，其中Conv0～3為3×3卷積模塊作特征提取，Conv4為全連接卷積層，UpSample 0～3為上采樣層，Connection 0～3作卷積與上采樣層的特征整合。通過串聯(lián)多組卷積與池化處理，對該特征圖在擴(kuò)張維度下深度提取信息，用以解決同一類別重疊對象的分離問題。在Super解碼中使用擴(kuò)邊處理(padding=1，即圖像四周填充一圈0)，利用特征拼接算法在標(biāo)準(zhǔn)歸一化和RGB通道分割下實(shí)現(xiàn)灰度化處理，從解碼結(jié)構(gòu)上采樣層與編碼結(jié)構(gòu)卷積層特征信息的拼接，并通過整合后的特征圖進(jìn)行圖像重建。

圖3 Super網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Super Network Structure Diagram

因此重建后特征圖會(huì)在很大程度上過濾因水霧造成的模糊與函數(shù)生成的模糊干擾的影響，以及解決圖像退化后對比度低，病死魚部分紋理不清晰與關(guān)鍵細(xì)節(jié)丟失等問題，使得網(wǎng)絡(luò)在自適應(yīng)學(xué)習(xí)中得到更好的檢測效果。最后經(jīng)由SPP(Spatial Pyramid Pooling)網(wǎng)絡(luò)卷積池化處理，輸出13×13×21，26×26×21，52×52×21，104×104×21四種不同規(guī)格特征圖，每個(gè)特征圖前兩個(gè)數(shù)值代表特征層的高與寬像素大小，第3個(gè)數(shù)值對應(yīng)每一個(gè)特征小網(wǎng)格存在的3個(gè)可選框，每個(gè)可選框又包含7個(gè)參數(shù)類型，分別是可選框的高與寬，左上角位置坐標(biāo)，是否存在檢測目標(biāo)以及該目標(biāo)的種類總共21個(gè)參數(shù)信息。

2.2.4 YOLOv4-v1網(wǎng)絡(luò)流程圖

為了更清晰表達(dá)本文網(wǎng)絡(luò)模型在創(chuàng)新Super結(jié)構(gòu)上的特征處理過程，具體的流程圖如圖4所示。其中當(dāng)圖像經(jīng)過圖像增強(qiáng)輸入到CSPDarkNet53結(jié)構(gòu)塊中，特征的提取以遞歸的形式，在Resblockbody1到Resblockbody4的過程通過殘差內(nèi)嵌的形式，將特征信息依次壓縮與細(xì)化，即將目標(biāo)的主成分信息盡可能地保留。在PaNet模塊中，一方面，輸入104×104×128特征塊以不同數(shù)目的卷積與上采樣多模態(tài)處理，通過規(guī)范化通道數(shù)后依次輸出四層多尺度特征圖。另一方面，輸入104×104×21特征塊經(jīng)由Super中編碼解碼處理，在第一部分對輸入權(quán)重矩陣與3×3過濾器卷積運(yùn)算，輸出的64通道特征參數(shù)信息以Tanh-v1的形式進(jìn)行激活，并在對應(yīng)通道上實(shí)現(xiàn)2×2的最大池化，依次類推，最后在編碼器中得到的13×13×1024的特征模塊。在解碼器中利用下采樣與拼接算法，將將對應(yīng)尺度的特征圖進(jìn)行拼接，最終輸出為104×104×21特征信息。

圖4 圖像處理過程和Super網(wǎng)絡(luò)流程圖Fig 4 Image processing process and Super network flow chart

2.2.5 YOLOv4-v2網(wǎng)絡(luò)模型

YOLOv4-v2模型區(qū)別于YOLOv4模型，使用Tanh-v1代替Relu激活，并且新增Resblockbody1特征層信息并行到PaNet模塊中，該層中包含的邊界信息因?yàn)槌鼗潭茸钚?，因此在特征整合后模型對于目?biāo)的識(shí)別有更多的邊界特征信息可提供參照。此外，該模型與YOLOv4-v1的唯一區(qū)別在于沒有引入Super結(jié)構(gòu)模塊。

3 試驗(yàn)與分析

3.1 試驗(yàn)方案設(shè)計(jì)

3.2 評價(jià)函數(shù)

3種算法的實(shí)現(xiàn)均基于死魚數(shù)據(jù)集，在YOLOv4官網(wǎng)預(yù)訓(xùn)練權(quán)重參數(shù)模型上訓(xùn)練10 000次均耗時(shí)3 h，從圖5可知在采用余弦退火學(xué)習(xí)率下，訓(xùn)練損失值在8 500次左右已基本穩(wěn)定。每10次訓(xùn)練輸出一次的驗(yàn)證損失在830次左右已基本穩(wěn)定。為保證模型在最優(yōu)值附近震蕩，設(shè)置每執(zhí)行完236次(1個(gè)Epoch)則學(xué)習(xí)率變?yōu)樵瓉淼?2%，從而使訓(xùn)練能夠進(jìn)一步收斂。

圖5 YOLOv4-v1訓(xùn)練與驗(yàn)證損失Fig.5 Training and validation loss of YOLOv4-v1

(10)

(11)

(12)

(13)

(14)

式中：tp(True Precsion)—正確識(shí)別死魚的目標(biāo)數(shù)；fp(False Precsion)—誤測死魚數(shù)；fn(False Negative)—正確識(shí)別活魚數(shù)；C為標(biāo)記類別；m—某類別檢測目標(biāo)數(shù)量。p(Precsion)—某類別精確率；aj(Averge Precsion)—第j類目標(biāo)的檢測平均精確率。l—檢測到的目標(biāo)個(gè)數(shù)；pi—第i個(gè)目標(biāo)檢測精確率；ri—第i個(gè)目標(biāo)檢測召回率。

在死魚驗(yàn)證集中，3種模型對死魚檢測結(jié)果見表1。由表1中tp和fp值比較可得本研究中YOLOv4-v1算法在同等數(shù)量目標(biāo)框中所能識(shí)別正確的目標(biāo)最多以及誤判數(shù)目最少，在淺灘復(fù)雜環(huán)境中對死魚能夠達(dá)到有效識(shí)別要求。

表1 死魚檢測正確數(shù)與誤檢數(shù)Tab.1 Dead fish detection correct number and false detection number

3.3 試驗(yàn)圖像對比分析

為了驗(yàn)證Super結(jié)構(gòu)和ResBlockBody1網(wǎng)絡(luò)塊的復(fù)用對提高死魚識(shí)別檢測精度的有效性，試驗(yàn)分別采用YOLOv4模型，引用ResBlockBody1網(wǎng)絡(luò)塊的YOLOv4-v2模型以及同時(shí)引用Super和ResBlockBody1網(wǎng)絡(luò)結(jié)構(gòu)的YOLOv4-v1模型進(jìn)行對比試驗(yàn)分析，對死魚類別進(jìn)行迭代分析。在復(fù)雜淺灘環(huán)境中金鯧魚檢測可視化結(jié)果如圖6所示，其中紅色方框?yàn)椴∷缿B(tài)金鯧魚類別的檢測精度結(jié)果，而藍(lán)色方框?yàn)榇婊顟B(tài)金鯧魚類別的檢測精度結(jié)果。

圖6 金鯧魚檢測可視化結(jié)果Fig.6 Visualized results of golden pomfret detection

3.4 模型檢測結(jié)果對比

根據(jù)訓(xùn)練驗(yàn)證集中最優(yōu)模型，在YOLOv4，YOLOv4-v1，YOLOv4-v2模型中分別選取訓(xùn)練損失和驗(yàn)證損失分別為3.34、3.65；1.95、3.40；1.92、3.65作為檢測模型權(quán)重文件。在未參與訓(xùn)練的驗(yàn)證集中選取的117幅416×416圖像的模型檢測對比結(jié)果(表2)。在本研究中選擇F1值，召回率以及漏檢率等評價(jià)指標(biāo)衡量模型的識(shí)別性能。YOLOv4-v1模型在mP值上相較于YOLOv4模型提升了3.36%，在召回率上提升了2.54%，F(xiàn)1值提升了0.56個(gè)百分點(diǎn)，同時(shí)檢測速度也基本與之持平，通過該對比試驗(yàn)驗(yàn)證表明，在復(fù)雜的淺灘環(huán)境中，YOLOV4-v1網(wǎng)絡(luò)能夠更好地提取細(xì)化特征，增強(qiáng)模型的魯棒性，在實(shí)際檢測病死態(tài)金鯧魚時(shí)能夠達(dá)到實(shí)時(shí)與精準(zhǔn)檢測的效果；相比于YOLOv4-v2模型，Super模塊的引入大大降低了漏檢率，mP值提升了約1.00%，F(xiàn)1值上提升了0.46%的分?jǐn)?shù)；同時(shí)在檢驗(yàn)精度以及抗干擾能力上都有相應(yīng)的提升；從另一角度分析，各指標(biāo)的提升也證明了該模塊在檢測目標(biāo)與提取目標(biāo)的邊緣特征上更具敏感性。通過YOLOv4-v2與YOLOv4的對比試驗(yàn)表明，改進(jìn)的損失函數(shù)與多尺度特征圖在一定程度上提升了檢測精度，但是卻犧牲了檢測目標(biāo)的穩(wěn)定性，而Super模塊能夠很好地解決這個(gè)問題。綜上所述，YOLOv4-v1模型在淺灘試驗(yàn)場景中具有實(shí)用性。

表2 各網(wǎng)絡(luò)的損失與平均精度值Tab.2 The loss of each network and

3.5 評價(jià)指標(biāo)結(jié)果對比

在病死魚類別下，分別在YOLOv4，YOLOv4-v1，YOLOv4-v2模型下訓(xùn)練出來的精確率-召回率(P-R)曲線(圖7)。從圖7a，圖7b，圖7c對比可知YOLOv4-v1訓(xùn)練可得模型P-R曲線圖最佳，即其所檢測的識(shí)別框與標(biāo)簽繪制框重疊度最高。

圖7 各模型P-R曲線圖Fig.7 P-R Curve Diagram of Each Model

3.6 討論分析

對比口罩佩戴的檢測[35]，本研究檢測的難度在于風(fēng)浪與雨霧造成的圖像退化與低對比度，因此在邊界與輪廓上定義相對模糊；對比小龍蝦的檢測[36]，本研究檢測難度在于金鯧魚的顏色與輪廓與背景相融，因此增加了識(shí)別的準(zhǔn)確性；同時(shí)，對比農(nóng)業(yè)上的視覺檢測[37-39]，在淺灘環(huán)境下需要的實(shí)時(shí)性更高，金鯧魚的位置會(huì)隨浪潮的流動(dòng)而發(fā)生變化，同時(shí)還會(huì)產(chǎn)生噪聲影響。針對上述種種難題，YOLOv4-v1算法能夠通過Super結(jié)構(gòu)與多尺度方法優(yōu)化圖像特征從而獲得高精度檢測與高魯棒性。最終取得98.31%的平均檢測精度。對比更前沿的YOLOv5算法[40-41]，本研究提出的YOLOv4-v1模型在檢測速度與漏檢率上有待優(yōu)化。

4 結(jié)論

□