改進(jìn)殘差網(wǎng)絡(luò)的海水養(yǎng)殖魚類識(shí)別與分類研究

季星宇 趙雪峰 陳榮軍 仲兆滿

摘? 要： 為了滿足海水養(yǎng)殖行業(yè)不斷提高的智能化需求，對(duì)海洋魚類的識(shí)別和分類算法進(jìn)行研究。采用多重殘差網(wǎng)絡(luò)進(jìn)行魚類識(shí)別及分類，不僅降低計(jì)算復(fù)雜度，同時(shí)加快了殘差網(wǎng)絡(luò)的學(xué)習(xí)速度；引入指數(shù)線性單元（ELU）改進(jìn)網(wǎng)絡(luò)的標(biāo)準(zhǔn)殘差模塊，對(duì)輸入的負(fù)激活值部分進(jìn)行非線性變化，其參數(shù)可通過卷積訓(xùn)練進(jìn)行自適應(yīng)學(xué)習(xí)，同時(shí)保持正激活值部分不變，解決了傳統(tǒng)殘差模塊中ReLU層將包含有用信息的負(fù)激活值完全丟棄的問題，以降低梯度消失的概率。在海洋魚類識(shí)別與分類的多次實(shí)驗(yàn)中，改進(jìn)的殘差網(wǎng)絡(luò)準(zhǔn)確率均不低于95.48%，表明改進(jìn)算法擁有較高的識(shí)別準(zhǔn)確率和良好的穩(wěn)定性。

關(guān)鍵詞： 海水養(yǎng)殖； 魚類識(shí)別； 殘差網(wǎng)絡(luò)； 指數(shù)線性單元； 激活函數(shù)

中圖分類號(hào)：TP391.4? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2023）09-101-05

Improved residual network and its application in intelligent mariculture

Ji Xingyu， Zhao Xuefeng， Chen Rongjun， Zhong Zhaoman

（College of Computer Engineering， Jiangsu Ocean University， Lianyungang， Jiangsu 222000， China）

Abstract： In order to meet the increasing intelligent needs of mariculture industry， the recognition and classification algorithms of marine fish are studied. A multiple residual network is used for fish recognition and classification. This network not only reduces computational complexity， but also accelerates the learning speed of the residual network. Exponential linear unit （ELU） is introduced to improve the standard residual module of the network， which performs nonlinear changes on the negative activation value portion of the input. Its parameters can be adaptively learned through convolution training， while maintaining the positive activation value portion unchanged. It solves the problem of completely discarding the negative activation value containing useful information in the ReLU layer of the traditional residual module， and reduces the probability of gradient disappearance. In many experiments on marine fish recognition and classification， the accuracy of the improved residual network has reached 95.48% or more， which indicates that the improved algorithm has a high recognition accuracy and good stability.

Key words： mariculture; fish recognition; residual network; exponential linear unit（ELU）; activation function

0 引言

我國是水產(chǎn)品養(yǎng)殖大國，水產(chǎn)品養(yǎng)殖已超過世界水產(chǎn)產(chǎn)量的70%，是我國國民經(jīng)濟(jì)的重要來源之一[1]。在海水養(yǎng)殖業(yè)，由于海水產(chǎn)品種類多，品類價(jià)值差距大，因此對(duì)海水產(chǎn)品的種類識(shí)別在養(yǎng)殖、捕撈、加工等程序中顯得格外重要。本文針對(duì)海水魚類養(yǎng)殖業(yè)進(jìn)行魚類識(shí)別算法的研究。

傳統(tǒng)機(jī)器視覺識(shí)別技術(shù)通過對(duì)魚類圖像進(jìn)行圖像處理技術(shù)，提取其特征值并構(gòu)建模型，通過模型對(duì)魚類進(jìn)行分類識(shí)別。國內(nèi)外有關(guān)圖像處理的研究已有較多成果。吳一全[2]等人采用一種多核的最小二乘類型支持向量機(jī)（LS-SVM），以灰度共生矩陣來提取鳙魚、鳊魚、鯽魚、青魚和草魚等五種魚類的紋理特征，經(jīng)過實(shí)驗(yàn)，其識(shí)別準(zhǔn)確率超過80%。姚潤璐[3]等通過分割魚體獲得相關(guān)魚類圖像，提取這些圖像中的魚類紋理特征和形狀特征，構(gòu)建相關(guān)模型，其模型識(shí)別準(zhǔn)確率達(dá)到75%。胡燦[4]等人提出結(jié)合主成分分析算法（PCA）和粒子群優(yōu)化算法（PSO），對(duì)圖像處理所提取到的魚類顏色、形態(tài)、紋理等25個(gè)特征值進(jìn)行降維、優(yōu)化，通過所得到的數(shù)據(jù)生成極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM），實(shí)驗(yàn)表明魚類分類識(shí)別準(zhǔn)確率達(dá)到96.67%。這些傳統(tǒng)機(jī)器視覺識(shí)別方法的特征提取部分較為復(fù)雜并且需要依賴人工選擇，識(shí)別精度也無法完全滿足現(xiàn)實(shí)需求[5]。

隨著人工智能技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、計(jì)算機(jī)視覺技術(shù)等不斷發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在圖像分類與識(shí)別中的優(yōu)異表現(xiàn)被研究者所青睞。2012年Krizhevsky[6]利用5個(gè)卷積層和3個(gè)全連接層構(gòu)建淺層網(wǎng)絡(luò)，在ILSVRC競賽中表現(xiàn)優(yōu)異，取得了38.1%的Top-1錯(cuò)誤率以及16.4%的Top-5錯(cuò)誤率。2014年，VGGNet[7]首次將網(wǎng)絡(luò)的深度增加到了19層，在ILSVRC競賽上表現(xiàn)優(yōu)異，其24.7%的Top-1錯(cuò)誤率和7.3%的Top-5錯(cuò)誤率的表現(xiàn)令人贊嘆。深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)能力也隨著網(wǎng)絡(luò)深度的不斷增加而日益增強(qiáng)[8]。然而，再增加網(wǎng)絡(luò)深度并不能在網(wǎng)絡(luò)深度達(dá)到一定程度時(shí)帶來理想效果。為解決網(wǎng)絡(luò)深度的增加而帶來的網(wǎng)絡(luò)退化的問題，He[9]等人提出了深度殘差網(wǎng)絡(luò)，緩解了網(wǎng)絡(luò)深度增加帶來的梯度爆炸等問題，同時(shí)殘差網(wǎng)絡(luò)在分類和識(shí)別方面的精確度也有了很大的提高。但深度殘差網(wǎng)絡(luò)中一般采用的ReLU函數(shù)對(duì)負(fù)激活值部分表現(xiàn)并不理想。

本文以六種海洋魚類為代表，構(gòu)建所需的魚類圖片數(shù)據(jù)集，并提出一種基于多重殘差網(wǎng)絡(luò)的海水養(yǎng)殖魚類識(shí)別模型，將準(zhǔn)殘差函數(shù)中的BN層和ReLU層用指數(shù)線性單元（exponential linear unit，ELU）來代替。并對(duì)模型進(jìn)行測試及性能優(yōu)化分析。

1 引入ELU的ResNet算法改進(jìn)

1.1 ResNet分析

原始?xì)埐顔卧怯删矸e層（CONV）、批處理歸一化層（BN）和非線性激活函數(shù)ReLU層組成的標(biāo)準(zhǔn)殘差單元組成。我們將第L個(gè)殘差單元的輸入定義為[xl]，則輸出[xl+1]可表示為如下的數(shù)學(xué)計(jì)算：

[xl+1=f（xl+F（xl，ωl））] ⑴

其中，[ωl]是該殘差函數(shù)對(duì)應(yīng)的權(quán)重參數(shù); [F（xl，ωl）]是標(biāo)準(zhǔn)殘差函數(shù)；[f（?）]為非線性激活函數(shù)。其中[xl]和[F（xl，ωl）]需要保持維度相同。如果[xl]和[F（xl，ωl）]的維度不一樣，我們使用一個(gè)線性映射[ωs]將兩者維度匹配。公式⑴可以改成以下形式：

[xl+1=f（ωsxl+F（xl，ωl））] ⑵

對(duì)于網(wǎng)絡(luò)中的前饋神經(jīng)網(wǎng)絡(luò)，一般需要前向傳播輸入信號(hào)，然后反向傳播誤差并使用梯度方法更新參數(shù)。舉例說明，當(dāng)?shù)贚層某參數(shù)的更新需要計(jì)算損失[ε]對(duì)其梯度的影響，該梯度依賴于該層的誤差項(xiàng)[δ（l）]，[δ（l）=?ε?z（l）]，根據(jù)鏈?zhǔn)椒▌t，[δ（l）]又依賴于后一層的誤差項(xiàng)[δ（l+1）]。

[δ（l）=?z（l+1）?z（l）?δ（l+1）] ⑶

若網(wǎng)絡(luò)單元的輸入與輸出保持維度一致，則定義[γ（l）??z（l+1）?z（l）]，于是有：

[δ（l）?γ（l）δ（l+1）] ⑷

當(dāng)[γ（l）<1]時(shí)，第L層的誤差項(xiàng)較后一層減小，當(dāng)許多層都如此時(shí)，就會(huì)造成梯度逐漸消失的反向傳播，即使更新了底層的參數(shù)也不能做到這一點(diǎn)，這就是梯度彌散（或梯度消失）的問題。

1.2 指數(shù)線性單元（ELU）的構(gòu)建

在殘差模塊中，雖然BN層和ReLU激活函數(shù)的組合可以實(shí)現(xiàn)梯度消失問題的緩解和通過ReLU函數(shù)的加速收斂，但是當(dāng)ReLU函數(shù)收到的激活值小于0時(shí)，如果激活值不能相互抵消（即均值為0），就會(huì)對(duì)下一層的輸入產(chǎn)生偏置值。當(dāng)單元越來越多時(shí)，其偏移就會(huì)越來越大，導(dǎo)致下一層的輸入無法保持相近的分布狀態(tài)。為緩解這種問題當(dāng)ReLU函數(shù)接收道德激活值小于0時(shí)，直接忽略負(fù)激活值。因此本文將標(biāo)準(zhǔn)殘差模塊中的BN層和ReLU層組合用指數(shù)線性單元（exponential linear unit，ELU）替代，如圖1所示。相較于ReLU函數(shù)，ELU對(duì)輸入的負(fù)激活部分進(jìn)行有符號(hào)的非線性變化，其參數(shù)可通過卷積訓(xùn)練進(jìn)行自適應(yīng)學(xué)習(xí)，同時(shí)保持正激活值部分不變。ELU的表達(dá)式如下所示：

[f（x）=x，x>0α（exp（x）-1），x≤0] ⑸

其中[α]是一個(gè)隨機(jī)的參數(shù)，它控制負(fù)值部分在何時(shí)飽和，以此達(dá)到處理負(fù)值信息的目的。，由ELU函數(shù)在負(fù)激活處的定義可以看出，負(fù)激活值部分也可以攜帶有用信息并被使用，其在負(fù)激活值部分的非線性變換可以減小偏置變換，這使得標(biāo)準(zhǔn)梯度接近自然梯度，從而能夠加快訓(xùn)練速度。ELU表達(dá)式表明在負(fù)激活值的處理方式要優(yōu)于傳統(tǒng)的ReLU激活函數(shù)。

研究發(fā)現(xiàn)，深度殘差網(wǎng)絡(luò)的每一個(gè)百分比的提升都需要顯著增加層數(shù)，這也增加了網(wǎng)絡(luò)計(jì)算和存儲(chǔ)的成本。為此，我們使用了多殘差網(wǎng)絡(luò)（Multi-Resnet）來緩解這一難題。

1.3 改進(jìn)的多重殘差網(wǎng)絡(luò)

對(duì)于原始的殘差網(wǎng)絡(luò)來說殘，其最大的問題是殘差模塊中函數(shù)[f（?）]是非線性激活函數(shù)。當(dāng)為了提升準(zhǔn)確而不斷增加網(wǎng)絡(luò)深度的時(shí)候，激活函數(shù)[f（?）]會(huì)使得反向傳播的梯度值趨于零，這就延緩了信息流在網(wǎng)絡(luò)中傳播的速度，也就增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間。為此，改進(jìn)的殘差單元中將激活函數(shù)[f（?）]替換為恒等映射函數(shù)。在恒等映射函數(shù)下，公式⑴中殘差單元的輸出則可以形式化為

[xl+1=xl+F（xl，ωl）] ? ⑹

本文將標(biāo)準(zhǔn)殘差函數(shù)形式改為多個(gè)相同殘差函數(shù)的和，保持深度固定的同時(shí)，拓展其寬度，其表現(xiàn)形式如下：

[xl+1=xl+i=1kF（xl，ωl）]? ⑺

我們選用上文的改進(jìn)的殘差單元作為殘差網(wǎng)絡(luò)中的多個(gè)殘差單元，其可以更好地緩解殘差網(wǎng)絡(luò)梯度消失的問題，多重殘差網(wǎng)絡(luò)可以在保持深度固定的同時(shí)，通過增加每個(gè)殘差單元中殘差函數(shù)的數(shù)量來提高網(wǎng)絡(luò)訓(xùn)練速度。將殘差模塊中的殘差函數(shù)進(jìn)行分組，并將其分配給不同的GPU進(jìn)行計(jì)算，通過多GPU并行操作，來提高網(wǎng)絡(luò)的訓(xùn)練速度。改進(jìn)后的多重殘差網(wǎng)絡(luò)如圖2所示。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 海水養(yǎng)殖魚類數(shù)據(jù)集的制作

本文研究采用網(wǎng)絡(luò)部分公開數(shù)據(jù)集和用網(wǎng)絡(luò)爬蟲的方式獲取的相關(guān)圖像構(gòu)成本文所用數(shù)據(jù)集（如圖3所示），實(shí)驗(yàn)選擇了六種海魚作為研究對(duì)象，分別是長鰭金槍魚（ALB）、肥壯金槍魚（BET）、海豚魚（DOL）、月亮魚（LAG）、灰鯖鯊（SHARK）和黃鰭金槍魚（YFT）。

網(wǎng)絡(luò)爬蟲獲取的魚類圖像可能存在尺度不一、格式不定等問題，因此需要對(duì)獲取的圖像進(jìn)行統(tǒng)一數(shù)據(jù)預(yù)處理。采用圖像批處理的方式，將所有圖像數(shù)據(jù)存儲(chǔ)格式統(tǒng)一為.jpg格式，按照不同魚類進(jìn)行分別存儲(chǔ)。

數(shù)據(jù)增強(qiáng)是在保證不改變數(shù)據(jù)類型的前提下，對(duì)原始數(shù)據(jù)進(jìn)行相關(guān)操作，以增加所需數(shù)據(jù)的多樣性，數(shù)據(jù)增強(qiáng)使這些圖像的像素點(diǎn)矩陣中的像素點(diǎn)發(fā)生變化，因此這些圖像在模型訓(xùn)練的過程中得到不同的矩陣特征，經(jīng)過訓(xùn)練和學(xué)習(xí)后，對(duì)原始圖像進(jìn)行樣本擴(kuò)展，從而達(dá)到增強(qiáng)數(shù)據(jù)集的目的。翻翻、裁剪、縮放等常用的資料增強(qiáng)方法。通過數(shù)據(jù)增強(qiáng)（如圖4所示）可以提高殘差網(wǎng)絡(luò)的泛化能力，同時(shí)能彌補(bǔ)魚類圖像數(shù)據(jù)集資源匱乏之不足的問題。

通過數(shù)據(jù)增強(qiáng)的方式，共獲得3940張魚類圖像，并以這些圖像組成本文數(shù)據(jù)集。其中80%作為訓(xùn)練集，20%作為實(shí)驗(yàn)測試集。

2.2 數(shù)據(jù)集標(biāo)注

數(shù)據(jù)集標(biāo)注就是人工劃分出圖像中待識(shí)別目標(biāo)所在區(qū)域的分類信息、語義信息和位置信息等，使得模型訓(xùn)練時(shí)能夠更高效地獲取目標(biāo)的特征。針對(duì)各種不同需求，數(shù)據(jù)集標(biāo)注完整性的要求會(huì)是不同的。對(duì)于本文的目標(biāo)檢測與識(shí)別和圖像分類的任務(wù)中，只需要標(biāo)注圖片中所含目標(biāo)類別，如圖5所示。

2.3 評(píng)價(jià)標(biāo)準(zhǔn)

本文采用準(zhǔn)確率（Accuracy）、精確度（Precision）、召回率（Recall）和 F1 分?jǐn)?shù)（F1 score）[10]來衡量本文模型性能，其公式如下所示：

[Accuracy=TP+TNTP+FP+TN+FN] ⑻

[Recall=TPTP+FN] ⑼

[Precision=TPTP+FP] ⑽

[F1score=2×Precision×RecallPrecision+Recall] ⑾

其中，TP表示為真實(shí)種類的且模型識(shí)別為正確的種類數(shù)量；FN表示為真實(shí)種類的且模型識(shí)別為錯(cuò)誤的種類數(shù)量；FP為樣本為錯(cuò)誤種類但模型識(shí)別為正確的種類數(shù)量；TN表示樣本為錯(cuò)誤種類模型識(shí)別為錯(cuò)誤的種類數(shù)量。

2.4 算法有效性驗(yàn)證

隨著迭代次數(shù)的不斷增加，本文算法的性能也不斷提高。通過不斷地實(shí)驗(yàn)，當(dāng)?shù)螖?shù)達(dá)到700次左右時(shí)，模型的準(zhǔn)確率趨于平緩，如表1所示。對(duì)比四種不同迭代次數(shù)下模型識(shí)別準(zhǔn)確率，考慮時(shí)間成本的，本文最終選擇700次迭代的版本作為最終模型，其測試集準(zhǔn)確率達(dá)到95 .48%。本文提出的魚類識(shí)別算法做到了保證正確率的情況下?lián)碛休^低的模型復(fù)雜度，圖6為識(shí)別結(jié)果。圖7為每張測試圖像識(shí)別準(zhǔn)確率散點(diǎn)圖，部分圖像任受背景影響導(dǎo)致識(shí)別精度不高，但整體上識(shí)別算法還是擁有較高的識(shí)別準(zhǔn)確率。

2.5 不同魚類識(shí)別算法對(duì)比實(shí)驗(yàn)

為測試本文算法性能，我們用ResNet、AlexNet以及本文算法進(jìn)行測試，不同算法識(shí)別結(jié)果如表2所示。

3 結(jié)束語

針對(duì)傳統(tǒng)殘差網(wǎng)絡(luò)中忽略負(fù)激活值、網(wǎng)絡(luò)計(jì)算與儲(chǔ)存成本過大等問題，本文提出一種適用于海洋魚類識(shí)別和分類任務(wù)的殘差網(wǎng)絡(luò)改進(jìn)算法。使用能夠減少網(wǎng)絡(luò)深度、增加網(wǎng)絡(luò)寬度的多重殘差網(wǎng)絡(luò)作為模型的主干網(wǎng)絡(luò)，可加快學(xué)習(xí)的收斂速度，極大地加速了網(wǎng)絡(luò)的訓(xùn)練和檢測速度，同時(shí)降低了網(wǎng)絡(luò)計(jì)算成本。殘差函數(shù)中，使用ELU取代BN層和ReLU的結(jié)合，使得一些有用的負(fù)值信息可以被使用，提高了殘差網(wǎng)絡(luò)對(duì)于魚類識(shí)別和分類的準(zhǔn)確性。實(shí)現(xiàn)對(duì)六種魚類的魚種分類，實(shí)驗(yàn)顯示，識(shí)別準(zhǔn)確率達(dá)95.48%，相較于原始的ResNet網(wǎng)絡(luò)準(zhǔn)確率提高了4.23%。

參考文獻(xiàn)（References）：

[1] 羅茵.2020中國漁業(yè)統(tǒng)計(jì)年鑒[J].海洋與漁業(yè)，2020（6）：12-13.

[2] 吳一全，殷駿，戴一冕，等.基于蜂群優(yōu)化多核支持向量機(jī)的淡水魚種類識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2014，30（16）：312-319.

[3] 姚潤璐，桂詠雯，黃秋桂.基于機(jī)器視覺的淡水魚品種識(shí)別[J].微型機(jī)與應(yīng)用，2017，36（24）：37-39.

[4] 胡燦.基于ELM算法的鮮活淡水魚圖像自動(dòng)歸類研究[D].湖南：湘潭大學(xué)，2017.

[5] 胡濤.基于深度學(xué)習(xí)的魚類識(shí)別研究[D].浙江：浙江工業(yè)大學(xué)，2019.

[6] Krizhevsky A， Sutskever I， Hinton G. ImageNet Classifica-tionwith Deep Convolutional Neural Networks[J]. Advances in neural information processing systems，2012，25（2）.

[7] Karen Simonyan，Andrew Zisserman. Very Deep Convolu-tional Networks for Large-Scale Image Recognition.CoRR[J].2014，abs/1409.1556.

[8] Zifeng Wu，Chunhua Shen，Anton van den Hengel. Wider?or Deeper： Revisiting the ResNet Model for Visual Recognition[J]. Pattern Recognition，2019，90.

[9] Kaiming He，Xiangyu Zhang，Shaoqing Ren，Jian Sun 0001.Identity Mappings in Deep Residual?Networks..CoRR[J]，2016，abs/1603.05027.

[10] 萬鵬，趙竣威，朱明，等.基于改進(jìn)Res Net50模型的大宗淡水魚種類識(shí)別方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2021，37（12）：159-168.