基于FTVGG16卷積神經(jīng)網(wǎng)絡的魚類識別方法

陳英義 龔川洋 劉燁琦 方曉敏

(1.中國農(nóng)業(yè)大學信息與電氣工程學院， 北京 100083； 2.農(nóng)業(yè)農(nóng)村部信息獲取技術重點實驗室， 北京 100083； 3.北京農(nóng)業(yè)物聯(lián)網(wǎng)工程技術研究中心， 北京 100083)

0 引言

魚類的計算機視覺識別一直是該領域的研究熱點，多年來，許多學者對其進行了深入研究，尤其是基于顏色、形狀、紋理等圖像內(nèi)容的魚類識別研究較多，并取得了較大進展。STRACHAN等[1]利用魚的形狀進行分類。LARSEN等[2]使用線性判別分析方法(Latent dirichlet allocation，LDA)對魚種形狀和紋理特征進行分類，準確率為76%。HUANG等[3]提出BGOT(Balance guaranteed optimized tree)算法，對采集的10個魚種3 179幅圖像數(shù)據(jù)進行分類，準確率為95%。吳一全等[4]提出基于最小二乘支持向量機(Least squares support vector machine, LSSVM)的識別方法，準確率為95.83%以上。杜偉東等[5]提出了基于支持向量機(Support vector machine，SVM)的決策融合魚類識別方法，準確率在90%以上。

圖1 魚類圖像樣本Fig.1 Fish image samples

但是，隨著機器視覺技術的發(fā)展，數(shù)據(jù)量劇增，基于內(nèi)容的識別方法在特征提取方面存在的計算復雜、特征不可遷移性[6]等問題愈發(fā)突出。特別是對圖像中存在目標小、他物遮擋、光線干擾等情況的圖像識別上，存在識別準確率低或運算效率低等問題，不能滿足實際需求。深度學習[7]中卷積神經(jīng)網(wǎng)絡[8,11](Convolutional neural network, CNN)的出現(xiàn)已經(jīng)徹底改變了圖像識別[8-9]、語音識別[10]以及大數(shù)據(jù)處理在農(nóng)業(yè)中的應用方式。劉德營等[12]提出了一種基于卷積神經(jīng)網(wǎng)絡的白背飛虱自動識別方法；傅隆生等[13]提出了一種基于Let-Net5[14]卷積神經(jīng)網(wǎng)絡的田間多簇獼猴桃果實圖像識別深度學習模型；王璨等[15]提出了一種基于卷積神經(jīng)網(wǎng)絡提取多尺度分層特征的田間玉米雜草識別方法，為本研究的開展提供了新思路。

本文在上述研究成果的基礎上，通過分析已有的VGG16[16]卷積神經(jīng)網(wǎng)絡模型良好的圖像特征提取功能，設計FTVGG16卷積神經(jīng)網(wǎng)絡，提高復雜應用場景魚類目標的識別精度，為構建可靠、精準、快速的魚類識別系統(tǒng)提供理論基礎。

1 材料與方法

1.1 圖像獲取

圖像數(shù)據(jù)來自大自然保護協(xié)會提供的遠洋捕撈船上攝像頭拍攝的場景[17]。該協(xié)會提供了3 777幅帶標注的魚類圖像和1 000幅不帶標注的魚類圖像。部分海魚類圖像示例如圖1所示，圖像包含8類目標，其中7類是不同種類的海魚(目標)和1類不包括魚類目標的背景，每幅圖像只屬于某一類別，構建的FTVGG16模型需要識別出每幅圖像中包含的魚類目標。

1.2 圖像預處理

在深度學習領域，通過對圖像進行預處理可以增強數(shù)據(jù)樣本，進而提高模型性能。本文圖像預處理主要包括：

(1)圖像像素值處理，即將JPG格式的圖像轉(zhuǎn)換為RGB三通道的矩陣向量存儲。映射圖像像素值從[0,255]到[0,1]，這樣處理可以使模型在使用激活函數(shù)時，避免神經(jīng)元進入“死區(qū)”而導致神經(jīng)元失活，最終使卷積神經(jīng)網(wǎng)絡獲得比較快的收斂速度。

(2)圖像空間尺度變換，即將圖像進行隨機縮放、平移、旋轉(zhuǎn)、鏡像、隨機裁剪。

(3)圖像均值與方差均衡，即樣本歸一化。圖像預處理的結(jié)果示例如圖2所示。預處理后圖像尺寸為600像素×600像素。

圖2 魚類圖像預處理示例Fig.2 Illustration of fish image processing

1.3 試驗方法設計

模型訓練采用的環(huán)境是Ubuntu 16.04LTS操作系統(tǒng)、運行內(nèi)存為16GB、NVIDIA 1080 Ti顯卡GPU、并行CUDA[18]編程平臺，Keras[19]的深度學習框架和Python 3.6.5編程語言。試驗方法設計包括模型訓練、測試、對比驗證。

(1)模型訓練：經(jīng)過預處理后的圖像輸入到卷積神經(jīng)網(wǎng)絡進行訓練，保存訓練后的模型參數(shù)與結(jié)構。模型訓練采用k折交叉驗證的方式，k取5，將整個數(shù)據(jù)集的1/k作為測試集，每個模型訓練k次，測試k次，誤差取k次的平均值，選擇誤差最小的模型。5折交叉驗證示意圖如圖3所示。數(shù)據(jù)集的劃分使用Python腳本程序，提供劃分數(shù)據(jù)集的比例，程序自動切分數(shù)據(jù)集以及隨機打亂樣本。模型每次訓練都會隨機地從數(shù)據(jù)集中劃分80%的訓練集和20%的驗證集。2 953幅圖像作為訓練集，用來訓練模型，741幅圖像作為驗證集，用于調(diào)優(yōu)模型參數(shù)、驗證模型，1 000幅不帶標注的圖像作為測試集，用來評價模型在未知數(shù)據(jù)集上的泛化性能，數(shù)據(jù)集劃分示例如表1所示。

圖3 5折交叉驗證數(shù)據(jù)集劃分Fig.3 Five cross validation data set split

(2)模型測試：將測試圖像輸入到模型，獲取輸出分類結(jié)果，選取概率最大的目標?；?折交叉驗證方法，最后的預測結(jié)果為5次預測結(jié)果的平均值。

表1 訓練和驗證數(shù)據(jù)集Tab.1 Summarization training set and validation set

(3)對比驗證：為驗證本模型的識別效果，本文分別選擇VGG16、VGG19[16]、ResNet50[20]進行對比。

2 FTVGG16卷積神經(jīng)網(wǎng)絡的魚類個體識別

2.1 FTVGG16網(wǎng)絡模型的構建

FTVGG16網(wǎng)絡由5個卷積塊、3個全連接層、1個softmax層構成。每個卷積塊由卷積層Conv、批規(guī)范層(Batch normalization,BN)[21]、池化層Pool組成，每個卷積塊中的卷積層數(shù)和卷積核的參數(shù)不同。例如，在第1個卷積塊中，“Conv1_64×2” 代表第1個卷積層中有64個卷積核，“×2”代表對上一層的輸出進行兩次相同的卷積操作運算，卷積后的輸出進入BN層，BN層的輸出進入激活層，激活層的輸出進入最大池化層Pool，后續(xù)卷積塊進行相同的操作。圖像作為卷積神經(jīng)網(wǎng)絡的輸入，依次經(jīng)過卷積層、批規(guī)范層、池化層、全連接層，最后的輸出經(jīng)過分類的softmax層進行概率空間映射，輸出每種魚的置信度，從而給出分類結(jié)果，F(xiàn)TVGG16網(wǎng)絡架構示例如圖4所示。

圖4 FTVGG16網(wǎng)絡架構Fig.4 Neural network framework of FTVGG16

2.1.1卷積層設計

FTVGG16卷積神經(jīng)網(wǎng)絡有13個卷積層，每個卷積層中的卷積核尺寸是3×3，卷積核的移動步幅為1個像素，像素填充為“0”值填充邊界，這樣處理能夠使卷積前后圖像的尺寸保持不變，盡量讓卷積核感受圖像的邊緣信息，每個卷積層中的卷積核數(shù)量不固定，卷積核的數(shù)量依次為64、128、256、512。

2.1.2批規(guī)范層設計

FTVGG16卷積神經(jīng)網(wǎng)絡在訓練過程中每層輸入分布一直在改變, 通過在FTVGG16網(wǎng)絡每個卷積層后面添加批規(guī)范層，使得激活值輸出的各個維度的均值為0，方差為1，尺度縮放和平移操作為了還原最初的輸入，批規(guī)范化有助于規(guī)范化模型，使卷積神經(jīng)網(wǎng)絡更容易學習到數(shù)據(jù)的分布規(guī)律，計算公式為

(1)

(2)

(3)

(4)

式中xi——第i個訓練樣本

m——批量化數(shù)目

μB——樣本均值σB——樣本方差

ε——誤差項

yi——線性映射以后的值

γ、β——模型學習參數(shù)

BNγ，β(xi)——輸出

2.1.3池化層設計

FTVGG16卷積神經(jīng)網(wǎng)絡有5個池化層，這里使用最大池化層max-pooling，池化層主要用于減少圖像維度的特征值。池化層的卷積核尺寸是2×2，卷積核的移動步長為2像素，像素不填充，圖像經(jīng)過max-pooling 后尺寸會減小到原來的一半。

2.1.4全連接層設計

FTVGG16網(wǎng)絡的全連接層為Fc1、Fc2、Fc3、softmax，全連接層輸出的神經(jīng)元個數(shù)分別為4 096、4 096、1 000、8。Fc3全連接層的輸出經(jīng)過softmax層的映射，將實值映射為0到1之間的數(shù)值，即等價于輸出每個類別的概率。

2.1.5Dropout層設計

Dropout[22]是指在模型訓練過程中，對于神經(jīng)元按照一定的概率暫時從網(wǎng)絡中丟棄。對于隨機梯度下降來說，由于是隨機丟棄，每批次梯度下降(Batch gradient descent,BGD)都在訓練不同的網(wǎng)絡。Dropout在神經(jīng)網(wǎng)絡訓練的過程中隨機拋棄隱藏層的神經(jīng)元，斷開神經(jīng)元的連接，在神經(jīng)網(wǎng)絡反向傳播更新參數(shù)時，斷開的神經(jīng)元不參與參數(shù)的更新。該技術能夠有效地防止神經(jīng)網(wǎng)絡過擬合。分別在全連接層Fc1、Fc2后面加入Dropout層，Dropout參數(shù)設置為0.5，表示有一半的神經(jīng)元不參與訓練。

綜上，設計FTVGG16卷積層網(wǎng)絡參數(shù)如表2所示。

2.2 FTVGG16網(wǎng)絡的優(yōu)化

2.2.1FTVGG16網(wǎng)絡參數(shù)的優(yōu)化

FTVGG16采用Leaky-ReLU[23]激活函數(shù)，它的隨機梯度下降[24](Stochastic gradient descent,SGD)收斂速度比sigmod、tanh 快，因為是線性的，而且只需要一個閾值就可以得到激活值，不需要進行復雜的運算。

2.2.2損失函數(shù)優(yōu)化

由于識別的是多類別魚類，故使用多類別交叉熵[25]作為損失函數(shù)，其表達式為

表2 FTVGG16卷積層網(wǎng)絡參數(shù)Tab.2 Layers parameters summarization of FTVGG16’s convolutional networks

(5)

式中l(wèi)——損失函數(shù)N——樣本總數(shù)

tnk——標注的真實值第n個樣本的第k個屬性的值，采用one-hot編碼

ynk——卷積神經(jīng)網(wǎng)絡預測值第n個樣本的第k個屬性的值

防止模型過擬合，在損失函數(shù)加上正則化項，最終的損失函數(shù)表達式為

(6)

式中wi,j——第i層神經(jīng)元與第j層神經(jīng)元全連接權重

α——調(diào)節(jié)因子 ?——賦值操作

2.3 FTVGG16網(wǎng)絡模型的訓練過程

FTVGG16卷積神經(jīng)網(wǎng)絡采用Adam[26](Adaptive moment estimation)優(yōu)化算法進行訓練。Adam利用梯度的一階矩估計和二階矩估計動態(tài)調(diào)整每個參數(shù)的學習率，模型訓練過程如圖5所示。

圖5 FTVGG16訓練流程圖Fig.5 Training flow chart of FTVGG16

系統(tǒng)訓練過程步驟如下：

(1)利用Keras框架中的生成器函數(shù)，設置批尺寸batch_size為32，通過數(shù)據(jù)流的形式，從訓練樣本中每次提取32個樣本參與訓練，初始學習率learning_rate設置為0.000 01，步長step設置為0.001，訓練總輪數(shù)epoch設置為50，每次通過生成器從內(nèi)存中取出batch_size個樣本參與一次梯度下降的參數(shù)更新，交叉熵損失函數(shù)l中的調(diào)節(jié)因子設置為0.4，模型訓練參數(shù)值如表3所示。

表3 FTVGG16模型訓練參數(shù)Tab.3 FTVGG16 model training parameters values

(2)在訓練集上進行訓練，并且在驗證集上獲取測試結(jié)果。模型訓練使用了“早?！奔夹g[27]防止過擬合，隨著迭代輪數(shù)的增加，如果發(fā)現(xiàn)驗證誤差上升，則停止訓練，將停止之后的權重作為模型的最終參數(shù)。

(3)神經(jīng)網(wǎng)絡通過前向傳播得到預測值，計算預測值和實際值誤差，如果誤差滿足系統(tǒng)所設閾值，終止訓練迭代；否則繼續(xù)進行訓練，直至達到系統(tǒng)設置訓練輪數(shù)上限，停止訓練。

(4)返回步驟(1)，循環(huán)訓練。

3 測試結(jié)果與分析

3.1 FTVGG16識別結(jié)果分析

FTVGG16模型經(jīng)過24輪訓練，在訓練集上的準確率為99.43%，在驗證集上的準確率為95.89%，模型訓練到第30輪時，訓練集上的誤差幾乎降至零，驗證集上的誤差也接近0.2，說明設計的網(wǎng)絡結(jié)構和優(yōu)化算法可以使模型快速收斂，從而達到較高的準確率和較低的誤差。此外，模型在驗證集上的誤差沒有上升，說明設計的FTVGG16模型沒有出現(xiàn)過擬合，能夠較優(yōu)進行圖像識別，F(xiàn)TVGG16模型在訓練集和驗證集上的準確率、誤差如圖6所示。FTVGG16模型在訓練集、驗證集上的測試結(jié)果如表4所示。測試結(jié)果包括模型的準確率、誤差、訓練輪數(shù)和每輪訓練時間。

圖6 FTVGG16在訓練集和驗證集上訓練的準確率和誤差Fig.6 Accuracy and error of FTVGG16 on training set and validation set

數(shù)據(jù)集準確率/%誤差訓練輪數(shù)每輪訓練時間/s訓練集99.430.03462499.40驗證集95.890.14722499.40

3.2 FTVGG16與其他模型對比

為了驗證FTVGG16模型的識別效果，對比了其他卷積神經(jīng)網(wǎng)絡模型。對比方法均采用5折交叉驗證法，比較的預測結(jié)果為5次預測結(jié)果取平均。不同模型(FTVGG16、VGG16、VGG19、ResNet50)在訓練集、驗證集上的測試結(jié)果如表5所示。結(jié)果表明：FTVGG16模型在訓練集上的準確率為99.43%，誤差為0.034 6；在驗證集上的準確率為95.89%，誤差為0.147 2，在訓練集和驗證集上的平均準確率為97.66%，明顯高于其他模型的準確率。

3.3 FTVGG16卷積神經(jīng)網(wǎng)絡可視化分析

3.3.1FTVGG16卷積神經(jīng)網(wǎng)絡特征圖可視化

卷積神經(jīng)網(wǎng)絡中的卷積操作能夠有效提取圖像的特征[28]，如圖7所示。不同卷積層輸出的特征由具體到抽象，Conv1_2和Conv2_2層的激活值輸出仍保留大部分原始圖像信息，靠后的Conv3_3、Conv4_3層輸出更多地表達圖像的線條、輪廓等抽象特征，最后的Conv5_3僅僅保留了圖像的高階像素信息。通過可視化卷積層的輸出，有助于理解卷積神經(jīng)網(wǎng)絡的工作原理，從而更好地改善模型性能。

表5 不同模型在訓練集、驗證集上的測試結(jié)果Tab.5 Test results of different models on training set and validation set

3.3.2FTVGG16卷積神經(jīng)網(wǎng)絡卷積核特征可視化

卷積神經(jīng)網(wǎng)絡中的卷積核可以提取圖像不同層次的特征，如圖8所示。Conv1_2層中的卷積核可以提取圖像像素特征，Conv2_2層中的卷積核可以提取圖像的邊緣特征，這種邊緣特征經(jīng)過組合可以很好地描述圖像的邊、角、線條、輪廓特征，靠后的Conv3_3、Conv4_3層中的卷積核更多地提取圖像的紋理特征，最后的Conv5_1、Conv5_2中的卷積核通過組合靠前的卷積核提取的特征，重構出圖像的形狀特征。通過可視化卷積核的輸出，可以更好地研究卷積核如何從圖像中提取各個層次的抽象特征，進而更好地理解卷積神經(jīng)網(wǎng)絡的工作原理。

圖7 FTVGG16部分卷積層輸出可視化Fig.7 FTVGG16 partial convolution layers output visualization

圖8 FTVGG16部分卷積核輸出可視化Fig.8 FTVGG16 partial convolution kernels output visualization

3.4 FTVGG16卷積神經(jīng)網(wǎng)絡在Web中的部署應用

本文使用Python語言編寫的輕量級Web應用框架Flask[29]，將訓練的深度學習模型FTVGG16遷移到實際生產(chǎn)環(huán)境，F(xiàn)lask 集成了WSGI(服務器網(wǎng)關接口)，為Python應用程序或框架和Web服務器之間提供接口，同時Flask也集成了Jinja2模板引擎，能夠快速搭建一個基于Web的應用。Fish identify 魚類識別系統(tǒng)在部分圖像上的測試結(jié)果如圖9所示，F(xiàn)ish identify的魚類平均識別精度達到了98%以上，表明系統(tǒng)能夠滿足實際使用的要求。

圖9 魚類圖像的識別示例 Fig.9 Illustration of fish image recognition

4 結(jié)論

(1)從深度學習的角度，探討了卷積神經(jīng)網(wǎng)絡在魚類識別中的應用，通過分析已有的VGG16卷積神經(jīng)網(wǎng)絡模型良好的圖像特征提取能力，設計了FTVGG16卷積神經(jīng)網(wǎng)絡。FTVGG16卷積神經(jīng)網(wǎng)絡由卷積層、批規(guī)范層、池化層、Dropout層、全連接層，softmax層組成，采用帶有約束的正則權重項作為模型的損失函數(shù)，并使用Adam優(yōu)化算法對模型的參數(shù)進行更新。FTVGG16網(wǎng)絡在很大程度上能夠克服訓練的過擬合，收斂速度明顯加快，訓練時間明顯減少，針對魚類目標很小、背景干擾很強的圖像，F(xiàn)TVGG16模型平均準確率為97.66%，對部分魚的平均識別準確率達到了99.43%，模型具有較高的識別精度和魯棒性。

(2)雖然FTVGG16模型在識別精度上達到了預期的效果，但是，實際運算過程中需要保存層與層之間的連接權重，會造成內(nèi)存的負擔，增大了計算成本，限制了系統(tǒng)響應。可以進一步從深度模型壓縮加速方面進行改進，主要從模型參數(shù)修剪和共享、低秩分解、遷移/壓縮卷積濾波器和知識精煉[30]方面壓縮模型，進而訓練一個更加緊湊的神經(jīng)網(wǎng)絡，以再現(xiàn)大型網(wǎng)絡的輸出結(jié)果。