基于全局圖推理與改進(jìn)三維動(dòng)態(tài)卷積的魚(yú)類(lèi)攝食行為分析

收稿日期：2023-09-07

基金項(xiàng)目：廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃項(xiàng)目（2021B0202070001）

作者簡(jiǎn)介：丁 寅（1998-），男，江蘇泰州人，碩士研究生，主要從事農(nóng)業(yè)信息化、機(jī)器視覺(jué)與視頻分類(lèi)研究。（E-mail）2794873588@qq.com

通訊作者：陳 明，（E-mail）mchen@shou.edu.cn

摘要： 本研究提出一種基于時(shí)間動(dòng)作檢測(cè)的輕量化視頻分類(lèi)網(wǎng)絡(luò)，旨在解決水產(chǎn)智能化養(yǎng)殖中餌料的投喂不均和水體污染等問(wèn)題，提高投喂準(zhǔn)確性和效率。該網(wǎng)絡(luò)以ResNet 3D為基礎(chǔ)，引入深度可分離卷積模塊和三維動(dòng)態(tài)卷積模塊，以降低模型規(guī)模和參數(shù)量；同時(shí)采用圖卷積全局推理模塊和稠密卷積模塊構(gòu)建區(qū)域和全局關(guān)系，增強(qiáng)網(wǎng)絡(luò)深層特征的表達(dá)，提高網(wǎng)絡(luò)分類(lèi)準(zhǔn)確率。經(jīng)試驗(yàn)驗(yàn)證，該模型檢測(cè)準(zhǔn)確率可達(dá)96.70%，相較變分自動(dòng)編碼器卷積網(wǎng)絡(luò)和3D ResNet-GloRe網(wǎng)絡(luò)，其準(zhǔn)確率分別提高7.7個(gè)百分點(diǎn)和4.4個(gè)百分點(diǎn)；同時(shí)，該模型的參數(shù)量和計(jì)算量也明顯降低，分別為1.10 M和3.87 G。研究結(jié)果表明，該基于時(shí)間動(dòng)作檢測(cè)的輕量化視頻分類(lèi)網(wǎng)絡(luò)可以有效提高水產(chǎn)養(yǎng)殖中餌料的智能化投喂的準(zhǔn)確性和效率，減少餌料投喂不均以及水體污染等問(wèn)題，具有較高的應(yīng)用價(jià)值。

關(guān)鍵詞： 魚(yú)類(lèi)行為；機(jī)器視覺(jué)；視頻分類(lèi)；全局圖推理；動(dòng)態(tài)卷積

中圖分類(lèi)號(hào)： S951.2"" 文獻(xiàn)標(biāo)識(shí)碼： A"" 文章編號(hào)： 1000-4440（2024）10-1863-12

Fish feeding behavior analysis based on global graph reasoning and improved three-dimensional dynamic convolution

DING Yin^1，2， CHEN Ming^1，2， LI Zheng³， XUE Jianghao^1，2

（1.College of Information Technology， Shanghai Ocean University， Shanghai 201306， China;2.Key Laboratory of Fisheries Information， Ministry of Agriculture and Rural Affairs， Shanghai 201306， China;3.Shanghai Shilin Information Technology Co.， Ltd.， Shanghai 201314， China）

Abstract： In this study， a lightweight video classification network based on temporal action detection was proposed to solve the problems of uneven feeding of bait and water pollution in intelligent aquaculture， and improve the accuracy and efficiency of feeding. Based on ResNet 3D， a deep separable convolution module and a three-dimensional dynamic convolution module were introduced into the network to reduce the model size and parameter quantity. The graph convolution global inference module and DenseBlock module were used to construct the regional and global relationships， which could enhance the expression of deep features of the network and improve the classification accuracy of network. Experimental results showed that the detection accuracy of the model could reach 96.70%， which was 7.7 percentage points and 4.4 percentage points higher than that of the variational autoencoder convolutional network and 3D ResNet-GloRe network， respectively. The number of parameters and calculation amount of the model were also significantly reduced， which were 1.10 M and 3.87 G， respectively. Therefore， the lightweight video classification network based on time motion detection could effectively improve the accuracy and efficiency of intelligent feeding in aquaculture， reduce the problems of uneven feeding of bait and water pollution， and had high application value.

Key words： fish behavior;machine vision;video classification;global graph inference;dynamic convolution

據(jù)世界糧農(nóng)組織統(tǒng)計(jì)，2022年水產(chǎn)品產(chǎn)量達(dá)1.191 8×108 t，其中人工養(yǎng)殖的水產(chǎn)品產(chǎn)量占比52%^[1]?，F(xiàn)有人工養(yǎng)殖產(chǎn)業(yè)中，餌料成本支出約占總成本的40%^[2-3]，控制餌料精準(zhǔn)投喂有助于降低養(yǎng)殖成本。此外，餌料投喂不足會(huì)導(dǎo)致魚(yú)類(lèi)生長(zhǎng)減緩，養(yǎng)殖周期變長(zhǎng)；而投喂過(guò)量會(huì)導(dǎo)致水體污染，增加魚(yú)類(lèi)患病概率^[4]。準(zhǔn)確識(shí)別魚(yú)類(lèi)行為是精準(zhǔn)投喂的關(guān)鍵?，F(xiàn)階段餌料投喂量多由養(yǎng)殖人員人工判斷，主觀性強(qiáng)，準(zhǔn)確性差^[5]。

現(xiàn)有對(duì)魚(yú)類(lèi)行為的研究主要采用水質(zhì)檢測(cè)、聲學(xué)標(biāo)簽及計(jì)算機(jī)視覺(jué)等技術(shù)^[6]。其中，計(jì)算機(jī)視覺(jué)技術(shù)因具有對(duì)觀測(cè)事物無(wú)侵害、運(yùn)行效率高等特點(diǎn)被廣泛運(yùn)用^[7-8]?；谟?jì)算機(jī)視覺(jué)技術(shù)的魚(yú)類(lèi)行為分析方法分為通過(guò)觀察魚(yú)群行為狀態(tài)進(jìn)行直接檢測(cè)和通過(guò)水面餌料殘留量進(jìn)行間接檢測(cè)。

直接檢測(cè)法運(yùn)用較廣。陳彩文等^[9]利用灰度共生矩陣提取魚(yú)群紋理特征并使用主成分分析法進(jìn)行降維，實(shí)現(xiàn)對(duì)魚(yú)群攝食和非攝食狀態(tài)的識(shí)別；陳明等^[10]利用背景減除法等提取圖像特征，并結(jié)合Relief等算法進(jìn)行加權(quán)融合來(lái)檢測(cè)魚(yú)類(lèi)攝食狀態(tài)；陳志鵬等^[11]利用光流法提取魚(yú)群運(yùn)動(dòng)速度轉(zhuǎn)角等特征來(lái)檢測(cè)魚(yú)群運(yùn)動(dòng)的快慢，從而進(jìn)行攝食狀態(tài)識(shí)別；劉世晶等^[12]利用幀間光流特征和改進(jìn)遞歸神經(jīng)網(wǎng)絡(luò)來(lái)檢測(cè)草魚(yú)攝食狀態(tài)；Zhou等^[13]采用深度學(xué)習(xí)方法訓(xùn)練LeNet5模型，對(duì)魚(yú)類(lèi)攝食強(qiáng)度進(jìn)行分類(lèi)，檢測(cè)魚(yú)類(lèi)攝食狀態(tài)；朱明等^[14]使用輕量級(jí)神經(jīng)網(wǎng)絡(luò)MobileNetV3-Small采集投喂后80～110 s圖片對(duì)鱸魚(yú)攝食狀態(tài)進(jìn)行檢測(cè)。

除直接檢測(cè)魚(yú)類(lèi)行為數(shù)據(jù)外，對(duì)餌料等進(jìn)行檢測(cè)也能間接反映魚(yú)群行為。錢(qián)陽(yáng)^[15]通過(guò)計(jì)算連續(xù)圖像中餌料像素差值對(duì)魚(yú)類(lèi)攝食強(qiáng)度進(jìn)行量化，建立最小二乘支持向量機(jī)來(lái)檢測(cè)餌料數(shù)量，從而間接檢測(cè)魚(yú)類(lèi)攝食狀態(tài)；Li等^[16]基于圖像掩模局部強(qiáng)度直方圖構(gòu)建自適應(yīng)閾值算法，檢測(cè)水下殘留餌料數(shù)量，從而間接檢測(cè)魚(yú)類(lèi)攝食狀態(tài)；Liu等^[17]通過(guò)自適應(yīng)大津閾值和線性時(shí)間分量標(biāo)簽算法來(lái)檢測(cè)剩余餌料顆粒數(shù)量。

以上魚(yú)類(lèi)行為研究大多基于單個(gè)圖片特征，此類(lèi)方法的弊端是單一的圖像特征無(wú)法完全體現(xiàn)魚(yú)群的運(yùn)動(dòng)信息且特征提取對(duì)光照和背景等環(huán)境條件要求苛刻。此外，傳統(tǒng)機(jī)器學(xué)習(xí)的識(shí)別效果依賴(lài)特征的選取，當(dāng)數(shù)據(jù)類(lèi)別過(guò)多或類(lèi)別不平衡時(shí)，算法容易失效^[18-19]。因此，本研究擬采用基于視頻數(shù)據(jù)和深度學(xué)習(xí)的視頻分類(lèi)方法對(duì)魚(yú)類(lèi)行為進(jìn)行研究。

在視頻分類(lèi)領(lǐng)域常見(jiàn)的魚(yú)類(lèi)攝食行為分類(lèi)方法有以下幾種，Mly等^[20]通過(guò)雙流循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)水下魚(yú)類(lèi)視頻進(jìn)行分類(lèi)；張佳林等^[21]采用變分自動(dòng)編碼器對(duì)視頻序列編碼預(yù)處理，計(jì)算特征后再進(jìn)行卷積分類(lèi)；Feng等^[22]采用改進(jìn)的3D ResNet-GloRe網(wǎng)絡(luò)對(duì)魚(yú)類(lèi)攝食行為進(jìn)行分類(lèi)，并根據(jù)其攝食行為的強(qiáng)弱來(lái)量化魚(yú)類(lèi)攝食質(zhì)量的好壞；Shou等^[23]開(kāi)發(fā)了一種多階段3D卷積網(wǎng)絡(luò)，通過(guò)時(shí)間動(dòng)作檢測(cè)定位動(dòng)作標(biāo)簽來(lái)準(zhǔn)確反映魚(yú)類(lèi)攝食活動(dòng)變化。

本研究擬提出一種準(zhǔn)確率高、參數(shù)量少、計(jì)算量小的可用來(lái)部署于嵌入式設(shè)備中的輕量級(jí)神經(jīng)網(wǎng)絡(luò)，對(duì)魚(yú)類(lèi)行為視頻進(jìn)行分類(lèi)，以ResNet 3D^[24]為基礎(chǔ)，引入由6層稠密卷積層（DenseLayer）組成的稠密卷積模塊（DenseBlock）^[25]，通過(guò)構(gòu)建卷積層間的稠密連接來(lái)實(shí)現(xiàn)特征復(fù)用，增強(qiáng)輸入特征來(lái)提高網(wǎng)絡(luò)準(zhǔn)確率；使用深度可分離卷積模塊^[26]進(jìn)行逐通道卷積和逐點(diǎn)卷積，實(shí)現(xiàn)通道和區(qū)域分離，減少模型計(jì)算量和參數(shù)量；引入基于圖卷積的全局推理模塊^[27]，構(gòu)建全局圖獲取上下文信息，尋找全局和局部特征關(guān)聯(lián)，加快網(wǎng)絡(luò)訓(xùn)練速度，提高網(wǎng)絡(luò)準(zhǔn)確率；使用三維動(dòng)態(tài)卷積模塊^[28]，通過(guò)注意力機(jī)制根據(jù)輸入尺寸自適應(yīng)調(diào)整卷積核的大小和形狀，更好地提取特征，有效降低參數(shù)量和計(jì)算量，以期為魚(yú)類(lèi)攝食行為檢測(cè)相關(guān)研究提供參考，為魚(yú)類(lèi)養(yǎng)殖餌料精準(zhǔn)投喂提供科學(xué)依據(jù)。

1 材料與方法

1.1 試驗(yàn)材料和數(shù)據(jù)采集系統(tǒng)

本研究的研究對(duì)象為彩鯉和紅鱈魚(yú)，試驗(yàn)魚(yú)體長(zhǎng)10～20 cm，平均重量500 g，飼養(yǎng)于深度1.5 m、水溫10～15 ℃的養(yǎng)殖池中。在試驗(yàn)前，研究對(duì)象均已被放養(yǎng)到養(yǎng)殖池中數(shù)月，以使其適應(yīng)環(huán)境。投喂時(shí)間固定為每天10：00和17：00。試驗(yàn)數(shù)據(jù)采集系統(tǒng)如圖1所示，攝像機(jī)固定在距養(yǎng)殖池水面高約1 m的位置。采集的視頻數(shù)據(jù)幀速率為1 s 30幀，分辨率為1 280×720，格式為mp4。圖像處理語(yǔ)言為Python，神經(jīng)網(wǎng)絡(luò)搭建工具由PyTorch庫(kù)提供。

1.2 試驗(yàn)數(shù)據(jù)

本研究將魚(yú)類(lèi)攝食行為劃分為攝食狀態(tài)、非攝食狀態(tài)2大類(lèi)，再細(xì)分為4小類(lèi)^[29]，具體分類(lèi)見(jiàn)圖2。攝食狀態(tài)包括攝食行為強(qiáng)和攝食行為弱，非攝食狀態(tài)包括求食行為強(qiáng)和求食行為弱，分類(lèi)依據(jù)如表1所示。以3～5 s視頻片段為單個(gè)樣本，用452個(gè)彩鯉視頻片段和95個(gè)紅鱈魚(yú)視頻片段作為數(shù)據(jù)集。選取數(shù)據(jù)集總量的20%用作測(cè)試集，剩余部分的80%用作訓(xùn)練集，20%用作驗(yàn)證集。

1.3 試驗(yàn)方法

本研究采用視頻分類(lèi)方法，通過(guò)提取輸入視頻數(shù)據(jù)的時(shí)空特征信息對(duì)魚(yú)類(lèi)攝食行為進(jìn)行分類(lèi)。試驗(yàn)流程為：第一，數(shù)據(jù)收集，采集魚(yú)群攝食視頻；第二，數(shù)據(jù)預(yù)處理，將視頻大小調(diào)整為171×128像素以加速網(wǎng)絡(luò)運(yùn)算，并等間隔提取視頻幀消除信息冗余；第三，網(wǎng)絡(luò)訓(xùn)練，將處理后的數(shù)據(jù)集投入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；第四，模型測(cè)試，用測(cè)試集驗(yàn)證和訓(xùn)練網(wǎng)絡(luò)模型。試驗(yàn)算法應(yīng)用流程如圖3所示，將采集好的視頻進(jìn)行數(shù)據(jù)預(yù)處理后投入網(wǎng)絡(luò)進(jìn)行分類(lèi)檢測(cè)，得出魚(yú)類(lèi)攝食行為狀態(tài)，并據(jù)此給出指令。

本研究所提算法網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。本研究進(jìn)行的改進(jìn)具體如下：（1）引入由6層DenseLayer連接組成的DenseBlock實(shí)現(xiàn)特征復(fù)用，增強(qiáng)輸入特征，提高網(wǎng)絡(luò)準(zhǔn)確性，通過(guò)降維模塊（Transition）下采樣壓縮通道數(shù)，減少計(jì)算量；（2）引入全局圖推理模塊（GloRe）構(gòu)建攝食階段魚(yú)群和餌料的局部和全體關(guān)系，加快網(wǎng)絡(luò)訓(xùn)練；（3）使用深度可分離卷積（DCN）通過(guò)逐點(diǎn)卷積和逐通道卷積進(jìn)行區(qū)域和通道分離，減少網(wǎng)絡(luò)計(jì)算量；（4）使用動(dòng)態(tài)卷積根據(jù)輸入特征動(dòng)態(tài)調(diào)整卷積核來(lái)減少網(wǎng)絡(luò)規(guī)模，降低計(jì)算量和參數(shù)量。

1.3.1 DenseBlock和Transition DenseBlock和Transition是由Huang等^[25]提出的用來(lái)解決深度卷積網(wǎng)絡(luò)梯度消失問(wèn)題的模塊。使用由6層DenseLayer結(jié)構(gòu)稠密連接組成的DenseBlock來(lái)對(duì)魚(yú)類(lèi)攝食數(shù)據(jù)特征進(jìn)行增強(qiáng)，具體結(jié)構(gòu)見(jiàn)圖5。DenseLayer結(jié)構(gòu)由2層卷積構(gòu)成，第一層1×1×1卷積用來(lái)對(duì)輸入特征進(jìn)行升維，通道數(shù)，并輸出處理后的特征；第二層3×3×3卷積用來(lái)對(duì)處理后的特征降維，縮減通道數(shù)，并對(duì)卷積的輸入輸出進(jìn)行拼接。

DenseBlock中DenseLayer結(jié)構(gòu)的輸入由前一層的輸出和前幾層的輸入組合而成。1個(gè)具有6層DenseLayer結(jié)構(gòu)的DenseBlock輸入為xint時(shí)，每一層輸出和DenseBlock總輸出（xout）對(duì)應(yīng)公式如下所示：

xout（1）=F（xint）（1）

xout（2）=F［xout（1）+xint）］（2）

xout（3）=F［xout（1）+xout（2）+xint）］（3）

xout（4）=F［xout（1）+xout（2）+xout（3）+xint）］（4）

xout（5）=F［xout（1）+xout（2）+xout（3）+xout（4）+xint）］（5）

xout（6）=F［xout（1）+xout（2）+xout（3）+xout（4）+xout（5）+xint］（6）

xout=xint+xout（1）+xout（2）+xout（3）+xout（4）+xout（5）+""" xout（6）（7）

DenseBlock中DenseLayer結(jié)構(gòu)輸出通道數(shù)相同，若每層DenseLayer輸入通道數(shù)為k0，輸出通道數(shù)為k，則1個(gè)具有6層DenseLayer的DenseBlock輸出通道數(shù)為k0+6k。由此可見(jiàn)，使用稠密卷積模塊雖然能通過(guò)輸入特征的復(fù)用提高網(wǎng)絡(luò)性能，但也會(huì)因此帶來(lái)網(wǎng)絡(luò)特征通道數(shù)的增加，導(dǎo)致模型計(jì)算量的增大，因此引入Transition降維模塊，通過(guò)卷積核為1的三維卷積網(wǎng)絡(luò)來(lái)對(duì)稠密卷積模塊處理后的通道數(shù)進(jìn)行降維，經(jīng)過(guò)Transition結(jié)構(gòu)下采樣后輸出通道數(shù)為k0+6k2，有效降低通道數(shù)，減少模型計(jì)算量。

1.3.2 深度可分離卷積模塊 深度可分離卷積^[26]通過(guò)區(qū)域和通道分離，能夠在降低網(wǎng)絡(luò)參數(shù)量和計(jì)算量的同時(shí)保證網(wǎng)絡(luò)原有性能損失較少，被廣泛運(yùn)用在輕量化網(wǎng)絡(luò)模型結(jié)構(gòu)中。深度可分離卷積分為2個(gè)步驟，分別為逐通道卷積和逐點(diǎn)卷積，模塊結(jié)構(gòu)見(jiàn)圖6。

對(duì)于輸入通道數(shù)為n，輸出通道數(shù)為m的卷積過(guò)程，深度可分離模塊先對(duì)輸入特征進(jìn)行逐通道卷積，使用與通道數(shù)對(duì)應(yīng)的n個(gè)k×k大小卷積核來(lái)分離通道；其次再對(duì)特征進(jìn)行逐點(diǎn)卷積，使用m個(gè)1×1×n卷積輸出通道數(shù)為m的特征，此時(shí)深度可分離模塊卷積參數(shù)量為k×k×n+n×m，遠(yuǎn)小于普通卷積的k×k×n×m。

1.3.3 全局圖推理模塊（GloRe） 全局圖推理模塊（GloRe）是由Chen等^[27]提出的，用來(lái)解決傳統(tǒng)卷積因疊加運(yùn)算帶來(lái)的較遠(yuǎn)關(guān)聯(lián)區(qū)域運(yùn)算效率低下的問(wèn)題。該模塊通過(guò)加權(quán)平均池化和加權(quán)廣播實(shí)現(xiàn)特征坐標(biāo)空間和交互空間的相互映射，并在交互空間中運(yùn)用圖卷積進(jìn)行關(guān)系推理，原理和結(jié)構(gòu)見(jiàn)圖7、圖8。在本研究中，通過(guò)提取視頻特征數(shù)據(jù)中各攝食魚(yú)群特征和餌料特征，構(gòu)建其對(duì)應(yīng)關(guān)系，并將其投影到交互空間，便于卷積時(shí)獲取區(qū)域之間的關(guān)聯(lián)。

GloRe模塊對(duì)數(shù)據(jù)的處理分為3個(gè)階段：第一，將坐標(biāo)空間的輸入特征通過(guò)降維投影方式映射到交互空間；第二，在交互空間中運(yùn)用圖卷積進(jìn)行全局關(guān)系推理；第三，將交互空間中處理后的特征通過(guò)升維和逆投影映射回原坐標(biāo)空間。

第一階段使用2個(gè)1×1×1卷積，分別用于提取輸入數(shù)據(jù)的局部特征和對(duì)輸入數(shù)據(jù)進(jìn)行降維。輸入特征X經(jīng)投影函數(shù)θ（X）得到雙投影矩陣B，矩陣B再與降維后的特征φ（X）相乘得到映射到交互空間的魚(yú)類(lèi)攝食特征V，對(duì)應(yīng)公式如下：

B=θ（X）（8）

V=φ（X）B（9）

第二階段對(duì)進(jìn)入交互空間的特征進(jìn)行圖卷積推理，構(gòu)建全體和局部關(guān)系。輸入特征V通過(guò)鄰接矩陣Ag和I轉(zhuǎn)換為全連通圖的節(jié)點(diǎn)，再通過(guò)狀態(tài)更新函數(shù)Wg將節(jié)點(diǎn)間關(guān)系轉(zhuǎn)化為全連通圖邊權(quán)值，此時(shí)得到處理后的輸出特征Y，對(duì)應(yīng)公式如下：

Y=（I-Ag）VWg（10）

第三階段為將交互空間處理后的特征經(jīng)過(guò)關(guān)系推理后映射回原坐標(biāo)空間。特征Y經(jīng)雙投影矩陣B映射回原坐標(biāo)空間，再使用升維函數(shù)f（x）升維，并將輸出與原輸入結(jié)合得到總輸出（Z），公式如下：

Z=f［（I-Ag）VWgB］+X（11）

經(jīng)過(guò)全局圖推理模塊的魚(yú)類(lèi)攝食特征構(gòu)建攝食魚(yú)群與餌料的關(guān)系，在訓(xùn)練過(guò)程中能夠加快網(wǎng)絡(luò)訓(xùn)練速度，提高網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率。

1.3.4 三維動(dòng)態(tài)卷積模塊 動(dòng)態(tài)卷積模塊是由Chen等^[28]提出，通過(guò)注意力機(jī)制根據(jù)輸入特征自適應(yīng)調(diào)整卷積核的模塊，靜態(tài)卷積和動(dòng)態(tài)卷積對(duì)比如圖9所示。采用三維動(dòng)態(tài)卷積來(lái)減少網(wǎng)絡(luò)的計(jì)算量和參數(shù)量，相較于傳統(tǒng)的靜態(tài)卷積，使用注意力機(jī)制聚合卷積核的三維動(dòng)態(tài)卷積能夠在較小的計(jì)算量和參數(shù)量下提升模型性能，并避免了過(guò)大的卷積核導(dǎo)致的過(guò)擬合等問(wèn)題。

動(dòng)態(tài)卷積模塊結(jié)構(gòu)圖（圖10）顯示，采用壓縮激勵(lì)操作計(jì)算卷積核的注意力權(quán)重，調(diào)整所需卷積核的大小和形狀。對(duì)于輸入特征X，首先采用全局平均池化來(lái)壓縮全局空間信息，其次使用全連接層對(duì)壓縮后的特征進(jìn)行降維和權(quán)重計(jì)算，最后根據(jù)權(quán)重聚合并行卷積核得出輸入特征X所對(duì)應(yīng)的卷積核。

1.3.5 算法性能評(píng)估 本研究采用精確率、召回率、F1值和準(zhǔn)確率作為模型評(píng)價(jià)指標(biāo)^[30]。精確率是分類(lèi)正確的正樣本數(shù)與分類(lèi)器判定為正樣本的樣本數(shù)之比；召回率是分類(lèi)正確的正樣本數(shù)與實(shí)際正樣本數(shù)之比；F1值是精確率和召回率的調(diào)和平均值；準(zhǔn)確率是分類(lèi)正確的樣本數(shù)與總樣本數(shù)之比。各評(píng)價(jià)指標(biāo)對(duì)應(yīng)公式如下：

Precision=TPTP+FP×100%（12）

Recall=TPTP+FN×100%（13）

F1=2×Precision×RecallPrecision+Recall×100% （14）

Accuracy=TP+TNTP+TN+FP+FN×100%（15）

式中，Precision為精確率；Recall為召回率；F1為F1值；Accuracy為準(zhǔn)確率；TP為模型檢測(cè)類(lèi)別和實(shí)際類(lèi)別均為攝食行為強(qiáng)的樣本數(shù)；FP為模型檢測(cè)類(lèi)別為攝食行為強(qiáng)，實(shí)際類(lèi)別為其他類(lèi)別的樣本數(shù)；TN為模型檢測(cè)類(lèi)別和實(shí)際類(lèi)別相似且為非攝食行為強(qiáng)的樣本數(shù)；FN為模型檢測(cè)為非攝食行為強(qiáng)類(lèi)別，但實(shí)際類(lèi)別為攝食行為強(qiáng)類(lèi)別的樣本數(shù)。

1.4 網(wǎng)絡(luò)環(huán)境和參數(shù)設(shè)置

為減少數(shù)據(jù)量，保證提取信息豐富，提高網(wǎng)絡(luò)計(jì)算效率，采用抽幀和調(diào)整圖片像素操作對(duì)視頻數(shù)據(jù)進(jìn)行處理。視頻每隔6幀抽取1次并調(diào)整像素大小為171×128，使用窗口滑動(dòng)選取16張連續(xù)圖片并隨機(jī)裁剪為3通道112×112像素圖片作為神經(jīng)網(wǎng)絡(luò)的輸入。

網(wǎng)絡(luò)超參數(shù)設(shè)置如下：批處理設(shè)置為16；訓(xùn)練周期設(shè)置為500；初始學(xué)習(xí)率設(shè)置為0.001，并選擇StepLR方法動(dòng)態(tài)調(diào)整學(xué)習(xí)率；使用Adam優(yōu)化器優(yōu)化參數(shù)，提高模型收斂性能；選擇交叉損失函數(shù)計(jì)算模型損失，衡量模型預(yù)測(cè)與真實(shí)標(biāo)簽之間的差距。

2 結(jié)果與分析

2.1 網(wǎng)絡(luò)模型訓(xùn)練結(jié)果分析

本研究訓(xùn)練集和測(cè)試集迭代情況如圖11、圖12所示，模型在前15次訓(xùn)練周期中，損失值迅速下降，準(zhǔn)確率快速提升。表明模型在訓(xùn)練初期能較快學(xué)習(xí)樣本的特征。隨著迭代周期的增加，損失值緩慢下降，并穩(wěn)定在0.80左右，同時(shí)驗(yàn)證集準(zhǔn)確率穩(wěn)定在95.00%左右。這說(shuō)明模型已經(jīng)逐漸收斂，并且在驗(yàn)證集上也能夠達(dá)到較高的準(zhǔn)確率。

用測(cè)試集數(shù)據(jù)進(jìn)行驗(yàn)證，發(fā)現(xiàn)模型總體準(zhǔn)確率達(dá)到96.70%。各類(lèi)別對(duì)應(yīng)的精確率、召回率和F1值見(jiàn)表2，模型對(duì)攝食行為強(qiáng)、求食行為強(qiáng)和求食行為弱類(lèi)別的視頻識(shí)別效果較好，對(duì)攝食行為弱類(lèi)別的視頻識(shí)別效果較差。

混淆矩陣能直觀地顯示模型在各類(lèi)別上的表現(xiàn)，本研究采用模型在測(cè)試集驗(yàn)證結(jié)果的混淆矩陣如圖13所示?；煜仃嚮叶鹊纳顪\代表了模型預(yù)測(cè)準(zhǔn)確率的高低，主對(duì)角線灰度較淺，模型預(yù)測(cè)準(zhǔn)確率較高。

2.2 對(duì)比試驗(yàn)

將本研究方法與常見(jiàn)魚(yú)類(lèi)攝食視頻分類(lèi)網(wǎng)絡(luò)C3D^[31]、R2+1D^[32]、ResNet 3D^[24]、3D ResNet-GloRe^[22]和變分自動(dòng)編碼器卷積網(wǎng)絡(luò)^[20]在相同參數(shù)條件下進(jìn)行對(duì)比試驗(yàn)，結(jié)果（表3）表明，在對(duì)比試驗(yàn)中，C3D網(wǎng)絡(luò)分類(lèi)綜合準(zhǔn)確率最差，同時(shí)模型參數(shù)量也最多。其原因?yàn)镃3D網(wǎng)絡(luò)結(jié)構(gòu)中大量使用普通疊加卷積和全連接層，這導(dǎo)致網(wǎng)絡(luò)計(jì)算量會(huì)因網(wǎng)絡(luò)深度的增加而增大，帶來(lái)梯度消失和過(guò)擬合等問(wèn)題，造成準(zhǔn)確率下降。

ResNet 3D網(wǎng)絡(luò)與C3D網(wǎng)絡(luò)相比，綜合準(zhǔn)確率提高至89.00%。該網(wǎng)絡(luò)通過(guò)使用殘差塊結(jié)構(gòu)、引入層間跳躍連接，有效緩解了梯度爆炸問(wèn)題，并減少了所需的卷積層數(shù)。因此，網(wǎng)絡(luò)參數(shù)量和計(jì)算量也相應(yīng)減少。

R2+1D網(wǎng)絡(luò)通過(guò)將3D卷積分解為2D空間卷積和1D時(shí)間卷積，提高了網(wǎng)絡(luò)的非線性能力，降低了訓(xùn)練損失并提高網(wǎng)絡(luò)綜合準(zhǔn)確率。但卷積核的分解需要將2D空間卷積和1D時(shí)間卷積進(jìn)行參數(shù)組合，導(dǎo)致參數(shù)量和計(jì)算量的增加。

此外，采用變分自動(dòng)編碼器卷積網(wǎng)絡(luò)對(duì)魚(yú)類(lèi)攝食數(shù)據(jù)預(yù)處理后投入卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練所得綜合準(zhǔn)確率也較差，僅為89.00%。變分自動(dòng)編碼器對(duì)視頻數(shù)據(jù)進(jìn)行編解碼過(guò)程中會(huì)損失特征信息，帶來(lái)網(wǎng)絡(luò)識(shí)別綜合準(zhǔn)確率的下降。

最后，3D ResNet-GloRe網(wǎng)絡(luò)使用全局圖推理，雖然提高了網(wǎng)絡(luò)訓(xùn)練的綜合準(zhǔn)確率，但并未考慮特征輸入的增強(qiáng)，導(dǎo)致綜合準(zhǔn)確率低于本研究所提網(wǎng)絡(luò)。

綜上所述，本研究所提網(wǎng)絡(luò)的綜合準(zhǔn)確率高達(dá)96.70%，且能有效降低網(wǎng)絡(luò)參數(shù)量和計(jì)算量，適用于魚(yú)類(lèi)攝食行為分析，為水產(chǎn)智能化養(yǎng)殖中餌料的精準(zhǔn)投喂提供可靠依據(jù)，具備輕量化部署的優(yōu)勢(shì)。

2.3 消融試驗(yàn)

對(duì)全局圖推理模塊（GloRe）、稠密卷積模塊（DenseBlock）、深度可分離卷積模塊和動(dòng)態(tài)卷積模塊進(jìn)行消融試驗(yàn)（表4）。ResNet 3D網(wǎng)絡(luò)添加DenseBlock模塊后，模型準(zhǔn)確率提高，參數(shù)量減少。DenseBlock通過(guò)層間稠密連接實(shí)現(xiàn)對(duì)輸入特征的復(fù)用，使得網(wǎng)絡(luò)能夠更好地捕捉和利用特征信息，提升網(wǎng)絡(luò)特征表達(dá)能力。此外，通過(guò)復(fù)用特征還能減少網(wǎng)絡(luò)所需參數(shù)量，降低模型的復(fù)雜度。

添加GloRe后，模型準(zhǔn)確率進(jìn)一步提升，參數(shù)量和計(jì)算量下降。GloRe通過(guò)構(gòu)建全體特征與局部特征的關(guān)系，增強(qiáng)特征關(guān)聯(lián)性，提高網(wǎng)絡(luò)準(zhǔn)確率。此外，整體特征與局部特征關(guān)系的構(gòu)建也減少了非必要的疊加運(yùn)算，使網(wǎng)絡(luò)參數(shù)量和計(jì)算量降低。

添加深度可分離卷積模塊和動(dòng)態(tài)卷積模塊后，觀察到模型在維持原有準(zhǔn)確率的同時(shí)，參數(shù)量和計(jì)算量進(jìn)一步下降。深度可分離卷積模塊通過(guò)對(duì)原有卷積進(jìn)行區(qū)域和通道分離，而動(dòng)態(tài)卷積模塊則根據(jù)輸入動(dòng)態(tài)調(diào)整卷積核，使得模型在減少參數(shù)量和計(jì)算量的同時(shí)能夠維持較高的準(zhǔn)確率。

2.4 模型應(yīng)用測(cè)試與分析

將訓(xùn)練好的模型投入應(yīng)用并進(jìn)行測(cè)試，并對(duì)結(jié)果（圖14）進(jìn)行分析。未到達(dá)投喂時(shí)間段時(shí)，魚(yú)群四散于養(yǎng)殖池，投喂區(qū)域出現(xiàn)魚(yú)群較少，此時(shí)采集魚(yú)群狀態(tài)，如圖14a所示，模型識(shí)別判斷魚(yú)群狀態(tài)為求食行為弱。到達(dá)投喂時(shí)間段時(shí)，投喂區(qū)域魚(yú)群數(shù)量增多，并以較快速度游動(dòng)等待投喂，此時(shí)采集魚(yú)群狀態(tài)，如圖14b所示，模型識(shí)別判斷魚(yú)群狀態(tài)為求食行為強(qiáng)。開(kāi)始投喂階段，裝置投喂餌料，魚(yú)群對(duì)灑下餌料反應(yīng)激烈，大量上浮水面搶食致使水面濺起水花，此時(shí)采集魚(yú)群狀態(tài)，如圖14d所示，模型識(shí)別判斷魚(yú)群狀態(tài)為攝食行為強(qiáng)。投喂后半段，多數(shù)魚(yú)群飽腹，較少魚(yú)類(lèi)仍在攝食，投喂區(qū)域魚(yú)群變少，此時(shí)采集魚(yú)群狀態(tài)，如圖14c所示，模型識(shí)別判斷魚(yú)群狀態(tài)為攝食行為弱。結(jié)束投喂后，魚(yú)群結(jié)束攝食，四散而去，投喂區(qū)域出現(xiàn)魚(yú)群較少，此時(shí)采集魚(yú)群狀態(tài)，如圖14a所示。

本研究所訓(xùn)練模型雖能較好識(shí)別魚(yú)類(lèi)攝食行為狀態(tài)，但仍存在誤識(shí)別情況。當(dāng)魚(yú)群處于非攝食階段時(shí)，系統(tǒng)會(huì)將魚(yú)群求食行為強(qiáng)狀態(tài)誤識(shí)別為攝食行為強(qiáng)狀態(tài)，誤識(shí)別案例如圖15a所示，誤識(shí)別原因?yàn)轸~(yú)群聚集過(guò)程中白色魚(yú)類(lèi)顏色和泛起的水花顏色相似，系統(tǒng)會(huì)將白色魚(yú)類(lèi)錯(cuò)誤判斷為水面泛起的白色水花，致使識(shí)別錯(cuò)誤。當(dāng)魚(yú)群處于攝食階段時(shí)，系統(tǒng)會(huì)將魚(yú)群攝食行為弱狀態(tài)誤識(shí)別為攝食行為強(qiáng)狀態(tài)，誤識(shí)別案例如圖15b所示，誤識(shí)別原因?yàn)轸~(yú)群飽腹程度不一，在投喂階段后期，多數(shù)魚(yú)類(lèi)攝食完畢，仍有少數(shù)魚(yú)類(lèi)繼續(xù)攝食，部分魚(yú)類(lèi)的激烈攝食導(dǎo)致水面濺起水花，系統(tǒng)誤識(shí)別為魚(yú)群狀態(tài)為攝食行為強(qiáng)。此外，魚(yú)群攝食完畢未及時(shí)離開(kāi)檢測(cè)區(qū)域也會(huì)被系統(tǒng)誤識(shí)別為求食行為強(qiáng)，而此時(shí)應(yīng)為攝食行為弱。

綜上所述，本研究所訓(xùn)練的模型在識(shí)別魚(yú)類(lèi)攝食行為狀態(tài)方面雖有一定的準(zhǔn)確性，但由于受到部分魚(yú)類(lèi)顏色與水花相似、魚(yú)群飽腹程度差異以及未能及時(shí)離開(kāi)檢測(cè)區(qū)域等因素的影響，仍存在明顯的誤識(shí)別問(wèn)題。在未來(lái)的研究中，應(yīng)致力于進(jìn)一步優(yōu)化模型，以提高其準(zhǔn)確性和可靠性。

3 結(jié)論

本研究提出一種基于時(shí)間動(dòng)作檢測(cè)定位動(dòng)作標(biāo)簽的視頻分類(lèi)算法，分析魚(yú)類(lèi)攝食行為，實(shí)現(xiàn)水產(chǎn)養(yǎng)殖中餌料的精準(zhǔn)投喂。引入全局圖推理和三維動(dòng)態(tài)卷積等模塊，在減少模型參數(shù)量和計(jì)算量的同時(shí)提高了準(zhǔn)確率。此外，模型使用深度學(xué)習(xí)方法對(duì)輸入視頻數(shù)據(jù)分類(lèi)，自動(dòng)提取特征，識(shí)別精度高；引入時(shí)間序列信息能夠全面獲取魚(yú)類(lèi)行為信息，加強(qiáng)判斷依據(jù)，提高模型準(zhǔn)確率。經(jīng)測(cè)試研究，該網(wǎng)絡(luò)對(duì)魚(yú)類(lèi)攝食行為識(shí)別的準(zhǔn)確率可達(dá)96.70%，與同類(lèi)型網(wǎng)絡(luò)ResNet 3D網(wǎng)絡(luò)相比，在準(zhǔn)確率提高7.7個(gè)百分點(diǎn)的同時(shí)，參數(shù)量和計(jì)算量分別下降96.69%和53.54%。參數(shù)量和計(jì)算量的減少使得模型在輕量化部署方面具有明顯優(yōu)勢(shì)，為水產(chǎn)養(yǎng)殖中餌料的精準(zhǔn)投喂提供可靠參考，具有廣泛的應(yīng)用場(chǎng)景。

參考文獻(xiàn)：

[1] 莽 琦，徐鋼春，朱 健，等. 中國(guó)水產(chǎn)養(yǎng)殖發(fā)展現(xiàn)狀與前景展望[J]. 漁業(yè)現(xiàn)代化，2022，49（2）：1-9.

[2] ATOUM Y， SRIVASTAVA S， LIU X M. Automatic feeding control for dense aquaculture fish tanks[J]. IEEE Signal Processing Letters，2014，22（8）：1089-1093.

[3] 俞國(guó)燕，張宏亮，劉皞春，等. 水產(chǎn)養(yǎng)殖中魚(yú)類(lèi)投喂策略研究綜述[J]. 漁業(yè)現(xiàn)代化，2020，47（1）：1-6.

[4] ZHAO S P， DING W M， ZHAO S Q， et al. Adaptive neural fuzzy inference system for feeding decision-making of grass carp （Ctenopharyngodon idellus） in outdoor intensive culturing ponds[J]. Aquaculture， 2019，498：28-36.

[5] 胡金有，王靖杰，張小栓，等. 水產(chǎn)養(yǎng)殖信息化關(guān)鍵技術(shù)研究現(xiàn)狀與趨勢(shì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46（7）：251-263.

[6] LI D L， WANG Z H， WU S Y， et al. Automatic recognition methods of fish feeding behavior in aquaculture：a review[J]. Aquaculture，2020，528：735508.

[7] 朱 明，張鎮(zhèn)府，黃 凰，等. 魚(yú)類(lèi)養(yǎng)殖智能投喂方法研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2022，38（7）：38-47.

[8] 周 超，徐大明，吝 凱，等. 基于近紅外機(jī)器視覺(jué)的魚(yú)類(lèi)攝食強(qiáng)度評(píng)估方法研究[J]. 智慧農(nóng)業(yè)，2019，1（1）：76-84.

[9] 陳彩文，杜永貴，周 超，等. 基于圖像紋理特征的養(yǎng)殖魚(yú)群攝食活動(dòng)強(qiáng)度評(píng)估[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33（5）：232-237.

[10]陳 明，張重陽(yáng)，馮國(guó)富，等. 基于特征加權(quán)融合的魚(yú)類(lèi)攝食活動(dòng)強(qiáng)度評(píng)估方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（2）：245-253.

[11]陳志鵬，陳 明. 基于光流法與圖像紋理特征的魚(yú)群攝食行為檢測(cè)[J]. 南方農(nóng)業(yè)學(xué)報(bào)，2019，50（5）：1141-1148.

[12]劉世晶，涂雪瀅，錢(qián) 程，等. 基于幀間光流特征和改進(jìn)RNN的草魚(yú)攝食狀態(tài)分類(lèi)[J]. 水生生物學(xué)報(bào)，2022，46（6）：914-921.

[13]ZHOU C， XU D M， CHEN L， et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision[J]. Aquaculture，2019，507：457-465.

[14]朱 明，張鎮(zhèn)府，黃 凰，等. 基于輕量級(jí)神經(jīng)網(wǎng)絡(luò)MobileNetV3-Small的鱸魚(yú)攝食狀態(tài)分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37（19）：165-172.

[15]錢(qián) 陽(yáng). 基于圖像動(dòng)態(tài)獲取的水產(chǎn)養(yǎng)殖智能投餌機(jī)控制系統(tǒng)研究[D]. 鎮(zhèn)江：江蘇大學(xué)，2017.

[16]LI D W， XU L H， LIU H Y. Detection of uneaten fish food pellets in underwater images for aquaculture[J]. Aquacultural Engineering，2017，78：85-94.

[17]LIU H Y， XU L H， LI D W. Detection and recognition of uneaten fish food pellets in aquaculture using image processing[C]//SPIE. Sixth International Conference on Graphic and Image Processing （ICGIP 2014）. Bellingham：SPIE，2015：86-92.

[18]LORENTE S， RIERA I， RANA A. Image classification with classic and deep learning techniques[J]. ArXiv Preprint ArXiv，2021. DOI：10.48550/arXiv.2105.04895.

[19]CHEN L Y， LI S B， BAI Q， et al. Review of image classification algorithms based on convolutional neural networks[J]. Remote Sensing，2021，13（22）：4712.

[20]MLY H， AAMODT A， MISIMI E. A spatio-temporal recurrent network for salmon feeding action recognition from underwater videos in aquaculture[J]. Computers and Electronics in Agriculture，2019，167：105087.

[21]張佳林，徐立鴻，劉世晶. 基于水下機(jī)器視覺(jué)的大西洋鮭攝食行為分類(lèi)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36（13）：158-164.

[22]FENG S X， YANG X T， LIU Y， et al. Fish feeding intensity quantification using machine vision and a lightweight 3D ResNet-GloRe network[J]. Aquacultural Engineering，2022，98：102244.

[23]SHOU Z， WANG D， CHANG S F. Temporal action localization in untrimmed videos via multi-stage cnns[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：1049-1058.

[24]HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：770-778.

[25]HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，2017：2261-2269.

[26]CHOLLET F. Xception：deep learning with depthwise separable convolutions[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，2017：1251-1258.

[27]CHEN Y P， ROHRBACH M， YAN Z C， et al. Graph-based global reasoning networks[C]//IEEE. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle：IEEE，2020：433-442.

[28]CHEN Y P， DAI X Y， LIU M C， et al. Dynamic convolution：attention over convolution kernels[C]//IEEE. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach：IEEE，2020：11021-11030.

[29]VERLI ， SRENSEN C， NILSSON G E. Behavioral indicators of stress-coping style in rainbow trout：do males and females react differently to novelty？[J]. Physiology amp; Behavior，2006，87（3）：506-512.

[30]ZHOU C， XU D M， CHEN L， et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision[J]. Aquaculture，2019，507：457-465.

[31]TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3d convolutional networks[C]//IEEE. Proceedings of the IEEE International Conference on Computer Vision. Sydney：IEEE，2015：4489-4497.

[32]TRAN D， WANG H， TORRESANI L， et al. A closer look at spatiotemporal convolutions for action recognition[C]//IEEE. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2018：6450-6459.

（責(zé)任編輯：王 妮）