基于水下機(jī)器視覺的大西洋鮭攝食行為分類

張佳林，徐立鴻，劉世晶

基于水下機(jī)器視覺的大西洋鮭攝食行為分類

張佳林1，徐立鴻1※，劉世晶2

（1. 同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 201800；2.中國水產(chǎn)科學(xué)研究院漁業(yè)機(jī)械儀器研究所，上海 200092）

根據(jù)魚群攝食行為狀態(tài)進(jìn)行水產(chǎn)養(yǎng)殖精準(zhǔn)投喂控制，是有效提高餌料利用率降低水體污染的關(guān)鍵技術(shù)。目前，大多數(shù)基于機(jī)器視覺的魚類攝食行為研究都是在實(shí)驗(yàn)室對(duì)真實(shí)養(yǎng)殖環(huán)境進(jìn)行模擬并采用水上攝像機(jī)獲取數(shù)據(jù)，由于光照條件和養(yǎng)殖環(huán)境的影響，該數(shù)據(jù)無法反映大西洋鮭在實(shí)際生產(chǎn)狀況下的攝食行為，因此應(yīng)用范圍有限。為解決此問題，該研究提出一種基于真實(shí)工廠化養(yǎng)殖環(huán)境的魚類攝食行為分類算法。該算法使用水下觀測(cè)方式并采用視頻序列作為樣本，首先利用變分自動(dòng)編碼器對(duì)視頻序列樣本進(jìn)行逐幀編碼以產(chǎn)生所有幀對(duì)應(yīng)的高斯均值和方差向量，分別聯(lián)立所有均值和方差向量得到均值特征矩陣和方差特征矩陣。然后將特征矩陣輸入到卷積神經(jīng)網(wǎng)絡(luò)中，實(shí)現(xiàn)對(duì)魚群的攝食行為分類。試驗(yàn)結(jié)果表明，在真實(shí)的工廠化養(yǎng)殖環(huán)境下，該研究所提出的方法綜合準(zhǔn)確率達(dá)到了89%，與已有的基于單張圖像的魚類攝食行為分類方法相比，綜合準(zhǔn)確率提高了14個(gè)百分點(diǎn)，召回率提高了15個(gè)百分點(diǎn)。研究結(jié)果可為基于魚類攝食行為的魚餌精準(zhǔn)投喂控制提供參考。

水產(chǎn)養(yǎng)殖；機(jī)器視覺；魚群攝食行為；視頻分類；變分自動(dòng)編碼器

0 引 言

根據(jù)世界糧農(nóng)組織（FAO）統(tǒng)計(jì)[1], 全球水產(chǎn)產(chǎn)量在2018年達(dá)到了約1.78×108t，其中人工養(yǎng)殖占45.9%，而在某些魚類的養(yǎng)殖過程中，餌料支出約占總成本的40%[2-3]，因此合理控制餌料具有重大的意義。就目前的養(yǎng)殖技術(shù)而言，餌料投放量一直是一個(gè)限制水產(chǎn)養(yǎng)殖經(jīng)濟(jì)收益的重要問題，如果餌料投喂不足養(yǎng)殖魚類的生長速度會(huì)放緩，嚴(yán)重時(shí)甚至?xí)鹑馐承责B(yǎng)殖魚類的同類相食，造成經(jīng)濟(jì)損失；若投喂過量則會(huì)造成餌料的浪費(fèi)，增加了養(yǎng)殖的投入產(chǎn)出比，另外過多的剩余餌料會(huì)污染水質(zhì)造成水體的富營養(yǎng)化[4]，增加養(yǎng)殖魚類的患病幾率[5-6]?，F(xiàn)階段大部分魚類養(yǎng)殖都是依靠養(yǎng)殖人員通過經(jīng)驗(yàn)估計(jì)魚類攝食需求而設(shè)定投餌量，具有很大的不確定性，而且主要依賴養(yǎng)殖人員的經(jīng)驗(yàn)。

機(jī)器視覺技術(shù)因其非侵害、經(jīng)濟(jì)和高效的特點(diǎn)[7-9]使其成為漁業(yè)生產(chǎn)過程中的重要研究手段[10-13]，而基于機(jī)器視覺的魚類攝食行為分類主要有2個(gè)方向：1）間接評(píng)估方法，通過殘余餌料或者養(yǎng)殖池水面反光間接反映魚類攝食行為；2）直接評(píng)估方法，通過直接觀測(cè)魚群運(yùn)動(dòng)狀態(tài)對(duì)其攝食行為進(jìn)行分類。例如，Cao等[13]基于殘余餌料間接研究了魚類攝食強(qiáng)度。Liu等[14]通過計(jì)算視頻幀之間的差異提出了CVFAI的魚類攝食行為指數(shù)。Zhou等[15]注意到魚類在攝食過程中的聚散現(xiàn)象，基于德勞內(nèi)三角分割提出了FIFFB的魚類攝食行為指數(shù)，該指數(shù)與人類專家觀測(cè)數(shù)據(jù)相關(guān)性達(dá)到了0.945。Zhao等[16]基于魚類量化自發(fā)集體性行為提出了實(shí)時(shí)預(yù)測(cè)魚類攝食強(qiáng)度的算法。

上述研究在實(shí)驗(yàn)室的模擬環(huán)境下都取得了不同程度的進(jìn)展，且數(shù)據(jù)采集系統(tǒng)均位于水面上方。在真實(shí)的工廠化養(yǎng)殖環(huán)境下養(yǎng)殖密度更大、光環(huán)境更差、干擾因素更多，當(dāng)數(shù)據(jù)采集系統(tǒng)位于水面上方時(shí)，所采集到的視頻圖像被水體表面反光效應(yīng)嚴(yán)重影響，無法正確反映魚類攝食行為，而當(dāng)數(shù)據(jù)采集系統(tǒng)位于水下時(shí)則可以避免該問題，因此本文將數(shù)據(jù)采集系統(tǒng)設(shè)置在循環(huán)養(yǎng)殖池水下。另一方面，目前大多數(shù)研究都是基于單張圖像的魚類攝食行為研究。單張圖像雖然可以通過魚群的空間分布反映其聚散現(xiàn)象，但是由于無法包含魚群的運(yùn)動(dòng)信息，從而無法對(duì)高密度的魚群攝食行為進(jìn)行分類。故本文采用視頻分類技術(shù)對(duì)魚類攝食行為進(jìn)行研究。

在視頻分類領(lǐng)域，一些研究人員直接通過3D卷積網(wǎng)絡(luò)對(duì)視頻分類[17-20]取得了一定進(jìn)展，但是由于3D卷積核的引入一方面使得網(wǎng)絡(luò)參數(shù)加倍，另一方面受限制于目前的計(jì)算能力，無法直接形成長時(shí)間網(wǎng)絡(luò)記憶。H?kon M?l?y等[21]通過雙流循環(huán)神經(jīng)網(wǎng)絡(luò)（Dual-Stream Recurrent Network, DSRN）實(shí)現(xiàn)了對(duì)20幀魚類攝食行為的2分類，準(zhǔn)確率達(dá)到了81.4%。但是由于引入了大量的3D卷積和殘差網(wǎng)絡(luò)使得網(wǎng)絡(luò)參數(shù)眾多，DSRN對(duì)更長時(shí)間的視頻行為進(jìn)行分類時(shí)，模型的訓(xùn)練將變得較為困難，不利于工程應(yīng)用。

針對(duì)以上問題，為研究在真實(shí)工廠化養(yǎng)殖環(huán)境下的魚類攝食行為分類，本文提出一種變分貝葉斯卷積神經(jīng)分類網(wǎng)絡(luò)（Variational Auto Encoder-Convolutional Neural Network, VAE-CNN）的視頻分類方法，它可以通過較少的網(wǎng)絡(luò)參數(shù)實(shí)現(xiàn)視頻的分類。論文通過設(shè)計(jì)水下視頻采集系統(tǒng)并對(duì)所采集數(shù)據(jù)進(jìn)行人工標(biāo)注以構(gòu)建魚類攝食行為水下視頻數(shù)據(jù)集。在該數(shù)據(jù)集下完成了對(duì)變分自動(dòng)編碼器（Variational Auto Encoder, VAE）的訓(xùn)練，實(shí)現(xiàn)了對(duì)數(shù)據(jù)集視頻樣本的編碼。然后利用編碼后的視頻特征訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN），實(shí)現(xiàn)對(duì)視頻樣本的分類。該研究可為全自動(dòng)的精準(zhǔn)投喂控制提供理論支持和技術(shù)參考。

1 材料與方法

1.1 試驗(yàn)材料與系統(tǒng)

為證明本文所提出算法的有效性，以大西洋鮭魚（L.）攝食行為分類為例進(jìn)行說明，但是作為一種通用的魚類攝食行為分類算法，其他種類的魚類攝食行為也可以通過本文所提出算法進(jìn)行分類，試驗(yàn)在東方海洋科技股份有限公司（山東煙臺(tái)）進(jìn)行，數(shù)據(jù)采集車間為7號(hào)車間。7號(hào)車間共有6個(gè)循環(huán)養(yǎng)殖池，養(yǎng)殖池的結(jié)構(gòu)示意圖如圖1所示，底部直徑為8 m，高度為2 m，養(yǎng)殖水深為1.8 m。6個(gè)循環(huán)養(yǎng)殖池所養(yǎng)殖大西洋鮭均已經(jīng)過周年養(yǎng)殖。

本研究采集視頻的方案為水下獲取，如圖1所示。沿循環(huán)養(yǎng)殖池水底圓周均勻放置4個(gè)水下相機(jī)（GOPRO HERO7），相機(jī)水平放置無仰角，相機(jī)距離水底高度為0.5 m。視頻采集幀率為30 Hz，視頻原始尺寸為1 920× 1 080像素。圖像處理語言為Python，神經(jīng)網(wǎng)絡(luò)搭建工具箱由TensorFlow庫提供。為避免對(duì)魚類造成驚嚇影響其正常習(xí)性，所有設(shè)備均進(jìn)行消毒后由專業(yè)養(yǎng)殖人員放置并進(jìn)行魚類適應(yīng)性訓(xùn)練。

試驗(yàn)車間大西洋鮭平均體質(zhì)量為2 034.12 g，平均體長為423.00 mm，平均體高為110.23 mm，平均體寬為60.18 mm，放養(yǎng)密度為15 kg/m3，養(yǎng)殖溶解氧濃度為10～12 mg/L，養(yǎng)殖溫度為（15.7±0.4） ℃，每天投喂3次，投喂時(shí)間分別為：8:00、12:40和20:00，投喂裝置為軌道式自動(dòng)投飼機(jī)（圖2），投喂餌料為挪威的適可添牌（Skretting）鮭魚顆粒飼料，其主要營養(yǎng)成分為：粗蛋白≥48.0%，粗脂肪≥18.0%，粗纖維≤1.0%，粗灰分≤12.0%。圖2所示的箱型餌料箱在設(shè)定的時(shí)間將會(huì)沿著軌道自動(dòng)運(yùn)動(dòng)到循環(huán)養(yǎng)殖池的中央，然后通過下方的餌料盤拋灑出設(shè)定量的餌料,每次投喂后暫停1 min等待魚類完成攝食過程后進(jìn)行下一次投喂。通過現(xiàn)場(chǎng)多次試驗(yàn)發(fā)現(xiàn)，當(dāng)投餌量被設(shè)為魚體質(zhì)量的1.1%時(shí)循環(huán)養(yǎng)殖池出現(xiàn)殘餌，說明在該投喂量下為過量投喂，魚類存在拒絕攝食的行為，魚類的攝食欲望判斷基于文獻(xiàn)[22-23]所提出的標(biāo)準(zhǔn)（表1）和工廠養(yǎng)殖專家經(jīng)驗(yàn)。在餌料投放同時(shí)，開始獲取魚群攝食行為狀態(tài)的視頻圖像。

圖2 軌道式自動(dòng)投飼機(jī)

表1 數(shù)據(jù)集樣本分類標(biāo)準(zhǔn)

1.2 大西洋鮭攝食行為數(shù)據(jù)準(zhǔn)備

大西洋鮭攝食行為分類算法輸入為視頻序列，輸出為魚群的攝食類別。漁業(yè)研究相關(guān)文獻(xiàn)[22-23]將魚類攝食行為等級(jí)分為四類，其標(biāo)準(zhǔn)如表1所示。本文依據(jù)該表建立魚群攝食行為類別，其中“弱”和“無”被標(biāo)注為“未攝食狀態(tài)”，而“中”與“強(qiáng)”被標(biāo)注為“攝食狀態(tài)”。

基于大西洋鮭養(yǎng)殖專家經(jīng)驗(yàn)以及6個(gè)不同循環(huán)養(yǎng)殖池獲得的視頻采樣數(shù)據(jù)分析，魚類攝食行為數(shù)據(jù)樣本長度被設(shè)置為5 s，這樣采集的數(shù)據(jù)樣本可以反映大西洋鮭的攝食行為特征，并進(jìn)行數(shù)據(jù)標(biāo)注（不同種類的魚的視頻數(shù)據(jù)樣本長度的設(shè)置應(yīng)該是不同的，這可以通過現(xiàn)場(chǎng)試驗(yàn)確定，其基本要求是能夠反映魚群的攝食行為特征）。雖然在數(shù)據(jù)庫中樣本的長度被設(shè)置為5 s（150幀），但是在實(shí)際控制時(shí)，可以通過在線滾動(dòng)的方式實(shí)現(xiàn)對(duì)魚類攝食行為進(jìn)行實(shí)時(shí)判斷，即數(shù)據(jù)采集系統(tǒng)獲取5 s數(shù)據(jù)后輸入到本文所提出算法，即可得到當(dāng)前魚類攝食行為狀態(tài)，當(dāng)下一個(gè)5 s數(shù)據(jù)采集完成后再次循環(huán)。數(shù)據(jù)集劃分以及樣本數(shù)量如表2所示。根據(jù)表1的樣本標(biāo)注準(zhǔn)則和養(yǎng)殖專家經(jīng)驗(yàn)進(jìn)行數(shù)據(jù)標(biāo)注得到未攝食狀態(tài)樣本3 132個(gè)，攝食狀態(tài)樣本659個(gè)，其中80%被劃分為訓(xùn)練集，10%為驗(yàn)證集，10%為測(cè)試集。

表2 數(shù)據(jù)集劃分與樣本數(shù)量

1.3 算法流程

與目前大多數(shù)基于機(jī)器視覺的魚類攝食行為研究不同，本文采用視頻分類的方法對(duì)魚類攝食行為進(jìn)行分類。與基于單張圖片的魚類攝食行為分類算法相比，其顯著優(yōu)點(diǎn)是，基于視頻分類參考了多幀圖像，包含更多的魚類攝食行為運(yùn)動(dòng)信息。本文的算法流程如圖3所示。

圖3 算法流程圖

完成大西洋鮭攝食行為視頻數(shù)據(jù)集構(gòu)建后，首先對(duì)所有的視頻幀圖像進(jìn)行直方圖線性變換預(yù)處理操作，然后通過變分自動(dòng)編碼器逐幀提取視頻單幀圖像特征，得到所有視頻幀圖像的高斯均值向量和高斯方差向量，將所有的均值向量和方差向量按列組合得到高斯均值特征矩陣和高斯方差特征矩陣，最后將兩個(gè)特征矩陣輸入至卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)魚類攝食行為的視頻分類。

2 視頻圖像預(yù)處理

本文的研究對(duì)象是在真實(shí)的工廠化養(yǎng)殖環(huán)境，該環(huán)境光源為人工光源，光照分布極不均勻；另一方面視頻數(shù)據(jù)采集相機(jī)位于水下，水體對(duì)光照的吸收使得水下光照不足[24]，綜上原因使得數(shù)據(jù)采集系統(tǒng)得到的圖像數(shù)據(jù)存在光照不足，細(xì)節(jié)不清晰等緣故。因此必須進(jìn)行圖像預(yù)處理。

根據(jù)數(shù)據(jù)集視頻特點(diǎn)，本文采用的圖像預(yù)處理方案為直方圖線性變換[25]，其數(shù)學(xué)定義如下：

式中v為原始圖像灰度等級(jí)，p為預(yù)處理后的灰度等級(jí)，α為線性變換系數(shù)。本文中令α=2，試驗(yàn)結(jié)果如圖4所示。通過對(duì)比預(yù)處理前后圖像以及灰度直方圖可以看出圖像的亮度得到了提高，圖像細(xì)節(jié)部分更加豐富。

3 基于視頻分類的攝食行為分類

3.1 變分自動(dòng)編碼器原理

變分自動(dòng)編碼器[26-28]是一種基于變分貝葉斯的神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)示意圖如圖5所示。變分自動(dòng)編碼器通過卷積神經(jīng)網(wǎng)絡(luò)將圖像轉(zhuǎn)換到先驗(yàn)分布為標(biāo)準(zhǔn)多元高斯分布的隱藏空間（其中隱藏空間維度為超參數(shù)），實(shí)現(xiàn)了從圖像到多元高斯隨機(jī)概率分布的變換，該變換即為圖5中的編碼器。編碼后的圖像通過逆卷積網(wǎng)絡(luò)（解碼器）又可以實(shí)現(xiàn)圖像的重建。其數(shù)學(xué)描述如下

式中為編碼器網(wǎng)絡(luò)，為解碼器網(wǎng)絡(luò)，為網(wǎng)絡(luò)輸入圖，()為隱藏空間多元高斯隨機(jī)分布，z為從隨機(jī)分布()得到的采樣值，img為解碼器網(wǎng)絡(luò)基于z所復(fù)原的圖像。

本文利用訓(xùn)練完成的變分自動(dòng)編碼器網(wǎng)絡(luò)中的編碼部分實(shí)現(xiàn)對(duì)視頻特征的提取，即視頻中的每一幀f都會(huì)通過被映射成為一個(gè)多元高斯隨機(jī)分布的概率密度函數(shù)z，為下一步的魚類攝食行為視頻分類提供特征。

注：ft，zt，分別為t時(shí)刻的視頻幀圖像，隱藏空間下的多元高斯分布以及通過解碼器重建的視頻幀圖像。

3.2 視頻特征提取

現(xiàn)階段對(duì)變分自動(dòng)編碼器的研究主要是對(duì)生成式模型的研究，即對(duì)解碼器的研究。通過解碼器可以生成數(shù)據(jù)集中不存在但是又十分真實(shí)的圖像。而較少有研究關(guān)注到編碼器。由于變分自動(dòng)編碼器的編碼器其本質(zhì)是卷積神經(jīng)網(wǎng)絡(luò)，所以編碼過程也可以被視為特征提取過程，在隱藏空間下的多元高斯分布概率密度函數(shù)的均值和方差向量即為特征向量。

利用變分自動(dòng)編碼器提取視頻特征步驟描述如下：首先設(shè)置變分自動(dòng)編碼器隱藏空間超參數(shù)，參考文獻(xiàn)[28]與多次試驗(yàn)后本文將其設(shè)置為50，然后在數(shù)據(jù)集下訓(xùn)練變分自動(dòng)編碼器，最后將視頻樣本逐幀輸入到編碼器中，將所有輸出的均值向量按列組合得到高斯均值矩陣，將所有輸出的方差向量按列組合得到高斯方差矩陣。由于數(shù)據(jù)庫中視頻樣本長度為150，所以特征矩陣（高斯均值矩陣、高斯方差矩陣）的列數(shù)為150；變分自動(dòng)編碼器隱藏空間的維度為50，所以特征矩陣的行數(shù)為50。將特征矩陣歸一化，通過可視化軟件后得到的結(jié)果如圖6所示。

注：t為不同視頻圖像幀所對(duì)應(yīng)時(shí)刻。

3.3 基于編碼特征的攝食行為分類

首先通過變分自動(dòng)編碼器（VAE）將視頻圖像轉(zhuǎn)換成為具有兩個(gè)通道的特征圖，然后利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)特征圖分類最終實(shí)現(xiàn)對(duì)視頻分類，所以本文所提出的方法被稱為變分貝葉斯卷積神經(jīng)分類網(wǎng)絡(luò)（VAE-CNN）。

CNN的局部感受野、權(quán)值共享和降采樣3個(gè)特點(diǎn)使之成為深度學(xué)習(xí)中最先成功案例[29-31]，特征表達(dá)如下

式中P為第層卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖，為激活函數(shù)，為1層卷積神經(jīng)網(wǎng)絡(luò)通過卷積和偏置運(yùn)算后的輸出值，ω為第層的卷積核，P為第層卷積神經(jīng)網(wǎng)絡(luò)輸出的特征圖，b為第層的偏置項(xiàng)。ω和b為網(wǎng)絡(luò)訓(xùn)練參數(shù)。

通過多層網(wǎng)絡(luò)特征提取后，將網(wǎng)絡(luò)的輸出特征圖輸入到全連接層和分類層對(duì)目標(biāo)實(shí)現(xiàn)分類

式中θ-1為待訓(xùn)練參數(shù)迭代更新前，θ為待訓(xùn)練參數(shù)迭代更新后，為學(xué)習(xí)率，?為偏微分運(yùn)算符。

將變分自動(dòng)編碼器得到的視頻特征矩陣作為2個(gè)通道的特征圖輸入到卷積神經(jīng)網(wǎng)絡(luò)中，分類類別為：1）魚類處于攝食狀態(tài)；2）魚類處于非攝食狀態(tài)。其結(jié)構(gòu)示意圖如圖7所示，其中包含3個(gè)卷積層，1個(gè)全連接層和1個(gè)softmax層。

注：cl1代表魚類處于攝食狀態(tài)，cl2代表魚類處于非攝食狀態(tài)。

本文的視頻分類途徑是先通過變分自動(dòng)編碼器將視頻序列編碼為高斯均值矩陣和高斯方差矩陣，然后將這2個(gè)特征矩陣送入卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)分類。

3.4 算法性能評(píng)估

本文采用綜合準(zhǔn)確率（Accuracy），陽性準(zhǔn)確率（Precision），召回率（Recall），特異值（Specificity）4個(gè)指標(biāo)[23]評(píng)價(jià)算法性能，其定義如下，

式中TP為真陽性（True Positive），即算法輸出類別為陽性與實(shí)際類別一致，在本文中即為算法輸出類別為魚類處于攝食狀態(tài)，數(shù)據(jù)集中的標(biāo)注也為攝食狀態(tài)；FP為假陽性（False Positive），即算法輸出類別為陽性與實(shí)際類別不一致，在本文中即為算法輸出類別為魚類處于攝食狀態(tài)，數(shù)據(jù)集下的標(biāo)注為非攝食狀態(tài)；TN為真陰性（True Negative），即算法輸出類別為陰性且與實(shí)際類別一致，在本文中即為算法輸出類別為魚類處于非攝食狀態(tài)，數(shù)據(jù)集下的標(biāo)注也為非攝食狀態(tài)；FN為假陰性（False Negative），即算法輸出類別為陰性而與實(shí)際類別不一致，在論文下即為算法輸出類別為魚類處于非攝食狀態(tài)，數(shù)據(jù)集下的標(biāo)注為攝食狀態(tài)。

4 結(jié)果與分析

圖5所示變分自動(dòng)編碼器網(wǎng)絡(luò)參數(shù)設(shè)置為：隱藏空間維度50，編碼器包含3個(gè)卷積層卷積核尺寸分別為13×13，15×15，3×3，其中最后1層為池化層相關(guān)參數(shù)為2×3，解碼器逆卷積共3層尺寸均為5×5，并在第1層逆卷積后添加上采樣層，通過驗(yàn)證集選擇最優(yōu)的網(wǎng)絡(luò)學(xué)習(xí)率=0.000 1。卷積神經(jīng)網(wǎng)絡(luò)共有3個(gè)卷積層對(duì)應(yīng)的卷積核尺寸分別為：11×11，5×5，3×3，分別對(duì)應(yīng)于圖7中的第1層，第2層和第3層，通過驗(yàn)證集選擇最優(yōu)的網(wǎng)絡(luò)學(xué)習(xí)率=0.000 05。

如表3所展示的試驗(yàn)結(jié)果所示，本文所提出的方法（VAE-CNN）在測(cè)試集下準(zhǔn)確率（Accuracy）達(dá)到了89%，召回率（Recall）達(dá)到了90%。表3中所有算法運(yùn)行環(huán)境均為Win10 Intel?Core(TM) i7-5600U CPU @ 2.5 GHz，運(yùn)行內(nèi)存8 GB。

表3 VAE-CNN與其他方法對(duì)比結(jié)果

注：運(yùn)行時(shí)間是指算法處理單個(gè)樣本（5 s視頻或者150幀視頻圖像）所用時(shí)間。

Note: Running time refers to the time taken by the algorithm to process a single sample (5 s video clip or 150 frames video image).

為了進(jìn)一步說明本文方法的有效性，將本文所提出的方法與基于圖像的魚類攝食行為分類算法（CNN）[23]進(jìn)行對(duì)比。將數(shù)據(jù)集中所有視頻幀轉(zhuǎn)換為圖片訓(xùn)練CNN網(wǎng)絡(luò)，完成訓(xùn)練后算法在測(cè)試集下表現(xiàn)如表3所示。通過對(duì)比可以發(fā)現(xiàn)，本文所提出的方法在各項(xiàng)指標(biāo)下均優(yōu)于CNN方法，其中召回率提高了15個(gè)百分點(diǎn)，說明本文所提出的算法對(duì)于魚群攝食行為分類的準(zhǔn)確率有較大提高。

為說明VAE-CNN中CNN網(wǎng)絡(luò)選取的合理性，將變分自動(dòng)編碼器所輸出的高斯均值和方差矩陣的直方圖作為特征向量分別輸入至支持向量機(jī)[32]（Variational Auto Encoder-Support Vector Machine, VAE-SVM）和BP神經(jīng)網(wǎng)絡(luò)[33](Variational Auto Encoder- Backpropagation, VAE-BP)進(jìn)行分類，其中支持向量機(jī)通過LIBSVM工具庫[34]完成，BP網(wǎng)絡(luò)通過MATLAB神經(jīng)網(wǎng)絡(luò)工具箱完成。試驗(yàn)結(jié)果如表3所示，通過對(duì)比可以發(fā)現(xiàn)VAE-CNN網(wǎng)絡(luò)的分類結(jié)果優(yōu)于其他兩類方法，說明了第二部分網(wǎng)絡(luò)選擇的合理性。

對(duì)表3結(jié)果進(jìn)行分析，造成分類結(jié)果表現(xiàn)差異的原因如下：

1）視頻序列可以涵蓋完整的魚類攝食行為狀態(tài)，而且可以提供魚群在不同時(shí)刻的運(yùn)動(dòng)速度以及方向信息，所以基于視頻的魚類攝食行為分類（VAE-CNN、VAE-SVM、VAE-BP）的綜合準(zhǔn)確率均高于基于圖像的方法（CNN）。

2）CNN方法基于單張圖像進(jìn)行分類，其分類依據(jù)在于攝食狀態(tài)和非攝食狀態(tài)的魚群在空間上的分布位置和密度不同，但是在真實(shí)的工廠化養(yǎng)殖環(huán)境下魚群養(yǎng)殖密度大，在攝食狀態(tài)的前期魚群的聚集和非聚集的圖像差異較小，所以該方法很難實(shí)現(xiàn)對(duì)非攝食狀態(tài)的準(zhǔn)確判斷，最終導(dǎo)致特異值（Specificity）較低。

3）弱攝食狀態(tài)下的視頻樣本與非攝食狀態(tài)的視頻樣本差異較小，該部分?jǐn)?shù)據(jù)樣本容易受到誤判，但是在強(qiáng)攝食狀態(tài)的魚類攝食行為視頻中，魚群運(yùn)動(dòng)劇烈特征明顯難以被誤判為未攝食狀態(tài)，因此本文所提出的VAE-CNN方法的召回率（Recall）準(zhǔn)確率最高。

4）對(duì)比VAE-CNN與VAE-SVM、VAE-BP試驗(yàn)結(jié)果表明，在該數(shù)據(jù)集下經(jīng)過變分自動(dòng)編碼器編碼后的特征更適合采用卷積神經(jīng)網(wǎng)絡(luò)分類。其原因主要在于，視頻樣本被VAE編碼為高斯均值和方差矩陣，矩陣每1列對(duì)應(yīng)1幀視頻圖像，VAE-SVM、VAE-BP兩種方法都是將這2個(gè)矩陣的直方圖作為輸入特征進(jìn)行分類，這種做法無法提取到不同視頻幀之間的相關(guān)關(guān)系，而VAE-CNN方法是直接對(duì)這2個(gè)矩陣進(jìn)行卷積操作，當(dāng)卷積核在矩陣不同列之間滑動(dòng)進(jìn)行卷積操作時(shí)，更有利于對(duì)視頻前后幀的時(shí)空特征提取，所以VAE-CNN方法取得了更好的試驗(yàn)結(jié)果。

5）對(duì)比不同算法的運(yùn)行時(shí)間可以發(fā)現(xiàn)，VAE-CNN、VAE-SVM和VAE-BP運(yùn)行時(shí)間十分接近，這是因?yàn)檫@3個(gè)算法的第1階段完全相同且耗時(shí)較長。在第1階段的VAE需要對(duì)視頻樣本的150幀圖像進(jìn)行編碼操作，完成編碼后的分類任務(wù)只需要經(jīng)過1次CNN、SVM或BP神經(jīng)網(wǎng)絡(luò)運(yùn)算，而它們運(yùn)算耗時(shí)與第一階段相比都較短，總的來說VAE-CNN算法耗時(shí)略高于VAE-SVM和VAE-BP。與直接采用圖像判斷魚類攝食行為的CNN算法相比，由于該算法是對(duì)單張圖像分類，所以5 s的視頻樣本需要進(jìn)行150次運(yùn)算，為提取圖像的紋理特征該網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)置與VAE-CNN中的卷積神經(jīng)網(wǎng)絡(luò)相比更為復(fù)雜，所以其耗時(shí)更長。

在魚餌投喂控制的實(shí)際運(yùn)用中，可以根據(jù)本文提出的分類算法，對(duì)獲得的工廠化養(yǎng)殖環(huán)境中的大量的魚群攝食行為的視頻數(shù)據(jù)樣本進(jìn)行離線訓(xùn)練，得到魚群攝食行為的二類分類器，將此分類器（算法軟件模塊）事先置于投喂自動(dòng)控制系統(tǒng)中，將實(shí)時(shí)獲得的魚群攝食行為的視頻數(shù)據(jù)樣本輸入分類器，實(shí)時(shí)給出（輸出）分類結(jié)果，控制系統(tǒng)依據(jù)此分類結(jié)果得到“投喂”或“不投喂”的控制決策，實(shí)施對(duì)餌料投喂設(shè)備的控制動(dòng)作。

5 結(jié) 論

本文提出基于視頻分類的魚類攝食行為分類算法，在真實(shí)的工廠化養(yǎng)殖環(huán)境下取得了較好的分類效果，為魚餌精準(zhǔn)投喂控制提供了一種可能的方法。

1）利用在真實(shí)的工廠化養(yǎng)殖環(huán)境下所構(gòu)建的水下視頻數(shù)據(jù)集訓(xùn)練了VAE-CNN網(wǎng)絡(luò)，最終在測(cè)試集上的準(zhǔn)確率（Accuracy）達(dá)到了89%。

2）基于所構(gòu)建數(shù)據(jù)集訓(xùn)練變分自動(dòng)編碼器，實(shí)現(xiàn)了對(duì)視頻的特征提取，有效利用了魚類攝食行為的時(shí)空特征，為基于視頻分析的魚類攝食行為研究提供了合理的表征方法。

3）研究了不同方法對(duì)VAE所編碼特征的分類，并通過試驗(yàn)方法說明了第二階段CNN選擇的合理性。

4）算法采用視頻圖像數(shù)據(jù)樣本，而非單張圖像，能夠較充分地獲得魚群的攝食行為運(yùn)動(dòng)信息，從而得到較準(zhǔn)確的分類結(jié)果和基于分類的精準(zhǔn)投喂控制策略。與其他的基于視頻的魚類攝食行為分類算法相比，本文提出的算法網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，可對(duì)較長時(shí)間的魚類攝食行為模式進(jìn)行分類，具有更廣泛的應(yīng)用前景。

但是由于條件限制，本文所提出方法僅在大西洋鮭養(yǎng)殖環(huán)境下進(jìn)行了測(cè)試與數(shù)據(jù)集構(gòu)建，在下一步工作中計(jì)劃對(duì)不同種類的養(yǎng)殖魚類進(jìn)行測(cè)試。在算法方面，本文所提出的算法雖然實(shí)現(xiàn)了對(duì)魚群攝食行為的初步分類，未來研究中將該二分類算法擴(kuò)展為多分類算法，這將是十分有意義的工作。

[1] Manuel Barange. The State of World Fisheries and Aquaculture 2020-Meeting the Sustainable Development Goals[R]. Rome: Food and Agriculture Organization of the United Nations, 2018.

[2] Atoum Y, Srivastava S, Liu X. Automatic feeding control for dense aquaculture fish tanks[J]. IEEE Signal Processing Letters, 2015, 22(8): 1089-1093.

[3] Chang C M, Fang W, Jao R C, et al. Development of an intelligent feeding controller for indoor intensive culturing of eel[J]. Aquacultural Engineering, 2005, 32(2): 343-353.

[4] Barraza-Guardado R H, Martínez-Córdova L R, Enríquez-Oca?a L F, et al. Effect of shrimp farm effluent on water and sediment quality parameters off the coast of Sonora, Mexico[J]. Ciencias Marinas, 2014, 40(4): 221-235.

[5] Zhao S, Ding W, Zhao S, et al. Adaptive neural fuzzy inference system for feeding decision-making of grass carp (Ctenopharyngodon idellus) in outdoor intensive culturing ponds[J]. Aquaculture, 2019, 498: 28-36.

[6] Xu J, Liu Y, Cui S, et al. Behavioral responses of tilapia () to acute fluctuations in dissolved oxygen levels as monitored by computer vision[J]. Aquacultural Engineering, 2006, 35(3): 207-217.

[7] Wishkerman A, Boglino A, Darias M J, et al. Image analysis-based classification of pigmentation patterns in fish: A case study of pseudo-albinism in Senegalese sole[J]. Aquaculture, 2016, 464: 303-308.

[8] 周超，徐大明，吝凱，等. 基于近紅外機(jī)器視覺的魚類攝食強(qiáng)度評(píng)估方法研究[J]. 智慧農(nóng)業(yè)，2019，1(1)：76-84.

Zhou Chao, Xu Daming, Lin Kai, et al. Evaluation of fish feeding activity in aquaculture based on near infrared machine vision[J]. Smart Agriculture, 2019, 1(1): 76-84. (in Chinese with English abstract)

[9] 王文靜，徐建瑜，呂志敏，等. 基于機(jī)器視覺的水下鲆鰈魚類質(zhì)量估計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(16)：153-157.

Wang Wenjing, Xu Jianyu, Lü Zhimin, et al. Weight estimation of underwater Cynoglossus semilaevis based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(16): 153-157. (in Chinese with English abstract)

[10] 李賢，范良忠，劉子毅，等. 基于計(jì)算機(jī)視覺的大菱鲆對(duì)背景色選擇習(xí)性研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(10)：189-193.

Li Xian, Fan Liangzhong, Liu Ziyi, et al. Preference habit of juvenile turbot for different color bakgrounds based on the computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(10): 189-193. (in Chinese with English abstract)

[11] 張志強(qiáng)，牛智有，趙思明. 基于機(jī)器視覺技術(shù)的淡水魚品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(11)：388-392.

Zhang Zhiqiang, Niu Zhiyou, Zhao Siming, et al. Identification of freshwater fish species based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(11): 388-392. (in Chinese with English abstract)

[12] 范良忠，劉鷹，余心杰，等. 基于計(jì)算機(jī)視覺技術(shù)的運(yùn)動(dòng)魚檢測(cè)算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27(7)：226-230.

Fan Liangzhong, Liu Ying, Yu Xinjie, et al. Fish motion detecting algorithms based on computer vision technologies[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 226-230. (in Chinese with English abstract)

[13] Cao J, Xu L. Research on counting algorithm of residual feeds in aquaculture based on machine vision[C]// IEEE 3rd International Conference on Image, Vision and Computing (ICIVC). IEEE, 2018.

[14] Liu Z, Li X, Fan L, et al. Measuring feeding activity of fish in RAS using computer vision. Aquacultural engineering[J]. 2014, 60: 20-27.

[15] Zhou C, Zhang B, Lin K, et al. Near-infrared imaging to quantify the feeding behavior of fish in aquaculture[J]. Computers and Electronics in Agriculture, 2017, 135: 233-241.

[16] Zhao J, Bao W J, Zhang F D, et al. Assessing appetite of the swimming fish based on spontaneous collective behaviors in a recirculating aquaculture system[J]. Aquacultural Engineering, 2017, 78: 196-204.

[17] Molchanov P, Gupta S, Kim K, et al. Hand gesture recognition with 3D convolutional neural networks[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). IEEE, 2015.

[18] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3D convolutional networks[C]// IEEE International Conference on Computer Vision (ICCV). IEEE, 2015.

[19] Huang J, You S. Point cloud labeling using 3D convolutional neural network[C]// International Conference on Pattern Recognition. IEEE, 2016.

[20] Maturana D, Scherer S. 3D convolutional neural networks for landing zone detection from LiDAR[C]// IEEE International Conference on Robotics and Automation (ICRA), IEEE 2015.

[21] H?kon M?l?y, Aamodt A, Misimi E. A spatio-temporal recurrent network for salmon feeding action recognition from underwater videos in aquaculture[J]. Computers and Electronics in Agriculture, 2019, 167:1-9.

[22] ?verli ?, S?rensen C, Nilsson G E. Behavioral indicators of stress-coping style in rainbow trout: do males and females react differently to novelty?[J]. Physiology & Behavior, 2006, 87(3): 506-512.

[23] Zhou C, Xu D, Chen L, et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision[J]. Aquaculture, 2019, 507: 457-465.

[24] Ancuti C, Ancuti C O, Haber T, et al. Enhancing underwater images and videos by fusion[C]// IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2012.

[25] Sonka M, Václav H, Boyle R. 圖像處理、分析與機(jī)器視覺（第四版）[M]. 北京：清華大學(xué)出版社, 2016：86-97.

[26] Danilo J R, Shakir M, Daan W. Stochastic backpropagation and approximate inference in deep generative models[C]// Proceedings of the 31st International Conference on Machine Learning, PMLR 2014.

[27] Burda Y, Grosse R, Salakhutdinov R. Importance weighted autoencoders[J/OL]. arXiv, 2015.[2020-03-16] arXiv: 1509.00519v4. https://arxiv.org/abs/1509.00519v4

[28] Doersch C. Tutorial on variational autoencoders[J/OL]. arXiv, 2016.[2020-03-16] arXiv:1606.05908v2. https://arxiv.org/abs/1606.05908v2

[29] 李彥冬，郝宗波，雷航. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J]. 計(jì)算機(jī)應(yīng)用，2016，36(9)：2508-2515.

Li Yangdong, Hao Zhongbo, Lei Hang. Survey of convolutional neural network. Journal of Computer Applications[J], 2016, 36(9): 2508-2515. (in Chinese with English abstract)

[30] 楊斌，鐘金英. 卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展綜述[J]. 南華大學(xué)學(xué)報(bào)：自然科學(xué)版，2016，30(3)：66-72.

Yang Bin, Zhong Jinying. Review of convolution neural network[J]. Journal of University of South China( Science and Technology), 2016, 30(3)：66-72. (in Chinese with English abstract)

[31] 盧宏濤，張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J]. 數(shù)據(jù)采集與處理，2016，31(1)：1-17.

Lu Hongtao, Zhang Qinchuan. Applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing. 2016, 31(1): 1-17 (in Chinese with English abstract)

[32] Osuna E, Freund R, Girosit F. Training support vector machines: an application to face detection[C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 1997: 130-136.

[33] Hecht-Nielsen. Theory of the backpropagation neural network[C]// International 1989 Joint Conference on Neural Networks. IEEE, 2002.

[34] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): 1-27.

Classification of Atlantic salmon feeding behavior based on underwater machine vision

Zhang Jialin1, Xu Lihong1※, Liu Shijing2

(1.201800,;2.200092)

Fish feeding behavior can provide effective decision-making information for accurate feeding in aquaculture. Most previous studies were usually conducted in a laboratory environment to understanding fish feeding behavior. The limited application cannot reveal the actual production status of fish due to the influence of light conditions and farming environment in practice. Particularly, the cameras placed over the water surface cannot work well in most methods, due to serious light reflection resulted from the complex illumination conditions. For instance, the light reflection is so serious that many fishes are blocked out. In this study, an attempt was made to introduce an underwater video dataset for the feeding behavior of Atlantic salmon. In the dataset, the video clips were captured from an industrial recirculating aquaculture system. Each sample that labeled as eating or noneating was a 5-second clip with the frame rate of 30 Hz. A total of 3 791 samples were marked in the dataset, where 3 132 samples were marked as noneating and 659 samples eating. A novel video classification method based on Variational Auto-Encoder and Convolutional Neural Network (VAE-CNN) was proposed to identify the fish-feeding behavior from the video clip. Two steps were as followed. In the first step, a Variational Auto-Encoder (VAE) model was trained to extract the spatial feature of video frames. All video frames were encoded as a multivariate Gaussian probability distribution function in a latent space, indicating that represented by a Gaussian mean vector and a Gaussian variance vector. Specifically, the frames in a video clip were input into a trained VAE encoder to produce Gaussian mean vectors and Gaussian variance vectors, then to combine them in column order separately, finally to obtain the Gaussian mean feature matrix and Gaussian variance feature matrix of the video. In this step, the video clip of fish feeding behavior was coded as a feature map with two channels for the subsequent classification. In the second step, the fish feeding behavior was classified by inputting the feature matrix into the CNN. The VAE output features were input to train the CNN, while the spatio-temporal features in fish feeding behavior videos were extracted for the final classification. To verify the CNN, the VAE output features were also input into the backpropagation neural network (VAE-BP) and support vector machine (VAE-SVM) to classify the feeding behavior of fish. The results showed that VAE-CNN performed better. The main reason is that the CNN with a local receptive field function can allow it to better learn the spatio-temporal features in fish feeding behavior videos, while the other two methods only consider the output features of VAE as a common feature map. In real factory farming, the accuracy of the proposed method reached 89%, the recall reached 90%, and the specificity reached 87%. Compared with the single-image classification method, VAE-CNN recall increased by 15percentage points, and other performance indexes of video classification method improved significantly. In terms of running time, the proposed algorithm only needed 4.15 s to process 5 s (150 frames) for the video of fish feeding behavior. This novel method can build a solid foundation for the future system with feedback control based on the fish feeding behavior.

aquaculture; machine vision; fish feeding behavior; video classification; Variational Auto-Encoder

張佳林，徐立鴻，劉世晶. 基于水下機(jī)器視覺的大西洋鮭攝食行為分類[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：158-164.doi：10.11975/j.issn.1002-6819.2020.13.019 http://www.tcsae.org

Zhang Jialin, Xu Lihong, Liu Shijing. Classification of Atlantic salmon feeding behavior based on underwater machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 158-164. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.13.019 http://www.tcsae.org

2020-04-20

2020-06-14

國家重點(diǎn)研發(fā)計(jì)劃（2017YFD0701700）

張佳林，研究方向?yàn)闄C(jī)器視覺與視頻分類。Email：jialinzhang@#edu.cn

徐立鴻，教授，博士生導(dǎo)師，研究方向?yàn)闇厥噎h(huán)境建模與控制、預(yù)測(cè)控制和智能控制。Email：xulihong@#edu.cn

10.11975/j.issn.1002-6819.2020.13.019

S951.2

A

1002-6819(2020)-13-0158-07