計算機視覺在觀測量化魚類行為中的研究

曹譽尹

(重慶交通大學河海學院，重慶 400074)

計算機視覺技術是人工智能的一個重要分支，可以代替人類的眼睛和大腦進行觀察和判斷。由數(shù)碼相機組成的二維和三維視覺系統(tǒng)用于收集信息，然后將獲得的信息輸入計算機進行語義分析和決策。從這個角度來看，圖像處理和計算機視覺技術在魚類檢測中發(fā)揮著重要作用，使用計算機視覺模型的檢測結果可用于識別魚類物種、估計數(shù)量和了解魚類行為[1,2]。在早期魚類行為研究中，由傳統(tǒng)人為觀測要收集的指標必須易于觀察和記錄，如尾拍頻率和跳躍次數(shù)。但更復雜的指標，如游泳速度，只能由觀察員不準確地估計。有些指標能更恰當和準確地反映魚類的狀況，但更為復雜，需要較高的計算工作量，從而不可避免的對魚產(chǎn)生干擾，導致在沒有準確的行為數(shù)據(jù)的情況下難以對行為模型進行參數(shù)化[3]。鑒于魚類行為監(jiān)測的局限性，需要使用侵入性較小的方法高效、準確地量化魚類行為。

魚類作為重要的水環(huán)境生物指標，對pH、溫度、溶解氧等水環(huán)境參數(shù)的變化十分敏感。其運動特征、生理特征等信息直接反映水環(huán)境情況。其中，魚類運動特征參數(shù)包含了魚類運動行為的最重要信息，而行為作為應付環(huán)境的第一性手段，任何能被連續(xù)觀察和量化的行為反應都可能在魚類的監(jiān)測中作為指示信息，計算機視覺技術作為非入侵的技術監(jiān)測，在檢測過程中使動物產(chǎn)生的應激小，減低勞動強度，提高了準確率。

1 魚類的典型行為

1.1 攝食行為

攝食行為是漁業(yè)生產(chǎn)非常重要的研究領域。魚類捕食可分為3個階段：刺激和激發(fā)、搜索和定位、捕食和攝食。魚群攝食情況直接影響到魚體生長發(fā)育狀況，通過有效的視覺信號處理系統(tǒng)，持續(xù)監(jiān)測魚類的攝食行為，以及監(jiān)測未食用的飼料來推斷魚類的攝食活動，研究水溫[4]、光線周期[5]對攝食規(guī)律的影響。在水產(chǎn)養(yǎng)殖中，飼料管理策略可用于調節(jié)和控制養(yǎng)殖魚類的生長性能，同時控制殘余飼料對水質平衡的影響，進而提升水產(chǎn)養(yǎng)殖的經(jīng)濟效益。

1.2 游泳行為

魚類游泳行為數(shù)據(jù)是研究魚類生活習性的重要信息來源，魚類游泳速度和加速度能反映其在特定環(huán)境下的游泳能力，通過游泳軌跡也在一定程度上判斷魚類對所處的環(huán)境是否適應。鰭是魚類重要的游泳器官，其中尾鰭對游泳行為產(chǎn)生的推動力最大，一般情況下可用擺尾頻率和擺尾幅度作為衡量魚類運動強度的指標，同時背鰭、腹鰭、臀鰭、胸鰭均有保持魚體平衡的作用。魚類的游泳行為受季節(jié)、時間、光照強度和攝食活動的影響。

1.3 異常行為

魚類的異常行為主要表現(xiàn)在生長環(huán)境惡劣或疾病的情況下，運動速度或方向突變或者運動軌跡刻板單一。通過計算機視覺檢測魚類的異常行為主要是計算游泳絕對速度和游泳速度、體色變化、方向變化率、碰壁率以及到墻壁的距離來反映異常行為的程度。也有學者對魚類的“個性”行為進行探討，其指不同時空條件下個體間行為特性的穩(wěn)定差異，但與遺傳效應、種群適合度及群落動態(tài)密切相關[6]，因此異常行為作為對特定環(huán)境下的行為表達與個性行為有本質性的差異。

1.4 環(huán)境因素應激反應

魚類應激反應是對多種環(huán)境因素產(chǎn)生的應激源的非特異性生理反應。如果沒有應激反應，魚類就無法適應超出環(huán)境變化生理調節(jié)的正常范圍。然而，過強或過長的應激反應是有害的，會導致生長緩慢、生殖能力下降、免疫功能低下以及發(fā)病率和死亡率升高。對魚類種群的科學管理而言，全面分析和評估各種環(huán)境應激因素對魚類生產(chǎn)的影響至關重要。應激源根據(jù)其強度和持續(xù)時間分為2種：急性應激(水溫、溶解氧或鹽度)，慢性應激(如亞致死氨或亞硝酸鹽養(yǎng)殖水)。

2 監(jiān)測魚類行為的相關方法

2.1 粒子圖像測速

粒子圖像測速(Particle Image Velocimetry，PIV)通過測量示蹤粒子在已知很短時間間隔內的位移來間接地測量流場的瞬態(tài)速度分布，是一種瞬態(tài)、多點、無接觸式的流體力學測速方法。魚體在水中運動時，由于周身的瞬態(tài)壓力無法直接通過儀器測得，但壓力場作為流場的重要組成部分，是分析魚類游泳行為及其動力形成的關鍵因素，因此利用PIV技術對魚類運動過程中產(chǎn)生的力場進行分析十分有效。

2.2 聲學技術

聲波技術通過發(fā)射單元向水中發(fā)射一定頻率的聲波，可以在水中長距離傳播[7]以探測遠程目標，使其成為遠程檢測和識別水中魚類的方式。隨著聲學技術的發(fā)展，聲學作為遙感工具的應用迅速增加，特別是在魚類保護區(qū)。聲學技術廣泛用于魚類的時空分布、物種檢測和種群評估[8]，而不會使魚類產(chǎn)生應激反應。但魚類棲息地的波浪和氣泡等環(huán)境條件會影響聲吶圖像的質量，需要選擇有效的數(shù)據(jù)算法過濾原始圖像的噪聲并且其對遠距離監(jiān)控的計算成本高。

2.3 計算機視覺技術

基于計算機視覺的魚類行為的研究，通過攝像機采集魚類視頻圖像，對魚類游泳視頻進行預處理，并利用相關算法對魚類運動目標進行檢測與跟蹤，來實現(xiàn)高效準確的獲取魚類行為數(shù)據(jù)，對探究魚類在特定環(huán)境下的生活習性有很大的參考價值。

3 計算機視覺監(jiān)測魚類行為

通過計算機軟件進行魚類游泳視頻分析是一種較高效的方法，魚類游泳動力學分析研究對解決魚道等工程應用中水力學設計方面的關鍵問題有著重要的意義，利用計算機技術對魚類游泳動力學進行分析有助于研究目標魚類的游泳能力與水力環(huán)境因子的響應關系?；谟嬎銠C視覺技術對魚類游泳視頻圖像序列進行處理時，首先對魚類游泳運動目標進行跟蹤，進而提取出魚類速度、加速度和擺尾頻率等行為信息并提供數(shù)據(jù)支持，最后通過行為特征參數(shù)量化分析特定環(huán)境下的魚類行為。

3.1 運動目標檢測算法

魚類在水中常表現(xiàn)為運動狀態(tài)，因此通過對運動檢測可以有效地得到魚體輪廓和狀態(tài)。運動檢測的目的是從每幀2D圖像中提取出表征魚體運動目標的像素信息，以便為后續(xù)的圖像分割、目標分類識別或匹配跟蹤等環(huán)節(jié)做準備。運動目標檢測算法主要可以分為背景減除法(BS,BackgroundSubtraction)和時間差異分析法(TVA,Temporal VariationAnalysis)2大類。

背景減除法是將待檢測的某一幀圖像與背景圖像作減法，保留下超過某一閾值的像素識別為前景運動目標像素，在場景穩(wěn)定并且圖像像素高的情況下能對運動目標進行分割。但實際視頻環(huán)境中背景比較復雜，簡單的背景減除法難以滿足需求。時間差異分析法，是指通過在時間域上分析、提取出幀與幀之間的差異部分視為運動像素，如光流法和幀差法。其缺點主要是對噪聲敏感，計算量大且運行耗時長，實時性低。

3.2 運動目標跟蹤算法

早期的目標跟蹤算法主要是根據(jù)目標建?；蛘邔δ繕颂卣鬟M行跟蹤，主要方法有以下幾種?；谀繕四Ｐ徒５姆椒ǎ和ㄟ^對目標外觀模型進行建模，然后在之后的幀中找到目標?；谒阉鞯姆椒ǎ簩㈩A測算法加入跟蹤中,在預測值附近進行目標搜索,減少了搜索的范圍，提高實時性。常見一類的預測算法有卡爾曼濾波、粒子濾波方法，均值漂移算法，即Meanshift算法及其改進的Camshift算法。Hu[9]等采用改進的視覺跟蹤Camshift 算法和運動調節(jié)模糊邏輯控制器完成機器魚目標跟蹤任務，并對其胸鰭與尾鰭的偏移角度進行分析。同時，在深度學習的基礎上也有研究者用卷積目標識別網(wǎng)絡YOLOv2與卡爾曼濾波器優(yōu)化魚群的檢測跟蹤[10]。

4 魚類行為的參數(shù)及應用

4.1 軌跡、速度和加速度

魚類游泳行為數(shù)據(jù)是研究魚類生活習性的重要信息來源，魚類游泳速度和加速度數(shù)據(jù)能反映魚類在特定環(huán)境下的游泳能力，其游泳軌跡在一定程度上能分析出魚類對所處的環(huán)境是否適應。王卓等[8]利用計算機記錄視頻跟蹤系統(tǒng)，研究了斑馬魚染毒前后運動軌跡變化和水平、垂直2個方向的位移距離和穿梭次數(shù)等指標。Michael J.Barry基于計算機視覺技術研究了硫酸奎寧對阿拉伯鳉魚(Aphanias dispar)絕對游泳速度、向前游泳速度、方向變化率和離壁距離的影響[11]。魚類游泳的能量消耗取決于游泳速度、轉彎速度和加速度，當應對湍急和紊亂的水流時上述參數(shù)都可能顯著增加。

4.2 胸鰭

魚類為了捕捉獵物、避開掠食者并在水中游動，需要協(xié)調身體各部分協(xié)作運動，如眼睛、尾巴、下頜和魚鰭(腹鰭、胸鰭、尾鰭等)等。在大量的針對魚鰭的研究中，大部分的工作集中在對于尾鰭的研究，但有些魚類以胸鰭的運動作為主要的推進方式[12]。胸鰭對于魚類的推進、轉向和穩(wěn)定性非常重要。在咽頜模式中，推進力主要由胸鰭震蕩提供，主要以產(chǎn)生恒定或接近恒定推進力的推進力游動。在其他形式的游泳中，胸鰭也有利于改變俯仰、轉彎、懸停和制動等行為。還有研究通過處理跟蹤記錄的圖像，獲得了魚在前游、倒游和拐彎3種運動模式下的身體曲線，以及尾鰭和胸鰭的運動學參數(shù)[13]，但在魚體游動時胸鰭的變化并不是周期性的擺動[14]，難以體現(xiàn)胸鰭作用的規(guī)律性。

4.3 擺尾頻率及幅度

大多數(shù)魚類通過身體和尾鰭的側向運動產(chǎn)生持續(xù)游泳的推力。根據(jù)推進部位不同將魚類的分為2類：身體/尾鰭推進模式(BCF)和中央鰭/對鰭模式(MPF)。推進方式的不同主要在于橫向波動的幅度和身體彎曲的比例，分別是鰻鱺模式、亞鲹科模式、鲹科模式、鮪科模式和箱鲀科模式。Zhao等[15]通過圖像處理算法對目標圖像進行檢測，得到的魚類質心、尾部和頭部坐標等關鍵點，提出了一種基于魚類關鍵特征點的尾頻模型。Yuan等[16]通過機器視覺觀測統(tǒng)計了河槽匯流分離區(qū)附近鰱魚幼魚的游泳行為，發(fā)現(xiàn)當鯉魚遇到大渦度切變流時擺尾頻率增加，擺尾振幅和游泳速度降低以保持魚體穩(wěn)定性。Xiao等[17]通過測量鯽魚異常尾拍頻率和撞壁率來觀測監(jiān)測水質并以此定量評估魚的逃生行為。

5 總結與展望

目前，基于計算機視覺的魚類行為研究，大多數(shù)通過一些跟蹤方法來建立單一魚類在特定環(huán)境下的運動模型，并從中提取特征參數(shù)指標來分析魚類的行為，不能體現(xiàn)類間差異及生存環(huán)境變化而導致的結果。并且根據(jù)傳統(tǒng)的計算機視覺算法未將背景信息考慮在內，導致在目標遮擋、光照變化以及運動模糊等干擾下容易出現(xiàn)魚體跟蹤失敗和跟蹤算法執(zhí)行速度慢，無法滿足實時性的要求，魚類擺尾頻率等游泳行為也缺乏量化分析。

因此，亟待提出關于精確測定魚類行為的方法以及行為學參數(shù)對魚類行為進行預估的模型。隨著計算機視覺的不斷推進，對于未來的魚體動態(tài)檢測可以將深度學習應用于提取魚的特征參數(shù)，對魚類的檢測跟蹤進行優(yōu)化并對不同種類間的魚或魚群的行為參數(shù)實現(xiàn)現(xiàn)場自動檢測，從而更有力地推動魚類行為研究，為更好地利用指示性生物監(jiān)測水質環(huán)境、魚類生境重建、保護漁業(yè)資源提供理論依據(jù)。