基于機器視覺的魚類行為特征提取與分析

賈貝貝，邵振洲，王瑞，渠瀛，張融，饒凱鋒，姜安，劉勇，關(guān)永

1. 首都師范大學成像技術(shù)北京市高精尖創(chuàng)新中心,輕型工業(yè)機器人與安全驗證實驗室，北京 100048 2. 北京航空航天大學 機械工程及自動化學院，北京 100191 3. 中國科學院生態(tài)環(huán)境研究中心 環(huán)境水質(zhì)學國家重點實驗室，北京 100085 4. 田納西大學 電氣工程與計算機科學學院，美國田納西州 37996 5. 無錫中科水質(zhì)環(huán)境技術(shù)有限公司，無錫 214024

隨著社會科技的進步，水質(zhì)監(jiān)測逐步向自動化方向發(fā)展。目前，水質(zhì)評價不僅需要考慮物理和化學指標，還需考慮生物指標，使水質(zhì)現(xiàn)狀評價更加全面和科學[1]。水環(huán)境生物監(jiān)測的生物學依據(jù)是：在一定條件下，水生生物群落和水環(huán)境之間存在著相互依存、相互制約的穩(wěn)定平衡狀態(tài)，一旦水體受到污染，水環(huán)境發(fā)生變化，各種生物就會對此產(chǎn)生不同的反應。相對于傳統(tǒng)的理化監(jiān)測方法，水質(zhì)生物監(jiān)測可以反映長期的污染效果，效果更加直觀可靠，監(jiān)測功能更加多樣化，便于綜合評價水質(zhì)狀況等[2]。

水質(zhì)生物監(jiān)測的方法較多，如生物群落法、生產(chǎn)力測定法、殘留測定法、急性毒性試驗和細菌學檢驗等[2]。魚類是水污染生物監(jiān)測中應用最廣泛的水生動物之一,也是被研究最廣泛的物種[3]。機器視覺技術(shù)的迅速發(fā)展，使得利用非接觸式的監(jiān)測技術(shù)機器視覺方法監(jiān)測水質(zhì)成為一種可能。目前國內(nèi)外利用機器視覺方法和魚類相結(jié)合在水質(zhì)監(jiān)測方面的研究，只研究了魚類的游動速度、游動加速度、游動高度、轉(zhuǎn)彎次數(shù)等運動特征，缺少對魚類胸鰭、尾鰭運動等信息的統(tǒng)計，也缺少魚類呼吸頻率、呼吸深度等的研究，使得觀測數(shù)據(jù)具有局限性，不能綜合監(jiān)測水質(zhì)情況。

圖1 基于機器視覺的魚類行為特征提取與分析總體框架Fig. 1 Overall framework of extraction and analysis of fish behavior based on machine vision

為了綜合反映水質(zhì)的污染狀況，本文采用青鳉魚作為生物監(jiān)測的指示生物，基于機器視覺技術(shù)，通過監(jiān)測暴露在0、0.05、0.1、0.2、0.6和1 mg·L-1不同銅離子濃度水環(huán)境中的青鳉魚，觀測青鳉魚生理特征和運動特征，實時監(jiān)控青鳉魚的呼吸頻率、胸鰭和尾鰭的擺動頻率，最終獲得更加精確的實驗數(shù)據(jù)，為水質(zhì)的污染等級評定奠定基礎(chǔ)。本研究的總體框架如圖1所示。

1 青鳉魚的魚鰓提取方法(The method of extracting gills of medaka)

呼吸是魚類的重要生理機能。通過呼吸作用，水中的污染物質(zhì)會不斷的積累于魚鰓組織表面，從而加快魚類的自我保護行為，使呼吸變得無規(guī)律。目前在計量魚類的呼吸運動方面，普遍采用的手段是借助基于生物電信號的傳感器技術(shù)[4-5]，但是這些方法由于有時候信號比較微弱,影響最終的實驗結(jié)果。

本文通過對使用人工神經(jīng)網(wǎng)絡(luò)[6](Artificial Neural Network，ANN)和支持向量機[7](Support Vector Machine，SVM)2種方法提取魚鰓的對比，發(fā)現(xiàn)在保證提取魚鰓準確的前提下，SVM比ANN耗時少，SVM方法可以保證實驗的實時性，并且SVM比監(jiān)測電極信號方法的實驗結(jié)果更加準確，因此選擇SVM分類器來提取魚鰓。

1.1 青鳉魚的魚鰓特征提取

利用SVM訓練魚鰓提取模型，最為重要的一步是特征提取，選擇識別魚鰓最為顯著的特征作為模型的輸入。通過對圖像中魚鰓的分析，雖然R，G和B這3個通道中只有R通道的顏色值可以大致看到魚鰓的分布區(qū)域，但在有大量干擾顏色的情況下依然可以看到魚鰓的準確形狀，因此推斷存在某種顏色組合方式可以準確地區(qū)分魚鰓。隨后對原始視頻進行了顏色空間轉(zhuǎn)換實驗，發(fā)現(xiàn)HSV空間的S通道(飽和度S通道體現(xiàn)了色彩的鮮艷程度)，Lab空間的a通道(a表示洋紅至綠色的范圍)和YCrCb空間的Cr通道(反映RGB輸入信號中紅色部分與RGB信號亮度值間的差異)也都對目標有一定的區(qū)分能力，最終確定圖像的S、a、Cr這3個通道組合的特征向量作為建立魚鰓提取模型的主要輸入。

1.2 利用SVM建立魚鰓提取模型

如圖2所示，本文通過顏色空間轉(zhuǎn)換的方法，提取0、0.05、0.1、0.2、0.6、1 mg·L-16種不同銅離子濃度下的1 000張圖像作為SVM分類器的訓練數(shù)據(jù)，將圖像從RGB顏色空間轉(zhuǎn)換至HSV、Lab、YCrCb顏色空間，取HSV中S通道和Lab中a通道以及YCrCb中的Cr通道組合成SaCr特征向量，然后結(jié)合魚鰓標簽構(gòu)建出提取魚鰓的SVM分類器，利用1 000個測試數(shù)據(jù)測試訓練好的SVM模型，最終得到提取青鳉魚魚鰓的SVM分類器。

為了減少將圖像RGB像素值轉(zhuǎn)換至HSV、Lab、YCrCb顏色空間的計算量，本文先在輸入的原始圖像中求出青鳉魚的最小外接矩形，再利用上述通過神經(jīng)網(wǎng)絡(luò)得到的魚鰓提取模型，進行魚鰓的檢測，最終準確得到魚鰓區(qū)域，如圖3所示。

圖2 支持向量機(SVM)提取魚鰓流程圖Fig. 2 Extraction of gills flow chart using Support Vector Machine (SVM)

1.3 青鳉魚呼吸頻率的計算

本文通過計算魚鰓的輪廓面積，求出魚鰓輪廓面積變化的極大(小)值的個數(shù)，來計算青鳉魚的呼吸頻率。青鳉魚的呼吸頻率f可由式(1)得出。

(1)

其中m表示魚鰓輪廓面積極大(小)值的個數(shù)，M表示采集總幀數(shù)，30表示采集幀率。

2 青鳉魚胸鰭和尾鰭提取(Extracting pectoral fins and tail fin of medaka)

本文通過對青鳉魚進行骨架提取，進而建立青鳉魚的骨架模型來提取出青鳉的左右胸鰭和尾鰭，最后實時計算出青鳉魚胸鰭尾鰭在不同銅離子濃度下的擺動頻率。

2.1 青鳉魚骨架提取

骨架是描述物體拓撲結(jié)構(gòu)的主要手段之一，保持了物體的形狀信息。細化算法是提取物體骨架的一種算法，它通過不斷反復地剝離前景目標的邊界點，在剝離邊界點的同時并保持骨架的連通性，最終剔除掉所有能剝離的邊界，保留下能體現(xiàn)骨架特性的點，反復迭代，即可提取出骨架。

骨架提取前，要進行前景目標的檢測，檢測時使用2次OTSU(大津法)算法，第一次使用OTSU算法提取出青鳉魚大體魚身區(qū)域，但當前魚體還不夠完全，特別是胸鰭和尾鰭部分還不是很完整，如圖4b。為了保證提取魚骨架的完整性，精確地提取出青鳉魚的胸鰭和尾鰭，提高計算結(jié)果的準確性，第二次使用OTSU算法提取出第一次被忽略掉的魚體部位，如圖4c。之后結(jié)合2次提取的結(jié)果，最終得到完整的青鳉魚，如圖4d所示，然后基于細化的骨架提取算法，對青鳉魚進行骨架提取。經(jīng)魚體檢測與跟蹤并進行青鳉魚前景提取后，對青鳉魚二值化前景圖去噪并進行細化算法，最終得到單一的較為完整的魚體骨架[17]。

圖3 青鳉魚魚鰓提取注: a青鳉魚最小外接矩形圖像；b魚鰓提取結(jié)果。Fig. 3 Gills extraction of medakaNote: a, The minimum bounding rectangle image of medaka; b, The result of extracting gills.

圖4 青鳉魚骨架提取結(jié)果注: a青鳉魚原始圖; b第一次檢測的青鳉魚前景圖； c第二次檢測的青鳉魚前景圖；d最終提取的青鳉魚前景圖；e提取骨架后青鳉魚骨架圖。Fig. 4 Experiment result of skeleton extraction of medakaNote: a, The original image of medaka; b, The first detection of medaka foreground; c, The second detection of medaka foreground; d, The last detection of medaka foreground; e, The image of medaka skeleton after extracting skeleton.

2.2 青鳉魚骨架模型

經(jīng)過細化算法得到的青鳉魚骨架并不包含任何描述信息，為了量化計算青鳉魚運動情況，需要確定青鳉魚各部位的關(guān)鍵信息。根據(jù)魚體特性。本文在基于細化算法提取到的青鳉魚骨架上提出了圖5青鳉魚胸鰭和尾鰭的骨架模型，并標出了7個關(guān)鍵參考點，分別為胸鰭參考點A(該點是青鳉魚魚鰓與骨架的交點)、胸鰭根部參考點B(該點是以參考點A為起始點，整個魚骨架長度的1/8處的點)、左胸鰭末端參考點C、左胸鰭末端參考點D、尾鰭參考點E(該點是以參考點A為起始點，整個魚骨架長度的1/2處的點)、尾鰭參考點F(該點是以參考點A為起始點，整個魚骨架長度的3/4處的點)、尾鰭末端參考點G。青鳉魚骨架參考點如圖6所示。

圖5 青鳉魚骨架模型Fig. 5 The skeleton model of medaka

圖6 青鳉魚骨架關(guān)鍵點參考圖Fig. 6 The reference image of key point of medaka skeleton

2.3 青鳉魚胸鰭和尾鰭擺動頻率的計算

(2)

可以得到左胸鰭的擺動角度α。其中x代表參考點橫坐標，y代表參考點縱坐標。

(3)

其中n表示胸鰭、尾鰭擺動次數(shù)，N表示采集總幀數(shù)，30表示采集幀率。

3 結(jié)果與討論(Results and discussion)

為了能夠準確、實時地提取到青鳉魚的魚鰓區(qū)域，本文對SVM和ANN這2種方法進行了對比，實驗證明：2種方法都可以準確地進行魚鰓提取，但只有SVM算法可以保證整個算法的實時性能。

當水環(huán)境中污染物因子達到一定濃度時，就會引起青鳉魚的運動行為失常、魚呼吸頻率的改變、胸鰭與尾鰭擺動頻率的改變、生理功能紊亂等中毒反應。

為了模擬魚類真實的水質(zhì)環(huán)境，實驗依次配制6種不同濃度的銅離子溶液，分別為0、0.05、0.1、0.2、0.6和1 mg·L-1。所選的魚類模式生物為大小和重量基本一致的成年青鳉魚。將6條青鳉魚分別放入6種不同濃度的銅離子溶液中進行毒性暴露實驗。實驗中連續(xù)分析不同濃度下的100幀圖像數(shù)據(jù)，計算出魚呼吸頻率、胸鰭和尾鰭的擺動頻率、算法平均計算時間，與實際統(tǒng)計數(shù)據(jù)結(jié)果作對比，進而對實驗結(jié)果進行匯總和分析，驗證算法的可行性、有效性和魯棒性。

3.1 實驗環(huán)境搭建

實驗選擇一款德國生產(chǎn)的以電荷耦合器件(charge coupled device， CCD)傳感器為核心元件的工業(yè)攝像機，分辨率為640×480，采集幀率設(shè)置為每秒30幀，將攝像機放置在目標容器的下方，并布置于實驗目標的正下方。實驗環(huán)境平臺的搭建如圖7所示。

3.2 算法驗證

1)青鳉魚生理特征驗證

通過6種不同銅離子濃度實驗進行對比分析，SVM和ANN都可以準確提取魚鰓，如圖8所示。在算法執(zhí)行效率方面，SVM比ANN耗時短，平均單幀耗時是ANN的一半以上，如圖9所示。

圖7 實驗環(huán)境平臺圖Fig. 7 The image of experimental environment platform

圖8 SVM和ANN提取魚鰓結(jié)果對比注: a, SVM提取魚鰓結(jié)果；b, 人工神經(jīng)網(wǎng)絡(luò)(ANN)提取魚鰓結(jié)果。Fig. 8 Comparison of SVM and ANN extraction of gillsNote: a, SVM extraction results of gills; b, Artificial Neural Network (ANN) extraction results of gills.

圖10描述了青鳉魚在6種不同銅離子濃度下的呼吸深度變化，結(jié)果顯示：不同暴露濃度下，青鳉魚呼吸節(jié)奏呈現(xiàn)出不同的波形。圖11是在不同銅離子下算法得出的青鳉魚呼吸頻率與人眼的計數(shù)結(jié)果對比圖，可以發(fā)現(xiàn)本文算法的誤差很小，平均契合度達到98%以上。

2)青鳉魚運動特征驗證

圖12至圖14描述了6種不同銅離子濃度下青鳉魚胸鰭擺動角度變化、尾鰭擺動角度變化，從圖中發(fā)現(xiàn)青鳉魚的運動特征會隨不同的銅離子濃度發(fā)生變化。圖15和圖16描述了6條青鳉魚在0、0.05、0.1、0.2、0.6、1 mg·L-16種銅離子濃度暴露實驗中左胸鰭和尾鰭擺動頻率變化，通過與人眼結(jié)果對比，算法可以有效地計算出實驗結(jié)果，準確率比較高，并且不同濃度下結(jié)果有所不同。圖17描述了整個算法單幀平均耗時，平均耗時在10～20 ms，可以保證實驗的實時性。

3.3 實驗討論

圖9 SVM和ANN執(zhí)行效率對比Fig. 9 SVM and ANN execution efficiency comparison

圖10 青鳉魚呼吸深度Fig. 10 Respiration depth of medaka

通過實驗可以發(fā)現(xiàn)經(jīng)過不同濃度銅離子溶液毒性暴露實驗，青鳉魚的生理特征和運動特征在不同時間段發(fā)生了不同的變化。在0 mg·L-1濃度狀況下青鳉魚的呼吸狀態(tài)是比較平穩(wěn)的，在不同時間段可能有較小幅度的變化。在0.05、0.1、0.2、0.6、1 mg·L-15 種含有銅離子溶液中，所有青鳉魚的呼吸頻率在一段時間內(nèi)會有一個下降的趨勢，下降的趨勢會隨著銅離子濃度的增大而加快，隨后的時間段內(nèi)，魚會以一個較低的呼吸頻率活動一段時間，之后呼吸頻率出現(xiàn)回升的狀況，并且處于0.6 mg·L-1和1 mg·L-1銅離子濃度溶液中的呼吸頻率會更早地出現(xiàn)這種現(xiàn)象。有時候魚會在大幅度的呼吸幾次后，出現(xiàn)一個窒息的狀態(tài)，不同的魚在不同的時間段表現(xiàn)不同，有時低濃度溶液中也會發(fā)生長時間的窒息，但高濃度的溶液中更容易也更早地發(fā)生這種狀態(tài)。

圖11 青鳉魚在不同銅離子濃度下呼吸頻率對比Fig. 11 Respiratory frequency comparison of medaka in different copper ion concentration

圖12 青鳉魚左胸鰭擺動角度變化Fig. 12 Change of the left pectoral swing angle of medaka

圖13 青鳉魚右胸鰭擺動角度變化Fig. 13 Change of the right pectoral swing angle of medaka

圖14 青鳉魚尾鰭擺動角度變化Fig. 14 Change of tail swing angle of medaka

圖15 青鳉魚左胸鰭擺動頻率變化Fig. 15 Change of left pectoral fin swing frequency of medaka

圖16 青鳉魚尾鰭擺動頻率變化Fig. 16 Change of tail fin swing frequency of medaka

圖17 算法單幀平均耗時Fig. 17 Average time consuming of single frame of algorithm

在沒有銅離子溶液中青鳉魚胸鰭和尾鰭的平均擺動頻率有時候會出現(xiàn)一個波動的情況，但總體上趨于平緩，在有銅離子溶液中狀態(tài)會發(fā)生類似魚鰓呼吸頻率的情況。當實驗進行到結(jié)束時，暴露于1 mg·L-1銅離子濃度實驗溶液的青鳉魚的死亡率達到100%，這些魚在死亡前幾個小時的呼吸節(jié)奏都很高，且波動幅度相對比初始階段要小。

通過使用算法得出的數(shù)據(jù)與觀察視頻回放人眼計算得出的結(jié)果，基本一致，誤差小于2%，準確性高，并且完全滿足實時檢測的要求，保證了算法的可行性和實時性。有時候在不同濃度的溶液下的數(shù)據(jù)有可能相似，但總體上看，不同的濃度實驗結(jié)果還是有明顯差別的。實驗中會發(fā)生青鳉魚姿態(tài)不穩(wěn)定的情況，出現(xiàn)青鳉魚極速旋轉(zhuǎn)翻滾的現(xiàn)象，使得算法檢測不到魚鰓、胸鰭和尾鰭而失效，這是未來重點解決的問題。

綜上所述，本文主要針對水環(huán)境監(jiān)測領(lǐng)域，以魚類模式生物青鳉魚為研究目標，實現(xiàn)了基于機器視覺的青鳉魚生理特征(魚鰓)和運動特征(胸鰭和尾鰭)的實時識別。不同銅離子濃度的毒理實驗中，得出的結(jié)果可以反映出青鳉魚在不同濃度銅離子溶液中生理和運動特征的變化。結(jié)果表明：本文的方法可以對青鳉魚的呼吸頻率、胸鰭和尾鰭擺動頻率進行有效檢測，能夠應用于生物水質(zhì)監(jiān)測中，并為評定水環(huán)境的質(zhì)量提供重要參考。

[1] 王維, 紀枚, 蘇亞楠. 水質(zhì)評價研究進展及水質(zhì)評價方法綜述[J]. 科技情報開發(fā)與經(jīng)濟, 2012, 22(13): 129-131

Wang W, Ji M, Su Y N. Reviews of the progress in the research of water quality evaluation and the methods for water quality evaluation [J]. Sci-Tech Information Development and Economy, 2012, 22(13): 129-131 (in Chinese)

[2] 楊培莎, 朱艷華. 水質(zhì)生物監(jiān)測方法及應用展望[J]. 內(nèi)蒙古環(huán)境科學, 2010, 22(2): 71-91

Yang P S, Zhu Y H. Water quality biological monitoring method and application prospect [J]. Inner Mongolian Environmental Sciences, 2010, 22(2): 71-91 (in Chinese)

[3] 劉偉成, 單樂州, 謝起浪, 等. 生物監(jiān)測在水環(huán)境污染監(jiān)測中的應用[J]. 環(huán)境與健康雜志, 2008, 25(5): 456-459

Liu W C, Shan L Z, Xie Q L, et al. Application of biological monitoring in water pollution [J]. Journal of Environment and Health, 2008, 25(5): 456-459 (in Chinese)

[4] Gerhardt A, de Bisthoven L J, Mo Z, et al. Short-term responses ofOryziaslatipes(Pisces: Adrianichthyidae) andMacrobrachiumnipponense(Crustacea: Palaemonidae) to municipal and pharmaceutical waste water in Beijing, China: Survival, behavior, biochemical biomarkers [J]. Chemosphere, 2002, 47(1): 35-47

[5] Cairns Jr J, Thompson K W, Hendricks A C. Effects of fluctuating sublethal applications of heavy metal solutions upon the gill ventilatory response of bluegills (Lepomismacrochirus) EPA-600/3-81-003. [R]. Springfield, VA: National Technical Information Service, 1981

[6] 劉佼, 袁紅平. 基于人工神經(jīng)網(wǎng)絡(luò)的房地產(chǎn)市場預警模型研究—以成都市為例[J]. 工程管理學報, 2016, 30(2): 147-152

Liu J, Yuan H P. Research on early warning model of real estate market based on artificial neural network-taking Chengdu as an example [J]. Journal of Engineering Management, 2016, 30(2): 147-152 (in Chinese)

[7] Smola A J, Williamson R C. New support vector algorithms [J]. Neural Computation, 2000, 12(5): 1207-1245

[8] Blum H. Models for the Perception of Speech and Visual Form [M]. Cambridge: Weiant Wathen-Dunn, 1967

[9] 高文昀. 基于骨架的彩色圖像分割研究[D]. 合肥: 中國科學技術(shù)大學, 2007

Gao W Y. Research on color image segmentation based on skeleton [D]. Hefei: University of Science and Technology of China, 2007 (in Chinese)

[10] 顏七笙, 王士同. 一種基于調(diào)節(jié)形態(tài)學的骨架提取算法[J]. 計算機應用與軟件, 2006, 23(3): 116-136

Yan Q S, Wang S T. A new skeletonization algorithm based on regulated morphology [J]. Computer Application and Software, 2006, 23(3): 116-136 (in Chinese)

[11] 耿彩英. 用于水質(zhì)監(jiān)測的活體魚視頻圖像理解[D]. 杭州: 杭州電子科技大學, 2009: 12

Geng C Y. The video image understanding of live fish used for water quality monitoring [D]. Hangzhou: Hang- zhou Dianzi University, 2009: 12 (in Chinese)

[12] 應曉芳. 基于機器視覺的魚體運動模型研究[D]. 杭州: 浙江工業(yè)大學, 2009: 4.

Ying X F. Research on fish movement model based on machine vision [D]. Hangzhou: Zhejiang University of Technology, 2009: 4 (in Chinese)

[13] Satoru K, Takashi N, Masato O, et al. A computer image processing system for quantification of zebrafish behavior [J]. Journal of Neuroscience Methods, 2004, 134(1): 1-7

[14] Nimkerdphol K, Nakagawa M. Effect of sodium hypochlorite on zebrafish swimming behavior estimated by fractal dimension analysis [J]. Journal of Bioscience and Bioengineering, 2008, 105(5): 486-492

[15] Lee J H, Wu M Y, Guo Z C. A tank fish recognition and tracking system using computer vision techniques [C]. International Conference on Computer Science and Information Technology, 2010, 4: 528-532

[16] 張志杰, 張維平. 環(huán)境污染生物監(jiān)測與評價[M]. 北京: 中國環(huán)境科學出版社, 1991: 69

Zhang Z J, Zhang W P. Biological Monitoring and Evaluation of Environmental Pollution [M]. Beijing: China Environmental Science Press, 1991: 69 (in Chinese)

[17] 周振宇, 邵振洲, 施智平, 等. 基于機器視覺的魚類模式生物在線監(jiān)測技術(shù)方法研究[J]. 生態(tài)毒理學報, 2016, 11(1): 217-224

Zhou Z Y, Shao Z Z, Shi Z P, et al. Study on the method of fish model organism on-line monitoring technology based on machine vision [J]. Asian Journal of Ecotoxicology, 2016, 11(1): 217-224 (in Chinese)