基于機(jī)器視覺的點(diǎn)帶石斑魚異常行為識(shí)別方法研究

徐 愫， 邢克智， 田云臣， 馬國(guó)強(qiáng)， 包 蕊， 路 寧

(1天津農(nóng)學(xué)院水產(chǎn)學(xué)院，天津300384；2 天津市水產(chǎn)生態(tài)與養(yǎng)殖重點(diǎn)實(shí)驗(yàn)室，天津300384；3天津農(nóng)學(xué)院計(jì)算機(jī)與信息工程學(xué)院，天津300384；4 天津市農(nóng)村工作委員會(huì)信息中心，天津 300061)

?

基于機(jī)器視覺的點(diǎn)帶石斑魚異常行為識(shí)別方法研究

徐 愫1,2， 邢克智1,2， 田云臣2,3， 馬國(guó)強(qiáng)3， 包 蕊4， 路 寧4

(1天津農(nóng)學(xué)院水產(chǎn)學(xué)院，天津300384；2 天津市水產(chǎn)生態(tài)與養(yǎng)殖重點(diǎn)實(shí)驗(yàn)室，天津300384；3天津農(nóng)學(xué)院計(jì)算機(jī)與信息工程學(xué)院，天津300384；4 天津市農(nóng)村工作委員會(huì)信息中心，天津 300061)

應(yīng)用機(jī)器視覺技術(shù)對(duì)點(diǎn)帶石斑魚(Epinephelusmalabaricus)異常行為進(jìn)行識(shí)別并及時(shí)報(bào)警有助于提高點(diǎn)帶石斑魚存活率，減少養(yǎng)殖過程中人力損耗。在養(yǎng)殖水體中氨氮、溫度、pH等不變的條件下，通過人工調(diào)節(jié)水體溶氧濃度以獲取點(diǎn)帶石斑魚正常與異常狀態(tài)下的圖像，對(duì)采集到的圖像使用前景提取、二值化、開運(yùn)算、中值濾波等方法進(jìn)行處理后，選取正常狀態(tài)與異常狀態(tài)下2張圖像進(jìn)行差分運(yùn)算，以得到2種狀態(tài)下魚口面積差圖。利用魚眼形狀獲取魚眼中心坐標(biāo)，由此剪裁出只包含魚口的目標(biāo)圖像。根據(jù)魚口面積判斷魚口張、閉狀態(tài)與時(shí)長(zhǎng)，若魚口持續(xù)張開2 min，視為魚類出現(xiàn)異常行為并進(jìn)行報(bào)警。利用50條大小相近的點(diǎn)帶石斑魚對(duì)實(shí)驗(yàn)方法進(jìn)行驗(yàn)證，結(jié)果表明，實(shí)驗(yàn)方法能有效識(shí)別點(diǎn)帶石斑魚的異常行為。該方法的提出有利于提高水產(chǎn)養(yǎng)殖效益，促進(jìn)水產(chǎn)養(yǎng)殖現(xiàn)代化發(fā)展。

點(diǎn)帶石斑魚；圖像處理；異常行為；機(jī)器視覺；報(bào)警

點(diǎn)帶石斑魚(Epinephelusmalabaricus)對(duì)環(huán)境適應(yīng)性強(qiáng)，肉質(zhì)鮮美，是我國(guó)東南沿海重要的海水養(yǎng)殖對(duì)象[8-9]。目前，對(duì)點(diǎn)帶石斑魚的研究多基于其生理生化指標(biāo)，對(duì)其行為的研究較少。點(diǎn)帶石斑魚作為新興名貴經(jīng)濟(jì)魚種[10]，在養(yǎng)殖過程中，其異常狀況主要依靠人工觀察，效率低且難以及時(shí)發(fā)現(xiàn)[11]。應(yīng)用機(jī)器視覺技術(shù)對(duì)點(diǎn)帶石斑魚行為進(jìn)行監(jiān)測(cè)與分析、對(duì)其異常行為及時(shí)報(bào)警是典型的物聯(lián)網(wǎng)技術(shù)應(yīng)用[12]，也有助于提高點(diǎn)帶石斑魚存活率，增加養(yǎng)殖收入。健康的點(diǎn)帶石斑魚常年棲息在水底，口部緊合或微張，除進(jìn)食外不愛游動(dòng)。當(dāng)其處于嚴(yán)重缺氧或感染海水小瓜蟲[13]等異常狀態(tài)時(shí)，魚口持續(xù)處于張開狀態(tài)。因此可通過攝像機(jī)連續(xù)拍照，實(shí)時(shí)獲取點(diǎn)帶石斑魚口部張合狀態(tài)圖像，對(duì)圖像進(jìn)行分割、處理、分析，進(jìn)而判斷其行為是否異常并對(duì)異常行為及時(shí)報(bào)警。

1 試驗(yàn)環(huán)境與圖像采集

1.1 硬件環(huán)境

圖像獲取硬件環(huán)境主要包括計(jì)算機(jī)、HDMI延長(zhǎng)器、玻璃魚缸以及4個(gè)USB攝像頭(圖1)。攝像頭分辨率為1 280×720，傳送速率為30 fps/s；HDMI延長(zhǎng)器可形象地理解為計(jì)算機(jī)與攝像頭之間的“連接橋”；4個(gè)USB攝像頭分別與延長(zhǎng)器的USB3.0接口進(jìn)行連接；通過雙絞線將計(jì)算機(jī)與延長(zhǎng)器連接，如此即可實(shí)現(xiàn)長(zhǎng)距離的圖像無(wú)損傳輸。

圖1 圖像獲取硬件環(huán)境Fig.1 Image acquisition hardware environment

1.2 水體環(huán)境

本試驗(yàn)在較清澈水體環(huán)境下選用1條有代表性的點(diǎn)帶石斑魚作為研究對(duì)象。為獲取點(diǎn)帶石斑魚正常溶氧和低溶氧條件下的行為圖像，在水溫、氨氮、pH等水質(zhì)指標(biāo)基本不變的前提下，調(diào)節(jié)溶氧濃度，分別構(gòu)造出適宜和不適宜點(diǎn)帶石斑魚生存的水質(zhì)環(huán)境。適宜水質(zhì)環(huán)境：pH8.28～8.23，

溫度23～26 ℃，溶氧6.69～6.78 mg/L，氨氮0.062～0.066 mg/L。不適宜水質(zhì)環(huán)境：pH8.28～8.23，溫度23～26 ℃，溶氧3.45～3.53 mg/L，氨氮0.062～0.066 mg/L。

Risk Evaluation and Ranking Model for Safety Management of Shipping Companies

1.3 圖像采集方法

將平均體長(zhǎng)為16.5 cm、平均體重為166.5 g的50條點(diǎn)帶石斑魚置于缸內(nèi)作為拍攝對(duì)象。為獲取高質(zhì)量圖像，對(duì)置于缸底的4個(gè)攝像頭進(jìn)行防水處理，設(shè)定攝像頭與魚體距離為20 cm。在Matlab環(huán)境下編寫連拍程序，觸發(fā)“拍照程序”按鈕后每秒自動(dòng)拍攝1張照片，連續(xù)拍照120張后停止。拍到的照片以拍攝順序自動(dòng)命名，存入指定文件夾，命名為“正常狀態(tài)”文件夾。之后停止供氧1 h，待魚口張開后再次連續(xù)拍攝120張照片，以拍攝順序自動(dòng)命名，存入命名為“異常狀態(tài)”的指定文件夾。從2個(gè)文件夾中各篩選出特征最明顯的3張照片作為原始圖像，并根據(jù)對(duì)應(yīng)關(guān)系把原始圖像分為1、2、3組(圖2)。

圖2 原始圖像Fig.2 Original images

2 試驗(yàn)方法

對(duì)獲取的原始圖像進(jìn)行分割、二值化、開運(yùn)算等前期處理，選取序號(hào)相鄰的兩張圖像進(jìn)行差分運(yùn)算，得到1張只保留魚體運(yùn)動(dòng)軌跡的新圖像，并將其命名為魚類行為差圖；第二步，任選一張用于差分運(yùn)算的對(duì)應(yīng)圖像作為特征識(shí)別圖像，以魚眼作為識(shí)別特征，結(jié)合特征識(shí)別圖像找出魚眼并計(jì)算魚眼圓心坐標(biāo)；第三步，通過魚眼坐標(biāo)對(duì)魚類行為差圖進(jìn)行剪裁，獲得只含有魚嘴的目標(biāo)圖像；第四步，計(jì)算目標(biāo)圖像中代表魚口狀態(tài)的白色區(qū)域面積；最后，循環(huán)使用差分法計(jì)算魚口的張開時(shí)長(zhǎng)，若魚口持續(xù)張開狀態(tài)達(dá)2 min，即觸發(fā)報(bào)警。

處理流程：圖像采集→圖像分割→二值化→開運(yùn)算→中值濾波→通過差分運(yùn)算獲取魚類行為差圖像→檢測(cè)魚眼，獲取魚眼中心坐標(biāo)→結(jié)合魚類行為差圖與魚眼中心坐標(biāo)，剪裁包含魚口的目標(biāo)圖像→計(jì)算目標(biāo)圖像中白色區(qū)域面積→計(jì)算目標(biāo)圖像中白色區(qū)域面積→判斷魚口張合狀態(tài)，計(jì)算張開時(shí)長(zhǎng)→報(bào)警。

2.1 圖像預(yù)處理

將獲取的原始圖像由RGB轉(zhuǎn)化為HSV[14]，通過Hue分量對(duì)圖像進(jìn)行分割[15]，將魚的主體與圖像背景分離，之后對(duì)圖像進(jìn)行二值化、開運(yùn)算、中值濾波處理，得到圖3。

圖3 中值濾波Fig.3 Median filtering

2.2 圖像差分運(yùn)算

圖像差分運(yùn)算可用于監(jiān)測(cè)物體的變化和運(yùn)動(dòng)[16]。將圖3中每組圖像相減，結(jié)果如圖4。其中A區(qū)域表示魚尾鰭與背鰭的運(yùn)動(dòng)，B區(qū)域表示魚胸鰭的運(yùn)動(dòng)，C區(qū)域表示魚口的運(yùn)動(dòng)。

圖4 差分運(yùn)算Fig.4 Differential operation

2.3 圖像特征提取

2.3.1 魚眼識(shí)別

試驗(yàn)中，將點(diǎn)帶石斑魚魚口作為圖像特征，通過計(jì)算魚口的張開幅度和持續(xù)時(shí)長(zhǎng)，對(duì)魚的行為進(jìn)行識(shí)別。因魚在水中游動(dòng)等因素會(huì)影響到魚口張合的判斷，所以需將圖像中魚口部分進(jìn)行精確裁剪以得到易于識(shí)別、分析的目標(biāo)圖像。把魚口作為唯一的圖像特征對(duì)圖像進(jìn)行裁剪存在一定難度且精度不高。而點(diǎn)帶石斑魚魚眼始終處于睜開狀態(tài)，魚眼形狀易于識(shí)別，且魚眼距魚口較近，所以在裁剪圖像時(shí)可首先識(shí)別魚眼，進(jìn)而裁剪圖像，將魚口部分從圖像中準(zhǔn)確分離。

因魚眼形狀基本為圓形，故可通過檢測(cè)圖像中的圓形進(jìn)而找到魚眼，之后再計(jì)算出圓心坐標(biāo)，以此作為目標(biāo)圖像裁剪參考坐標(biāo)。通過公式(1)可以判別圖3中是否存在圓形。

F=P2/4πA

(1)

式中：P、A分別表示圖3中白色聯(lián)通區(qū)域的周長(zhǎng)與面積；P、A的值可通過Matlab中regionprops函數(shù)的Perimeter屬性與Area屬性獲取。當(dāng)白色聯(lián)通區(qū)域?yàn)閳A形時(shí)，F(xiàn)=1；當(dāng)為其它任意形狀時(shí)，F(xiàn)≠1。在處理過程中，由于光照、拍攝角度等外部原因，會(huì)出現(xiàn)魚眼邊緣消失或膨脹等狀況。通過對(duì)多組魚眼進(jìn)行識(shí)別，設(shè)置0.93≤F≤1.06[17]。

結(jié)合公式(1)與圖3中每一組中任意一張圖像，可對(duì)該組圖像中的魚眼進(jìn)行檢測(cè)，然后利用regionprops函數(shù)的Centroid屬性得到魚眼圓心坐標(biāo)，將該坐標(biāo)設(shè)為(M，N)。

2.3.2 圖像裁剪

利用得到的魚眼圓形坐標(biāo)，使用Matlab中imcrop函數(shù)，通過代碼B=imcrop(A,[M-10 N-20 50 50])可以通過圖4得到對(duì)應(yīng)3張左下角起點(diǎn)坐標(biāo)為(M-10，N-20)、大小為50×50的目標(biāo)圖像，命名為“魚嘴張合狀態(tài)判別圖像”(圖5)。

圖5 魚嘴張合狀態(tài)判別圖像Fig.5 The discrimination images of fish mouth state (open or close)

2.4 圖像分析

將圖5白色區(qū)域的面積設(shè)為Sn，Sn可以由regionprops 函數(shù)的Area屬性獲得，得到S1=37，S2=54，S3=39。設(shè)判定單條點(diǎn)帶石斑魚魚口狀態(tài)的白色區(qū)域面積為S’，在實(shí)驗(yàn)環(huán)境下對(duì)50張判別圖像進(jìn)行人工統(tǒng)計(jì)，可得到公式(2)，部分統(tǒng)計(jì)結(jié)果見表1。其中，口部運(yùn)動(dòng)狀態(tài)表示魚口從閉合到張開、口部靜止?fàn)顟B(tài)表示魚口持續(xù)張開或持續(xù)閉合、游動(dòng)狀態(tài)表示魚體游動(dòng)。

(2)

2.5 異常行為自動(dòng)報(bào)警

試驗(yàn)中，每一次啟動(dòng)連拍獲取到120張圖像，按次序命名為1、2、3……120。將這120張圖像前后相鄰的2張分為一組，經(jīng)過圖像處理、差分運(yùn)算、魚眼識(shí)別、圖像剪裁等步驟，每一組圖像產(chǎn)生1張魚口狀態(tài)的判別圖像，總共產(chǎn)生119張魚口狀態(tài)判別圖像，即Sn(n=1’，2’，3’……198’，119’)。由于試驗(yàn)用魚最初都是處于健康狀態(tài)，所以對(duì)第n張圖像，當(dāng)28≤Sn<55時(shí)，即可判斷魚口從閉合狀態(tài)轉(zhuǎn)為張開狀態(tài)。在魚口張開前提下，若Sn<28，則魚口沒有閉合，以此類推。如果n=119，表示點(diǎn)帶石斑魚持續(xù)張口時(shí)間達(dá)2 min以上，觸發(fā)報(bào)警。報(bào)警流程如圖6所示。

圖6 報(bào)警流程圖Fig.6 The flow chart of warning

3 結(jié)果與分析

在不同水質(zhì)條件下采集點(diǎn)帶石斑魚圖像，通過對(duì)圖像進(jìn)行處理、分析、計(jì)算，獲取點(diǎn)帶石斑魚口部張合狀態(tài)和張開程度，以此判別點(diǎn)帶石斑魚行為是否異常，實(shí)現(xiàn)對(duì)其健康狀況的監(jiān)測(cè)和報(bào)警。分別選擇正常狀態(tài)、異常狀態(tài)各25條點(diǎn)帶石斑魚對(duì)實(shí)驗(yàn)方法進(jìn)行驗(yàn)證，正常情況下報(bào)警0次，異常情況下報(bào)警21次，準(zhǔn)確率為84%。

利用計(jì)算機(jī)視覺技術(shù)從不同角度對(duì)魚類異常行為的識(shí)別方法進(jìn)行研究已有相關(guān)報(bào)道。如：通過提取魚體圖像(色度、亮度、飽和度、方差等)作為圖像顏色特征值以識(shí)別魚體異常狀況[18]；通過魚體顏色變化識(shí)別大黃魚孤菌病[19]；通過魚的運(yùn)動(dòng)軌跡判斷魚類行為是否異常[20]。與這些方式相比較，本試驗(yàn)方法需要的設(shè)備種類少、成本低、操作簡(jiǎn)便，實(shí)驗(yàn)方法算法簡(jiǎn)單，程序代碼少，對(duì)計(jì)算機(jī)性能要求不高。

4 結(jié)論

應(yīng)用本方法對(duì)點(diǎn)帶石斑魚進(jìn)行監(jiān)測(cè)，可實(shí)時(shí)獲取、識(shí)別其行為狀態(tài)，并對(duì)其異常行為及時(shí)報(bào)警，降低了勞動(dòng)強(qiáng)度、生產(chǎn)成本和點(diǎn)帶石斑魚死亡率，提高了生產(chǎn)效率和管理水平。但由于實(shí)驗(yàn)環(huán)境與養(yǎng)殖環(huán)境存在一定的差距，水體渾濁、魚體大小不一、多條魚等實(shí)際養(yǎng)殖條件下魚類異常行為的識(shí)別方法有待于進(jìn)一步研究。

□

[1] LIU YING，F(xiàn)ANG LIANG ZHONG. Automate fry counting using computer vision and multi-class least squares support vector machine[J]. Aquaculture, 2013,380-383：91-98.

[2] ZION B,SHKLYAR A,KARPLUS I. In-vivo fish sorting by computer vision[J]. Aquacultural Engineering,2000,22(3)：165-179.

[3] 張志強(qiáng),牛智有,趙思明.基于機(jī)器視覺技術(shù)的淡水魚品種識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(11)：388-392.

[4] 李賢,范良忠,劉子毅,等.基于計(jì)算機(jī)視覺的大菱鲆對(duì)背景色選擇習(xí)性研究[J].農(nóng)業(yè)工程學(xué)報(bào),2012，28(10)：189-193.

[5] MA HENG，F(xiàn)ANG TSAI-TSUENG，LIU CHIA-CHENG. Real-time monitoring of water quality using temporal trajectory of live fish[J]. Expert Systems with Applications,2010,37(7)：5158-5171.

[6] ISRAELI D，KIMMEL E. Monitoring the behavior of hypoxia-stressed Carassius auratus using computer vision[J]. Aquacultural Engineering,1996,15(6)：423-440.

[7] 劉星橋,孫玉坤,趙德安,等.采用圖像處理技術(shù)對(duì)魚體健康狀況監(jiān)視和預(yù)報(bào)[J].農(nóng)業(yè)工程學(xué)報(bào),2005,21(6)：118-121.

[8] 逯尚尉,劉兆普,余燕.密度脅迫對(duì)點(diǎn)帶石斑魚幼魚生長(zhǎng)、代謝的影響[J].中國(guó)水產(chǎn)科學(xué),2011,18(2)：322-328.

[9] 毛海濤,孫敬鋒,王慶奎,等. 點(diǎn)帶石斑魚血液指標(biāo)、血細(xì)胞分類與發(fā)生的觀察[J].水產(chǎn)科學(xué),2015,34(4)：214-219.

[10]王建鋼,喬振國(guó),于忠利.點(diǎn)帶石斑魚對(duì)鹽度適應(yīng)性的初步研究[J].現(xiàn)代漁業(yè)信息,2009,24(6)：23-24.

[11]劉歡.我國(guó)水產(chǎn)養(yǎng)殖業(yè)生態(tài)化研究[D].南京：南京林業(yè)大學(xué),2014.

[12]蔣高中. 20世紀(jì)中國(guó)淡水養(yǎng)殖技術(shù)發(fā)展變遷研究[D].南京：南京農(nóng)業(yè)大學(xué),2008.

[13]周燕俠,彭珊. 海水網(wǎng)箱養(yǎng)殖中海水小瓜蟲病的防治[J].科學(xué)養(yǎng)魚,2007(12)：53-54.

[14]趙宇杰,姚娟文,趙彥敏. 基于Matlab的數(shù)字圖像色彩空間轉(zhuǎn)換與應(yīng)用[J].電子技術(shù)與軟件工程,2015(5)：113.

[15]于翔,李瑩. HSV顏色空間的量化對(duì)南通藍(lán)印花布顏色直方圖影響的比對(duì)研究[J].電子游戲軟件,2014(15)：111-113.

[16]韋琳,凃玲英. Matlab應(yīng)用于數(shù)字圖像處理教學(xué)的探討[J].科教導(dǎo)刊：上旬刊,2015,1(8)：98-99.

[17]楊杰,黃朝兵.數(shù)字圖像處理及matlab實(shí)現(xiàn)[M].北京：電子工業(yè)出版社,2015：1-294.

[18]孫學(xué)巖.基于內(nèi)容的魚病圖像檢索算法研究與實(shí)現(xiàn)[D].北京：中國(guó)農(nóng)業(yè)大學(xué),2005.

[19]孟祥輝.基于機(jī)器視覺的養(yǎng)殖大黃魚弧菌病監(jiān)測(cè)技術(shù)研究[D].成都：電子科技大學(xué),2013.

[20]張迎霞.面向水質(zhì)監(jiān)測(cè)的魚類行為異常識(shí)別方法研究[D].杭州：浙江工業(yè)大學(xué),2011.

Study on the identification of abnormal behavior ofEpinephelusmalabaricusbased on computer vision

XU Su1, XING Kezhi1,2, TIAN Yunchen3, MA Guoqiang3, BAO Rui4, LU Ning4

(1 College of Aquaculture, Tianjin Agricultural University, Tianjin 300384, China 2 Tianjin Key Laboratory of Aqua-Ecology and Aquaculture, Tianjin 300384, China 3 College of Computer and Information Engineering, Tianjin Agricultural University, Tianjin 300384, China 4 Information Center of Tianjin Rural Work Committee, Tianjin 300061, China)

The application of computer vision technology on identification and warning ofEpinephelusmalabaricus’ abnormal behavior is helpful to improve theEpinephelusmalabaricus’ survival rate, reduce the loss of human resources in the culture process. Under the condition of constant ammonia nitrogen, temperature, pH value, through artificially adjusted dissolved oxygen concentration in culture water,Epinephelusmalabaricus’ images under normal and abnormal conditions were obtained. The collected images were processed using foreground extraction, binarization, open operation, median filtering method, then two images under normal condition and abnormal condition were selected for differential operation to get the differential image of mouth area under the two conditions. The fisheye center coordinate was obtained based on the fish eye shape. So that, the image only contained the fish mouth based on the fisheye center coordinates could be cut out. The fish mouth state (open or close) and lasting time were judged according to mouth areae. If the fish mouth was open for 2 minutes, it was regarded that the fish appeared abnormal behavior and would give warning. 50Epinephelusmalabaricuswith uniform size were used to verify this method, and the results indicated that the method could effectively identify the abnormal behavior ofEpinephelusmalabaricus. In conclusion, the proposed method is beneficial for improving the efficiency of the aquaculture, and promoting the development of modern aquaculture.

Epinephelusmalabaricus; image processing; abnormal behavior; computer vision; warning

2015-06-24

2015-10-02

公益性行業(yè)(農(nóng)業(yè))科研專項(xiàng)“現(xiàn)代漁業(yè)數(shù)字化及物聯(lián)網(wǎng)技術(shù)集成與示范(201203017)”；天津市科技支撐計(jì)劃“水產(chǎn)養(yǎng)殖業(yè)物聯(lián)網(wǎng)技術(shù)集成研究與應(yīng)用示范(14ZCZDNC00009)”

徐愫(1990—)，女，碩士研究生，研究方向：計(jì)算機(jī)視覺技術(shù)。E-mail：1184507518@qq.com

邢克智(1956—)，男，教授，研究方向：水產(chǎn)生態(tài)與養(yǎng)殖。E-mail：kzxing6668@126.com

田云臣(1967—)，男，教授，研究方向：水產(chǎn)養(yǎng)殖業(yè)信息技術(shù)。E-mail：tianyunchen@tjau.edu.cn

10.3969/j.issn.1007-9580.2016.01.004

S965.334

A

1007-9580(2016)01-018-06