一種海上養(yǎng)殖網(wǎng)箱的無人巡檢方法研究

呂新蕾，孟 娟，杜 海，趙云鵬，劉圣聰

(1.大連海洋大學(xué) 信息工程學(xué)院,遼寧 大連 116023；2.設(shè)施漁業(yè)教育部重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116023；3.大連理工大學(xué) 海岸和近海工程國家重點(diǎn)實(shí)驗(yàn)室,遼寧 大連 116024；4.大連天正實(shí)業(yè)有限公司,遼寧 大連 116011 )

0 引言

因自然資源量消耗逐年增大，為緩解生態(tài)環(huán)境、水土資源和發(fā)展空間等各方面壓力，深海養(yǎng)殖模式逐漸成為全球漁業(yè)的一個(gè)發(fā)展趨勢(shì)。在多種深海養(yǎng)殖方式中，網(wǎng)箱養(yǎng)殖投資收益快，飼養(yǎng)周期短、管理方便、起捕容易、適應(yīng)性強(qiáng)且便于推廣，受到了廣大漁民的青睞[1]。

然而，海上養(yǎng)殖的狀態(tài)監(jiān)測難度也因養(yǎng)殖網(wǎng)箱離岸距離的增加而增加。目前多數(shù)的海上養(yǎng)殖網(wǎng)箱仍采用最為傳統(tǒng)的觀測方式，即根據(jù)專家經(jīng)驗(yàn)對(duì)現(xiàn)場網(wǎng)箱或影像進(jìn)行識(shí)別。盡管人工漁場觀測方式已經(jīng)有了幾十年經(jīng)驗(yàn)的積累，然而人工的參與也必然引起主觀判斷和行為失誤的風(fēng)險(xiǎn)以及人員傷亡的問題。此外，采用純?nèi)斯z測的方式并不適用于較大的海上網(wǎng)箱養(yǎng)殖現(xiàn)場(養(yǎng)殖區(qū)域往往可達(dá)上千畝)，因其檢測效率并不十分理想，且海上人工檢測時(shí)間越長出現(xiàn)風(fēng)險(xiǎn)的可能性也越大[2-3]。隨著國內(nèi)制造業(yè)和電子業(yè)的高速發(fā)展，一些先進(jìn)的電子科技產(chǎn)品也在養(yǎng)殖中得到廣泛應(yīng)用，這其中包括無人機(jī)的使用[4]。網(wǎng)箱檢測的現(xiàn)場工作人員可以通過控制無人機(jī)的飛行軌跡來獲取網(wǎng)箱影像，通過觀看影像信息來判斷養(yǎng)殖狀態(tài)是否正常。

為進(jìn)一步提升海上養(yǎng)殖網(wǎng)箱檢測的自動(dòng)化水平，同時(shí)也為了降低海上作業(yè)的風(fēng)險(xiǎn)，提高觀測結(jié)果的客觀準(zhǔn)確程度，本文將無人機(jī)觀測技術(shù)[5-8]、卷積神經(jīng)網(wǎng)絡(luò)以及傳統(tǒng)圖像處理技術(shù)的應(yīng)用遷移到海上網(wǎng)箱養(yǎng)殖巡檢中，提出了一種新型的海上養(yǎng)殖網(wǎng)箱的無人機(jī)視覺巡檢方法。實(shí)驗(yàn)結(jié)果表明，該方法在養(yǎng)殖網(wǎng)箱無人化檢測中表現(xiàn)良好，有著重要的現(xiàn)實(shí)意義，同時(shí)也為智慧海洋的發(fā)展提供了新思路。

1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及原理

為提高整體工作的自適應(yīng)性，選用深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)HED(holistically-nested edge detection)對(duì)養(yǎng)殖網(wǎng)箱進(jìn)行邊緣檢測。該網(wǎng)絡(luò)基于VGG(Very Deep Convolutional Networks for Large-Scale Image Recognition)網(wǎng)絡(luò)進(jìn)行改進(jìn)，將VGG-net最后的池化層與全連接層去掉，側(cè)輸出層(side-output layer)與每組卷積池化的最后一個(gè)卷積層相連，為更好地利用每個(gè)側(cè)輸出層的結(jié)果，引出6個(gè)損失函數(shù)同時(shí)訓(xùn)練，并且在訓(xùn)練過程中增加了一個(gè)“權(quán)重融合函數(shù)(Weight-fusion)”的學(xué)習(xí),將學(xué)習(xí)結(jié)果融合得到最終邊緣檢測圖。網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 HED網(wǎng)絡(luò)結(jié)構(gòu)圖

HED網(wǎng)絡(luò)充分利用了卷積神經(jīng)網(wǎng)絡(luò)在提取特征方面的優(yōu)勢(shì)以及深度學(xué)習(xí)方法的強(qiáng)大學(xué)習(xí)能力，該方法已在文獻(xiàn)[9]中被證實(shí)邊緣處理效果優(yōu)于Canny算子。

2 海上養(yǎng)殖網(wǎng)箱養(yǎng)殖區(qū)域提取

2.1 圖像預(yù)處理

海上養(yǎng)殖網(wǎng)箱內(nèi)部養(yǎng)殖區(qū)域的提取，是網(wǎng)箱內(nèi)部魚群狀態(tài)檢測的基礎(chǔ)。為保證計(jì)算機(jī)準(zhǔn)確提取到網(wǎng)箱養(yǎng)殖區(qū)，過濾背景環(huán)境對(duì)提取結(jié)果的影響，需要將數(shù)據(jù)圖像進(jìn)行一系列的預(yù)處理。

邊緣檢測是整個(gè)預(yù)處理中的第一步，圖像邊緣包含豐富的特征信息，在特征提取的研究中有著舉足輕重的地位，也是圖像處理和計(jì)算機(jī)視覺中重要的研究基礎(chǔ)。傳統(tǒng)邊緣檢測技術(shù)多種多樣，但大多傳統(tǒng)邊緣檢測算子受指定閾值大小的影響，且對(duì)光照等噪聲敏感，在海上養(yǎng)殖網(wǎng)箱無人化檢測任務(wù)中自適應(yīng)性較弱。不利于后續(xù)實(shí)際檢測應(yīng)用[10-11]使用HED進(jìn)行網(wǎng)箱邊緣檢測，可以有效地避免太陽光照及海面反光對(duì)檢測造成的影響，得到邊緣清晰、連貫的目標(biāo)主體邊緣輪廓，更準(zhǔn)確地提取有效網(wǎng)箱養(yǎng)殖區(qū)域。

首先將圖片作為原始數(shù)據(jù)輸入到訓(xùn)練好的HED網(wǎng)絡(luò)模型，由于該網(wǎng)絡(luò)可以端到端進(jìn)行檢測，故圖像通過整體嵌套的網(wǎng)絡(luò)模型后可直接得到最終的邊緣圖Ie，得到網(wǎng)箱邊緣圖后需要結(jié)合傳統(tǒng)數(shù)字圖像處理技術(shù)進(jìn)行二值化處理[12-13]，為進(jìn)一步提取網(wǎng)箱內(nèi)部的養(yǎng)殖區(qū)域(興趣區(qū)域ROI)做準(zhǔn)備。由于本文數(shù)據(jù)經(jīng)過HED處理后得到的邊緣圖Ie，很好地抑制了背景圖以及太陽光照等干擾，為充分利用網(wǎng)箱框體邊緣圖，二值化過程中將閾值自定義為1，則二值圖幾乎保留Ie中所有邊緣像素點(diǎn)。從而使得二值圖更為連續(xù)。

2.2 連通域篩選

由于分析對(duì)象為網(wǎng)箱內(nèi)部養(yǎng)殖區(qū)，而二值圖像的像素只有兩種狀態(tài)即黑(0)、白(255)，故將二值圖的像素值進(jìn)行取反操作，得到白色塊為初始圖像連通域。因?yàn)楹罄m(xù)方法的分析判斷中僅將完整顯示的養(yǎng)殖網(wǎng)箱內(nèi)部區(qū)域作為有效區(qū)，因此剔除所有與邊界相連的連通域，處理后的圖像中仍會(huì)存在許多小面積區(qū)域，其中多數(shù)為網(wǎng)箱框體的空洞結(jié)構(gòu)造成，這些區(qū)域在處理中被視作噪聲。為消除這些噪聲點(diǎn)，需要選取合適的閾值t，判斷閾值t與之面積大小篩選出的連通域即為提取的網(wǎng)箱養(yǎng)殖區(qū)。閾值t的定義如下：

假設(shè)圖像中的連通域目標(biāo)集合表示為S={A1,A2,A(3,…)An}，其中Ai為第i個(gè)連通域目標(biāo)的像素面積，則定義閾值t為式(1)：

(1)

最終所得養(yǎng)殖區(qū)域的連通域面積特征應(yīng)滿足Ai>t。

3 紋理特征判斷

3.1 特征紋理分析

紋理特征反映了物體的自身屬性，可以通過對(duì)紋理特征異同分析，從而判斷不同物體或圖像。紋理由紋理基元排列組合而成，基元排列的疏密、周期性、方向性等的不同，能使圖像的外觀產(chǎn)生極大地改變。Tamura等人提出的紋理特征分析法將6個(gè)心理學(xué)角度對(duì)應(yīng)于紋理特征中6種屬性，即粗糙度、對(duì)比度、方向度、線性度、規(guī)則度和粗略度。其中前3個(gè)指標(biāo)對(duì)于圖像處理中的紋理判斷具有很高的價(jià)值[14]。本文引用Tamura紋理特征分析方法中的粗糙度分量，通過分析網(wǎng)箱內(nèi)外的粗糙度數(shù)值變化，從而判斷養(yǎng)殖網(wǎng)箱內(nèi)是否有魚群活動(dòng)。

粗糙度是最基本的紋理特征，當(dāng)兩種紋理特征模式基元尺寸不同時(shí)，具有較大基元尺寸的模式給人感覺更粗糙。其計(jì)算步驟為：

1)計(jì)算圖像中給定大小的活動(dòng)窗口像素平均強(qiáng)度值；

2)對(duì)每個(gè)像素分別計(jì)算在水平和垂直方向上互不重疊的窗口之間的平均強(qiáng)度差；

3)計(jì)算整幅圖像中最佳尺寸的平均值得到該圖的粗糙度。

3.2 網(wǎng)箱紋理特征判斷

養(yǎng)殖網(wǎng)箱內(nèi)的紅鰭東方鲀有日常到水面環(huán)游的現(xiàn)象，為自動(dòng)判斷養(yǎng)殖區(qū)域是否有魚群游動(dòng)，以網(wǎng)箱內(nèi)的魚場圖像紋理特征作為檢測依據(jù)對(duì)養(yǎng)殖區(qū)域關(guān)鍵數(shù)據(jù)進(jìn)行篩選。鑒于本文主要研究視覺輔助巡檢時(shí)漁場“粗狀態(tài)”的檢測，故本文主要采用Tamura紋理特征中最為基本、也最為重要的特征——粗糙度來進(jìn)行河鲀水面游動(dòng)的判斷。由于粗糙度僅在ROI區(qū)域中進(jìn)行分析判斷，因此對(duì)文獻(xiàn)[15]中的Tamura紋理粗糙度計(jì)算公式進(jìn)行了改進(jìn)。

如公式(2)～(5)所示：

n=1,2,…,N,k=1,2,…,K

(2)

ROIn(|Ak(x,y-2k-1)-Ak(x,y+2k-1)| ))

(3)

(4)

Fn=∑(x,y∈ROIn)2(kt (x,y))/M(ROIn)

(5)

其中：I(i,j)為圖像I在點(diǎn)(i,j)處的像素值，k為分析窗口的尺度，K為設(shè)定的最大窗口值，ROIn(·)為圖像I中第n個(gè)興趣區(qū)域，M(ROIn )為ROIn區(qū)域內(nèi)像素的個(gè)數(shù)，F(xiàn)n為第n個(gè)興趣區(qū)域內(nèi)的粗糙度值。從式(5)可以看出，粗糙度的計(jì)算完全依賴于區(qū)域內(nèi)窗口顆粒尺寸的統(tǒng)計(jì)均值，因此粗糙度可以較好地反映紋理中的粒度，當(dāng)兩種紋理模式只是基元尺寸不同時(shí)，具有較大尺寸或重復(fù)范元較少的模式更粗糙，而日常巡檢時(shí)魚在水面環(huán)游與其周圍海水波面紋理粒度是不同的，對(duì)比養(yǎng)殖網(wǎng)箱附近相同窗口大小的海面粗糙度數(shù)值，對(duì)所提區(qū)域給出狀態(tài)判斷。設(shè)G為網(wǎng)箱養(yǎng)殖區(qū)域粗糙度Fn與其相鄰海面粗糙度F′n差的絕對(duì)值，f為兩者中較小的值，即：

G=|Fn-F′n|

(6)

f=min(Fn,F′n)

(7)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)區(qū)與數(shù)據(jù)獲取

本文所需數(shù)據(jù)來自于大連天正實(shí)業(yè)有限公司大李家紅鰭東方鲀養(yǎng)殖場。大李家紅鰭東方鲀養(yǎng)殖場占海域面積2 000余畝，人工巡檢任務(wù)量巨大，采用無人機(jī)巡檢技術(shù)后將大幅度提高現(xiàn)場檢測的效率。本文研究數(shù)據(jù)是使用無人機(jī)搭載像素為1 920*1 080的攝像機(jī)按照預(yù)先設(shè)定的路徑從養(yǎng)殖網(wǎng)箱的上空實(shí)時(shí)獲取養(yǎng)殖區(qū)域的視頻，如圖2所示。為保證數(shù)據(jù)的多樣性，在數(shù)據(jù)采集過程中無人機(jī)有明顯的高度、角度及距離的變化。為方便研究及降低數(shù)據(jù)的重復(fù)度，將拍攝到的視頻數(shù)據(jù)每間隔6幀取一幀保存為圖片形式，并將未進(jìn)入養(yǎng)殖區(qū)的圖像刪除，剩余圖像作為后續(xù)算法驗(yàn)證的實(shí)驗(yàn)數(shù)據(jù)。

圖2 無人機(jī)采集數(shù)據(jù)

4.2 網(wǎng)箱養(yǎng)殖區(qū)域提取

為驗(yàn)證方法的適用性及準(zhǔn)確性，目標(biāo)區(qū)域提取實(shí)驗(yàn)使用本文第二節(jié)所介紹的方法對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，即，首先使用HED網(wǎng)絡(luò)提取網(wǎng)箱邊緣，再將網(wǎng)箱邊緣數(shù)據(jù)進(jìn)行二值化及形態(tài)學(xué)濾波處理，經(jīng)過對(duì)圖像取反操作并剔除與圖像邊界相連的不完整部分后，得到較多連通域，根據(jù)公式(1)進(jìn)行目標(biāo)面積篩選，得到網(wǎng)箱養(yǎng)殖區(qū)域連通域，將其內(nèi)部原始信息還原，從而提取到網(wǎng)箱的養(yǎng)殖區(qū)域。

由于數(shù)據(jù)樣本較多，選取具有代表性的數(shù)據(jù)，給出實(shí)驗(yàn)過程關(guān)鍵步的效果圖，如圖3～圖5所示，無人機(jī)飛行過程中由于拍照位置、海面區(qū)域特點(diǎn)的變化，使得海面背景圖像光照、灰度分布不均勻，經(jīng)過深度網(wǎng)絡(luò)多級(jí)特征提取后，邊緣檢測的輸出結(jié)果完全突顯了網(wǎng)箱框架的輪廓，而影響識(shí)別的太陽倒影、水面顏色等也得到了很好的抑制。最終結(jié)果圖清楚地顯示了所提取的養(yǎng)殖區(qū)域。(說明：為了分析的方便性和處理效率，本文所設(shè)計(jì)的無人機(jī)巡檢時(shí)僅對(duì)圖像中完整的網(wǎng)箱區(qū)域進(jìn)行識(shí)別與檢測)

圖3 數(shù)據(jù)樣本

圖4 邊緣檢測圖

圖5 網(wǎng)箱養(yǎng)殖區(qū)域提取

為驗(yàn)證本文所提的網(wǎng)箱養(yǎng)殖區(qū)域提取方法的準(zhǔn)確度，將實(shí)驗(yàn)中每幀圖片自動(dòng)提取完整區(qū)域的數(shù)量與人工判斷的數(shù)量(樣本數(shù)量)做對(duì)比統(tǒng)計(jì)，以人工判斷的完整網(wǎng)箱的數(shù)量為正確參考，從而計(jì)算得到該方法提取網(wǎng)箱的準(zhǔn)確度。結(jié)果見表1。

表1 養(yǎng)殖區(qū)域提取數(shù)據(jù)統(tǒng)計(jì)表

4.3 紋理特征分析

紋理特征分析在提取出網(wǎng)箱養(yǎng)殖區(qū)域之后進(jìn)行，實(shí)驗(yàn)區(qū)有部分網(wǎng)箱內(nèi)的河鲀已被打撈完畢，則該部分網(wǎng)箱內(nèi)為無魚群游動(dòng)的狀態(tài)，為驗(yàn)證使用粗糙度判斷網(wǎng)箱內(nèi)部狀態(tài)的有效性，選取了多個(gè)養(yǎng)殖區(qū)域圖像，根據(jù)公式(2)～(5)計(jì)算網(wǎng)箱區(qū)域內(nèi)及周邊海面區(qū)域粗糙度，其數(shù)值對(duì)比如圖6～圖7所示。其中圖6為有效養(yǎng)殖區(qū)與其相鄰海面粗糙度數(shù)值的對(duì)比，圖7中的養(yǎng)殖區(qū)域無魚群游動(dòng)，為無效養(yǎng)殖區(qū)與海面粗糙度數(shù)值的對(duì)比。

圖6 粗糙度數(shù)值對(duì)比圖

圖7 粗糙度數(shù)值對(duì)比圖

表2 養(yǎng)殖區(qū)粗糙度數(shù)據(jù)統(tǒng)計(jì)表

5 結(jié)束語

本文基于計(jì)算機(jī)視覺技術(shù)提出了一種海上養(yǎng)殖網(wǎng)箱無人機(jī)視覺巡檢的方法，用以解決海上網(wǎng)箱養(yǎng)殖時(shí)無人機(jī)巡檢過程中有效數(shù)據(jù)的提取和異常狀態(tài)的初步判斷問題。為助力海洋牧場的無人巡檢工作，本文所提方法從無人機(jī)海上巡航實(shí)際角度出發(fā)，以養(yǎng)殖觀測技術(shù)為支撐，融合當(dāng)下發(fā)展迅速的深度學(xué)習(xí)及傳統(tǒng)的圖像處理方法，為海上網(wǎng)箱養(yǎng)殖的自動(dòng)化監(jiān)測提供了一個(gè)新的解決思路。實(shí)驗(yàn)數(shù)據(jù)來源紅鰭東方鲀養(yǎng)殖場，但本文所提方法具有通用性，對(duì)于其他魚類養(yǎng)殖網(wǎng)箱的檢測亦具有重要的參考價(jià)值。研究過程中，緊密結(jié)合海上養(yǎng)殖經(jīng)驗(yàn)和無人機(jī)海上運(yùn)行實(shí)際狀態(tài)特點(diǎn)，所提出的方法完全針對(duì)海上巡檢時(shí)圖像背景光度分布復(fù)雜、低對(duì)比度、有用信息占比小等實(shí)際問題，因此具有較好的現(xiàn)實(shí)意義。

通過對(duì)紅旗東方鲀網(wǎng)箱養(yǎng)殖現(xiàn)場圖像進(jìn)行驗(yàn)證與結(jié)果分析，得到完整網(wǎng)箱提取的準(zhǔn)確度為97%，網(wǎng)箱初步狀態(tài)判斷的準(zhǔn)確度為97.1%，表明該方法可以有效地用于養(yǎng)殖現(xiàn)場的初步判斷和數(shù)據(jù)選擇，從而完成海上養(yǎng)殖巡檢時(shí)有效信息采集，可為海上養(yǎng)殖積累高質(zhì)量、有效的大數(shù)據(jù)提供技術(shù)參考，并為下一階段的網(wǎng)箱養(yǎng)殖健康狀態(tài)評(píng)測奠定堅(jiān)實(shí)的技術(shù)基礎(chǔ)。