基于聲光聯(lián)動(dòng)的非法采砂船自動(dòng)監(jiān)測(cè)方法

曹 榮，周佩日，王文強(qiáng)，劉 威，劉福宇

（1.鎮(zhèn)江市水利局，江蘇鎮(zhèn)江 212000；2.鎮(zhèn)江市水政監(jiān)察支隊(duì)，江蘇鎮(zhèn)江 212200；3.江蘇禹治流域管理技術(shù)研究院有限公司，江蘇南京 210001）

近年來，長江流域的河砂過度開采問題使得長江流域防洪工作難度增加，河床穩(wěn)定性降低及河道結(jié)構(gòu)發(fā)生改變，使得長江流域的生態(tài)系統(tǒng)受到了嚴(yán)重的破壞，一旦洪水來臨，將危及兩岸人民的安全。因此，我國有關(guān)部門必須加強(qiáng)對(duì)非法采砂船的監(jiān)督與管理。聲光聯(lián)動(dòng)技術(shù)以視頻監(jiān)控和聲吶識(shí)別為主要技術(shù)手段，包括水上紅外檢測(cè)和水下音頻檢測(cè)2 個(gè)部分，將獲取到的音頻信息與紅外圖像相結(jié)合，從2個(gè)方向同時(shí)對(duì)采砂船進(jìn)行監(jiān)測(cè)，同時(shí)利用自動(dòng)識(shí)別技術(shù)進(jìn)行報(bào)警，可以將信息及時(shí)傳遞給相關(guān)工作人員，促使有關(guān)人員及時(shí)阻止采砂船繼續(xù)進(jìn)行河道采砂作業(yè)。

音頻信號(hào)識(shí)別是最近20 年來國內(nèi)外人工智能領(lǐng)域研究的重要方向之一。目前，在這一領(lǐng)域中的人聲語音識(shí)別技術(shù)、動(dòng)物聲音識(shí)別技術(shù)已經(jīng)日臻成熟并得到廣泛應(yīng)用。在船只聲紋特征判定方面，已經(jīng)形成了成熟的方法：依據(jù)船舶發(fā)動(dòng)機(jī)、船型，在船舶設(shè)計(jì)、建筑過程中，利用測(cè)試水池的方法進(jìn)行聲紋采樣，并建立聲紋庫，隨后進(jìn)行船只特征判定應(yīng)用。另一方面，對(duì)于水面、水下目標(biāo)的音頻特征提取和識(shí)別，也已經(jīng)在沉船打撈、潛航器跟蹤等方面得到了廣泛應(yīng)用。水聲目標(biāo)識(shí)別技術(shù)是水下信息獲取和分析的重要支撐技術(shù),由于水中目標(biāo)的輻射噪聲組成復(fù)雜，因而其難點(diǎn)在于目標(biāo)信號(hào)的信號(hào)分離和特征提取［1］。

紅外圖像目標(biāo)識(shí)別技術(shù)可以依靠觀測(cè)到的圖像來獲取感興趣目標(biāo)的所屬類別，為解決實(shí)際問題提供支撐。紅外圖像目標(biāo)識(shí)別方法一般分為特征提取和分類決策2個(gè)階段，一般來說，涉及的特征包括幾何外形、局部紋理和像素分布特征等，在分類過程中，根據(jù)提取到的特征選擇或者設(shè)計(jì)分類器，之前的典型代表為支持向量機(jī)分類算法［2］。深度學(xué)習(xí)理論的出現(xiàn)和發(fā)展為紅外圖像目標(biāo)識(shí)別提供了重要手段，文獻(xiàn)［3-6］就針對(duì)紅外圖像目標(biāo)識(shí)別問題設(shè)計(jì)了深度網(wǎng)絡(luò)模型并進(jìn)行了應(yīng)用。特別地，文獻(xiàn)［3-4］均以某卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)對(duì)紅外圖像進(jìn)行特征提取，將各個(gè)卷積層輸出的特征圖進(jìn)行處理，獲取相應(yīng)的深度特征矢量；文獻(xiàn)［5］提出了一種全新的基于深度學(xué)習(xí)的判別算法，建立了目標(biāo)狀態(tài)感知任務(wù)專用的卷積神經(jīng)網(wǎng)絡(luò)框架，并在局部標(biāo)注以及自適應(yīng)閾值等方面進(jìn)行了創(chuàng)新。

1 自動(dòng)識(shí)別采砂船系統(tǒng)設(shè)計(jì)

1.1 項(xiàng)目概況

鎮(zhèn)江市管理部門為了加強(qiáng)對(duì)蘇南運(yùn)河流域非法采砂行為的管理，維護(hù)蘇南運(yùn)河生態(tài)環(huán)境，保證河床及河道的安全穩(wěn)定，選擇將聲光聯(lián)動(dòng)技術(shù)應(yīng)用到自動(dòng)識(shí)別采砂船系統(tǒng)中，使得該系統(tǒng)可實(shí)現(xiàn)全天候、全方位的對(duì)管轄流域進(jìn)行監(jiān)督與管理，同時(shí)，為了進(jìn)一步增強(qiáng)系統(tǒng)的完善性，在自動(dòng)識(shí)別采砂船系統(tǒng)中設(shè)置了聲光聯(lián)動(dòng)報(bào)警裝置，當(dāng)發(fā)現(xiàn)存在非法采砂行為時(shí)，自動(dòng)識(shí)別采砂船系統(tǒng)可利用水政執(zhí)法APP將報(bào)警信息、監(jiān)控畫面?zhèn)鬟f給執(zhí)法工作人員［7］。

1.2 自動(dòng)識(shí)別采砂船設(shè)計(jì)概述

自動(dòng)識(shí)別采砂船系統(tǒng)整體主要包括3 個(gè)模塊，分別為智能桿及船舶監(jiān)控平臺(tái)、水下偵聽器及非法采砂智能預(yù)警識(shí)別平臺(tái)。智能桿及船舶監(jiān)控平臺(tái)的主要功能是對(duì)水面上的船舶進(jìn)行監(jiān)控；水下偵聽器的主要功能是通過監(jiān)控水文的狀況來判斷是否存在非法采砂船在非法開采河砂，當(dāng)智能桿及船舶監(jiān)控平臺(tái)未能夠及時(shí)發(fā)現(xiàn)非法采砂船時(shí)，水下偵聽器便可利用水下聲紋檢測(cè)設(shè)備監(jiān)控水體的聲波，并判斷是否存在異常聲波，同時(shí)判斷異常聲波的位置信息、時(shí)長等因素，并將信息反饋給非法采砂智能預(yù)警識(shí)別平臺(tái)，當(dāng)系統(tǒng)平臺(tái)判斷為非法采砂行為時(shí)，立即啟動(dòng)聲光聯(lián)動(dòng)報(bào)警裝置。

2 聲光聯(lián)動(dòng)技術(shù)在自動(dòng)識(shí)別采砂船設(shè)計(jì)中的應(yīng)用

自動(dòng)識(shí)別采砂船系統(tǒng)識(shí)別非法采砂船的方式主要有2種，一種為水上智能識(shí)別，另一種為水下聲波識(shí)別。水上智能識(shí)別主要利用的是紅外熱成像監(jiān)控技術(shù)建立水上紅外線熱成像視頻監(jiān)控子系統(tǒng)對(duì)水上船只進(jìn)行監(jiān)控，水下聲波識(shí)別主要是通過建立水下聲紋檢測(cè)子系統(tǒng)來實(shí)現(xiàn)對(duì)非法采砂行為的監(jiān)控。

2.1 紅外熱成像視頻監(jiān)控子系統(tǒng)

紅外熱成像視頻監(jiān)控子系統(tǒng)主要利用的是紅外熱成像技術(shù)監(jiān)控水面上是否存在異常溫度區(qū)域，根據(jù)異常區(qū)域的形狀判斷異常區(qū)域是否為非法采砂船，當(dāng)發(fā)現(xiàn)存在異常信號(hào)時(shí)，智能桿識(shí)別船只信息，并將信息傳遞給非法采砂智能預(yù)警識(shí)別平臺(tái)。

該子系統(tǒng)在采砂船識(shí)別過程中應(yīng)用了目標(biāo)檢測(cè)技術(shù)，目標(biāo)檢測(cè)的主要目的是在輸入圖像中找到目標(biāo)的位置同時(shí)給出目標(biāo)的類別屬性。在深度學(xué)習(xí)出現(xiàn)之前，傳統(tǒng)的目標(biāo)檢測(cè)算法主要是以手工設(shè)計(jì)特征為主，但這些特征泛化能力較弱，在復(fù)雜場(chǎng)景中表現(xiàn)較差?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)特征進(jìn)行學(xué)習(xí)，同時(shí)利用神經(jīng)網(wǎng)絡(luò)將原始信息轉(zhuǎn)化為更加高維和抽象的特征，以此來增強(qiáng)特征的表達(dá)能力和泛化性能，因此在復(fù)雜場(chǎng)景下的性能表現(xiàn)較好。

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法根據(jù)算法流程特點(diǎn)大致可以分為兩階段（Two-stage）目標(biāo)檢測(cè)算法和單階段（One-Stage）目標(biāo)檢測(cè)算法兩類。Onestage 目標(biāo)檢測(cè)算法的代表有SSD 系列、YOLO 系列和Anchor-Free 系列，其中YOLOv3 算法采用了Darknet-53 網(wǎng)絡(luò)作為基礎(chǔ)特征提取網(wǎng)絡(luò)，提升了算法的整體性能，同時(shí)在算法中引入FPN 結(jié)構(gòu)，分別提取了3個(gè)不同分辨率的特征層作為最終預(yù)測(cè)的特

征層，提升了算法對(duì)小尺寸目標(biāo)的檢測(cè)精度，擁有較快的檢測(cè)速度和較低的背景誤檢率［10］。

2.2 水下聲紋監(jiān)測(cè)子系統(tǒng)

水下聲紋識(shí)別主要是通過建立水下聲紋檢測(cè)子系統(tǒng)來實(shí)現(xiàn)對(duì)非法采砂行為的監(jiān)控。水下聲紋檢測(cè)子系統(tǒng)主要利用傾角沖擊傳感器、浸沒傳感器及水下拾音器獲取水下聲紋信息，并通過聲紋信息判斷是否存在可疑目標(biāo)，若發(fā)現(xiàn)可疑目標(biāo)，則將信息反饋給非法采砂智能預(yù)警識(shí)別平臺(tái)。該子系統(tǒng)采用水聽器采集水聲數(shù)據(jù)，將數(shù)據(jù)傳輸?shù)竭吘売?jì)算模塊，接著邊緣計(jì)算節(jié)點(diǎn)的水聲信號(hào)處理模塊會(huì)對(duì)信號(hào)進(jìn)行處理，處理之后傳輸至目標(biāo)特征判斷模塊，目標(biāo)特征模塊通過信號(hào)變換算法提取信號(hào)的聲學(xué)特征，與預(yù)先建立的采砂船聲紋特征庫內(nèi)的特征進(jìn)行匹配，當(dāng)匹配程度達(dá)到設(shè)定閾值后，發(fā)送提醒信號(hào)。其中，在水聲信號(hào)處理模塊中，進(jìn)行采樣接收參數(shù)的設(shè)定，接收水聽器采集的信號(hào)之后，根據(jù)設(shè)定的參數(shù)，對(duì)采樣數(shù)據(jù)利用FFT 算法進(jìn)行時(shí)-頻域變換。

3 實(shí)驗(yàn)分析

3.1 水上智能識(shí)別

針對(duì)紅外熱成像視頻監(jiān)控子系統(tǒng)，采用YOLOv3目標(biāo)檢測(cè)算法以及像素統(tǒng)計(jì)和閾值控制對(duì)采砂船識(shí)別效果進(jìn)行驗(yàn)證分析。

3.1.1 實(shí)驗(yàn)流程

采砂船檢測(cè)算法主要包括2 個(gè)過程，分別是輪船檢測(cè)和采砂船判斷。在輪船檢測(cè)中，主要是對(duì)江面上的輪船進(jìn)行YOLOv3 目標(biāo)檢測(cè)，得到包含輪船的預(yù)測(cè)框，在目標(biāo)檢測(cè)過程中，訓(xùn)練采用的網(wǎng)絡(luò)結(jié)構(gòu)使用GooLeNet 模型，收集多個(gè)輪船標(biāo)記樣本；在采砂船判斷中，主要是對(duì)輪船紅外特征進(jìn)行分析，采砂船的紅外圖像在靠近中間的區(qū)域會(huì)有一個(gè)豎形發(fā)亮的位置，像素值會(huì)高于輪船的其他位置，所以對(duì)江面監(jiān)測(cè)到的輪船預(yù)測(cè)框內(nèi)的像素進(jìn)行豎向的統(tǒng)計(jì)，歸一化處理后判斷該輪船是否為采砂船。

3.1.2 實(shí)驗(yàn)結(jié)果及分析

利用算法得到的輪船檢測(cè)結(jié)果以及對(duì)輪船紅外特征進(jìn)行分析之后得到采砂判定結(jié)果。在進(jìn)行輪船檢測(cè)過程中，針對(duì)初步得到的預(yù)測(cè)結(jié)果進(jìn)行得分排序篩選，經(jīng)過實(shí)驗(yàn)分析發(fā)現(xiàn)上述算法對(duì)于采砂船識(shí)別有著較高的準(zhǔn)確率，整個(gè)過程檢測(cè)速度較快，這對(duì)于采砂船識(shí)別有著實(shí)際的工程意義，能夠在一定程度上提高作業(yè)過程的精度和速度。

3.2 水下聲紋識(shí)別

水下聲紋識(shí)別算法通過抓取采砂船工作時(shí)的聲紋特征，對(duì)聲紋數(shù)據(jù)進(jìn)行特征提取，由人工結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行標(biāo)定，抽取采砂船聲紋特征，建立聲紋特征庫。

3.2.1 實(shí)驗(yàn)流程

主要包括水聽器、水聲信號(hào)處理模塊、目標(biāo)特征判斷模塊，其中，水聽器置于水下，水聲信號(hào)處理模塊和目標(biāo)特征判斷模塊為軟件模塊，安裝在邊緣計(jì)算模塊中。

對(duì)采砂船的監(jiān)控方式為水聽器接收水下聲學(xué)信號(hào)并通過信號(hào)纜傳輸給邊緣計(jì)算模塊中的水聲信號(hào)處理模塊，由水聲信號(hào)處理模塊處理后，交由目標(biāo)特征判斷模塊進(jìn)行目標(biāo)特征識(shí)別判斷。

在本實(shí)施測(cè)試中，邊緣計(jì)算模塊布設(shè)于岸邊固定點(diǎn)位，水聽器通過采用與邊緣計(jì)算模塊連接，信號(hào)、電源正常即可開始正常的監(jiān)控活動(dòng)。

當(dāng)水聽器監(jiān)聽到可疑目標(biāo)的水聲特征，將水聲信號(hào)傳輸至邊緣計(jì)算模塊，對(duì)水聲信號(hào)進(jìn)行預(yù)處理操作，并將處理后的信號(hào)傳輸給目標(biāo)特征判斷模塊，用多層卷積、遞歸分析采集多環(huán)境聲紋特征參數(shù)，建立采砂船聲紋特征庫。

3.2.2 實(shí)驗(yàn)結(jié)果及分析

結(jié)合采砂船特征數(shù)據(jù)庫將不同工況、環(huán)境下的內(nèi)河采砂行為特征進(jìn)行持續(xù)監(jiān)測(cè)并判斷采砂行為符合度的數(shù)值化標(biāo)定，通過水聲信號(hào)處理模塊進(jìn)行處理后，由人工結(jié)合機(jī)器學(xué)習(xí)算法進(jìn)行標(biāo)定，抽取采砂船聲紋特征。采砂船數(shù)值判定基于采砂船特征數(shù)據(jù)庫和采砂船處理算法處理后的聲紋數(shù)據(jù)，根據(jù)制定的標(biāo)準(zhǔn)化數(shù)值分類系統(tǒng)對(duì)信號(hào)活動(dòng)強(qiáng)度進(jìn)行分級(jí)，形成不同級(jí)別的采砂活動(dòng)強(qiáng)度分類，可在內(nèi)河這種水流湍急、泥沙含量較高的環(huán)境下進(jìn)一步應(yīng)用，經(jīng)過實(shí)驗(yàn)分析發(fā)現(xiàn)上述算法對(duì)于采砂船采砂識(shí)別有著較高的準(zhǔn)確率，并且整個(gè)過程檢測(cè)速度較快，這對(duì)于采砂船聲紋識(shí)別有著實(shí)際的工程意義。

4 結(jié) 論

綜上所述，非法采砂行為使得我國河道流域的生態(tài)環(huán)境受到了嚴(yán)重的破壞，同時(shí)也擾亂了河砂行業(yè)的市場(chǎng)環(huán)境。我國有關(guān)部門為了加強(qiáng)對(duì)非法采砂行為的治理，將聲光聯(lián)動(dòng)技術(shù)應(yīng)用到自動(dòng)識(shí)別非法采砂船系統(tǒng)中，利用音頻信號(hào)和紅外監(jiān)控視頻數(shù)據(jù)分析方法對(duì)非法采砂船進(jìn)行監(jiān)測(cè)識(shí)別，實(shí)驗(yàn)證明該算法的識(shí)別效果顯著。將該系統(tǒng)應(yīng)用到實(shí)際工程中能夠?qū)崿F(xiàn)對(duì)管轄流域的24 h監(jiān)督，并能將非法采砂船和可疑船只詳細(xì)信息傳遞給有關(guān)部門工作人員，以便于有關(guān)部門工作人員及時(shí)處置，從而實(shí)現(xiàn)長江河道砂石資源科學(xué)、綠色、可持續(xù)利用，保障長江防洪、通航、生態(tài)安全以及國民經(jīng)濟(jì)健康可持續(xù)發(fā)展。