基于多源異構(gòu)數(shù)據(jù)融合的船舶目標(biāo)檢測與跟蹤技術(shù)研究

馬瑞鑫，李子龍，陳 靜

(1.交通運(yùn)輸部天津水運(yùn)工程科學(xué)研究所，天津 300456； 2.大連海事大學(xué) 航海動(dòng)態(tài)仿真和控制實(shí)驗(yàn)室，大連116026)

隨著內(nèi)河航運(yùn)的快速發(fā)展，水上運(yùn)輸船舶數(shù)量日益增多，水上交通壓力越來越大，單純依靠人工進(jìn)行現(xiàn)場或視頻巡檢效率較低，針對船舶的智能監(jiān)管，目前主要采用視頻監(jiān)控、AIS、射頻識別、雷達(dá)等技術(shù)。但尚沒有完善的監(jiān)控系統(tǒng)對水上交通出現(xiàn)的船舶超載、超限、遮擋船名、不按規(guī)定開啟AIS等違法違規(guī)行為進(jìn)行智能監(jiān)控及預(yù)警，智能化的監(jiān)管手段仍顯不足。

當(dāng)前水運(yùn)行業(yè)傳統(tǒng)的視頻監(jiān)控已經(jīng)較為普遍，但如何從視頻中提取出關(guān)注的信息仍較為繁瑣，由于船名標(biāo)識不規(guī)范、字符不清晰，基于計(jì)算機(jī)視覺的智能分析應(yīng)用較少；AIS應(yīng)用較為廣泛，但其必須依賴于船載終端的安裝及正確使用；雷達(dá)在沿海港口應(yīng)用較為廣泛，但在內(nèi)河中由于航道沿線山林阻隔及岸線阻擋應(yīng)用較少。當(dāng)前，單一的監(jiān)測方法都有相應(yīng)弊端，同時(shí)無法有效進(jìn)行數(shù)據(jù)協(xié)同，尚沒有統(tǒng)一高效的融合方法使其從多源無序的監(jiān)測數(shù)據(jù)中發(fā)掘精準(zhǔn)的有價(jià)值信息。如何精準(zhǔn)有效地從現(xiàn)有視頻中提取出船舶目標(biāo)，實(shí)現(xiàn)船舶視頻目標(biāo)的自動(dòng)檢測與跟蹤；并協(xié)同多傳感器的多源數(shù)據(jù)融合分析，提高監(jiān)測精細(xì)化水平，實(shí)現(xiàn)船舶監(jiān)管的直觀表達(dá)是當(dāng)前亟需解決的問題。

當(dāng)前基于計(jì)算機(jī)視覺的目標(biāo)檢測方法主要分為傳統(tǒng)目標(biāo)檢測算法和深度學(xué)習(xí)目標(biāo)檢測算法[1]。浙江大學(xué)劉寶龍[2]博士通過圖像分析、深度學(xué)習(xí)等計(jì)算機(jī)視覺技術(shù)對船名標(biāo)識字符進(jìn)行了檢測與識別，并提出了船名標(biāo)識字符基準(zhǔn)數(shù)據(jù)集。武漢理工大學(xué)相關(guān)研究人員[3]在傳統(tǒng)YOLOv3算法基礎(chǔ)上，提出了用于船舶目標(biāo)檢測的增強(qiáng)YOLOv3算法，在霧天和低照度等不良天氣條件下均能實(shí)現(xiàn)船舶目標(biāo)的高精度穩(wěn)定檢測。但是基于深度學(xué)習(xí)的目標(biāo)檢測算法因?yàn)樾枰罅繕颖?，受限于?yīng)用場景，在山區(qū)內(nèi)河環(huán)境下獲取較為困難，傳統(tǒng)目標(biāo)檢測方法主要有幀間差分法、光流法和背景減除法等[4]；在多傳感器數(shù)據(jù)融合方面，目前的內(nèi)河船舶軌跡融合主要是AIS和雷達(dá)數(shù)據(jù)的融合，主要通過卡爾曼濾波器去噪法、修正的K近鄰域法等，核心在于判斷來自多個(gè)系統(tǒng)的兩條軌跡是否代表同一個(gè)目標(biāo)[5]。葉蕾[6]研究了攝像機(jī)與激光測距儀在船舶過閘中的應(yīng)用，并依據(jù)攝像機(jī)和激光測距儀研究了基于多傳感器結(jié)合的過閘船舶運(yùn)動(dòng)狀態(tài)檢測系統(tǒng)。L. Achiri等[7]利用AIS和SAR兩種數(shù)據(jù)源進(jìn)行融合，實(shí)現(xiàn)船舶海事監(jiān)管。孟琭[8]對當(dāng)前主流的目標(biāo)跟蹤算法進(jìn)行了測試，分析了Kalman、深度學(xué)習(xí)方法在不同場景下的跟蹤效果。上述方法雖然取得了一定成果，但仍存在以下局限性，單一傳感器難以應(yīng)對復(fù)雜環(huán)境感知信息，激光傳感器具備探測精度高，不受天氣狀況影響等優(yōu)點(diǎn)，但無法獲取顏色、紋理等信息，只能反應(yīng)目標(biāo)的外形輪廓等特征；視頻彌補(bǔ)了激光在識別物體方面的劣勢，可以捕獲目標(biāo)及環(huán)境的大量細(xì)節(jié)特征，但受天氣影響較大，且識別精度不高；AIS數(shù)據(jù)是一種結(jié)構(gòu)化較為規(guī)范的數(shù)據(jù)，但其獲取方式依賴于船載終端的使用，不能進(jìn)行主動(dòng)式監(jiān)管[9-10]。

針對以上問題，本文在現(xiàn)有研究基礎(chǔ)上針對視頻船舶目標(biāo)檢測，提出了一種基于Canny邊緣檢測的三幀差分法與基于混合高斯背景建模的背景減除法相結(jié)合的船舶目標(biāo)檢測算法，有效提高了傳統(tǒng)圖像目標(biāo)檢測準(zhǔn)確率；針對多傳感器目標(biāo)融合，本文分析了激光點(diǎn)云數(shù)據(jù)和AIS數(shù)據(jù)的處理方法，并基于模糊數(shù)學(xué)的思路，提出了一種正態(tài)性隸屬度函數(shù)計(jì)算模糊相關(guān)矩陣的方法，實(shí)現(xiàn)了在動(dòng)態(tài)視頻修正下的激光點(diǎn)云數(shù)據(jù)與AIS數(shù)據(jù)的船舶軌跡特征融合。

1 多源異構(gòu)傳感器數(shù)據(jù)處理

1.1 船舶圖像目標(biāo)檢測

本方法首先通過直方圖均衡化和中值濾波對視頻圖像序列進(jìn)行預(yù)處理，對圖像出現(xiàn)的亮度或?qū)Ρ榷炔痪鶆蜻M(jìn)行處理，提高船舶目標(biāo)提取的精準(zhǔn)度。然后對連續(xù)的三幀圖像之間做兩兩相鄰兩幀的差分圖像計(jì)算，采用Otsu方法求取差分圖像的閾值，將差分圖像結(jié)果做二值化處理，最后將得到的2個(gè)二值圖像進(jìn)行邏輯“與”運(yùn)算，獲取兩個(gè)結(jié)果圖像中共同的目標(biāo)部分，從而獲得船舶運(yùn)動(dòng)目標(biāo)的輪廓信息[11]。

為了能夠盡可能準(zhǔn)確標(biāo)識出圖像中船舶目標(biāo)的實(shí)際邊緣，再通過Canny算子對第N幀圖像進(jìn)行邊緣檢測，得到目標(biāo)圖像的輪廓信息，在得到圖像邊緣后與三幀差分法得到的輪廓信息進(jìn)行邏輯“與”運(yùn)算，即可得到船舶目標(biāo)前景圖像。

繼續(xù)對第N幀圖像做背景減除運(yùn)算，可得到當(dāng)前幀的前景圖像，并進(jìn)行二值化處理得到二值化圖像，將上述邏輯“與”計(jì)算得到的前景圖像和該二值圖像進(jìn)行邏輯“或”運(yùn)算，即可得到邊緣信息和船舶目標(biāo)較完整的圖像信息。具體實(shí)現(xiàn)流程如圖1所示。

圖1 視頻圖像處理流程Fig.1 Video image processing

提取船舶前景圖像需要獲得圖像的背景信息。為克服外部環(huán)境變化較大的復(fù)雜場景，本文采用混合高斯背景建模法獲得背景圖像，混合高斯背景模型使用多個(gè)單高斯概率密度函數(shù)，通過所有密度函數(shù)的加權(quán)平均值來近似地表示某一像素點(diǎn)值的密度分布函數(shù)，令I(lǐng)(x,y,t)表示像素點(diǎn)(x,y,t)在t時(shí)刻的像素值，見式(1)

(1)

(2)

式中：T的值根據(jù)實(shí)驗(yàn)結(jié)果設(shè)為0.7，是背景模型占有高斯分布的最小比例，根據(jù)背景情況，T越大則可以描述越復(fù)雜的動(dòng)態(tài)背景模型。對于當(dāng)前像素(x,y,t)，若它的值I(x,y,t)服從背景模型中第k(k≤B)個(gè)高斯分布，那么該像素點(diǎn)為圖像背景像素點(diǎn)，否則是目標(biāo)前景。設(shè)ImageOutput函數(shù)為輸出圖像，則可由(3)式判定。

(3)

在圖像自動(dòng)識別該像素為目標(biāo)前景后，需要更新高斯分布去替代權(quán)重最小的當(dāng)前值，這一新的高斯分布的期望值用當(dāng)前的像素點(diǎn)值來表示。如果該像素為背景圖像中的像素點(diǎn)，則需要進(jìn)行權(quán)重的更新，此處權(quán)重值是該圖像背景像素的各個(gè)高速分布的權(quán)重值?；谀繕?biāo)像素匹配的高斯分布，需要同時(shí)更新高斯模型中的期望值和偏差值。

1.2 船舶激光點(diǎn)云數(shù)據(jù)處理

本文采用的激光雷達(dá)是一個(gè)水平視角360°全方位的16線激光雷達(dá)，采用混合固態(tài)激光雷達(dá)方式，通過激光發(fā)射組件棱鏡快速旋轉(zhuǎn)的同時(shí)，由發(fā)射器發(fā)射高頻率激光束對外界環(huán)境進(jìn)行持續(xù)性的掃描，經(jīng)過測距算法提供三維空間點(diǎn)云數(shù)據(jù)及物體反射率，可以獲取船舶、水面的距離，通過激光束的扇面掃描在航道切面方向形成多道激光幕簾。當(dāng)船舶通過激光幕簾時(shí)，可采集船舶每個(gè)段面的激光反射數(shù)據(jù)，系統(tǒng)將獲得船舶切向的多斷面輪廓尺寸數(shù)據(jù)，每個(gè)段面均由無數(shù)個(gè)激光反射數(shù)據(jù)組成，隨著船舶航行通過監(jiān)測點(diǎn)，激光掃描儀即可采集完整的若干個(gè)段面的激光反射數(shù)據(jù)，從而獲取船舶完整的輪廓數(shù)據(jù)。

本激光雷達(dá)有效探測距離150 m，測量精度+/-2 cm以內(nèi)，垂直視角30°(-15°～15°)，分辨率為2°，當(dāng)轉(zhuǎn)速為10 Hz時(shí)，出點(diǎn)數(shù)高達(dá)30萬點(diǎn)/s，本文采用基于八叉樹的點(diǎn)云精簡方法，以實(shí)現(xiàn)在保持船舶點(diǎn)云數(shù)據(jù)幾何特征的同時(shí)減少點(diǎn)云數(shù)據(jù)量，同時(shí)采用基于聚類分析的場景點(diǎn)云自動(dòng)裁剪算法實(shí)現(xiàn)水平面和船舶的三維立體重構(gòu)，并通過自適應(yīng)濾波算法濾除水面及船體的波動(dòng)，即可獲得船舶的三維尺寸等參數(shù)，包括船舶的行駛方向、速度、干舷等特征。船舶實(shí)景和經(jīng)精簡后的點(diǎn)云圖如圖2所示。

圖2 船舶實(shí)物和激光點(diǎn)云示意圖Fig.2 Schematic diagram of the ship′s physical object and laser point cloud

為減少盲區(qū)干擾，本文需兩臺激光掃描儀共同掃描，即在航道兩側(cè)各安裝一臺固定角度的激光掃描儀，實(shí)現(xiàn)盲區(qū)互補(bǔ)。對于多位置掃描所得到的點(diǎn)云數(shù)據(jù)，通過迭代最近點(diǎn)(Iterative Closet Point, ICP)算法將其匹配到一個(gè)統(tǒng)一坐標(biāo)系中[12]。

激光點(diǎn)云數(shù)據(jù)為立體角坐標(biāo)系，點(diǎn)云中每一個(gè)掃描點(diǎn)的位置信息由矢量(R,α,ω)表示，3個(gè)分量的物理意義如圖3所示。

圖3 點(diǎn)云數(shù)據(jù)極坐標(biāo)系Fig.3 Polar coordinate system of point cloud data

由掃描點(diǎn)的隨體坐標(biāo)系V=(X,Y,Z)和雷達(dá)的姿態(tài)信息(φ,θ,ψ)可以求出掃描點(diǎn)在以雷達(dá)位置為原點(diǎn)的大地坐標(biāo)系下的坐標(biāo)值VE

VE=(XE,YE,ZE)=DCM·V

(4)

(5)

1.3 船舶AIS數(shù)據(jù)

AIS系統(tǒng)是一種船舶自動(dòng)識別系統(tǒng)，可以收發(fā)覆蓋范圍內(nèi)的船舶動(dòng)態(tài)、靜態(tài)信息，用于船舶目標(biāo)的識別與信息交換。主要包括以下種類數(shù)據(jù)：

(1)靜態(tài)信息：IMO編號、呼號和船名、船長和型寬、船舶類型；

(2)動(dòng)態(tài)信息：船位位置、UTC時(shí)間、對地航向、對地航速、船艏向、航行狀態(tài)、轉(zhuǎn)向率；

(3)航次相關(guān)信息：船舶吃水、危險(xiǎn)貨物類型、目的港和預(yù)計(jì)到達(dá)時(shí)間、航線計(jì)劃等；

(4)安全相關(guān)消息：廣播和通知消息。

2 目標(biāo)融合算法

2.1 融合流程分析

本方法所采用的單個(gè)傳感器(激光、視頻、AIS)均可獨(dú)立采集并形成各自的目標(biāo)運(yùn)動(dòng)模型，系統(tǒng)對多個(gè)獨(dú)立的船舶運(yùn)動(dòng)模型進(jìn)行對比匹配后，通過多傳感器融合計(jì)算確定統(tǒng)一的船舶運(yùn)動(dòng)模型。本方法先將激光點(diǎn)云數(shù)據(jù)和AIS數(shù)據(jù)進(jìn)行船舶航跡融合計(jì)算，在視頻檢測出船舶運(yùn)動(dòng)目標(biāo)后，實(shí)現(xiàn)船舶的目標(biāo)跟蹤，對激光點(diǎn)云數(shù)據(jù)和AIS數(shù)據(jù)融合后的船舶軌跡進(jìn)行修正，并將其綜合疊加顯示在動(dòng)態(tài)視頻上，使船舶目標(biāo)具有豐富實(shí)時(shí)的環(huán)境特征，且整體具有更好的測距精度和更高的識別率，具體流程如圖4所示。

圖4 多傳感器目標(biāo)融合流程Fig.4 Process of multi-sensor target fusion

2.2 船舶軌跡融合方法

本文提出的多傳感器融合關(guān)鍵在于AIS和激光點(diǎn)云的船舶軌跡融合，AIS數(shù)據(jù)和激光點(diǎn)云數(shù)據(jù)必須統(tǒng)一到同一個(gè)時(shí)間系統(tǒng)。首先提取出各自監(jiān)測的船舶動(dòng)態(tài)數(shù)據(jù)，然后進(jìn)行位置坐標(biāo)變換和時(shí)間校正，在統(tǒng)一的融合時(shí)間節(jié)點(diǎn)上進(jìn)行軌跡相關(guān)計(jì)算，最后基于關(guān)聯(lián)目標(biāo)加權(quán)實(shí)現(xiàn)軌跡融合。

針對統(tǒng)一時(shí)間系統(tǒng)，激光傳感器的掃描周期是固定的，可以進(jìn)行線性插值，AIS發(fā)送動(dòng)態(tài)信息時(shí)間間隔隨著船舶航行狀態(tài)不同而不同，對其進(jìn)行時(shí)間校準(zhǔn)可采用三次樣條差值進(jìn)行計(jì)算，求得t時(shí)刻的目標(biāo)向量為X(t)，具體計(jì)算方法如下

X(t)=A0+A1(t-t0)+A2(t-t0)2+A3(t-t0)3

(6)

式中：A0、A1、A2、A3為變換系數(shù)，可以通過將AIS時(shí)間變成GMT時(shí)間，取4個(gè)目標(biāo)向量代入，即可解出。

船舶軌跡融合的關(guān)鍵是判斷來自AIS和激光點(diǎn)云數(shù)據(jù)的兩條航跡線是否代表同一船舶，本文采用模糊數(shù)學(xué)的隸屬度函數(shù)[5]表示其航跡的相似性。

(7)

式中：ξ(ζp)為模糊因素集中第p個(gè)因素的隸屬度函數(shù)；ηp、ζp、σp分別為模糊因素集中第p個(gè)因素的權(quán)重、歐式距離和展度。隸屬度函數(shù)值越大，說明兩條航跡線相關(guān)聯(lián)程度越大。

對來自AIS數(shù)據(jù)的m條軌跡和來自點(diǎn)云數(shù)據(jù)的n條軌跡建立t時(shí)刻的模糊相關(guān)矩陣，即

(8)

式中：λmn(t)表示在t時(shí)刻AIS中的第m條軌跡與點(diǎn)云中的第n條軌跡的綜合相似度。

檢驗(yàn)航跡的相似度，具體步驟為：

(1)確定閾值ε的大小，通常取ε≥0.5；

(2)在矩陣λ(t)中找到最大元素λmn(t)，如果λmn(t)≥ε，則判定AIS軌跡m和點(diǎn)云軌跡n相關(guān)，并從矩陣λ(t)中去掉λmn(t)所在的行和列元素，得到新的(m-1)*(n-1)維降階模糊矩陣λ1(t)；

(3)對λ1(t)重復(fù)上述過程，獲得λ2(t)…λk(t)，直到λk(t)中的所有元素均小于ε，則剩下元素對應(yīng)的行列號代表的軌跡在t時(shí)刻不相關(guān)；

(4)如果某兩條軌跡信息相關(guān)，并且在任意t時(shí)刻均相關(guān)，則可判定它們來自于同一目標(biāo)船舶，此時(shí)即可關(guān)聯(lián)這兩條軌跡信息。

2.3 空間變換矩陣

多源異構(gòu)傳感器數(shù)據(jù)融合需要實(shí)現(xiàn)空間信息的匹配。點(diǎn)云數(shù)據(jù)位于以激光雷達(dá)為中心的激光雷達(dá)坐標(biāo)系OlXlYlZl下，視覺圖像信息位于以相機(jī)為中心的相機(jī)坐標(biāo)系OcXcYcZc下。需要對其坐標(biāo)系進(jìn)行聯(lián)合標(biāo)定，激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系[13]可以表示為

(9)

式中：R、T分別為2個(gè)坐標(biāo)系的相對旋轉(zhuǎn)矩陣和平移矩陣。

3D點(diǎn)云B=(x,y,z)在校正過的相機(jī)中的投影位置A=(u,v)可以表示為

(10)

2.4 船舶目標(biāo)動(dòng)態(tài)跟蹤

通過多源傳感器識別出船舶目標(biāo)后，需要實(shí)現(xiàn)對其運(yùn)動(dòng)跟蹤，而確定目標(biāo)的運(yùn)動(dòng)模型是目標(biāo)跟蹤的關(guān)鍵。船舶在通過監(jiān)測水域中大多數(shù)保持勻速運(yùn)動(dòng)，運(yùn)動(dòng)狀態(tài)不會在短時(shí)間發(fā)生改變，因此本文對船舶運(yùn)動(dòng)建立CV模型[14]。假設(shè)t時(shí)刻船舶的狀態(tài)為Xt，表示為

(11)

式中：Vt為船舶t時(shí)刻的速度；Pt為船舶t時(shí)刻的位置，按照CV模型，得到船舶的位置及速度轉(zhuǎn)換關(guān)系為

(12)

可將式(12)寫成如下形式

(13)

在CV模型的基礎(chǔ)上運(yùn)用卡爾曼濾波跟蹤船舶的運(yùn)行軌跡，并得到船舶的實(shí)時(shí)運(yùn)動(dòng)狀態(tài)。根據(jù)上式預(yù)測當(dāng)前船舶的運(yùn)動(dòng)狀態(tài)，對當(dāng)前船舶運(yùn)動(dòng)狀態(tài)的預(yù)測是有噪聲的，因此需用協(xié)方差矩陣P來表示預(yù)測中的噪聲，即

Pt=Fcov(Xt-1,Xt-1)FT+Qt-1=FPt-1FT+Qt-1

(14)

式中：Q為過程噪聲的協(xié)方差。

具體流程如圖5所示。

圖5 卡爾曼濾波跟蹤船位Fig.5 Kalman filter tracking

3 系統(tǒng)展示

面向內(nèi)河船舶安全監(jiān)管，在某內(nèi)河航道對本文提出的方法進(jìn)行了試驗(yàn)，并基于此研發(fā)了一套船舶態(tài)勢主動(dòng)式智能感知系統(tǒng)。該系統(tǒng)可對進(jìn)出轄區(qū)的船舶實(shí)現(xiàn)船舶輪廓識別、船舶干舷測量、船舶位置航速監(jiān)測、船舶流量統(tǒng)計(jì)，船舶違章自動(dòng)取證等功能。實(shí)現(xiàn)對內(nèi)河航道船舶的高精度、全天候、不間斷地自動(dòng)監(jiān)測和統(tǒng)計(jì)分析。系統(tǒng)前端傳感器綜合采用了激光掃描儀、CCTV、AIS等設(shè)備，現(xiàn)場綜合采集環(huán)境示意圖和系統(tǒng)界面如圖6所示。

圖6 現(xiàn)場環(huán)境和系統(tǒng)展示Fig.6 Site environment and comprehensive information system display

4 結(jié)論

針對現(xiàn)有手段在船舶安全監(jiān)管上的不足[15-16]，本文提出了一種船舶視頻目標(biāo)自動(dòng)檢測方法，并分析了激光點(diǎn)云數(shù)據(jù)處理，利用正態(tài)性隸屬度函數(shù)矩陣實(shí)現(xiàn)了在動(dòng)態(tài)視頻修正下的船舶軌跡特征融合?；诒疚奶岢龅姆椒ㄑ邪l(fā)了一套多傳感器融合的船舶態(tài)勢主動(dòng)式智能感知系統(tǒng)，可實(shí)現(xiàn)不依賴于船銘、船號等可見標(biāo)識下的主動(dòng)式全天候高精度自主監(jiān)測。系統(tǒng)是信息化與傳統(tǒng)水運(yùn)融合發(fā)展的重要實(shí)踐，對于提升海事管理水平，創(chuàng)新船舶監(jiān)管手段具有重要意義。