基于視頻信息的港口滯留船舶檢測研究

倪慧洋

(江蘇航運(yùn)職業(yè)技術(shù)學(xué)院，江蘇南通 226010)

0 引言

港口是船舶密集區(qū)域，極易發(fā)生交通事故[1]。在港口安裝視頻采集設(shè)備，采集港口船舶的視頻信息，對所采集的視頻信息，通過圖像處理等技術(shù)，檢測港口滯留船舶，確定船舶滯留時(shí)間等信息。港口滯留船舶檢測過程中，容易受到周圍環(huán)境影響[2]，海天線環(huán)境提升了港口滯留船舶的檢測難度。對采集的港口視頻信息進(jìn)行圖像處理時(shí)，需要重視圖像的背景干擾去除性能，快速定位滯留船舶目標(biāo)。攝像頭等設(shè)備采集港口視頻信息時(shí)，容易出現(xiàn)噪聲[3,4]，港口的海面波浪和海水漩渦等因素，均對船舶檢測存在一定影響。

目前已有眾多學(xué)者針對船舶監(jiān)測進(jìn)行研究。于楠晶等[5]將多頭自注意力方法應(yīng)用于船舶檢測中，該方法可以準(zhǔn)確檢測復(fù)雜背景下的船舶。但是存在檢測過程過于復(fù)雜，檢測實(shí)時(shí)性較差的缺陷。周慧等[6]將Mask-FPN 模型應(yīng)用于船舶監(jiān)測中，該方法利用多任務(wù)損失函數(shù)，提升船舶檢測精度。該方法在背景簡單、灰度相差較小時(shí)，可以有效檢測船舶目標(biāo)，但是圖像背景起伏較大時(shí)，船舶目標(biāo)檢測效果并不理想。針對以上方法在船舶監(jiān)測中的缺陷，本文研究基于視頻信息的港口滯留船舶檢測方法，通過對港口視頻信息進(jìn)行形態(tài)學(xué)濾波等處理，提升視頻信息中港口滯留船舶檢測性能，具有較高的應(yīng)用性。

1 港口滯留船舶檢測

1.1 港口視頻信息的多結(jié)構(gòu)形態(tài)學(xué)濾波

數(shù)學(xué)形態(tài)學(xué)是由形態(tài)學(xué)代數(shù)運(yùn)算組成的方法。利用形態(tài)學(xué)濾波算法，對港口視頻信息簡化處理，保持港口視頻信息的基本形狀特性，去除港口視頻信息中，與滯留船舶目標(biāo)不相關(guān)的結(jié)構(gòu)，為船舶檢測提供基礎(chǔ)。形態(tài)學(xué)濾波選取非線性代數(shù)工具作為運(yùn)算工具，依據(jù)圖像信號的局部特征[7]，修正圖像信號，濾除船舶港口視頻信息灰度圖像中的噪聲。f(n)與g(m)分別為港口視頻圖像以及結(jié)構(gòu)元素，港口視頻圖像與結(jié)構(gòu)元素的膨脹運(yùn)算表達(dá)式如下：

港口視頻圖像與結(jié)構(gòu)元素的腐蝕運(yùn)算如下：

對港口視頻信息進(jìn)行形態(tài)學(xué)開運(yùn)算如下：

通過對港口視頻圖像開運(yùn)算處理，磨光圖像外邊界，去除港口視頻圖像中細(xì)小輪廓的突出部分。對港口視頻圖像進(jìn)行形態(tài)學(xué)開運(yùn)算后，對原始圖像以及處理后的圖像作差處理，即對圖像實(shí)施頂帽變換，圖像頂帽變換的表達(dá)式如下：

結(jié)構(gòu)體尺寸大小對圖像形態(tài)學(xué)濾波影響較大，圖像結(jié)構(gòu)體的尺寸，影響高通濾波效果[8]。圖像低頻背景在結(jié)構(gòu)體尺寸越小時(shí)，濾除效果越優(yōu)秀，此時(shí)保留的滯留船舶尺寸較小。滯留船舶目標(biāo)尺寸與圖像結(jié)構(gòu)圖間存在如下近似關(guān)系：

式中， max(Ss)與 m ax(So)分別為形態(tài)學(xué)濾波的圖像結(jié)構(gòu)體最大尺寸值以及最小船舶目標(biāo)在港口視頻圖像中的二維尺寸最大值。

利用形態(tài)學(xué)開運(yùn)算估計(jì)港口視頻圖像的背景分量，將估計(jì)結(jié)果與原港口視頻圖像相減，獲取不包含背景分量的滯留船舶圖像，即港口視頻圖像的背景抑制過程。港口視頻圖像中包含多個(gè)船舶目標(biāo)時(shí)，各船舶目標(biāo)尺寸存在較大差異，采用單結(jié)構(gòu)形態(tài)學(xué)濾波算法，過濾低頻背景的同時(shí)，可能出現(xiàn)過濾小尺寸船舶目標(biāo)情況。為了避免發(fā)生以上情況，充分考慮滯留船舶與港口視頻圖像背景信息中幾何特征的差異，選取多結(jié)構(gòu)元素對圖像進(jìn)行加權(quán)開運(yùn)算。f(n)與w分別港口視頻圖像及權(quán)重，B1(m1,n1)與B2(m2,n2)分別表示不同大小結(jié)構(gòu)體的開運(yùn)算，可得多結(jié)構(gòu)形態(tài)學(xué)濾波如下：

依據(jù)濾波處理后港口視頻圖像的信息熵與原始圖像信息熵之比，調(diào)整w的值。形態(tài)學(xué)濾波中，結(jié)構(gòu)元素的選擇極為關(guān)鍵。選取十字形結(jié)構(gòu)元素作為結(jié)構(gòu)算子，十字形結(jié)構(gòu)元素可以消除相比于結(jié)構(gòu)元素較小尺寸的亮細(xì)節(jié)，令港口視頻圖像中大的亮度區(qū)域以及圖像灰度值不受濾波影響。

1.2 港口視頻信息的局部自適應(yīng)閾值分割

選取局部自適應(yīng)閾值分割方法，分割完成濾波處理后的港口視頻圖像。港口視頻圖像中，各像素值的二值化閾值伴隨周圍像素分布變化而變化，依據(jù)港口視頻圖像的船舶目標(biāo)區(qū)域亮度，確定二值化閾值大小。利用局部鄰域塊均值方法，確定局部自適應(yīng)閾值。計(jì)算像素點(diǎn)在港口視頻圖像中，大小為p×p區(qū)域的加權(quán)平均值，將所獲取結(jié)果與鄰域塊的最小方差值相減，確定局部自適應(yīng)閾值。fi,j為完成濾波處理的港口視頻圖像，mi j與vij分別為港口視頻圖像的像素均值以及方差，其計(jì)算公式如下：

式中：w與p分別為權(quán)值以及局部鄰域塊；t為局部自適應(yīng)閾值。

依據(jù)式(7)和式(8)的計(jì)算結(jié)果，確定局部自適應(yīng)閾值的表達(dá)式如下：

式中，vmin為 最小方差值。

利用以上過程，確定局部自適應(yīng)閾值分割的閾值，將港口視頻圖像劃分為背景圖像與前景圖像。

1.3 基于SSD算法的滯留船舶檢測算法

選取SSD(single shot MultiBox detector)算法，檢測港口視頻信息中的滯留船舶。SSD 算法通過提取船舶特征以及目標(biāo)分類檢測船舶目標(biāo)?；赟SD 算法檢測滯留船舶的結(jié)構(gòu)圖如圖1所示。

圖1 港口滯留船舶檢測結(jié)構(gòu)圖Fig.1 Structure diagram of detecting stranded shipsat port

可以看出，SSD算法主要包括圖像輸入、特征提取、生成默認(rèn)框、目標(biāo)匹配、預(yù)測網(wǎng)絡(luò)以及損失網(wǎng)絡(luò)，各部分介紹如下：

1)圖像輸入

輸入通過港口視頻圖像分割獲取的港口前景圖像，輸入圖像船舶坐標(biāo)位置信息以及類別編號，作為SSD算法的訓(xùn)練樣本。

2)特征提取

利用卷積神經(jīng)網(wǎng)絡(luò)提取港口前景圖像特征，輸出從不同卷積層提取的特征圖，選取卷積層作為圖像的特征提取層。

3)生成默認(rèn)框

依據(jù)所設(shè)定的參數(shù)，在SSD 算法的特征提取層中，生成默認(rèn)框，框選船舶目標(biāo)。

4)船舶目標(biāo)匹配

依據(jù)生成的默認(rèn)框，利用固定的匹配策略，匹配輸入信息的真實(shí)框與默認(rèn)框，將匹配結(jié)果傳送至預(yù)測網(wǎng)絡(luò)中。

5)預(yù)測網(wǎng)絡(luò)

利用卷積層組成預(yù)測網(wǎng)絡(luò)，利用卷積層依據(jù)匹配信息和所提取的特征圖，輸出船舶訓(xùn)練結(jié)果。

6)利用損失函數(shù)層，評估船舶檢測性能

通過優(yōu)化損失函數(shù)調(diào)整SSD算法反向傳播的網(wǎng)絡(luò)權(quán)重，選取Softmax 損失函數(shù)作為SSD算法的損失函數(shù)，提升SSD算法檢測港口滯留船舶的精度。

重復(fù)以上過程，直至網(wǎng)絡(luò)收斂，損失值穩(wěn)定，完成網(wǎng)絡(luò)訓(xùn)練。將港口視頻信息測試樣本輸入網(wǎng)絡(luò)中，輸出港口滯留船舶檢測結(jié)果。

2 實(shí)例分析

為了驗(yàn)證本文港口滯留船舶檢測方法檢測港口滯留船舶有效性，選取某港口作為測試對象。該港口管理部門采用港口視頻監(jiān)控系統(tǒng)采集港口視頻信息。該監(jiān)控系統(tǒng)采用長焦高清鏡頭配合200萬像素可見光高清彩轉(zhuǎn)黑攝像機(jī)與640×480大口徑非制冷熱成像攝像機(jī)，并輔以重載360°全方位云臺(tái)，可實(shí)現(xiàn)方圓6 000 m范圍內(nèi)晝夜全天視頻監(jiān)控。復(fù)雜環(huán)境下，仍然可以有效采集港口的視頻信息。

將所采集的港口視頻信息，作為港口滯留船舶檢測的圖像基礎(chǔ)。

采用本文方法對所采集的港口視頻信息進(jìn)行形態(tài)學(xué)濾波處理，濾波處理后的港口視頻信息如圖2所示?？梢钥闯觯疚姆椒ㄍㄟ^多結(jié)構(gòu)形態(tài)學(xué)濾波方法，對所采集的港口視頻圖像進(jìn)行有效的濾波處理。濾波處理后的港口視頻圖像，干擾噪聲被有效濾除，提升港口視頻圖像的清晰度。本文方法采用多結(jié)構(gòu)形態(tài)學(xué)濾波方法，改善單結(jié)構(gòu)形態(tài)學(xué)濾波出現(xiàn)的誤過濾目標(biāo)情況，濾波效果良好。

圖2 港口視頻信息濾波結(jié)果Fig.2 Port video information filtering results

采用本文方法對完成濾波處理的港口視頻信息進(jìn)行分割處理，港口視頻圖像分割結(jié)果如圖3所示?？芍?，本文方法可以有效將濾波處理后的港口視頻圖像，實(shí)現(xiàn)圖像前景與圖像背景的分割。將港口視頻圖像分割結(jié)果，作為港口滯留船舶檢測基礎(chǔ)。

圖3 港口視頻圖像分割結(jié)果Fig.3 Port video image segmentation results

采用本文方法檢測港口滯留船舶，檢測結(jié)果如圖4所示?？芍?，采用本文方法可以有效檢測港口滯留船舶，依據(jù)所采集的港口視頻，對于距離監(jiān)控?cái)z像頭較近的滯留船舶，以及陰天環(huán)境下的滯留船舶，本文方法仍然可以精準(zhǔn)檢測，具有良好的滯留船舶檢測性能。

圖4 港口滯留船舶檢測結(jié)果Fig.4 Inspection results of stranded ships in port

為了進(jìn)一步驗(yàn)證本文方法對港口滯留船舶的檢測性能，統(tǒng)計(jì)該港口于2020年10月11日?11月17日，監(jiān)控系統(tǒng)運(yùn)行7 d 的視頻圖像中，滯留船舶檢測情況，統(tǒng)計(jì)結(jié)果如表1所示?？芍?，本文方法可以依據(jù)港口視頻信息，檢測視頻信息中的港口滯留船舶，確定港口滯留船舶類型與滯留時(shí)間。本文方法在陰天、黑夜等復(fù)雜環(huán)境下，仍然可以檢測港口滯留船舶，具有較高的應(yīng)用性能，適用于港口管理的實(shí)際應(yīng)用中。

表1 港口滯留船舶檢測結(jié)果Tab.1 Test results of stranded ships at port

3 結(jié)語

選取SSD 算法作為檢測港口視頻信息內(nèi)的船舶目標(biāo)算法，該算法具有實(shí)時(shí)性強(qiáng)以及檢測準(zhǔn)確度高的特點(diǎn)，有效提升船舶目標(biāo)檢測精準(zhǔn)性。船舶港口背景復(fù)雜，海天背景下的港口滯留船舶檢測的難度較高，通過對采集的港口視頻信息進(jìn)行形態(tài)學(xué)濾波處理，有效濾除港口視頻信息中的背景噪聲，以及港口視頻信息中的孤立噪聲點(diǎn)，實(shí)現(xiàn)滯留船舶的完整性檢測，可以作為船舶港口管理的基礎(chǔ)。