河道安全巡檢中的船舶可視化監(jiān)測方法

陳 誠，李壽千，王 新，李子陽，徐 磊

(1.南京水利科學(xué)研究院水文水資源與水利工程科學(xué)國家重點實驗室，江蘇 南京 210029；2.河海大學(xué)水利水電學(xué)院，江蘇 南京 210098)

在河道工程管理中，對河道采砂、運砂船只進行科學(xué)監(jiān)管至關(guān)重要。如何提高河道安全巡檢的智能化水平是智慧水利的重要內(nèi)容之一。另外，對船舶的運動軌跡進行跟蹤和監(jiān)測是保障航行安全、提高航運管理水平的重要工作，研究船舶運動軌跡的可視化測量方法對于統(tǒng)計船舶交通流信息、防止碰撞事故、提高智慧水利及智能航運技術(shù)等具有重要意義。

目前船舶運動跟蹤常采用的系統(tǒng)主要有雷達監(jiān)控系統(tǒng)、船舶自動識別系統(tǒng)(automatic identification system, AIS)、視頻監(jiān)測系統(tǒng)等[1]。雷達監(jiān)控系統(tǒng)的主要優(yōu)點是能在霧天及夜晚等低能見度情況下進行監(jiān)測，但主要存在監(jiān)測有盲區(qū)、易產(chǎn)生虛假回波、數(shù)據(jù)精度不高、信息量較少等缺點[2-3]。AIS能夠發(fā)射并接收船舶的動態(tài)和靜態(tài)信息，其中動態(tài)信息包括船舶經(jīng)度、緯度、航向等，靜態(tài)信息包括船舶長度、寬度、AIS 天線到船首和左右舷距離等。AIS對于船舶的身份識別主要基于GPS定位信息，若存在鄰近波段的干擾或嚴重遮擋，會出現(xiàn)嚴重的掉包甚至跟丟現(xiàn)象，且對于船舶的身份確認主要借助于人工記錄，不是可視化的，只能進行虛擬視景顯示，部分船舶甚至還未配備AIS船臺[4-5]。與常規(guī)船舶運動監(jiān)測方法不同，視頻監(jiān)測系統(tǒng)能夠通過圖像記錄船舶行駛姿態(tài)，可以對船舶進行可視化的跟蹤監(jiān)測。視頻監(jiān)測系統(tǒng)是基于圖像處理技術(shù)，通過視頻圖像提取及特征識別進行船舶軌跡跟蹤[6-7]。傳統(tǒng)的水上船舶視頻監(jiān)控方法無法滿足大范圍多目標同步監(jiān)測的要求，無人機具有體積小、機動性好、操作簡單等優(yōu)勢，近年來基于無人機的水上船舶監(jiān)控已經(jīng)成為水上交通管理中不可或缺的組成部分之一[8]。但目前無人機主要僅用于拍攝圖像，基于圖像技術(shù)的船舶跟蹤方法大都是對黑白圖像進行目標識別，可視化程度不高。因此，本文基于高分辨率彩色圖像識別技術(shù)，提出一種船舶運動軌跡的動態(tài)可視化監(jiān)測方法。

1 河工模型試驗中船模軌跡跟蹤

1.1 系統(tǒng)組成

河工模型試驗船模軌跡跟蹤系統(tǒng)主要包括圖像采集系統(tǒng)、船模及圖像處理系統(tǒng)。船模長0.75 m，寬0.12 m，幾何比尺λL=90,對應(yīng)的代表船型長度為67.5 m、寬度為10.8 m。

圖像采集系統(tǒng)采用1 200萬像素高分辨率智能一體化工業(yè)攝像機，如圖1所示，可實時拍攝彩色高清照片，配置紅外自動增益，自適應(yīng)光線調(diào)節(jié)，背光補償，數(shù)字寬動態(tài)，特別適用于大型河工模型長時間測量，可自動消除光線變化影響。標準型工作溫度為-30℃～60℃，配套有一體化IP67防護等級護罩，可有效解決模型試驗中溫度、濕氣影響等問題，保證系統(tǒng)長期穩(wěn)定運行。另外，可多通道瞬時同步采集，支持智能化嵌入圖像處理算法，可顯著提高圖像處理速度。測量前，將攝像機垂直安裝在河工模型正上方。

圖1 高分辨率智能一體化攝像機

1.2 可視化跟蹤方法

通過彩色高分辨率智能一體化工業(yè)攝像機連續(xù)采集船模運動圖像，對每幀彩色圖像R、G、B三通道灰度圖像進行分離，選定初始背景幀圖像，通過檢測當前幀圖像與背景幀圖像灰度值變化識別船模，按照下式進行圖像處理：

(1)

(2)

(3)

其中dG,ij=

式中：Rij、Gij、Bij分別為處理后彩色圖像中位于(i,j)處的R、G、B通道灰度值,取值范圍為(0～255)；R0,ij、G0,ij、B0,ij分別為初始背景幀彩色圖像中位于(i,j)處的R、G、B通道灰度值；Rt,ij、Gt,ij、Bt,ij分別為當前幀彩色圖像中位于(i,j)處的R、G、B通道灰度值；dG,ij為當前幀與初始幀灰度值之差；T為圖像灰度閾值。

圖2 船模軌跡可視化

首先采集初始背景幀圖像，如圖2(a)所示，然后連續(xù)采集船模運動圖像，按式(1)～(3)對多幀圖像進行處理，可得船模軌跡可視化圖像。船模運動圖像幀數(shù)為11幀，圖2(b)(c)(d)分別為T=5、20、200的船模軌跡，可以直觀發(fā)現(xiàn)，當閾值T取得過小或過大，船模圖像都會出現(xiàn)缺損，閾值T的取值是船?？梢暬櫟年P(guān)鍵參數(shù)，需根據(jù)船模與河工模型背景顏色差別的實際情況進行調(diào)整。

為了精確定位船模位置，在船模頭部和尾部分別放置了具有明顯特征的黃色和紅色示蹤粒子，同時為了防止船模自身配備的器件顏色的干擾，在其表面貼上了白色的保護層。由于采用高分辨率智能一體化工業(yè)攝像機拍攝彩色高清圖像，可以根據(jù)黃色和紅色粒子彩色特征進行識別和定位。

黃色的標準R、G、B值分別為255、255、0，紅色的標準R、G、B值分別為255、0、0，但由于現(xiàn)場光照等原因，獲取的粒子圖像的R、G、B值不可能與對應(yīng)顏色的標準R、G、B值完全一樣。黃色粒子的R值和G值都比B值大，紅色粒子的R值比G值和B值都大，采用下式對船模上的黃色粒子進行提?。?/p>

(4)

(5)

(6)

對紅色粒子按下式進行提取：

(7)

(8)

(9)

圖3為船模運動圖像粒子提取結(jié)果。提取出船模上的黃色和紅色粒子圖像后，通過識別粒子的中心位置，精確標定圖像坐標與模型坐標的映射關(guān)系，可以將船模位置精確定位到模型坐標上，便可測得船模的運動軌跡和航向如圖4所示。

圖3 船模運動圖像粒子提取

圖4 船模定位

1.3 測量結(jié)果分析

在對船模運動圖像進行處理過程中，圖像幀間隔及圖像閾值直接影響可視化跡線軌跡效果，需要根據(jù)結(jié)果進行修正，以達到最佳效果。為了驗證測量精度，提取11幀船模運動圖像，跟蹤測量船頭和船尾示蹤粒子之間的距離，并與直尺測得實際間距0.670 m進行對比分析，結(jié)果如表1所示，表中Li(i=1,2,…,11)表示第i幀圖像中船模頭尾粒子之間的距離。由表1可見，最大相對誤差為-3.284%，平均相對誤差為1.384%，可以滿足河工模型試驗要求。

表1 測量精度驗證

圖5 大疆Mavic2 Pro無人機

2 基于無人機的河道船舶軌跡跟蹤

2.1 無人機設(shè)備

無人機設(shè)備采用大疆Mavic2 Pro(圖5)，該無人機配備了全新的哈蘇L1D-20c相機，1英寸2 000萬像素CMOS傳感器，f/2.8～f/11可調(diào)光圈，在高光和低光環(huán)境下都能提供出色的圖像質(zhì)量。該無人機支持1 080p高清圖像傳輸，控制距離可達8 km，最長飛行時間31 min，最大續(xù)航里程18 km。

2.2 無人機圖像軌跡跟蹤

無人機圖像軌跡跟蹤與河工模型船模軌跡跟蹤有所不同，主要不同在于河工模型中的攝像機是固定安裝在河工模型正上方，而由于風荷載和自身穩(wěn)定等原因，懸停無人機難以保持完全固定的位置而發(fā)生飄移，無人機相機位置的變化可能會引入跟蹤偏差[9-10]。特別是控制無人機在寬闊水面上飛行時，為了獲取完整水域內(nèi)的船舶運動圖像，需要將無人機升到較高的位置，飛行高度越高，控制信號傳輸衰減越大，而且受風載影響更大，更難保持自身穩(wěn)定，從而產(chǎn)生更大的飄移，對圖像精確校正處理提出更高要求。設(shè)置視頻圖像幀率為30幀/s，圖6(a)(b)分別為第1幀和第3 000幀無人機圖像，從圖6中紅色框標注區(qū)域可以明顯看出，無人機圖像發(fā)生了明顯的偏移。

圖6 無人機圖像

按式(1)～(3)對時間間隔為10 s的10幀無人機圖像進行處理，閾值T取值為50，可得未經(jīng)配準船舶軌跡跟蹤圖像如圖7所示，可以直觀看出，多個目標船舶的運動軌跡并未沿著航行方向，而偏向河岸運動，這說明如果對無人機圖像不經(jīng)配準就直接進行軌跡跟蹤，會產(chǎn)生較大的偏差。

圖7 未配準船舶軌跡跟蹤

為了消除無人機飄移對船舶運動軌跡跟蹤結(jié)果的影響，必須把無人機位置配準到同一位置，本文采用加速穩(wěn)健特征變換 (speeded-up robust features，SURF)方法[11]進行圖像配準，SURF方法是基于尺度不變特征變換(scale invariant feature transform，SIFT)的快速圖像配準方法。與河工模型試驗軌跡跟蹤不同，無人機初始背景幀圖像通常難以直接采集到?jīng)]有船舶的圖像，可用船舶周圍的水體圖像替代船舶，生成初始背景幀圖像如圖8(a)所示。

圖8 無人機圖像配準

通過SURF方法檢測出初始背景幀圖像的特征點，如圖8(b)中紅色點所示，除了岸邊固定區(qū)域的特征點，在水域中由于存在航標等水面漂浮物也會檢出特征點，而由于水域是流動的，水域中檢出的特征點通常是運動的，如果應(yīng)用水域中的特征點對無人機圖像進行匹配，則會產(chǎn)生較大的誤差。因此，需在匹配前剔除水域中的特征點，只保留岸邊固定區(qū)域的特征點，如圖8(c)所示。

以初始背景幀圖像為基準圖像對第3 000幀無人機圖像進行配準，檢測出特征點數(shù)為1 154個，其中滿足匹配條件的特征點個數(shù)為438個，根據(jù)匹配點對圖像配準后的結(jié)果如圖8(d)所示，與圖8(b)進行對比可以發(fā)現(xiàn)，船舶的位置發(fā)生了改變，圖像邊緣發(fā)生了移動，兩岸被配準到與初始背景幀(圖8(a))相同的位置。

按式(1)～(3)對時間間隔為10 s的10幀無人機圖像進行處理，處理過程中需要將配準圖像的黑色邊緣部分用初始背景幀圖像進行替代。經(jīng)過配準后船舶軌跡跟蹤圖像如圖9所示，與圖7所示的未配準船舶軌跡跟蹤結(jié)果相比，多個目標船舶朝岸邊的偏離軌跡被糾正到了正確的航向，有效地消除了無人機飄移對船舶運動軌跡跟蹤結(jié)果的影響，實現(xiàn)了多個船舶目標的運動軌跡同步可視化跟蹤監(jiān)測。

圖9 無人機圖像配準后船舶軌跡跟蹤

3 結(jié) 語

a. 基于高分辨率彩色圖像識別技術(shù)，通過河工模型試驗，研究了船模運動軌跡的可視化測量方法，開發(fā)了河工模型試驗船模軌跡跟蹤系統(tǒng)，測量值與實際值之間的最大相對誤差為-3.284%，精度可以滿足河工模型試驗要求。

b. 結(jié)合無人機技術(shù)，提出了基于無人機的船舶軌跡跟蹤方法。采用SURF方法對無人機圖像進行配準，現(xiàn)場試驗表明，SURF方法可有效地消除無人機位置飄移對船舶運動軌跡跟蹤結(jié)果的影響，實現(xiàn)了多個船舶目標的運動軌跡同步可視化跟蹤監(jiān)測。