AR-HUD技術(shù)在船舶值班瞭望中的應(yīng)用

劉武藝，楊神化,索永峰,孫志宏

(集美大學(xué)航海學(xué)院，福建 廈門(mén) 361021)

0 引言

我國(guó)與世界各國(guó)商業(yè)貿(mào)易日益頻繁，海上運(yùn)輸業(yè)務(wù)逐年增多，船舶交通流密度逐漸增加，同時(shí)船舶趨于大型化、高速化方向發(fā)展，導(dǎo)致海上交通事故風(fēng)險(xiǎn)增大。海上交通事故中，船舶碰撞事故發(fā)生的概率遠(yuǎn)大于其他海上事故[1]。駕駛員為判斷目標(biāo)船對(duì)本船是否具有碰撞危險(xiǎn)，需轉(zhuǎn)移視線從船載設(shè)備中獲取所需信息[2]，有可能錯(cuò)過(guò)采取避碰措施的最佳有效時(shí)間，存在航行安全隱患。因此在不影響駕駛員正常瞭望的情況下，給其提供實(shí)時(shí)有效的信息十分關(guān)鍵。

增強(qiáng)現(xiàn)實(shí)技術(shù)(augmented reality,AR)是在虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)上發(fā)展而來(lái)的，它根據(jù)現(xiàn)實(shí)世界中的場(chǎng)景，借助計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺(jué)等技術(shù)將虛擬物體加載到現(xiàn)實(shí)世界中，實(shí)現(xiàn)真實(shí)世界與虛擬場(chǎng)景的融合。增強(qiáng)現(xiàn)實(shí)技術(shù)具有三大特征：虛擬與現(xiàn)實(shí)的融合、實(shí)時(shí)交互和三維注冊(cè)[3-4]。由于增強(qiáng)現(xiàn)實(shí)抬頭顯示技術(shù)[5](augmented reality-head up display,AR-HUD)結(jié)合了增強(qiáng)現(xiàn)實(shí)和抬頭顯示兩者間的優(yōu)良特性，將其運(yùn)用到船舶值班瞭望中，能為駕駛員提供船舶航行避碰的關(guān)鍵信息。

關(guān)于AR技術(shù)和HUD技術(shù)在助導(dǎo)航領(lǐng)域的應(yīng)用，國(guó)內(nèi)外學(xué)者做了大量研究，并取得一些成果。美國(guó)海軍研發(fā)的“ARVCOP”系統(tǒng)[6]，利用AR技術(shù)將導(dǎo)航數(shù)據(jù)疊加到駕駛員視野中；Hyesun Park[7]根據(jù)汽車(chē)駕駛模擬器顯示的不同天氣(如：雨、雪、霧等)，利用AR-HUD技術(shù)投射車(chē)輛輔助導(dǎo)航信息；德國(guó)大陸集團(tuán)(Continental)[8]開(kāi)發(fā)一款車(chē)載AR-HUD系統(tǒng)，可以產(chǎn)生狀態(tài)投影面和增強(qiáng)投影面，為車(chē)輛和駕駛員尋求一種新的對(duì)話形式。楊雪[9]對(duì)車(chē)載AR-HUD道路安全提示信息界面設(shè)計(jì)原則進(jìn)行了研究；李卓等[10]提出一種基于AR-HUD的汽車(chē)駕駛輔助系統(tǒng)，通過(guò)對(duì)不同能見(jiàn)度下駕駛員對(duì)危險(xiǎn)程度的認(rèn)知分析，驗(yàn)證系統(tǒng)的可行性；鄒帆[11]提出將AR技術(shù)應(yīng)用在船舶導(dǎo)助航的設(shè)想，并對(duì)該技術(shù)在船舶導(dǎo)助航領(lǐng)域所需解決的關(guān)鍵問(wèn)題進(jìn)行了分析。

船舶相對(duì)于飛行器和汽車(chē)而言，其所處環(huán)境更復(fù)雜，操縱難度更大，實(shí)時(shí)的輔助駕駛信息對(duì)駕駛員操船至關(guān)重要。鑒于運(yùn)用AR-HUD技術(shù)可實(shí)現(xiàn)實(shí)時(shí)投射船舶駕駛信息，本文提出一種將AR-HUD技術(shù)應(yīng)用于船舶航行的輔助瞭望系統(tǒng)，把目標(biāo)船的相關(guān)數(shù)據(jù)投射到船舶駕駛臺(tái)擋風(fēng)玻璃上，并對(duì)該系統(tǒng)進(jìn)行了仿真實(shí)驗(yàn)。

1 AR-HUD輔助瞭望系統(tǒng)設(shè)計(jì)及分析

AR-HUD系統(tǒng)設(shè)計(jì)流程圖如圖1所示。采用視線跟蹤算法[12]可確定駕駛員的觀察方向，利用航海雷達(dá)和AIS系統(tǒng)確定觀察的目標(biāo)船，并從AIS系統(tǒng)獲取該目標(biāo)船數(shù)據(jù)信息，對(duì)所采集信息進(jìn)行篩選，將篩選的信息通過(guò)計(jì)算機(jī)處理，生成虛擬信息；計(jì)算駕駛員眼睛、駕駛艙擋風(fēng)玻璃與目標(biāo)船三者之間的關(guān)系，確定虛擬信息的投射位置，將投影信息發(fā)送給投射模塊，利用AR-HUD技術(shù)將目標(biāo)船的數(shù)據(jù)信息投射到真實(shí)場(chǎng)景中，實(shí)現(xiàn)虛擬數(shù)據(jù)信息與真實(shí)世界目標(biāo)船的疊加。

1.1 識(shí)別目標(biāo)船

采用基于頭部自由運(yùn)動(dòng)的視線追蹤技術(shù)，確定駕駛員觀察方向，以此來(lái)識(shí)別目標(biāo)船，并借助船載雷達(dá)，在雷達(dá)回波上計(jì)算得到駕駛員所觀察的目標(biāo)船。視線追蹤目前主要分為兩大類(lèi)，一類(lèi)是基于頭部穿戴設(shè)備，該方法具有較高的追蹤精度，但由于需要穿戴設(shè)備，給使用者帶來(lái)不便；另一類(lèi)是基于眼睛圖像特征估計(jì)，其中反射光斑法是一種常用方法。根據(jù)《STCW公約》要求，駕駛臺(tái)值班人數(shù)最少為兩人，可采取多臺(tái)相機(jī)協(xié)助瞭望。隨著造船技術(shù)的發(fā)展，目前有些船舶駕駛臺(tái)配備了瞭望椅，可在瞭望椅前方通過(guò)相機(jī)采集駕駛員觀察方向，利用反射光斑法[13]計(jì)算注視點(diǎn)的坐標(biāo)，計(jì)算目標(biāo)船相對(duì)于本船船艏向的夾角θ，在雷達(dá)回波上以偏離本船船艏向θ角度的方向搜索目標(biāo)船。當(dāng)該方向上有多艘船時(shí)，船員更關(guān)心距離本船較近的船，因此在偏離本船船艏向θ角度的方向與本船距離最近的就是目標(biāo)船。

1.2 采集目標(biāo)船信息

AIS可以提供目標(biāo)船的靜態(tài)信息和動(dòng)態(tài)信息，確定目標(biāo)船后，通過(guò)AIS等船載設(shè)備獲取目標(biāo)船位置信息及相關(guān)參數(shù)。采集目標(biāo)船信息是為將獲取的數(shù)據(jù)進(jìn)行投射，實(shí)現(xiàn)虛擬圖像與真實(shí)目標(biāo)船的融合。各類(lèi)船載設(shè)備為船舶駕駛員提供了大量數(shù)據(jù)信息，但是，駕駛員在操船時(shí)，無(wú)需獲知目標(biāo)船全部信息，因?yàn)槿绻阉@得目標(biāo)船數(shù)據(jù)全部投射到駕駛臺(tái)前方，會(huì)給駕駛員帶來(lái)兩個(gè)困擾：一是投射繁多的數(shù)據(jù)會(huì)占據(jù)擋風(fēng)玻璃的大部分空間，阻礙駕駛員正規(guī)瞭望；另一個(gè)是龐大的數(shù)據(jù)信息，使駕駛員不能快速甄別關(guān)鍵信息。因此，通過(guò)向航海專(zhuān)家和船長(zhǎng)咨詢(xún)，得出兩船會(huì)遇時(shí)最為關(guān)鍵的目標(biāo)船避碰信息，即：對(duì)地速度(SOG,speed over ground)、對(duì)地航向(COG,course over ground)、距離、方位、最小會(huì)遇距離(DCPA,distance of closest point of approaching)、最小會(huì)遇時(shí)間(TCPA,time to closest point of approaching)。

1.3 注冊(cè)虛擬信息

船載設(shè)備采集到的目標(biāo)船數(shù)據(jù)信息，由計(jì)算機(jī)處理后，生成虛擬信息，再經(jīng)HUD投影設(shè)備投射到本船駕駛艙擋風(fēng)玻璃屏上，實(shí)現(xiàn)船員觀察實(shí)景與投影虛像的融合，其原理如圖2所示。注冊(cè)[14]虛擬信息，實(shí)現(xiàn)虛實(shí)融合的關(guān)鍵在于投影位置，投影位置即：駕駛臺(tái)擋風(fēng)玻璃所在平面與駕駛員觀察方向所在直線的交點(diǎn)。駕駛員觀察方向所在直線即駕駛員眼睛與目標(biāo)船兩者所在直線。

2 AR-HUD輔助瞭望系統(tǒng)模型

2.1 增強(qiáng)信息投影算法

目標(biāo)船與本船的水線以上高度存在三種情況：本船水線以上部分高于目標(biāo)船、低于目標(biāo)船和與目標(biāo)船等高。現(xiàn)以本船水線以上部分高于目標(biāo)船為例，計(jì)算增圖像投影算法。本船駕駛臺(tái)擋風(fēng)玻璃、駕駛員眼睛及目標(biāo)船三者之間的關(guān)系如圖3所示。其中：AB為目標(biāo)船水線以上高度；BC為海平面；CO為本船水線到本船駕駛室的高度；D為本船與目標(biāo)船船頂?shù)牡雀唿c(diǎn)；E為人眼所在位置；GM為擋風(fēng)玻璃所在平面?zhèn)纫晥D；AE為駕駛員觀察方向；GMOF為本船駕駛室；N為駕駛員觀察方向與擋風(fēng)玻璃之間的交點(diǎn)，即投射點(diǎn)。

以駕駛員所在位置為坐標(biāo)原點(diǎn)，船艏向?yàn)閄軸正向，駕駛員所在豎直方向?yàn)閆軸正向，建立空間坐標(biāo)系。在駕駛臺(tái)擋風(fēng)玻璃平面上取不在同一直線上的三點(diǎn)：(dOH,0,dGH),(dOM,dY,0),(dOM,-dY,0),由此可得擋風(fēng)玻璃平面方程：

(1)

式中：α為擋風(fēng)玻璃的傾角；dGM為擋風(fēng)玻璃的長(zhǎng)度；dOM為駕駛員到擋風(fēng)玻璃的水平距離；-dY和dY為擋風(fēng)玻璃在Y軸上對(duì)稱(chēng)的兩點(diǎn)。

通過(guò)船載雷達(dá)可計(jì)算本船與目標(biāo)船之間的距離d，如圖4所示。其中：S為目標(biāo)船的位置；O為本船中駕駛員在XOY平面上的坐標(biāo)投影；θ為目標(biāo)船相對(duì)于本船船艏向的夾角。

駕駛員眼睛坐標(biāo)(0,0,dOE)，目標(biāo)船坐標(biāo)(xTS,yTS,dDE)，根據(jù)兩者的坐標(biāo)可確定駕駛員觀察方向的直線方程：

(2)

結(jié)合公式(1)和公式(2)可得交點(diǎn)坐標(biāo),即投影點(diǎn)坐標(biāo)(xp,yp,zp)

(3)

式中：d0E為駕駛員眼睛高度；d0D為D點(diǎn)到駕駛艙的距離。

2.2 增強(qiáng)投影的坐標(biāo)轉(zhuǎn)換關(guān)系

虛擬圖像投射到空間涉及到像素坐標(biāo)系、圖像坐標(biāo)系、投影儀坐標(biāo)系和世界坐標(biāo)系4者之間的轉(zhuǎn)換關(guān)系，需經(jīng)過(guò)以下3次轉(zhuǎn)換：世界坐標(biāo)系到投影儀坐標(biāo)系的轉(zhuǎn)換、投影儀坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換以及圖像坐標(biāo)系到像素平面的轉(zhuǎn)換。

1)世界坐標(biāo)系到投影儀坐標(biāo)系

世界坐標(biāo)系到投影儀坐標(biāo)系的轉(zhuǎn)換，由針孔成像原理可得：

(4)

其中：(xw,yw,zw)為世界坐標(biāo)系中某點(diǎn)的坐標(biāo)；(xc,yc,zc)為該點(diǎn)對(duì)應(yīng)于投影儀坐標(biāo)系中的坐標(biāo)；R3×3為世界坐標(biāo)系變換到投影儀坐標(biāo)系的旋轉(zhuǎn)變換矩陣；t為兩者之間的平移變換矩陣；OT為3×1的零矩陣。

2)投影儀坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換

投影儀坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換原理如圖5所示。XO1Y為圖像坐標(biāo)系，其中：M(xc,yc,zc)為某點(diǎn)在投影儀坐標(biāo)系中的坐標(biāo)；該點(diǎn)對(duì)應(yīng)于圖像坐標(biāo)系中的坐標(biāo)為m(x,y)；A點(diǎn)為M點(diǎn)在XcOZc平面上的投影；B點(diǎn)為M點(diǎn)在Zc軸上的坐標(biāo)；n點(diǎn)為m點(diǎn)在X軸上的坐標(biāo)；f為鏡頭的焦距，即OO1之間的距離。其中三角形mnO1相似于三角形MAB，則有：x/xc=f/zc,y/yc=f/zc。整理可得：

(5)

3)圖像坐標(biāo)系到像素平面的轉(zhuǎn)換

像素坐標(biāo)系和圖像坐標(biāo)系是在同一平面上，只是兩者的原點(diǎn)和單位不同，兩者的轉(zhuǎn)換關(guān)系：u=x/dx+u0v=y/dy+v0，其中：(u,v)為像素坐標(biāo)系；(x,y)為圖像坐標(biāo)系；dx、dy分別表示每像素單位在水平和豎直方向所占長(zhǎng)度。

3 仿真實(shí)驗(yàn)與結(jié)果分析

3.1 仿真實(shí)驗(yàn)

利用自主研發(fā)的MTI-H2000型船舶操縱模擬器平臺(tái)[15-17]開(kāi)展仿真實(shí)驗(yàn)，通過(guò)Multigen Creator軟件對(duì)船舶進(jìn)行建模，考慮到船模類(lèi)型不會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響，視景中加載的本船和目標(biāo)船采用同一種船模；利用教練站新建練習(xí)，會(huì)遇局面為本船與其他兩條船對(duì)遇，如圖6所示。目標(biāo)船避碰參數(shù)如表1所示。并通過(guò)OSG(open-scene-graph)對(duì)會(huì)遇局面進(jìn)行三維渲染。結(jié)合增強(qiáng)信息投影點(diǎn)計(jì)算算法，通過(guò)OSG中的碰撞檢測(cè)計(jì)算投影點(diǎn)，利用OSG中LineSegmentIntersector( )函數(shù)判斷駕駛員視線是否與物標(biāo)發(fā)生接觸，由此確定增強(qiáng)信息的顯示位置。

表1 目標(biāo)船避碰參數(shù)

3.2 仿真結(jié)果分析

當(dāng)檢測(cè)到駕駛員視線與目標(biāo)船在同一直線時(shí)，即可確定該投影點(diǎn)坐標(biāo)。實(shí)驗(yàn)中發(fā)現(xiàn)直接計(jì)算所得的位置顯示增強(qiáng)信息，會(huì)使增強(qiáng)信息遮擋目標(biāo)船，為達(dá)到較好的目標(biāo)船與增強(qiáng)信息融合效果，在不影響目標(biāo)船與增強(qiáng)信息配準(zhǔn)的條件下，對(duì)投影點(diǎn)進(jìn)行平移，投影點(diǎn)矯正前后的坐標(biāo)如表2所示，增強(qiáng)信息顯示達(dá)到理想效果。

表2 投影坐標(biāo)矯正對(duì)照表

通過(guò)對(duì)目標(biāo)船識(shí)別及目標(biāo)船避碰信息的分析，計(jì)算求得目標(biāo)船增強(qiáng)信息的投影算法，利用三維渲染引擎OSG對(duì)船舶值班輔助瞭望系統(tǒng)進(jìn)行仿真，實(shí)驗(yàn)發(fā)現(xiàn)利用AR-HUD技術(shù)能把船載設(shè)備提供的信息進(jìn)行整合，給駕駛員提供及時(shí)有效的船舶避碰信息，滿足其對(duì)目標(biāo)船的信息需求。后續(xù)實(shí)驗(yàn)將會(huì)在仿真實(shí)驗(yàn)的基礎(chǔ)上，進(jìn)一步對(duì)避碰參數(shù)做研究，對(duì)船載設(shè)備提供的數(shù)據(jù)信息進(jìn)行分類(lèi)，根據(jù)駕駛員需要由其自行選擇調(diào)取所要顯示的信息，同時(shí)開(kāi)展將AR-HUD技術(shù)應(yīng)用于實(shí)船的實(shí)驗(yàn)。

4 結(jié)語(yǔ)

AR-HUD技術(shù)應(yīng)用于船舶航行輔助瞭望是船舶智能化的重要體現(xiàn)。一方面，它把相互獨(dú)立的GPS系統(tǒng)、AIS系統(tǒng)以及雷達(dá)等船載設(shè)備聯(lián)系起來(lái)，實(shí)現(xiàn)目標(biāo)船數(shù)據(jù)信息的整合，并進(jìn)行數(shù)據(jù)信息的融合處理；另一方面，它通過(guò)結(jié)合增強(qiáng)現(xiàn)實(shí)技術(shù)和傳統(tǒng)抬頭顯示技術(shù)，實(shí)現(xiàn)虛擬圖像與目標(biāo)船現(xiàn)實(shí)場(chǎng)景的融合，使駕駛員在平視狀態(tài)下獲取目標(biāo)船信息，快速做出船舶避碰決策計(jì)劃，降低了船舶碰撞危險(xiǎn)。雖然該技術(shù)尚未在船舶航行輔助瞭望領(lǐng)域得到廣泛應(yīng)用，但它定能為船舶駕駛帶來(lái)新的體驗(yàn)，為實(shí)現(xiàn)船舶智能化和“e-航海”目標(biāo)增添新思路。