基于圖像配準(zhǔn)的微小型自主水下機(jī)器人視覺(jué)全局定位方法

李邱達(dá)，邊春華，張 維，文 杰

（中核核電運(yùn)行管理有限公司，浙江 嘉興 314300）

0 引言

隨著機(jī)器人和傳感技術(shù)的最新進(jìn)展，微小型自主水下機(jī)器人已應(yīng)用于人類(lèi)無(wú)法進(jìn)入或不安全地區(qū)的各種水下任務(wù)。尤其是，由于安全原因，人類(lèi)潛水員的現(xiàn)有檢查方法存在明顯的局限性。因此，水上結(jié)構(gòu)物的目視檢查是無(wú)人潛水器的一種典型應(yīng)用[1]。使用水下機(jī)器人系統(tǒng)進(jìn)行自主視覺(jué)檢查可以提高操作安全性和任務(wù)的實(shí)際性能。對(duì)于自主視覺(jué)檢查，非常希望能夠創(chuàng)建視覺(jué)地圖并同時(shí)相對(duì)于地圖定位車(chē)輛，稱(chēng)為視覺(jué)同步定位和映射（SLAM），基于特征的成對(duì)圖像配準(zhǔn)是視覺(jué)SLAM前端級(jí)的常用方案[2]。通常，視覺(jué)特征稀疏地位于水下結(jié)構(gòu)物的表面。這種環(huán)境特征可能導(dǎo)致在成對(duì)圖像配準(zhǔn)時(shí)產(chǎn)生無(wú)意義計(jì)算，主要有兩個(gè)原因：①視覺(jué)上無(wú)信息的圖像的特征提?。虎跅l件較差的圖像的特征匹配[3]。該研究提出了一種選擇性圖像配準(zhǔn)方案，該方案包括兩個(gè)附加步驟：關(guān)鍵幀選擇和關(guān)鍵對(duì)選擇。所提出的方法既可以有效地拒絕非信息圖像，又可以減少成對(duì)圖像匹配的無(wú)意義嘗試，因此預(yù)計(jì)它將提高視覺(jué)SLAM的總體計(jì)算效率。

1 視覺(jué)SLAM框架

1.1 SLAM濾波器

使用增強(qiáng)狀態(tài)卡爾曼濾波器來(lái)解決基于視覺(jué)的姿態(tài)估計(jì)問(wèn)題。在預(yù)定義的圖像采集模式下（即，使用所有輸入圖像或僅使用關(guān)鍵幀圖像），擴(kuò)增狀態(tài)向量定義如下：

這里，x是表示車(chē)輛當(dāng)前姿勢(shì)的狀態(tài)向量。車(chē)輛狀態(tài)定義為三維位置坐標(biāo)和航向角（即x=[x y z]），考慮到機(jī)器人的運(yùn)動(dòng)通常在橫搖和俯仰中充分穩(wěn)定[4]。增強(qiáng)狀態(tài)的其他元素{x，i=0，…，k-1}表示以前狀態(tài)的歷史，收集的姿勢(shì)對(duì)應(yīng)于姿勢(shì)圖結(jié)構(gòu)中的節(jié)點(diǎn)[5]。隨著歷史姿態(tài)節(jié)點(diǎn)的增加，相應(yīng)的誤差協(xié)方差矩陣也隨之增加[6]。本研究中制定的SLAM濾波器使用兩種不同類(lèi)型的觀測(cè)值：一個(gè)是局部參考坐標(biāo)系中z方向上的絕對(duì)深度測(cè)量，另一個(gè)是通過(guò)成對(duì)圖像配準(zhǔn)獲得的相對(duì)姿態(tài)測(cè)量（即相機(jī)測(cè)量）。假設(shè)各測(cè)量噪聲項(xiàng)遵循零均值高斯分布。

1.2 基于特征的成對(duì)圖像配準(zhǔn)

可見(jiàn)光在水中的顯著衰減和散射，導(dǎo)致低對(duì)比度和不均勻照明獲取的水下圖像中的效果。為了增強(qiáng)原始灰度圖像的可見(jiàn)性，采用對(duì)比度受限自適應(yīng)直方圖均衡化（CLAHE）作為預(yù)處理步驟，然后使用尺度不變特征變換（SIFT）提取顯著特征并計(jì)算描述符向量。

隨后，使用SIFT描述符執(zhí)行成對(duì)匹配步驟來(lái)估計(jì)圖像配準(zhǔn)模型，并從中獲得相對(duì)姿態(tài)測(cè)量。這里，使用二維單應(yīng)模型進(jìn)行圖像配準(zhǔn)，假設(shè)從水下結(jié)構(gòu)表面獲得的局部場(chǎng)景近似平面。初始匹配結(jié)果可能有不正確的對(duì)應(yīng)關(guān)系，稱(chēng)為異常值[7]。為了去除異常值并確定圖像對(duì)之間的主導(dǎo)單應(yīng)模型，使用隨機(jī)樣本一致性（RANSAC）方法作為一種穩(wěn)健的模型擬合算法。剔除異常值后，通過(guò)正交回歸從內(nèi)部對(duì)應(yīng)計(jì)算出相對(duì)單應(yīng)。

通過(guò)一系列的坐標(biāo)變換，將UUV的相對(duì)姿態(tài)信息從產(chǎn)生的單應(yīng)圖中提取出來(lái)，并利用相機(jī)內(nèi)部參數(shù)和高度測(cè)量來(lái)解決相對(duì)平移信息中固有的尺度模糊性。

1.3 閉環(huán)測(cè)試

式中，

典型的運(yùn)動(dòng)結(jié)構(gòu)（SFM）方法從一系列視頻幀中估計(jì)攝像機(jī)運(yùn)動(dòng)和3-D場(chǎng)景結(jié)構(gòu)。然而，在使用的應(yīng)用程序中，低程度的時(shí)間圖像重疊（通常是35%或更少的數(shù)字靜止圖像）促使專(zhuān)業(yè)人員專(zhuān)注于從空間相鄰的圖像幀中恢復(fù)成對(duì)測(cè)量。在這種方法中，攝像機(jī)提供了模尺度姿態(tài)之間的6-DoF相對(duì)坐標(biāo)轉(zhuǎn)換的觀測(cè)（通過(guò)計(jì)算基本矩陣）。這些測(cè)量值在遞歸估計(jì)中用作約束框架，確定與相機(jī)測(cè)量和導(dǎo)航一致的全局姿態(tài)，全局姿態(tài)對(duì)應(yīng)于與圖像采集相關(guān)的時(shí)間點(diǎn)機(jī)器人軌跡的樣本。因此，與典型的基于特征的SLAM估計(jì)問(wèn)題不同，它跟蹤當(dāng)前機(jī)器人姿態(tài)和相關(guān)的地標(biāo)地圖，視覺(jué)增強(qiáng)導(dǎo)航（VAN）狀態(tài)向量完全由圖像采集時(shí)采樣的歷史軌跡樣本組成。在命名法中，這些樣本被稱(chēng)為延遲態(tài)。

延遲狀態(tài)方法對(duì)應(yīng)于基于視圖的環(huán)境表示，其中估計(jì)傳感器導(dǎo)航提供了時(shí)間（Markov）觀測(cè)，而重疊圖像提供了時(shí)間和非時(shí)間（即空間圖像重疊）姿態(tài)約束。這種基于視圖的方法可以通過(guò)文獻(xiàn)追溯到Lu和Milios使用激光距離數(shù)據(jù)的批量掃描匹配方法。Leonard和Rikoski的延遲決策框架，用于聲納數(shù)據(jù)的特征初始化，以及Fleischer和McLauchlan使用相機(jī)圖像的混合批處理/遞歸公式。在這種情況下，成對(duì)注冊(cè)的圖像可以觀察到機(jī)器人相對(duì)于之前訪問(wèn)過(guò)的地方進(jìn)行運(yùn)動(dòng)。

2 圖像配準(zhǔn)模式

2.1 關(guān)鍵幀選擇

所提出的關(guān)鍵幀選擇方法基于CLAHE的直方圖均衡圖像。首先，采用高斯差分（DoG）濾波器來(lái)識(shí)別預(yù)處理圖像中每個(gè)點(diǎn)的清晰度。由DoG濾波器創(chuàng)建的獨(dú)特性圖像ID表示為

其中，I表示直方圖均衡圖像；G（kσ）和G（σ）分別是具有不同尺度kσ和σ的高斯核函數(shù)。

使用DoG的兩個(gè)主要原因如下：①高斯尺度歸一化拉普拉斯（LoG）被認(rèn)為是圖像最穩(wěn)定的顯著性檢測(cè)器，并且DoG是歸一化LoG的合理且計(jì)算效率高的近似值；②本工作中使用的SIFT算法還利用DoG函數(shù)來(lái)尋找候選特征。因此，得到的圖像中的顯著性值可以反映與SIFT特征的接近趨勢(shì)。

SIFT特征點(diǎn)是通過(guò)尺度層及其相鄰層應(yīng)用非最大抑制來(lái)確定的。盡管所提出的方法由于其計(jì)算負(fù)擔(dān)而沒(méi)有顯示生成尺度空間，但如果原始尺度層中的顯著性值遠(yuǎn)遠(yuǎn)大于相鄰值的顯著性值，則該點(diǎn)很可能是SIFT特征?？紤]到這一點(diǎn)，采用相對(duì)于顯著性值的梯度，并將梯度的大小規(guī)格化如下

其中，歸一化項(xiàng)可以直觀地近似為ID∈(-Imax,Imax)，Imax表示最大強(qiáng)度值，對(duì)應(yīng)于白色像素。

基于DoG的歸一化梯度，引入了一種定量度量來(lái)表示每個(gè)圖像的信息性。為此，定義了以下關(guān)鍵幀度量，其表示歸一化梯度的比率大于閾值Gt。

這里，F(xiàn)(·)表示與標(biāo)準(zhǔn)化梯度之比相關(guān)的累積分布函數(shù)形象。

圖2描述了使用水下圖像數(shù)據(jù)集的初步測(cè)試結(jié)果。這里，針對(duì)每個(gè)圖像計(jì)算并呈現(xiàn)了所提出的關(guān)鍵幀度量（Sf）。此外，SIFT提取的特征數(shù)量（Nf）被表示為確認(rèn)計(jì)算值的有效性。從結(jié)果評(píng)估和比較中可以看出，計(jì)算的關(guān)鍵幀度量與SIFT特征的數(shù)量成正比例。使用水下圖像數(shù)據(jù)集對(duì)所提出的關(guān)鍵措施進(jìn)行初步測(cè)試的結(jié)果，用于測(cè)試的水下圖像在圖1（a）～圖1（b）中以紋理豐富度的遞減順序顯示，圖1（c）、圖1（d）分別表示與每個(gè)測(cè)試圖像相對(duì)應(yīng)的DoG歸一化梯度的統(tǒng)計(jì)直方圖和累積分布。在每個(gè)分布圖中指定關(guān)鍵幀度量（Sf）和SIFT特征的數(shù)量（Nf）。

圖1 使用水下圖像進(jìn)行初步測(cè)試的結(jié)果Fig.1 Results of preliminary test using underwater images

圖2 測(cè)試結(jié)果圖Fig.2 Test results

2.2 密鑰對(duì)選擇

通過(guò)評(píng)估相機(jī)測(cè)量的預(yù)期不確定性，計(jì)算關(guān)鍵對(duì)度量以確定是否執(zhí)行特征匹配步驟。作為高斯隨機(jī)向量的攝像機(jī)測(cè)量值z(mì)c表示為

式（7）中：Δxi，j，Δyi、j和Δψi，j表示相對(duì)x，y平移以及第i和第j之間航向角的變化第j個(gè)圖像；∑c是相對(duì)姿勢(shì)觀察。

假設(shè)相機(jī)測(cè)量主要受比較圖像之間的相對(duì)單應(yīng)性影響。因此，為了公式化相機(jī)測(cè)量的預(yù)期不確定性，單應(yīng)性參數(shù)也被視為高斯隨機(jī)向量，如式（8）所示。

其中，平均向量h由H ij的元素組成，∑h表示相應(yīng)的協(xié)方差矩陣。

一對(duì)圖像之間的重疊區(qū)域通過(guò)以下方式估計(jì)：與比較圖像相關(guān)的導(dǎo)航姿態(tài)信息（即，增強(qiáng)狀態(tài)向量的當(dāng)前估計(jì)）。在預(yù)期的重疊區(qū)域中，認(rèn)為相機(jī)測(cè)量的不確定性受到每個(gè)特征位置的不確定性和用于擬合相對(duì)單應(yīng)性模型的對(duì)應(yīng)觀察數(shù)的影響。通過(guò)文獻(xiàn)中提出的方法獲得特征位置的不確定性[8]，對(duì)應(yīng)觀測(cè)值的數(shù)量近似為重疊區(qū)域中的特征數(shù)量?；谠撔畔?，通過(guò)協(xié)方差更新方程以貝葉斯遞歸估計(jì)的方式計(jì)算期望單應(yīng)性不確定性。

鍵對(duì)測(cè)量的測(cè)試結(jié)果如圖2，示例圖像是從將過(guò)去圖像映射到各個(gè)目標(biāo)圖像。所得到的密鑰對(duì)度量值越高，意味著對(duì)應(yīng)的圖像越有可能基于重疊區(qū)域（藍(lán)色矩形）中的特征觀察（黃色圓圈點(diǎn)）實(shí)現(xiàn)成功的圖像配準(zhǔn)。圖2為擬定關(guān)鍵空氣措施的初步測(cè)試結(jié)果。圖2（a）以及圖2（b）描繪高度可能的圖像以實(shí)現(xiàn)成功的圖像配準(zhǔn)。盡管圖2（a）的預(yù)期重疊區(qū)域小于圖2（b）的重疊區(qū)域，但由于特征觀察的數(shù)量較多，圖2（a）中的關(guān)鍵對(duì)得分高于圖2（b）中的。

3 實(shí)驗(yàn)性驗(yàn)證

如圖3所示，在位于KAIST的室內(nèi)水箱中使用可懸停的自主水下機(jī)器人獲得了一個(gè)實(shí)驗(yàn)數(shù)據(jù)集。室內(nèi)水箱長(zhǎng)15m，寬10m，深1.6m。由于污漬和變色斑點(diǎn)導(dǎo)致的非結(jié)構(gòu)化特征很少出現(xiàn)在地板表面，自主水下機(jī)器人被控制為遵循給定路徑并保持距水面都有恒定的深度。

圖3 實(shí)驗(yàn)系統(tǒng)及場(chǎng)地Fig.3 Experimental system and site

在實(shí)驗(yàn)裝置中，沒(méi)有能夠提供地面真實(shí)軌跡數(shù)據(jù)的絕對(duì)定位系統(tǒng)。因此，采用全局束調(diào)整（GBA）技術(shù)繪制全局優(yōu)化軌跡，作為參考數(shù)據(jù)。相對(duì)于GBA軌跡比較航位推算軌跡，不應(yīng)用選擇性圖像配準(zhǔn)的窮舉基線視覺(jué)SLAM的結(jié)果以及通過(guò)具有選擇性圖像配準(zhǔn)的視覺(jué)SLAM估計(jì)的軌跡。圖4為航位推算（DR）和估計(jì)軌跡之間的定性比較。黑線表示GBA結(jié)果中的參考軌跡，洋紅線是基于IMU和DVL測(cè)量的航位推算結(jié)果，藍(lán)線表示在無(wú)選擇性圖像配準(zhǔn)的情況下通過(guò)窮舉視覺(jué)的基線軌跡，紅線表示通過(guò)所提出的具有選擇性圖像配準(zhǔn)的視覺(jué)SLAM估計(jì)得到的軌跡。如圖4所示，無(wú)論是否采用選擇性圖像配準(zhǔn)方法，視覺(jué)SLAM結(jié)果顯示出比DR結(jié)果更精確的軌跡。此外，所提出的具有選擇性圖像配準(zhǔn)的視覺(jué)SLAM具有與基線結(jié)果相當(dāng)?shù)木取?/p>

圖4 估計(jì)軌跡的比較Fig.4 Comparison of estimated trajectories

4 結(jié)論

本文針對(duì)水下結(jié)構(gòu)物表面視覺(jué)特征分布不均勻的特點(diǎn)，提出了一種基于圖像配準(zhǔn)的微小型自主水下機(jī)器人視覺(jué)全局定位SLAM算法。所提出的選擇性圖像配準(zhǔn)方法可以在特征提取和特征匹配之前評(píng)估每個(gè)圖像的潛在效用和比較圖像的成對(duì)有效性，這是一種計(jì)算代價(jià)高昂的過(guò)程。通過(guò)使用自主水下機(jī)器人平臺(tái)獲得的一系列實(shí)驗(yàn)數(shù)據(jù)，證明了所提出的視覺(jué)全局定位法SLAM的有效實(shí)用性。