水下光聲圖像空間配準(zhǔn)算法研究綜述

郭銀景，馬新瑞，許越鋮，孔 芳，呂文紅

1.山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590

2.青島智海牧洋有限公司，山東 青島 266590

3.山東科技大學(xué) 交通學(xué)院，山東 青島 266590

近年來(lái)，光學(xué)相機(jī)和成像聲吶被大規(guī)模應(yīng)用于水下目標(biāo)探測(cè)[1]、海底地形重構(gòu)[2]、考古發(fā)掘[3]、環(huán)境監(jiān)測(cè)等[4]科學(xué)研究活動(dòng)。

光學(xué)相機(jī)感知反饋迅速，在水下基于透視原理利用目標(biāo)反射或散射自然光源和人工光源中的可見(jiàn)光波段繪制成像，生成圖像能充分反映水下環(huán)境真實(shí)的顏色、亮度、紋理結(jié)構(gòu)等有效視覺(jué)信息，但其工作視程依賴(lài)于光照強(qiáng)度，因此在深?；驕啙崴蚱涔ぷ餍阅軙?huì)受到嚴(yán)格限制[5]。聲波在渾濁的水質(zhì)中具有穩(wěn)定的傳播特性[6]，聲吶圖像反映了不同目標(biāo)物的距離向和方位向差異[7]，但是水下存在大量的不規(guī)則環(huán)境噪聲、自噪聲和混響會(huì)干擾聲吶接收陣列的解碼，導(dǎo)致水下聲吶圖像普遍存在散斑噪聲嚴(yán)重、目標(biāo)輪廓模糊、畸變嚴(yán)重等缺陷[8]。根據(jù)對(duì)光聲兩類(lèi)不同傳感器的成像設(shè)備進(jìn)行對(duì)比，總結(jié)出各自的優(yōu)缺點(diǎn)和應(yīng)用場(chǎng)景，如表1所示。

表1 光學(xué)圖像與聲學(xué)圖像優(yōu)缺點(diǎn)及應(yīng)用的對(duì)比表Table 1 Comparison of advantages，disadvantages and applications of optical and acoustic images

通過(guò)表1中的對(duì)比，由于光在水下的傳播特性導(dǎo)致信號(hào)衰減，超過(guò)一定距離目標(biāo)光束根本無(wú)法到達(dá)，影響實(shí)際的光學(xué)成像效果；聲波雖然傳播距離遠(yuǎn)，但噪聲會(huì)隨著傳播距離的提升而不斷累計(jì)，使得聲吶圖像在細(xì)節(jié)質(zhì)量方面遠(yuǎn)不如光學(xué)圖像，因此通過(guò)光聲融合技術(shù)提取更為可靠、全面、精確的信息，實(shí)現(xiàn)兩者的優(yōu)勢(shì)互補(bǔ)，可以充分緩解各自成像的局限性。

圖像配準(zhǔn)是水下光聲圖像融合的核心步驟，包括時(shí)間和空間配準(zhǔn)。時(shí)間配準(zhǔn)就是統(tǒng)一兩傳感器的時(shí)間戳，構(gòu)建時(shí)間同步體系，減少兩傳感器由于時(shí)間差造成水下導(dǎo)航等設(shè)備出現(xiàn)目標(biāo)跟蹤錯(cuò)亂、軌跡中斷等現(xiàn)象[9]?？臻g圖像配準(zhǔn)為不同視點(diǎn)、不同時(shí)間的光聲傳感器捕獲的同一場(chǎng)景的多幅圖像建立幾何對(duì)應(yīng)關(guān)系，旨在通過(guò)空間幾何變換，使光聲圖像內(nèi)的重疊區(qū)域信息實(shí)現(xiàn)最高程度匹配[10]。由于光學(xué)相機(jī)和聲吶在采集水下目標(biāo)信息時(shí)存在視差，容易受到外界洋流等干擾，造成光聲兩類(lèi)異源圖像在分辨率、旋轉(zhuǎn)角度、灰度屬性等方面存在顯著差異[11]，但其仍保留很多可以用于配準(zhǔn)的標(biāo)志性特征，例如礁石、沉船、地勢(shì)、生物、海底建筑物等，這些水下特征在不同的成像模式均能保持穩(wěn)定，使得實(shí)現(xiàn)光聲圖像間的配準(zhǔn)變換成為可能。在現(xiàn)有的研究基礎(chǔ)上，本文對(duì)水下光聲圖像匹配算法的發(fā)展應(yīng)用進(jìn)行綜述，闡述了各算法的優(yōu)缺點(diǎn)以及相關(guān)改進(jìn)算法。

1 水下光聲圖像預(yù)處理

在進(jìn)行聲光圖像配準(zhǔn)與融合前，對(duì)兩類(lèi)圖像分別進(jìn)行預(yù)處理以增強(qiáng)圖像有效信息的可檢測(cè)性和簡(jiǎn)化數(shù)據(jù)量是必要的。

不同水域拍攝的水下光學(xué)圖像模糊程度和色偏各不相同，因此需要有效的圖像重建方案來(lái)校正顏色，提高清晰度，解決模糊和背景散射的問(wèn)題。傳統(tǒng)單一的圖像重建方案往往會(huì)由于光譜分布不均，導(dǎo)致部分區(qū)域重建效果不佳，通過(guò)組合多種重建算法的優(yōu)點(diǎn)能達(dá)到更佳的處理效果。針對(duì)水下光學(xué)圖像的低對(duì)比度，Zhou等[12]在Jaffe-McGlamery水下光學(xué)成像模型的基礎(chǔ)上增加閾值直方圖和小波變換，恢復(fù)色彩和細(xì)節(jié)的同時(shí)，多頻帶融合還增加了水下圖像的對(duì)比度。渾濁水域中的微生物和雜質(zhì)繁多，導(dǎo)致水下圖像的藍(lán)綠色霧狀噪聲冗雜，暗通道先驗(yàn)技術(shù)可以有效去除圖像的霧氣，但是該類(lèi)算法在圖像嚴(yán)重失真和亮度變化較大時(shí)，像素估計(jì)的準(zhǔn)確性會(huì)明顯下降，因此Zhang等[13]提出色彩補(bǔ)償以高適應(yīng)性恢復(fù)色彩失真，并增加非局部去霧化算法降低霧霾效應(yīng)的影響。但是該算法在低光照條件下，色彩和對(duì)比度恢復(fù)效果不好，Zhou等[14]充分利用白平衡、引導(dǎo)濾波和多曝光序列技術(shù)，增強(qiáng)了暗區(qū)的亮度和結(jié)構(gòu)細(xì)節(jié)。從上述文章中可以看出，盡管水下圖像增強(qiáng)與恢復(fù)方法已經(jīng)趨向于多元化的組合，但目前仍然沒(méi)有一種固定搭配可以有效地應(yīng)用于從不同環(huán)境、深度或場(chǎng)景捕獲的水下影像重建，因此水下光學(xué)圖像重建方案的適應(yīng)性和魯棒性仍有待提高。

水下聲學(xué)圖像噪聲一般可分為混響噪聲、環(huán)境噪聲和白噪聲，常用的去噪方法如表2所示。與光學(xué)圖像相比，聲吶圖像信噪比更低，且在目標(biāo)識(shí)別應(yīng)用中主要取決于圖像的邊緣形狀信息，因此，提升邊緣銳化效果是聲吶圖像細(xì)節(jié)增強(qiáng)的主流方向。Priyadharsini等[29]和Muthuraman等[30]將像素插值技術(shù)應(yīng)用于聲像的對(duì)比度增強(qiáng)，但這些像素的填充會(huì)引入許多偽影，造成邊緣模糊?；趥鹘y(tǒng)變換域的增強(qiáng)算法能有效抑制噪聲，Yoon等[31]提出了一種基于曲線波變換的聲吶圖像邊緣增強(qiáng)方法，根據(jù)邊緣的特征信息進(jìn)行選擇性銳化，但只能獲取有限的邊緣方向，無(wú)法對(duì)連續(xù)邊緣進(jìn)行有效分辨。在上述基礎(chǔ)上，基于水下成像模型的算法取得了良好的增強(qiáng)與恢復(fù)效果，Shi等[32]基于最優(yōu)分區(qū)提出一種改進(jìn)的暗通道圖像增強(qiáng)算法，在良好的紋理基礎(chǔ)上，增強(qiáng)的聲像圖灰度分布更均勻，邊界細(xì)節(jié)更清晰。上述的暗通道圖像處理方案最初是在成像模型的基礎(chǔ)上利用先驗(yàn)知識(shí)對(duì)光學(xué)圖像做復(fù)原與重建，雖然聲學(xué)圖像預(yù)處理在光學(xué)圖像的基礎(chǔ)上做延伸與改進(jìn)并取得了良好的效果，但影響聲學(xué)圖像質(zhì)量的水聲信道、信號(hào)強(qiáng)度等成像模型的本質(zhì)因素與光學(xué)成像模型（照明條件、物體反射特征、水介質(zhì)等）并不相同，因此算法移植不僅要考慮噪聲分布、圖像退化，還要考慮由成像模型帶來(lái)的多徑效應(yīng)和幾何輻射畸變。

表2 聲學(xué)圖像去噪典型算法Table 2 Typical algorithms for acoustic image denoising

2 水下光聲圖像配準(zhǔn)技術(shù)研究概述

水下高分辨率聲學(xué)圖像信息的采集常用前視聲吶（forward looking sonar，F(xiàn)LS）、側(cè)掃聲吶（side-scan sonar，SSS）、合成孔徑聲吶（synthetic aperture sonar，SAS）、三維成像聲吶等高頻成像聲吶系統(tǒng)，水下光學(xué)信息的采集則主要通過(guò)單目/雙目光學(xué)攝像頭、激光掃描成像儀等生成光學(xué)二維圖像。聲吶對(duì)目標(biāo)點(diǎn)的成像主要表征為返回脈沖的不同傳播時(shí)間及脈沖幅度，而光學(xué)圖像能反映水下環(huán)境真實(shí)的顏色和亮度信息，通常與周?chē)h(huán)境有顯著的區(qū)別。通過(guò)聯(lián)系兩類(lèi)圖像特征的相關(guān)性，可以經(jīng)過(guò)圖像配準(zhǔn)進(jìn)而實(shí)現(xiàn)水下異源圖像融合。

基于空域的異源圖像配準(zhǔn)已發(fā)展多年，而水域的光聲圖像配準(zhǔn)由于環(huán)境、成本等限制尚處于發(fā)展初期，主要用于水下目標(biāo)物的檢測(cè)，真正投入考古發(fā)掘、海底測(cè)繪、資源勘探使用的項(xiàng)目不多。圖1為雙目攝像機(jī)和Tritech Micron型FLS分別對(duì)同一區(qū)域生成的水下光聲圖像對(duì)[33]，從中可以看出同一目標(biāo)物在不同成像分辨率下有不同的表現(xiàn)形式。圖1（a）（b）（c）中，獲得的聲學(xué)圖像與光學(xué)圖像中的目標(biāo)對(duì)象外形特征能穩(wěn)定存在，且周?chē)蓴_目標(biāo)少，能成功實(shí)現(xiàn)光聲圖像對(duì)的匹配；而圖1（d）目標(biāo)物為石頭，形狀特征不夠明顯，且周?chē)嬖谠S多相似物體，再加上水下圖像固有的噪聲、偽影等缺陷導(dǎo)致配準(zhǔn)失敗。從圖1中可以看出，異源圖像對(duì)的灰度特性差異較大，為了增大光聲圖像的配準(zhǔn)精度，則必須選取穩(wěn)定一致的幾何區(qū)域。

圖1 基于互相關(guān)的水下光聲圖像匹配Fig.1 Underwater opti-acoustic image matching based on cross-correlation

圖2顯示了水下SAS圖像與光學(xué)圖像基于經(jīng)典空域SIFT算法得到的匹配結(jié)果[34]?？梢杂^察到，由于水的高濁度和海床對(duì)聲波的反向散射分別模糊了光學(xué)相機(jī)和SAS圖像中圓柱形物體的外觀形狀，導(dǎo)致在光學(xué)圖像上檢測(cè)到的許多描述符在SAS圖像上沒(méi)有正確匹配。因此，來(lái)自光學(xué)圖像和聲吶圖像的數(shù)據(jù)配準(zhǔn)需要一種多模態(tài)檢測(cè)方法。

圖2 對(duì)SAS-光學(xué)圖像中的圓柱形物體做特征匹配Fig.2 Feature matching of cylindrical objects in SAS-optical images

此外，研究學(xué)者常用配準(zhǔn)測(cè)度來(lái)度量水下光聲圖像的配準(zhǔn)精度與穩(wěn)定性。假設(shè)I1(?)和I2(?)分別表示光學(xué)圖像和聲學(xué)圖像的強(qiáng)度值，則配準(zhǔn)測(cè)度可表示為：

在式（1）中，C為配準(zhǔn)測(cè)度，T為待配準(zhǔn)圖像與參考圖像之間的空間變換，Θ*為變換模型的最佳參數(shù)。近年來(lái)，研究者們?yōu)榱藘?yōu)化水下光聲圖像配準(zhǔn)測(cè)度的結(jié)果，提出了大量光聲圖像配準(zhǔn)算法，主要分為基于區(qū)域和基于特征的配準(zhǔn)方案。本文接下來(lái)將按照?qǐng)D3所示框架介紹水下光聲圖像的配準(zhǔn)現(xiàn)狀。

圖3 水下光聲圖像配準(zhǔn)算法總結(jié)Fig.3 Summary of underwater opti-acoustic image registration algorithms

3 基于區(qū)域的水下光聲圖像配準(zhǔn)算法分析

基于區(qū)域的配準(zhǔn)主要包含基于圖像域和基于頻域兩類(lèi)處理方法，利用光聲兩幅圖像的灰度統(tǒng)計(jì)信息，構(gòu)建配準(zhǔn)測(cè)度函數(shù)（相似性測(cè)度或差異性測(cè)度），通過(guò)搜索其最優(yōu)化全局參數(shù)來(lái)得到空間變換模型[35]，從而實(shí)現(xiàn)兩幅圖像在空間幾何上達(dá)成一致。如圖4所示，是基于區(qū)域的一般配準(zhǔn)流程。

圖4 基于區(qū)域的圖像配準(zhǔn)流程Fig.4 Area-based image registration

3.1 基于圖像域的圖像配準(zhǔn)分析

基于圖像域的圖像配準(zhǔn)方法是通過(guò)處理整個(gè)原始圖像的強(qiáng)度值來(lái)計(jì)算像素對(duì)之間的相關(guān)性，所以計(jì)算量和復(fù)雜度普遍較高。

Majumder[36-38]團(tuán)隊(duì)首次按照?qǐng)D像配準(zhǔn)的標(biāo)準(zhǔn)流程完整實(shí)現(xiàn)了水下多模態(tài)圖像之間的配準(zhǔn)，主要方法是從水下光學(xué)圖片中提取八個(gè)窗口模板不斷搜索聲學(xué)最佳匹配圖，從而生成自主水下航行器（autonomous underwater vehicle，AUV）位置估計(jì)結(jié)果。該團(tuán)隊(duì)設(shè)計(jì)的AUV位置估計(jì)框架，使用透視變換和搜索匹配的方法進(jìn)行同名點(diǎn)識(shí)別，雖然配準(zhǔn)結(jié)果可靠，但高維的幾何變換模型，導(dǎo)致計(jì)算復(fù)雜度和計(jì)算量明顯增加。透視變換涉及圖像的多維度轉(zhuǎn)換，復(fù)雜度較高，Bianco等[39]則通過(guò)剛性變換將聲學(xué)3D點(diǎn)云與光學(xué)對(duì)應(yīng)目標(biāo)匹配，并使用迭代最小二乘法的優(yōu)化策略來(lái)減少計(jì)算量，實(shí)現(xiàn)了自主集成的水下三維場(chǎng)景重建。遍歷式的搜索匹配算法雖然原理簡(jiǎn)單準(zhǔn)確率高，但計(jì)算量隨搜索空間的增大呈幾何式增長(zhǎng)，因此需要合適的優(yōu)化算法降低計(jì)算復(fù)雜度，即全局搜索能力應(yīng)與匹配算法相關(guān)聯(lián)，做到快速與準(zhǔn)確并行。

水下環(huán)境復(fù)雜多變，無(wú)人潛航器的運(yùn)動(dòng)規(guī)劃需要精細(xì)的水下結(jié)構(gòu)化信息源，以提高對(duì)水下障礙物的躲避精度，減少潛在危險(xiǎn)與經(jīng)濟(jì)損失。2020年，Liu等[33]設(shè)計(jì)了一種基于區(qū)域的高斯尺度空間和相關(guān)濾波器的特殊匹配算法，高斯尺度空間構(gòu)建的多尺度圖像能減少比例誤差，而互相關(guān)可以消除由于水下環(huán)境和視角變化而引起成像缺陷和變形問(wèn)題。然而空間域的互相關(guān)矩陣通常產(chǎn)生寬峰值，定位精度較差，只能實(shí)現(xiàn)宏觀匹配，缺乏局部匹配的細(xì)節(jié)特征，因此應(yīng)用于AUV自主導(dǎo)航中有一定的局限性。為了減少細(xì)節(jié)損失，在此基礎(chǔ)上該團(tuán)隊(duì)[40]又提出了一種基于梯度上升計(jì)算的迭代增強(qiáng)圖像預(yù)處理算法，提高有效信息的比例的同時(shí)提高匹配精度。因此，基于互相關(guān)的聲光圖像匹配精度對(duì)源數(shù)據(jù)質(zhì)量要求很高。以水下聲吶圖像舉例，聲波的散射效應(yīng)以及次級(jí)聲源的混響噪聲使得水下噪聲模型不易建立，微小的邊緣波動(dòng)就可能導(dǎo)致相關(guān)運(yùn)算不能清楚辨認(rèn)結(jié)果峰值，即對(duì)噪聲和灰度屬性差異較大的異源圖像缺乏魯棒性。

互信息是利用概率密度函數(shù)來(lái)比較兩幅圖像的統(tǒng)計(jì)依賴(lài)性，但后續(xù)的插值假象會(huì)使配準(zhǔn)陷入局部極值。Song等[41]對(duì)充滿(mǎn)斑點(diǎn)噪聲的聲吶圖像通過(guò)局部搜索策略尋求互信息的最大值，并使用鮑威爾方法加快收斂速度防止陷入局部最小值，但參數(shù)化的概率密度模型常需要復(fù)雜的計(jì)算量，而且圖像之間必須存在較大的重疊區(qū)域。在實(shí)際應(yīng)用中為了解決圖像間的旋轉(zhuǎn)和縮放問(wèn)題，常常需要建立多個(gè)方向和尺度模型，進(jìn)而也會(huì)拖慢識(shí)別匹配進(jìn)度。因此基于互相關(guān)和互信息的聲光圖像配準(zhǔn)不僅需要對(duì)圖像做基于成像模型的濾波處理，而且要做搜索匹配算法的優(yōu)化處理，并加入結(jié)構(gòu)信息作為相似性輔助，以提升基于互相關(guān)和互信息類(lèi)方法的匹配性能。

現(xiàn)在也有一些商業(yè)軟件包用于簡(jiǎn)化數(shù)據(jù)配準(zhǔn)過(guò)程，例如HYYPACK[42]、Matrox Image library、CogPMAlign-Tool、eVision等通過(guò)捕獲圖像特征執(zhí)行指定模板搜索算法做圖像匹配，但這些只能適用于輪廓結(jié)構(gòu)清晰的同源圖像配準(zhǔn)，并不適用于圖像結(jié)構(gòu)與質(zhì)量均存在問(wèn)題的水下聲光圖像配準(zhǔn)。

3.2 基于頻域的圖像配準(zhǔn)分析

上述圖像域的配準(zhǔn)方法依賴(lài)于水下光聲圖像的梯度特征，而聲波對(duì)海床的強(qiáng)烈反射、渾濁水體引起的光學(xué)成像模糊、不統(tǒng)一的分辨率造成了光聲圖像間幾何結(jié)構(gòu)的劇烈差異，因此基于空間域的水下光聲圖像配準(zhǔn)成果較少。

針對(duì)水域中的同源影像匹配，有學(xué)者提出利用變換圖像的全部頻域信息來(lái)最小化配準(zhǔn)圖像由于光照變化、背景雜波和遮擋等噪聲導(dǎo)致的模糊性。Hurtós等[43]首次將傅里葉變換用于FLS圖像的拼接，提出在進(jìn)行快速傅里葉變換之前，縮小圖像邊界的掩膜并于幅度譜上增加漢明窗，減少邊界效應(yīng)的影響。Saxena等[44]應(yīng)用小波變換多尺度分解聲吶圖像，并添加改進(jìn)的粒子群優(yōu)化算法和鮑威爾算法做最優(yōu)變換參數(shù)的全局搜索，雖然降低了匹配誤差和局部極值等問(wèn)題，但也增加了數(shù)倍的搜索時(shí)間。Zhang等[45]基于灰度的序貫相似性檢測(cè)算法和小波變換應(yīng)用于海底地形圖的繪制，在模板尺寸足夠大的基礎(chǔ)上相對(duì)于歸一化互相關(guān)算法降低了配準(zhǔn)時(shí)間。雖然在上述案例中基于傅里葉變換等方式實(shí)現(xiàn)了水下同源影像配準(zhǔn)，但光聲圖像經(jīng)頻域變換得到的幅值變化反映的整體灰度信息差異性較大，不同圖像間的模值可能相同，造成假目標(biāo)干擾。因此僅使用變換域的頻譜幅值特征很難對(duì)灰度和結(jié)構(gòu)差異較大的異源圖像實(shí)現(xiàn)高精度的配準(zhǔn)效果。

目前利用異源圖像結(jié)構(gòu)的一致性表達(dá)，尤其是在頻域中應(yīng)用結(jié)構(gòu)相似性表現(xiàn)出良好的效果，多集中在雷達(dá)[46]、紅外[47]、醫(yī)學(xué)[48]等領(lǐng)域多模態(tài)圖像匹配研究中，其中相位一致性（phase congruency，PC）模型是目前研究發(fā)展較為突出的算法。通過(guò)探求傅里葉分量中相位最為一致的點(diǎn)作為圖像特征點(diǎn)，從而降低異源圖像由于非線性輻射和散斑噪聲帶來(lái)的影響。文獻(xiàn)[49]在已提取的紅外圖像的PC特征中心點(diǎn)建立基準(zhǔn)窗口，并將可見(jiàn)光圖像窗口塊進(jìn)行模板搜索匹配，聯(lián)合互信息與PC提取的邊緣信息計(jì)算窗口相似度從而獲取紅外與雙目攝像頭的時(shí)差信息。PC更多是用于提取穩(wěn)定的輪廓特征，再添加傳統(tǒng)特征描述符從而實(shí)現(xiàn)更為穩(wěn)定的異源圖像配準(zhǔn)。Fan等[50]分組構(gòu)建基于局部結(jié)構(gòu)的PC描述符并對(duì)圖像結(jié)構(gòu)進(jìn)行編碼，降低了合成孔徑雷達(dá)（synthetic aperture radar，SAR）圖像和光學(xué)圖像由于幾何差異和強(qiáng)度變化帶來(lái)的配準(zhǔn)誤差。Li等[51]通過(guò)改變Log-Gabor濾波器的最小波長(zhǎng)構(gòu)建PC非線性尺度空間，捕獲圖像局部區(qū)域的紋理特征，且能抑制不同頻率的散斑噪聲。針對(duì)光照、對(duì)比度差異和非線性輻射畸變等在空域異源影像配準(zhǔn)造成的困難，以上基于PC的頻譜信息實(shí)現(xiàn)了異源影像的穩(wěn)健匹配，同時(shí)此類(lèi)算法也為水下光聲圖像匹配提供了良好思路。

4 基于特征的水下光聲圖像配準(zhǔn)算法分析

基于特征的配準(zhǔn)算法常用于結(jié)構(gòu)信息比強(qiáng)度信息更為重要的場(chǎng)景，能夠配準(zhǔn)完全不同性質(zhì)的圖像，而且允許兩圖像在形狀特征相似度和空間關(guān)系中建立對(duì)應(yīng)關(guān)系，具有較好的適應(yīng)性和不變性，對(duì)圖像間的灰度差異、旋轉(zhuǎn)和尺度變化等具有很強(qiáng)的魯棒性，因此該算法被廣泛應(yīng)用于水下光聲圖像拼接和融合等領(lǐng)域。最早使用特征探索光聲配準(zhǔn)的人是Funk[52]，通過(guò)手動(dòng)識(shí)別光學(xué)-強(qiáng)度數(shù)據(jù)和聲學(xué)-深度數(shù)據(jù)相對(duì)應(yīng)的特征點(diǎn)，并使用有限元圖像變換，得到二者簡(jiǎn)單融合的3D圖像。Moroni等[53]使用側(cè)掃聲吶和兩個(gè)水下攝像機(jī)搭建而成的立體視覺(jué)系統(tǒng)，將每個(gè)像素點(diǎn)分為強(qiáng)度、海拔、表面和幾何等四個(gè)分量進(jìn)行聯(lián)合表征，依據(jù)這些特征分量以檢測(cè)跟它有很強(qiáng)相似性的所有像素點(diǎn)。該方法強(qiáng)調(diào)幾何特征對(duì)應(yīng)，也是在基于區(qū)域的配準(zhǔn)方法衍生而來(lái)的早期基于特征配準(zhǔn)算法。基于特征的光聲圖像配準(zhǔn)過(guò)程如圖5所示。

圖5 基于特征的圖像配準(zhǔn)流程Fig.5 Feature-based image registration

4.1 特征提取

水下光學(xué)圖像顏色及紋理明顯，而且受光線影響明暗變化劇烈，亮度特征顯著，經(jīng)圖像預(yù)處理后，常規(guī)目標(biāo)檢測(cè)算法均適用。而水下聲吶圖像通常分辨率較低，而且噪點(diǎn)繁多，若使用關(guān)鍵點(diǎn)提取目標(biāo)特征則容易造成誤匹配，因此聲吶圖像一般注重輪廓邊緣和區(qū)域的檢測(cè)。表3是基于文獻(xiàn)[54]擴(kuò)展的關(guān)于水下圖像常用局部幾何特征檢測(cè)器。

表3 空域局部幾何特征檢測(cè)算法Table 3 Local geometric feature detection algorithms in spatial domain

4.2 基于形狀特征相似度的圖像配準(zhǔn)分析

水下光學(xué)圖像和高分辨率聲吶圖像反映的目標(biāo)物具有很強(qiáng)的幾何區(qū)分性，因此衍生了眾多有效的光聲圖像匹配算法，現(xiàn)在應(yīng)用比較廣泛的是基于特征描述符的圖像配準(zhǔn)方法，可以在不知初始條件的情況下快速估算出一個(gè)轉(zhuǎn)換矩陣[55]。SIFT和SURF算法基于其旋轉(zhuǎn)和尺度不變性以及特征匹配的穩(wěn)定性，是目前應(yīng)用和改進(jìn)最多的水下圖像匹配算法。SIFT特征匹配算法主要包含尺度空間關(guān)鍵點(diǎn)定位、特征點(diǎn)的方向確定，特征描述符生成和特征匹配，其具體步驟如下所示：

（1）將不同尺度的圖像構(gòu)成高斯尺度空間，并在高斯差分金字塔中進(jìn)行局部極值點(diǎn)的提取，如圖6。

圖6 SIFT算法生成高斯尺度空間Fig.6 Generating Gaussian scale space of SIFT algorithm

（2）將關(guān)鍵點(diǎn)圓形鄰域的全部像素點(diǎn)按照式（2）計(jì)算梯度幅值和方向，根據(jù)梯度方向統(tǒng)計(jì)出直方圖，選取梯度方向的峰值代表作為關(guān)鍵點(diǎn)方向；

（3）SIFT特征描述符是關(guān)鍵點(diǎn)在高斯尺度圖像16×16鄰域內(nèi)的梯度統(tǒng)計(jì)結(jié)果，通過(guò)對(duì)關(guān)鍵點(diǎn)周?chē)鷪D像區(qū)域分塊，計(jì)算塊內(nèi)梯度直方圖，生成該特征點(diǎn)的向量表征。

（4）通過(guò)計(jì)算兩類(lèi)特征描述符之間的相似性度量完成特征點(diǎn)的匹配。

SURF算法是SIFT算法的變種，基本步驟類(lèi)似，不同點(diǎn)在于SURF由Hesseian矩陣的行列式值作特征點(diǎn)檢測(cè)器，通過(guò)計(jì)算特征點(diǎn)周?chē)袼氐乃胶拓Q直方向的Haar小波變換，選其向量的最大值作為特征點(diǎn)方向。而且SURF的描述子是基于2D離散小波變換的響應(yīng)，因此SURF算法對(duì)于圖像對(duì)的亮度變化有良好的匹配效果。

2015年，Negahdaripour[56]團(tuán)隊(duì)在設(shè)計(jì)的多模態(tài)立體成像系統(tǒng)中，通過(guò)SURF算法匹配提取的光聲圖像輪廓結(jié)構(gòu)特征，但是自動(dòng)匹配效果不足以生成密集的三維場(chǎng)景表示。Spears等[57]在定位南極水下冰山系統(tǒng)時(shí)，利用SIFT算法將實(shí)時(shí)視頻流和聲吶數(shù)據(jù)流中檢測(cè)到的目標(biāo)與數(shù)據(jù)庫(kù)中的已知地標(biāo)進(jìn)行匹配，實(shí)現(xiàn)了在低對(duì)比度和低能見(jiàn)度的冰下環(huán)境的目標(biāo)檢測(cè)與匹配。根據(jù)應(yīng)用場(chǎng)景的先驗(yàn)知識(shí)，Huang等[58]對(duì)SIFT提取的特征點(diǎn)進(jìn)行過(guò)濾，通過(guò)計(jì)算歐幾里德距離和漢明距離之差的最值點(diǎn)作為特征點(diǎn)的匹配準(zhǔn)則。Tang等[59]將水下探測(cè)設(shè)備在兩圖像間的運(yùn)動(dòng)傾角作為約束條件篩選特征對(duì)，在L2范數(shù)的基礎(chǔ)上增加角度閾值進(jìn)一步優(yōu)化了特征匹配的結(jié)果。文獻(xiàn)[60]提出了一種基于檢測(cè)前跟蹤（track-beforedetect，TBD）的SIFT特征追蹤方法，根據(jù)圖像序列中特征軌跡的連續(xù)性和一致性識(shí)別目標(biāo)特征。Zhang等[61]針對(duì)多波束聲吶噪聲的威布爾分布特性，將傳統(tǒng)SIFT算法中的差分梯度改為比率梯度以獲取對(duì)噪聲具有魯棒性的梯度直方圖。文獻(xiàn)[62]構(gòu)建了不同介質(zhì)間相對(duì)折射率的約束模型來(lái)減小圖像匹配過(guò)程中的搜索區(qū)域，提高匹配效率。雖然SURF算法比SIFT的計(jì)算速度提高了一個(gè)數(shù)量級(jí)，但也只適用于對(duì)實(shí)時(shí)性要求不高的場(chǎng)景，為了解決這種缺陷，可以從加快搜索速度（鮑威爾、布倫特、粒子群等）、增加約束模型（對(duì)極幾何等）以減少搜索區(qū)域兩個(gè)方面優(yōu)化。

以上大量基于SIFT和SURF的配準(zhǔn)方案顯示了其在水下聲光融合應(yīng)用中表現(xiàn)的良好性能，但是對(duì)于紋理和邊緣模糊的低質(zhì)量水下圖像，尤其是聲光目標(biāo)特征間的比例、旋轉(zhuǎn)、對(duì)比度均存在較大差異，這會(huì)大大降低計(jì)算速度和配準(zhǔn)精度。在雷達(dá)與光學(xué)圖像的配準(zhǔn)案例中，Hao等[63]利用場(chǎng)景形狀相似性特征作為描述符，Zhu等[64]則通過(guò)兩類(lèi)圖像間的定向梯度構(gòu)建結(jié)構(gòu)特征描述符，解決兩類(lèi)圖像間的非線性變換，即通過(guò)全局一致性檢查能有效消除圖像之間的比例和旋轉(zhuǎn)差異。空域中的多模態(tài)圖像配準(zhǔn)發(fā)展較為迅速，暴露的問(wèn)題、注意事項(xiàng)、解決方案等較多，是水下光聲圖像配準(zhǔn)借鑒的有效途徑。

因?yàn)镾IFT和SURF算法需要建立高維描述符，從而需要大量的內(nèi)存空間和較長(zhǎng)的操作時(shí)間，而且高斯尺度分解模糊了局部特征精度，因此文獻(xiàn)[65-66]在水下三維立體重建時(shí)選擇利用各向異性擴(kuò)散濾波器提取非線性尺度空間的A-KAZE算法來(lái)確定圖像對(duì)的關(guān)鍵點(diǎn)，在后續(xù)的拼接步驟也解決了高斯擴(kuò)展濾波引起的邊界模糊和細(xì)節(jié)損失等問(wèn)題，提高了特征匹配質(zhì)量，快速顯示擴(kuò)散（fast explicit diffusion，F(xiàn)ED）的加入也使得空間構(gòu)建時(shí)間大大縮減。2016年，GWON[67]針對(duì)水下光聲傳感器模型的視圖差異提出了光束平差法，估計(jì)光聲模型具有時(shí)差的相對(duì)運(yùn)動(dòng)，且通過(guò)次近鄰匹配DASC、SIFT、BRISK、A-KAZE四種特征描述符，綜合測(cè)試結(jié)果顯示僅使用傳統(tǒng)的特征描述符來(lái)進(jìn)行異源圖像對(duì)的特征匹配，效果并不理想。為了克服傳感器的不同成像模型和分辨率的問(wèn)題，Abu等[34]基于SAS-光學(xué)圖像對(duì)提出了基于輪廓的熵角和局部曲線擬合特征的雙重描述符，角度的熵表征了物體幾何形狀的分布，因此可以指示物體輪廓線的平滑度；局部曲線的多項(xiàng)式函數(shù)則可擬合目標(biāo)對(duì)象的形狀特征，從而有效區(qū)分人造和自然物體。2020年，Li等[68]將提取的聲視覺(jué)特征區(qū)域送入無(wú)監(jiān)督配準(zhǔn)網(wǎng)絡(luò)進(jìn)行多尺度變形，但兩異源圖像之間的配準(zhǔn)缺乏紋理信息，而且像素之間存在回歸誤差，因此需要設(shè)計(jì)合理的損失函數(shù)判斷配準(zhǔn)的準(zhǔn)確度。文獻(xiàn)[69]關(guān)注光聲設(shè)備切換時(shí)產(chǎn)生的目標(biāo)丟失問(wèn)題，采用了一種基于改進(jìn)的Hausdorff距離集合匹配算法，減少由于噪聲干擾和遮擋等情況引起誤匹配的可能性。以上關(guān)于常用空間信息特征描述符的優(yōu)缺點(diǎn)對(duì)比如表4所示。

表4 常用空間信息特征描述符對(duì)比Table 4 Comparison of common spatial information feature description

水下聲學(xué)影像和光學(xué)影像由于不同的成像機(jī)制使得兩類(lèi)數(shù)據(jù)之間存在顯著的幾何變形和輻射失真，這也是目前多模態(tài)圖像匹配的瓶頸問(wèn)題。在空域中解決多模態(tài)圖像間非線性失真的典型描述符有基于相位一致性的HOPC[70]和基于局部自相似性的DLSS[71]，文獻(xiàn)[72]利用SAR與光學(xué)圖像的定向梯度信息構(gòu)建幾何結(jié)構(gòu)特征描述符，以相位相關(guān)性作為相似性度量，對(duì)非線性輻射差異具有較高的魯棒性，但其多尺度和方向性計(jì)算常需占用大量的計(jì)算空間；Xiong等[73]在DLSS的基礎(chǔ)上建立基于秩的局部自相似性特征描述符，但其可辨別性較差，即不具備可靠的匹配性能。雖然上述處理非線性輻射的方案是基于雷達(dá)等多模態(tài)圖像提出的，但水下光聲圖像的配準(zhǔn)更應(yīng)考慮其灰度差異和幾何畸變。

歐幾里德距離、Hausdorff距離、Lp范數(shù)、次近鄰、交叉熵?fù)p失函數(shù)、余弦相似性等測(cè)量準(zhǔn)則，僅是特征描述符描述匹配特征點(diǎn)對(duì)之間差異性的參考，不能作為評(píng)判兩特征對(duì)是否為同一目標(biāo)的原則，因此難免出現(xiàn)錯(cuò)誤匹配。為提高后續(xù)圖像拼接、融合等操作的魯棒性，需要約束條件去除誤匹配點(diǎn)。隨機(jī)抽樣一致性（random sample consensus，RANSAC）算法通過(guò)采樣和反復(fù)驗(yàn)證的方法確定最優(yōu)的數(shù)學(xué)模型，對(duì)樣本數(shù)據(jù)集有較強(qiáng)的勘誤能力而且具備很強(qiáng)的魯棒性，是水下圖像匹配中最常見(jiàn)的用于剔除誤匹配點(diǎn)的方式。

Zhang等[74]采用SIFT算法提取參考和感測(cè)圖像的特征點(diǎn)，并基于KNN和RANSAC做粗匹配以及優(yōu)化。Yang等[75]在SURF特征檢測(cè)的基礎(chǔ)上搭配極坐標(biāo)指數(shù)變換矩（polar coordinate exponential transformation，PCET）構(gòu)造區(qū)域特征描述符，圖像像素的離散性會(huì)造成PCET矩計(jì)算的誤差，使用RANSAC消除誤匹配點(diǎn)以獲得正確的變換參數(shù)。RANSAC算法根據(jù)經(jīng)驗(yàn)設(shè)置迭代次數(shù)，應(yīng)用于匹配度低的圖像對(duì)時(shí)耗費(fèi)大量時(shí)間，文獻(xiàn)[76-77]均通過(guò)剔除匹配點(diǎn)對(duì)之間距離過(guò)大的異常值來(lái)減小觀測(cè)數(shù)據(jù)范圍，從而減少整體迭代次數(shù)，提高內(nèi)點(diǎn)比例。除了RANSAC算法，還可以將空間結(jié)構(gòu)信息納入水下圖像匹配。Machado等[78]提出了圖變換匹配（graph transformation matching，GTM）算法，根據(jù)模板圖像與待匹配圖像特征點(diǎn)之間一對(duì)一的匹配關(guān)系構(gòu)建一個(gè)KNN圖，設(shè)定誤差準(zhǔn)則判斷圖結(jié)構(gòu)的相似度，從而達(dá)到刪除誤匹配點(diǎn)的目的。Huang等[79]將已分割的聲吶圖像根據(jù)高斯概率函數(shù)構(gòu)建二部圖，若兩頂點(diǎn)的位置與其相鄰邊緣信息之間的相似度小于預(yù)定參數(shù)，則被標(biāo)定為不可靠以解決匹配區(qū)域?qū)Φ钠缌x問(wèn)題?；谳喞卣髅枋龇膱D像匹配算法是目前的主流方案，但水下聲光圖像的分辨率、觀測(cè)角度、樣本分布、物理含義的不同易對(duì)配準(zhǔn)結(jié)果造成影響。而且RANSAC是在初始匹配候選集中剔除某些特征點(diǎn)對(duì)，GTM也是基于局部結(jié)構(gòu)的相似性出發(fā)，求解復(fù)雜度較高，因此針對(duì)光聲圖像內(nèi)目標(biāo)的輪廓特征相似性，增加全局約束信息，有助于處理存在較大視覺(jué)差異的水下光聲圖像對(duì)。

基于傳統(tǒng)特征描述符的水下聲光圖像配準(zhǔn)，提取的特征表達(dá)具有局限性，缺乏高級(jí)語(yǔ)義特征，導(dǎo)致泛化能力弱，對(duì)一定的任務(wù)具有針對(duì)性和局限性。隨著水下探測(cè)器分辨率越來(lái)越高，水下三維重構(gòu)等任務(wù)需要的數(shù)據(jù)量也會(huì)加倍增長(zhǎng)，但上述基于特征的匹配過(guò)程普遍耗時(shí)較多，因此還不能滿(mǎn)足配準(zhǔn)任務(wù)的實(shí)時(shí)性需求。

RANSAC算法原理如下：

Input：數(shù)據(jù)集S

Output：內(nèi)點(diǎn)集S1，模型參數(shù)H

注：ω是某一樣本點(diǎn)為內(nèi)點(diǎn)的概率

While迭代次數(shù)

do

隨機(jī)選取4對(duì)特征點(diǎn)對(duì)，根據(jù)式（3）計(jì)算單應(yīng)性變換矩陣H中的所有參數(shù)：

將數(shù)據(jù)集S中的剩余數(shù)據(jù)全部帶入上述模型逐一檢驗(yàn)確定計(jì)算誤差

根據(jù)設(shè)定的誤差閾值篩選初始內(nèi)點(diǎn)集，并記錄矩陣參數(shù)

根據(jù)初始內(nèi)點(diǎn)集重新估計(jì)模型以期找到最大的內(nèi)點(diǎn)比例數(shù)據(jù)集S1

end while

利用找到的最大內(nèi)點(diǎn)數(shù)據(jù)集S1計(jì)算模型參數(shù)H

4.3 基于深度學(xué)習(xí)的特征配準(zhǔn)

近年來(lái)隨著運(yùn)算能力和數(shù)據(jù)量的提升，深度學(xué)習(xí)被廣泛應(yīng)用于水下二維圖像的匹配任務(wù)中。2019年，Santos等人[80-82]首次使用衛(wèi)星和聲吶的融合信息作為AUV在碼頭、港口等結(jié)構(gòu)化場(chǎng)景中水下導(dǎo)航的信息源，將聲吶的灰度圖像與航空的二值圖像的相關(guān)區(qū)域通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行比較，并通過(guò)全連接層輸出在衛(wèi)星圖像上匹配聲像圖的概率。與上述匹配像素級(jí)的特征信息方法不同的是，深度學(xué)習(xí)類(lèi)方案通過(guò)驅(qū)動(dòng)多層卷積神經(jīng)網(wǎng)絡(luò)提取到圖像結(jié)構(gòu)、紋理甚至語(yǔ)義等各個(gè)層級(jí)的深度特征，構(gòu)建損失函數(shù)對(duì)兩幅圖像進(jìn)行特征相似性測(cè)度，能更好地完成異源影像之間的非線性估計(jì)，達(dá)到優(yōu)異的配準(zhǔn)效果[83]。根據(jù)是否直接從水下光學(xué)和聲學(xué)圖像中提取待匹配特征，即圖像對(duì)在放入網(wǎng)絡(luò)之前是否存在預(yù)處理階段，可將基于深度學(xué)習(xí)的光聲圖像配準(zhǔn)方法分為特征描述符學(xué)習(xí)和風(fēng)格遷移兩大類(lèi)。

在特征描述符學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)配準(zhǔn)方法中孿生網(wǎng)絡(luò)及其改進(jìn)算法是主流網(wǎng)絡(luò)框架，通過(guò)從局部區(qū)域?qū)χ刑崛√卣?，并根?jù)特征向量間的度量學(xué)習(xí)確定圖像塊之間的相似性。文獻(xiàn)[84-85]使用孿生網(wǎng)絡(luò)為核心的特征相似性對(duì)比模型，以解決非線性強(qiáng)度聲吶圖像的匹配問(wèn)題，但該模型僅適用于發(fā)生平移變化的異源聲吶圖像，無(wú)法對(duì)具有旋轉(zhuǎn)、尺度變化以及異源圖像產(chǎn)生良好效果。Qi等[86]提出一種具有孿生結(jié)構(gòu)和相關(guān)特征匹配模塊的水下圖像協(xié)同增強(qiáng)網(wǎng)絡(luò)，5層卷積層步幅為1的結(jié)構(gòu)減少了空間準(zhǔn)確度損失，并添加語(yǔ)義和低層特征匹配塊對(duì)孿生網(wǎng)絡(luò)兩分支的協(xié)同特征進(jìn)行重組和連接，提高了數(shù)據(jù)驅(qū)動(dòng)方法的視覺(jué)性能，但水下圖像的質(zhì)量直接影響匹配精度，需要引入校正策略。與孿生網(wǎng)絡(luò)的分支處理不同，Toro等[87]利用的雙通道結(jié)構(gòu)[88]將兩待匹配圖像塊合并為雙通道圖像直接饋送到神經(jīng)網(wǎng)絡(luò)的卷積層，交叉熵作為網(wǎng)絡(luò)損失進(jìn)行優(yōu)化以及決策網(wǎng)絡(luò)中的單一全連接層使得該結(jié)構(gòu)具有更強(qiáng)的靈活性。Fang等[89]將SAR和光學(xué)圖像的特征圖通過(guò)快速傅里葉變換進(jìn)行交叉相關(guān)，將得到的特征相似性概率圖進(jìn)行分類(lèi)以確定最佳匹配。全局信息的充分利用不僅增加了匹配精度和魯棒性，而且快速傅里葉變換的互相關(guān)大大提高了訓(xùn)練效率。

孿生網(wǎng)絡(luò)可以避免輸入圖像的相互干擾并保持其結(jié)構(gòu)相似性，進(jìn)而做比較學(xué)習(xí)，因此作為深度學(xué)習(xí)的一部分，數(shù)據(jù)集是關(guān)鍵。水下光學(xué)圖像采集方便且高效，但高分辨率成像聲吶由于其高昂的成本，缺乏公開(kāi)和統(tǒng)一的光聲圖像數(shù)據(jù)集，因此孿生網(wǎng)絡(luò)做圖像匹配的泛化訓(xùn)練極為受限。典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比如圖7。

圖7 典型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比Fig.7 Comparison of typical convolutional neural network structures

風(fēng)格遷移類(lèi)的異源圖像配準(zhǔn)是通過(guò)風(fēng)格遷移算法將待匹配圖像實(shí)現(xiàn)模態(tài)統(tǒng)一后再利用傳統(tǒng)基于特征和強(qiáng)度的方法進(jìn)行匹配，文獻(xiàn)[90]提取同風(fēng)格的雷達(dá)與光學(xué)圖像的邊緣不變特征，并通過(guò)互相關(guān)準(zhǔn)則進(jìn)行邊緣特征匹配，這種方案能最大程度地消除異源傳感器的成像差異，實(shí)現(xiàn)了對(duì)異源源圖像的有效預(yù)處理。

Jang等[91]首次嘗試使用VGG-19模型實(shí)現(xiàn)水下光聲圖像的風(fēng)格遷移，得到由聲吶圖像提供內(nèi)容信息、光學(xué)圖像提供風(fēng)格信息的合成圖像，最后再利用SIFT、SURF、BRISK、ORB、A-KAZE提取特征點(diǎn)對(duì)最終生成的圖像與聲學(xué)圖像做余弦相似度評(píng)估以獲得更好的匹配結(jié)果。Merkle等[92]將光學(xué)圖像經(jīng)條件生成對(duì)抗網(wǎng)絡(luò)生成SAR圖像，兩類(lèi)同風(fēng)格的圖像再通過(guò)NCC、SIFT、BRISK三種算法做模板匹配，其匹配精度雖然有所提升，但是該類(lèi)方法訓(xùn)練的網(wǎng)絡(luò)只能實(shí)現(xiàn)單一圖像對(duì)的風(fēng)格匹配，而且噪聲的存在很容易破壞圖像的原始結(jié)構(gòu)和細(xì)節(jié)。2021年，Zhou等[93]在上述文章的啟發(fā)下引入HardNet特征描述符，即在L2-Net中引入度量損失函數(shù)以緩解梯度消失問(wèn)題并提高了匹配的魯棒性。除了利用VGG網(wǎng)絡(luò)實(shí)現(xiàn)模態(tài)統(tǒng)一外，Cho等[94]還通過(guò)構(gòu)建循環(huán)生成對(duì)抗網(wǎng)絡(luò)提高水下圖像質(zhì)量，并利用對(duì)抗損失結(jié)合多個(gè)循環(huán)一致性損失（重建損失、拉普拉斯損失和感知損失）對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以增強(qiáng)紋理細(xì)節(jié)特征。統(tǒng)一施加SURF算法作為特征檢測(cè)器和描述符，結(jié)果顯示相比于目前廣泛使用的WaterGAN和直方圖均衡化的水下圖像預(yù)處理方法，風(fēng)格遷移算法的有效特征提取數(shù)目明顯增多。但目前公開(kāi)的水下光聲圖像數(shù)據(jù)集較少，因此使用GAN實(shí)現(xiàn)圖像風(fēng)格遷移存在一定的局限性。為了增大水下光聲圖像對(duì)數(shù)據(jù)集，Terayama等[95]使用條件生成對(duì)抗網(wǎng)絡(luò)模擬融合聲吶圖像和夜視光學(xué)圖像從而生成更多虛假的白天圖像；Huo等[96]則根據(jù)威布爾概率分布函數(shù)整合聲吶圖像的背景信息與光學(xué)圖像的目標(biāo)外形信息，從而生成半合成聲吶圖像以提升數(shù)據(jù)集的整體精度，這也為缺乏統(tǒng)一的聲光圖像數(shù)據(jù)集提供了解決方案。光聲圖像遷移算法結(jié)構(gòu)如圖8。

圖8 光聲圖像遷移算法結(jié)構(gòu)Fig.8 Structure of opti-acoustic image transformation algorithm

得益于深度學(xué)習(xí)其強(qiáng)大的學(xué)習(xí)能力和更好的適應(yīng)性，不僅可以避免計(jì)算關(guān)鍵點(diǎn)的尺度、方向、梯度等信息，大大降低了計(jì)算量，而且能最大限度地消除異源圖像間的差異，從而提取更多正確的匹配特征對(duì)，極大提升了配準(zhǔn)精度。因此，基于該方法的水下聲光圖像配準(zhǔn)是必然趨勢(shì)。

5 總結(jié)與展望

異源圖像配準(zhǔn)是對(duì)于數(shù)據(jù)融合一個(gè)基礎(chǔ)且重要的研究領(lǐng)域，具有廣泛的應(yīng)用前景。本文對(duì)水下光聲的配準(zhǔn)算法進(jìn)行綜述，并在表5中對(duì)上述光聲圖像的匹配方案做了性能總結(jié)。

表5 常見(jiàn)光聲圖像匹配方案對(duì)比分析Table 5 Comparison and analysis of common opti-acoustic images matching schemes

在匹配實(shí)例中，特征驅(qū)動(dòng)的相位一致性模型主要用于空域的異源圖像匹配，數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型也因?yàn)樯疃忍卣鞯奶崛”粷u漸用于水下多模態(tài)圖像匹配問(wèn)題上。特征驅(qū)動(dòng)的相位一致性模型通過(guò)計(jì)算局部能量函數(shù)來(lái)描述圖像的幾何結(jié)構(gòu)，該算法的優(yōu)勢(shì)是提取的特征對(duì)亮度和對(duì)比度的變化不敏感，因此具有非線性輻射差異的異源圖像可以采用相同的閾值來(lái)篩選穩(wěn)定的輪廓和邊緣特征。但該模型無(wú)法表示關(guān)鍵點(diǎn)的輪廓和邊緣方向，若獲取方向相位信息，則需要進(jìn)行插值和加權(quán)處理，會(huì)增加一定的計(jì)算量，也在一定程度上損失了特征信息。數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)模型可分為單環(huán)節(jié)深度網(wǎng)絡(luò)（孿生網(wǎng)絡(luò)等）和端到端深度網(wǎng)絡(luò)（風(fēng)格遷移等），此類(lèi)算法以?xún)?yōu)化梯度回傳的方式進(jìn)行訓(xùn)練，學(xué)習(xí)能力強(qiáng)，配準(zhǔn)精度高。單環(huán)節(jié)深度網(wǎng)絡(luò)能根據(jù)不同需求訓(xùn)練單獨(dú)的網(wǎng)絡(luò)，靈活性更高，端到端深度網(wǎng)絡(luò)能有效地處理具有非線性輻射和幾何差異的異源圖像，但此類(lèi)算法模型結(jié)構(gòu)復(fù)雜，消耗的計(jì)算和內(nèi)存資源也更多。

雖然當(dāng)前水下聲光圖像配準(zhǔn)方法取得了一定進(jìn)展，但是依然面臨很多挑戰(zhàn)，在以下幾個(gè)方面有待進(jìn)一步研究：

（1）針對(duì)水下聲光圖像統(tǒng)一的數(shù)據(jù)集問(wèn)題，水下光學(xué)場(chǎng)景圖像數(shù)據(jù)集獲取簡(jiǎn)單且高效，但聲吶圖像采集實(shí)驗(yàn)成本高昂。因此深度學(xué)習(xí)對(duì)聲光學(xué)圖像做網(wǎng)絡(luò)訓(xùn)練時(shí)，會(huì)由于數(shù)據(jù)集缺失導(dǎo)致很難訓(xùn)練出泛化能力強(qiáng)的網(wǎng)絡(luò)。鑒于此，基于深度學(xué)習(xí)的風(fēng)格遷移算法探索從光學(xué)圖像集合成至聲學(xué)圖像集是具有實(shí)際應(yīng)用意義的，而且以此合成圖像作為訓(xùn)練集能大大提高網(wǎng)絡(luò)匹配精度。

（2）基于特征的配準(zhǔn)算法對(duì)水下光聲影像顯著的結(jié)構(gòu)差異更加敏感，降低了特征描述符的穩(wěn)健性，容易導(dǎo)致匹配失敗。但基于圖像域的匹配方法精度較高，因此可以在特征匹配的基礎(chǔ)上增加圖像域方法以及各種幾何約束條件增加匹配點(diǎn)對(duì)和匹配精度。

（3）對(duì)于水下光聲異源圖像的空間配準(zhǔn)，目標(biāo)特征往往會(huì)由于視覺(jué)范圍的不同、各類(lèi)噪聲的存在使得搜索范圍增加至全局，進(jìn)而引起計(jì)算量的增加和實(shí)時(shí)性效能的降低。

目前解決這類(lèi)問(wèn)題的關(guān)鍵，一方面是利用并行計(jì)算系統(tǒng)加速相似度計(jì)算，多線程協(xié)同執(zhí)行以增加窗口搜索性能；另一方面是基于過(guò)濾策略，判斷各聚類(lèi)中心的相似度，并加入各種計(jì)算優(yōu)化算法，篩除不必要計(jì)算量的同時(shí)加快計(jì)算速度。

6 結(jié)語(yǔ)

隨著對(duì)海洋探索范圍的逐步擴(kuò)大，這就要求必須全面感知水下環(huán)境。光學(xué)和聲學(xué)成像是目前獲取水下?tīng)顟B(tài)信息最為直觀的探測(cè)手段，因此提高兩異源圖像的匹配精度和速度，是實(shí)現(xiàn)水下聲光圖像融合、更為全面感知海洋環(huán)境的基礎(chǔ)和前提。

本文在對(duì)水下光聲圖像空間配準(zhǔn)的相關(guān)概念和算法進(jìn)行深入研究的基礎(chǔ)上，對(duì)三種配準(zhǔn)方案進(jìn)行了綜述對(duì)比，并詳細(xì)闡述了水下異源圖像匹配的后續(xù)優(yōu)化算法的研究進(jìn)展。未來(lái)研究中，對(duì)于匹配精度與速度的平衡，仍是研究人員不斷攻克多模態(tài)圖像配準(zhǔn)難題的主要方向。