基于深度學(xué)習(xí)圖像特征匹配的雙目測(cè)距方法

姚 堯，張 生

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

0 引言

隨著計(jì)算機(jī)視覺(jué)技術(shù)的飛速發(fā)展，雙目視覺(jué)系統(tǒng)成為一大研究熱點(diǎn)，在機(jī)器人視覺(jué)、軍事技術(shù)、三維重建等領(lǐng)域發(fā)揮著重要作用［1］?；诔暡?、雷達(dá)、紅外等技術(shù)的測(cè)距方法很早就應(yīng)用在移動(dòng)機(jī)器人領(lǐng)域中，與這些主動(dòng)測(cè)距技術(shù)相比，雙目視覺(jué)測(cè)距具有成本低、魯棒性強(qiáng)、抗干擾性能強(qiáng)的優(yōu)點(diǎn)。

雙目測(cè)距的原理是基于物體在雙目相機(jī)左右成像平面上的視差，通過(guò)相似三角形原理計(jì)算物體的真實(shí)深度。因此，對(duì)物體在左右相機(jī)成像平面的投影進(jìn)行正確匹配是雙目測(cè)距系統(tǒng)精度的重要保證。目前，傳統(tǒng)的雙目圖像匹配技術(shù)包括基于全局特征匹配的GC（Garbage Collection）算法、基于半全局匹配的SGBM（Semi-global Block Matching）算 法［2］、基于局部特征的SIFT（Scale-invariant Feature Transform）算 法［3］、SURF（Speeded Up Robust Features）算法［4］以及ORB（Oriented FAST and Rotated BRIEF）算法［5］。雖然全局與半全局匹配算法能構(gòu)建出完整的視差圖像，但運(yùn)行速度較慢且精度較差。基于局部特征的ORB 算法運(yùn)行快，但提取特征點(diǎn)匹配性能較差，存在大量誤匹配現(xiàn)象。

近年來(lái)，深度學(xué)習(xí)方法因其對(duì)深層特征有優(yōu)越的學(xué)習(xí)和表達(dá)能力而被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域。例如，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的圖像處理方法已經(jīng)在圖像匹配領(lǐng)域嶄露頭角并取得了成效。深度學(xué)習(xí)在圖像匹配中最合理的應(yīng)用便是直接從包含相同或相似結(jié)構(gòu)內(nèi)容的圖像對(duì)中學(xué)習(xí)到像素級(jí)別的匹配關(guān)系，其主要形式是以深度學(xué)習(xí)的方法替換傳統(tǒng)匹配算法中的一個(gè)或多個(gè)環(huán)節(jié)，或直接設(shè)計(jì)一個(gè)端到端的匹配網(wǎng)絡(luò)，從圖像中學(xué)習(xí)每個(gè)特征點(diǎn)的主要方向、尺度以及更具有匹配能力的描述符，代表方法包 括LIFT［6］、UCN［7］、LF-Net［8］、R2D2［9］、Superpoint［10］等。

針對(duì)雙目圖像的特征匹配，本文提出一種自監(jiān)督學(xué)習(xí)的圖像特征提取網(wǎng)絡(luò)模型，該模型由一個(gè)編碼層與兩個(gè)解碼層構(gòu)成。從雙目相機(jī)獲得的兩張圖像分別進(jìn)入模型提取特征點(diǎn)，隨后根據(jù)特征點(diǎn)的描述符進(jìn)行匹配并計(jì)算視差，進(jìn)而獲得目標(biāo)深度。實(shí)驗(yàn)結(jié)果表明，本文提出的特征提取網(wǎng)絡(luò)具有良好性能，在雙目測(cè)距實(shí)驗(yàn)中精度較高。

1 相關(guān)研究

目前，基于深度學(xué)習(xí)的圖像特征匹配方法已經(jīng)逐漸取代傳統(tǒng)方法。例如，Detone 等［10］基于全卷積神經(jīng)網(wǎng)絡(luò)建立了Superpoint 模型，主要功能為提取圖像的特征點(diǎn)并獲得對(duì)應(yīng)的特征點(diǎn)描述符。該模型的訓(xùn)練分為兩個(gè)部分，第一部分是采用監(jiān)督學(xué)習(xí)方法在一個(gè)幾何模型數(shù)據(jù)集中訓(xùn)練特征點(diǎn)檢測(cè)器；第二部分是采用預(yù)訓(xùn)練完的檢測(cè)器對(duì)訓(xùn)練集進(jìn)行標(biāo)注，獲得偽真值點(diǎn)標(biāo)簽，再以自監(jiān)督方法訓(xùn)練檢測(cè)器并同時(shí)學(xué)習(xí)描述符；Truong 等［11］提出一種采用單應(yīng)性變化方法訓(xùn)練的特征點(diǎn)檢測(cè)器GLAMpoint，運(yùn)用非極大值抑制方法提取圖形特征點(diǎn)，并結(jié)合SURF的描述符實(shí)現(xiàn)了特征點(diǎn)匹配功能；Jakab 等［12］提出一種自監(jiān)督學(xué)習(xí)的特征點(diǎn)檢測(cè)器，利用圖像生成的方法獲得同一物體不同視角或不同相機(jī)位姿的圖片對(duì)，分別輸入神經(jīng)網(wǎng)絡(luò)提取特征并計(jì)算損失；宋超群等［13］對(duì)ORB 算法進(jìn)行了改進(jìn)，在測(cè)量階段采用二維二次函數(shù)擬合的方法獲得特征點(diǎn)的亞像素坐標(biāo)，通過(guò)三角測(cè)量原理獲得對(duì)應(yīng)特征點(diǎn)的空間三維坐標(biāo)，從而得到被測(cè)物體的尺寸；楊潔等［14］對(duì)SURF 算法進(jìn)行了優(yōu)化，運(yùn)用FLANN 算法與PROSAC 算法進(jìn)行匹配與去誤，再應(yīng)用于目標(biāo)測(cè)距系統(tǒng)中。上述研究中均是改進(jìn)的傳統(tǒng)匹配方法，雖然運(yùn)行速度較快，但提取特征點(diǎn)質(zhì)量不高、測(cè)距精度較低。在立體匹配領(lǐng)域，Godard 等［15］提出的AnyNet 網(wǎng)絡(luò)利用U-net 特征提取4 個(gè)尺寸的特征圖，可直接通過(guò)網(wǎng)絡(luò)輸出圖像的視差圖，不過(guò)該類(lèi)方法往往需要耗費(fèi)較長(zhǎng)的運(yùn)行時(shí)間才能獲取可靠的深度數(shù)據(jù)。

基于以上分析，雙目測(cè)距特征匹配方法需要具備檢測(cè)性能強(qiáng)、特征點(diǎn)覆蓋全面、特征點(diǎn)匹配可靠、運(yùn)行速度適宜等特性。受Superpoint 啟發(fā)，本文網(wǎng)絡(luò)模型也選用類(lèi)似的自監(jiān)督學(xué)習(xí)方法，不過(guò)訓(xùn)練過(guò)程比Superpoint 簡(jiǎn)化許多，去除了預(yù)訓(xùn)練和對(duì)訓(xùn)練集進(jìn)行標(biāo)注兩個(gè)步驟，模型直接采用真實(shí)圖像進(jìn)行訓(xùn)練。

2 自監(jiān)督學(xué)習(xí)的圖像特征提取網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)模型

本文建立的圖像特征提取網(wǎng)絡(luò)包括一個(gè)共享的類(lèi)VGG 卷積網(wǎng)絡(luò)編碼層［16］與兩個(gè)解碼層，分別為特征點(diǎn)檢測(cè)器解碼層和描述符解碼層。參考Superpoint的網(wǎng)絡(luò)模型結(jié)構(gòu)，保留了編碼層與描述符的部分，對(duì)激活函數(shù)進(jìn)行了改進(jìn)，檢測(cè)器解碼層、訓(xùn)練過(guò)程與損失函數(shù)亦不相同。整體網(wǎng)絡(luò)框架如圖1 所示。

2.1.1 編碼層

使用一個(gè)類(lèi)VGG的卷積骨干網(wǎng)絡(luò)作為編碼器，作用是使圖片降維，便于提取特征。編碼層包括卷積網(wǎng)絡(luò)層、池化層與非線性激活函數(shù)。編碼層使用3 個(gè)最大池化（maxpooling）層，使原圖片的尺寸H×W變?yōu)镠c=H/8 和Wc=W/8。激活函數(shù)選用leaky ReLU［17］的激活函數(shù)。

Fig.1 Architecture of the feature extraction network圖1 特征提取網(wǎng)絡(luò)框架

2.1.2 特征點(diǎn)檢測(cè)器解碼層

特征點(diǎn)檢測(cè)器解碼層對(duì)共享的特征圖進(jìn)行兩層卷積操作，將特征圖變?yōu)镠/8 ×W/8 × 64。經(jīng)過(guò)Softmax的操作使特征圖取值介于0～1 之間，特征點(diǎn)取值接近于1 說(shuō)明該位置是真實(shí)的特征點(diǎn)。然后經(jīng)過(guò)維度變換，輸出與原圖像尺寸一致的特征點(diǎn)圖，用于計(jì)算特征點(diǎn)檢測(cè)層的損失函數(shù)。

2.1.3 描述符解碼層

描述符解碼層對(duì)描述符的特征圖進(jìn)行3 次插值上采樣，再使用L2 范數(shù)將特征圖取值規(guī)范為單位長(zhǎng)度，輸出H/8 ×W/8 × 256的稠密描述符，配合特征點(diǎn)檢測(cè)器輸出的特征圖進(jìn)行描述符的損失計(jì)算。

2.2 模型訓(xùn)練

模型的訓(xùn)練基于圖片的單應(yīng)性變換以及噪聲添加進(jìn)行。單應(yīng)性變化即一個(gè)平面到另一個(gè)平面的映射關(guān)系，包括仿射變化、透視變換等。對(duì)原圖I進(jìn)行隨機(jī)單應(yīng)性變化得到Ih，再對(duì)兩者計(jì)算損失函數(shù)，達(dá)到自監(jiān)督學(xué)習(xí)的效果。損失函數(shù)表示為：

式中，λ1、λ2為權(quán)重參數(shù)，P、Ph為原圖I和變換后Ih的特征圖，D、Dh為兩圖的描述符，Ld、Lp分別為描述符及檢測(cè)器的損失函數(shù)。經(jīng)過(guò)變換后，對(duì)I和Ih增加隨機(jī)噪聲，包括高斯噪聲、隨機(jī)亮度變化、椒鹽噪聲、模糊處理，以增強(qiáng)模型性能。

特征點(diǎn)的訓(xùn)練原理來(lái)自于最大期望（Expectation Maximization，EM）算法，主要步驟如圖2 所示。訓(xùn)練過(guò)程中需要對(duì)目標(biāo)特征點(diǎn)進(jìn)行以下處理：①在原圖I中檢測(cè)到點(diǎn)K，根據(jù)施加的單應(yīng)性變換，將點(diǎn)K投射到Ih上，形成Kproj；②采用兩種方式對(duì)經(jīng)過(guò)變換的點(diǎn)Kproj與Ih上檢測(cè)到的點(diǎn)Kh進(jìn)行匹配，分別為2D 坐標(biāo)和描述符，均采用最鄰近匹配的方式形成兩對(duì)匹配點(diǎn)集；③通過(guò)匹配好的點(diǎn)集形成目標(biāo)點(diǎn)K′h，再根據(jù)單應(yīng)性變換的逆變換投射到原圖I形成K′，與K′h組成一對(duì)點(diǎn)集，用于計(jì)算損失函數(shù)。

Fig.2 Feature training procedures圖2 特征點(diǎn)訓(xùn)練步驟

2.3 檢測(cè)器損失函數(shù)

檢測(cè)器部分的損失函數(shù)應(yīng)用負(fù)對(duì)數(shù)似然的方法，表示為：

式中，P[K′]、Ph[K′h]分別表示I與Ih上檢測(cè)到的特征點(diǎn)分布。

給定待訓(xùn)練的I與Ih兩幅圖片，通過(guò)以下步驟提取出真實(shí)特征點(diǎn)K′、K′h：

（1）通過(guò)兩種不同的池化操作從圖中提取出特征點(diǎn)集合K與Kh，分別表示為：

采用32×32、16×16 兩種不同大小的區(qū)域選擇特征點(diǎn)，可使特征點(diǎn)分布覆蓋全圖但不會(huì)過(guò)于稠密。圖像經(jīng)過(guò)池化操作返回特征點(diǎn)的坐標(biāo)數(shù)組(xi,yi)。

（2）對(duì)K進(jìn)行單應(yīng)性變換，超出圖像邊界的點(diǎn)則被舍棄，Dproj、Dh為Kproj與Kh的描述符。

（3）在Ih上分別根據(jù)描述符和坐標(biāo)關(guān)系進(jìn)行匹配，表示為：

式中，matchgeom的作用是根據(jù)歐氏距離對(duì)Kproj和Kh進(jìn)行最鄰近匹配，返回匹配點(diǎn)之間的距離以及點(diǎn)的索引。idxdesc給出了Kproj在描述符上最匹配點(diǎn)的索引。

（4）Ih上可能的真實(shí)特征點(diǎn)坐標(biāo)表示為：

從上式可以看出，可能的真實(shí)特征點(diǎn)K′h由Kproj與相匹配的Kh取均值獲得，再對(duì)此進(jìn)行單應(yīng)性變換的逆變換，投射回原圖上，獲得K′。經(jīng)過(guò)上述步驟后得到的K′、K′h用于計(jì)算損失函數(shù)式（2）。

2.4 描述符損失函數(shù)

描述符部分的損失函數(shù)包括兩個(gè)部分，表示為：

Lwrong的作用恰好相反，目的是使錯(cuò)誤匹配特征點(diǎn)描述符的相似度最小，表示為：

3 雙目視覺(jué)原理

雙目相機(jī)由放置在同一水平線上的兩個(gè)單目相機(jī)組成，根據(jù)物體在左右成像平面上的像素差進(jìn)行深度距離測(cè)量。圖3 為雙目相機(jī)測(cè)距模型，其中b 為雙目相機(jī)的基線，f為相機(jī)焦距。假設(shè)物體的真實(shí)深度為z，距離左相機(jī)光學(xué)中心的距離為x，物體在左右相機(jī)成像平面上投影后的距離XL、XR 分別表示為：

獲得XL、XR 后即可計(jì)算視差，進(jìn)而計(jì)算深度，表示為：

式中，disp=XL-XR。通過(guò)式（13）即可得到物體與相機(jī)平面間的距離z。

Fig.3 Binocular camera ranging model圖3 雙目相機(jī)測(cè)距模型

4 實(shí)驗(yàn)方法與結(jié)果分析

4.1 特征提取網(wǎng)絡(luò)實(shí)驗(yàn)搭建

使用PyTorch 框架搭建本文網(wǎng)絡(luò)模型，訓(xùn)練時(shí)采用的優(yōu)化算法為AdamW［18］，學(xué)習(xí)率為0.000 5，數(shù)據(jù)集為MSCOCO［19］。將訓(xùn)練集轉(zhuǎn)換為灰度圖，圖片大小縮放為256×256，同時(shí)將尺度變換、旋轉(zhuǎn)變換和透視變換相結(jié)合，構(gòu)成隨機(jī)的單應(yīng)性變換。實(shí)驗(yàn)硬件平臺(tái)為Intel Core i7-8700 3.2GHz CPU，NVIDIA RTX 2080 GPU，操作系統(tǒng)為64 位Windows10。評(píng)價(jià)數(shù)據(jù)集為KITTI 雙目數(shù)據(jù)集［20］，包括stereo2012 和stereo2015 兩部分。評(píng)價(jià)指標(biāo)為重復(fù)性（Repeatability）和匹配度（Matching Score）。評(píng)價(jià)時(shí)需要設(shè)置正確匹配閾值?，? 越小表示對(duì)特征點(diǎn)是否匹配的判斷越嚴(yán)格，本次實(shí)驗(yàn)將? 設(shè)為1px。

4.2 特征提取網(wǎng)絡(luò)評(píng)價(jià)

選取兩個(gè)傳統(tǒng)圖像特征提取方法SIFT 和ORB，以及基于深度學(xué)習(xí)的Superpoint 算法，與本文模型進(jìn)行性能比較，結(jié)果如圖4（彩圖掃OSID 碼可見(jiàn)，下同）所示。

Fig.4 Matching result圖4 匹配結(jié)果

通過(guò)重復(fù)性指標(biāo)評(píng)價(jià)各模型在相同條件下圖像特征提取結(jié)果的相似程度，結(jié)果如表1 所示。本文算法在重復(fù)性的表現(xiàn)上優(yōu)于Superpoint，與SIFT 持平，但不及ORB 算法。原因可能是ORB 算法提取的特征點(diǎn)往往十分稀疏，但在提高可重復(fù)性的同時(shí)降低了挖掘特征點(diǎn)的能力，這點(diǎn)在圖4 中可以看出。

使用匹配度評(píng)價(jià)各模型的特征點(diǎn)不變性和辨別力，結(jié)果如表2 所示。可以看出，本文算法的匹配性能優(yōu)于其余3種算法，提取到的特征點(diǎn)十分可靠，具有良好的不變性，為后續(xù)計(jì)算視差與深度奠定了基礎(chǔ)。

Table 1 Repeatability compaison of different methods表1 不同算法重復(fù)性比較

Table 2 Matching score comparison of different methods表2 不同算法匹配度比較

4.3 雙目視覺(jué)測(cè)距實(shí)驗(yàn)搭建

雙目視覺(jué)測(cè)距實(shí)驗(yàn)流程包括相機(jī)標(biāo)定、圖像預(yù)處理、特征匹配、計(jì)算視差等。實(shí)驗(yàn)選用的雙目相機(jī)型號(hào)為HBV-1780-2，設(shè)備與實(shí)驗(yàn)環(huán)境如圖5 所示，白色的點(diǎn)即為提取出的可用于計(jì)算視差的特征點(diǎn)。

Fig.5 Instrument and measuring environment圖5 設(shè)備與實(shí)驗(yàn)環(huán)境

相機(jī)的標(biāo)定至關(guān)重要，目的是建立相機(jī)的像素坐標(biāo)與空間真實(shí)坐標(biāo)之間的關(guān)系，確定相機(jī)內(nèi)參（焦距、扭曲因子、主點(diǎn)位置）和外參（平移矩陣、旋轉(zhuǎn)矩陣）。本文使用張正友標(biāo)定法進(jìn)行標(biāo)定［21］，標(biāo)定板使用11×8的黑白棋盤(pán)格，單元格邊長(zhǎng)為15mm。使用MATLAB 完成相機(jī)標(biāo)定，基線距離為117.645 2mm，其余參數(shù)如表3、表4 所示。

Table 3 Internal parameters of the binocular camera表3 雙目相機(jī)內(nèi)參

Table 4 External parameters of the binocular camera表4 雙目相機(jī)外參

4.4 雙目視覺(jué)測(cè)距算法評(píng)價(jià)

設(shè)計(jì)試驗(yàn)比較本文方法與其余兩種方法的性能：方法一為基于優(yōu)化SURF 特征點(diǎn)的深度測(cè)距法，采用FLANN 算法與PROSAC 算法對(duì)提取到的SURF 特征點(diǎn)進(jìn)行去誤；方法二為基于AnyNet的立體匹配網(wǎng)絡(luò)。硬件環(huán)境準(zhǔn)備完成后，在真實(shí)距離20～150cm的范圍內(nèi)，通過(guò)測(cè)量目標(biāo)物體與相機(jī)間的距離，得到3 種方法的精度。其中，AnyNet 算法從生成的視差圖中直接讀取深度信息，本文方法和SURF 需要對(duì)匹配完成的特征點(diǎn)計(jì)算視差，并通過(guò)相機(jī)標(biāo)定得到的參數(shù)將視差轉(zhuǎn)換為真實(shí)深度值。表5 為3 種算法的測(cè)距精度比較。

Table 5 Measuring accuracy comparison表5 測(cè)距精度比較

從表5 可以看出，在20～150cm的范圍內(nèi)，本文方法的平均絕對(duì)誤差為0.58%，SURF 為1.22%，AnyNet 為1.46%。實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)，在50cm 以內(nèi)的距離，采用SURF 方法提取到的特征點(diǎn)數(shù)量較少，再經(jīng)過(guò)一系列去誤后導(dǎo)致可用于計(jì)算的特征點(diǎn)數(shù)量不足，誤差較大。AnyNet 方法在近距離內(nèi)的表現(xiàn)優(yōu)秀，但隨著測(cè)量距離增大，誤差變化明顯，在大于120cm的距離上已經(jīng)無(wú)法滿足測(cè)距要求。相比之下，本文特征提取網(wǎng)絡(luò)能夠提供穩(wěn)定的特征點(diǎn)數(shù)量，且誤匹配現(xiàn)象較少。結(jié)果表明，本文方法在雙目測(cè)距中有較好的精度與魯棒性。

5 結(jié)語(yǔ)

本文提出一種自監(jiān)督學(xué)習(xí)的圖像特征提取網(wǎng)絡(luò)模型，并將其應(yīng)用于雙目視覺(jué)測(cè)距中。該模型以編碼—解碼的構(gòu)造以及單應(yīng)性變化的方式從圖片集中學(xué)習(xí)特征點(diǎn)提取的功能，其在KITTI 數(shù)據(jù)集上的表現(xiàn)優(yōu)于一些常用測(cè)距方法。同時(shí)，在雙目測(cè)距實(shí)驗(yàn)中，本文方法具有較高的精度與魯棒性，在20～150cm的范圍內(nèi)平均誤差為0.58%。后續(xù)將考慮優(yōu)化整個(gè)網(wǎng)絡(luò)模型性能以提高訓(xùn)練效率，并在保證特征點(diǎn)匹配精度的同時(shí)減少網(wǎng)絡(luò)參數(shù)量，以提高模型運(yùn)行速度。