基于語(yǔ)義特征的視覺(jué)定位研究

張夢(mèng)珠 黃勁松

1武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢，430079

視覺(jué)定位的基本流程一般包含特征提取、特征匹配及運(yùn)動(dòng)估計(jì)等步驟，其中，傳統(tǒng)方法中特征提取是提取圖像的角點(diǎn)特征，如SIFT特征點(diǎn)、ORB特征點(diǎn)等。然而這種基于角點(diǎn)特征的定位方式存在一定的局限性，一方面，有些角點(diǎn)特征容易受到視角、光照等因素的影響，導(dǎo)致在某些場(chǎng)景下不可用。另一方面，角點(diǎn)這種像素級(jí)的特征缺乏對(duì)場(chǎng)景的理解，很難與人類和現(xiàn)有地圖進(jìn)行交互。

所謂語(yǔ)義，就是將低級(jí)特征進(jìn)一步歸納組織，達(dá)到人所理解的分類層面。語(yǔ)義特征相較于角點(diǎn)特征更接近人類認(rèn)知世界的方式，語(yǔ)義在圖像認(rèn)知、環(huán)境感知和定位領(lǐng)域已經(jīng)越來(lái)越得到重視。為了獲取更加豐富的環(huán)境信息，在SLAM（simultaneous localization and mapping）技術(shù)上增加語(yǔ)義的理解顯得尤為重要，相較于典型的低級(jí)特征，語(yǔ)義特征能夠更好的表示所處的環(huán)境是什么，環(huán)境中包含哪些物體。

近年來(lái)，隨著深度學(xué)習(xí)與計(jì)算機(jī)硬件的迅速發(fā)展，目標(biāo)檢測(cè)與深度學(xué)習(xí)的結(jié)合，物體識(shí)別和分割的可用性不斷提高，語(yǔ)義特征的提取不再遙不可及。目前典型的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)，有以YOLO系列［1-3］為代表的One-stage方法和以Faster RCNN系列［4-7］為代表的Two-Stage方法。隨著優(yōu)秀語(yǔ)義信息提取框架的不斷涌現(xiàn)，語(yǔ)義特征在定位中也有許多嘗試，不斷有研究用語(yǔ)義信息來(lái)優(yōu)化傳統(tǒng)的SLAM。文 獻(xiàn)［8］中SalientDSO在DSO（direct sparse odometry）基礎(chǔ)上利用語(yǔ)義信息來(lái)調(diào)整選取特征點(diǎn)的權(quán)重，文獻(xiàn)［9］中利用語(yǔ)義信息選擇具有更大信息量的特征點(diǎn)。除了利用語(yǔ)義信息改進(jìn)特征點(diǎn)選取策略的研究，利用語(yǔ)義信息來(lái)去除動(dòng)態(tài)點(diǎn)的干擾、閉環(huán)檢測(cè)等的研究也不斷涌現(xiàn)［10-13］。

語(yǔ)義信息在建圖中也有很多應(yīng)用，早期的SLAM++是將物體識(shí)別與基于尺度不變特征變換（scale invariant feature transform，SIFT）特征點(diǎn)的視覺(jué)定位結(jié)合［14］，利用SIFT特征點(diǎn)識(shí)別物體，然后生成局部語(yǔ)義地圖。后來(lái)Fioraio等［15］將3D物體的識(shí)別加入到SLAM構(gòu)建的地圖中。在原本SLAM建圖的基礎(chǔ)上加入語(yǔ)義信息的方案在逐步完善［16-20］。然而，在目前常見(jiàn)的地圖中，存儲(chǔ)傳統(tǒng)SLAM中特征點(diǎn)的代價(jià)是巨大的。因此，本文提出一種基于語(yǔ)義特征的視覺(jué)定位方法，通過(guò)語(yǔ)義特征和地圖實(shí)現(xiàn)定位。

1 語(yǔ)義定位的基本原理

1.1 系統(tǒng)概述

本文基于語(yǔ)義特征的視覺(jué)定位的系統(tǒng)流程圖如圖1所示。首先，在對(duì)采集的圖像進(jìn)行預(yù)處理后，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，使其能提取訓(xùn)練過(guò)的語(yǔ)義特征，并利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)圖像中的靜態(tài)語(yǔ)義特征的提取，得到圖像中包含的語(yǔ)義及其在圖像中的位置；然后，根據(jù)視覺(jué)幾何原理恢復(fù)圖像中語(yǔ)義的點(diǎn)云，并進(jìn)一步恢復(fù)其幾何模型以確定語(yǔ)義特征的位置；最后結(jié)合語(yǔ)義地圖，對(duì)語(yǔ)義特征進(jìn)行匹配，從而實(shí)現(xiàn)定位。

圖1 語(yǔ)義特征定位算法流程圖Fig.1 Flow Chart of Localization Algorithm Based on Semantic Characteristics

1.2 提取語(yǔ)義特征

對(duì)于一幅圖像，人類的視覺(jué)系統(tǒng)可以直接將圖像內(nèi)容識(shí)別為語(yǔ)義對(duì)象，而計(jì)算機(jī)則是以底層的像素特征為依據(jù)，即計(jì)算機(jī)中對(duì)圖像的存儲(chǔ)是以像素為單位的矩陣形式。圖像的語(yǔ)義特征即圖像中包含的物體對(duì)象，提取語(yǔ)義特征，即識(shí)別圖像中的語(yǔ)義并確定其在圖像中的位置。本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行語(yǔ)義特征的提取，選取實(shí)現(xiàn)效果和計(jì)算效率比較理想的YOLOv3目標(biāo)檢測(cè)算法作為語(yǔ)義特征提取的方案。

圖2是YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)框架圖，圖像通過(guò)該網(wǎng)絡(luò)可一步實(shí)現(xiàn)對(duì)圖像中目標(biāo)的識(shí)別及目標(biāo)預(yù)測(cè)框位置的確定。這種算法的主要特點(diǎn)有兩點(diǎn)：①采用Darknet-53這種層數(shù)較多的卷積神經(jīng)網(wǎng)絡(luò)做為特征提取網(wǎng)絡(luò)，通過(guò)有效訓(xùn)練能較好地提取出想要的特征。②分別在3個(gè)尺度上進(jìn)行目標(biāo)檢測(cè)，能夠更加準(zhǔn)確地檢測(cè)出目標(biāo)。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network Structure Diagram

1.3 語(yǔ)義特征位置確定

在基于傳統(tǒng)像素級(jí)的角點(diǎn)特征的視覺(jué)定位中，完成特征點(diǎn)的檢測(cè)后特征點(diǎn)的位置就相當(dāng)于已經(jīng)確定了，這時(shí)特征的位置即為其像素坐標(biāo)，因而可直接進(jìn)入匹配定位的過(guò)程，而語(yǔ)義特征則不然。通過(guò)提取語(yǔ)義特征已經(jīng)檢測(cè)出圖像中的語(yǔ)義特征在圖像中的位置，但是檢測(cè)出的語(yǔ)義是以矩形框的形式表示其在圖像中的位置，而矩形框中包含許許多多的像素點(diǎn)，為了更好地描述語(yǔ)義特征的位置并實(shí)現(xiàn)和已知地圖的結(jié)合，本文提出一種基于點(diǎn)云確定幾何模型的策略來(lái)確定語(yǔ)義特征的位置，首先對(duì)于檢測(cè)出的每個(gè)語(yǔ)義特征均進(jìn)行點(diǎn)云的恢復(fù)并判斷其幾何模型，然后計(jì)算模型參數(shù)，最后確定出位置坐標(biāo)。

在針孔相機(jī)下，空間一點(diǎn)P映射到圖像平面上一點(diǎn)P1，其幾何投影模型如圖3所示。

圖3 幾何投影示意圖Fig.3 Geometric Projection Diagram

根據(jù)幾何關(guān)系可知：

在深度相機(jī)中，深度圖中的深度即為相機(jī)坐標(biāo)系下Z軸的坐標(biāo)。而對(duì)于雙目相機(jī)，首先需要獲取視差圖，本文使用運(yùn)算速度較快的BM（block matching）算法進(jìn)行雙目匹配，從而獲取雙目的視差圖，然后根據(jù)式（2）求得Z坐標(biāo)。

式中，b是雙目相機(jī)的基線長(zhǎng)；D為雙目的視差。上述過(guò)程描述了如何恢復(fù)圖像中一個(gè)像素點(diǎn)對(duì)應(yīng)的相機(jī)坐標(biāo)，對(duì)于一個(gè)完整的語(yǔ)義特征，只需根據(jù)目標(biāo)檢測(cè)中得到的語(yǔ)義特征在圖像中的所有點(diǎn)的像素坐標(biāo)即可恢復(fù)出語(yǔ)義特征的點(diǎn)云。

在恢復(fù)的點(diǎn)云中，可能包含了少部分并非是目標(biāo)上的點(diǎn)，若直接根據(jù)所有點(diǎn)最小二乘來(lái)擬合語(yǔ)義的幾何模型，這些噪聲點(diǎn)可能會(huì)影響幾何模型計(jì)算的效果，因此本文采用隨機(jī)抽樣一致算法（random sample consensus，RANSAC）來(lái)求解語(yǔ)義特征對(duì)應(yīng)的幾何模型。其基本思想是隨機(jī)抽取若干樣本計(jì)算模型，判斷模型對(duì)樣本數(shù)據(jù)的符合情況，不斷迭代直至計(jì)算出合適的模型。

已知點(diǎn)云圖集，求解幾何模型表達(dá)式算法的具體步驟如下：

1）隨機(jī)選取若干點(diǎn)集Ji，根據(jù)這些點(diǎn)集計(jì)算模型M i；

2）根據(jù)距離判斷模型M i對(duì)點(diǎn)云中所有點(diǎn)的符合情況，DisP＜Threshoid；P符合M i；

3）如果有足夠的點(diǎn)符合該模型，則采用該模型，否則重新選取點(diǎn)，重復(fù)步驟1）～步驟2）過(guò)程，直至找到合適模型或到達(dá)最大迭代次數(shù)。

上述基于RANSAC的求解幾何模型步驟中，隨機(jī)選取點(diǎn)的個(gè)數(shù)與模型相關(guān)，模型最少需要多少點(diǎn)能唯一確定就選取多少個(gè)點(diǎn)進(jìn)行求解，如平面需要不共線的3個(gè)點(diǎn)，直線則需要不同的兩個(gè)點(diǎn)確定。

如圖4所示，為圖像中語(yǔ)義特征（顯示器）經(jīng)過(guò)目標(biāo)檢測(cè)、恢復(fù)點(diǎn)云、求解平面模型的過(guò)程，其中紅色的平面為確定出的平面模型。

圖4 幾何恢復(fù)過(guò)程Fig.4 Flow Chart of the Geometric Recovery

圖5為將點(diǎn)狀語(yǔ)義（植物）恢復(fù)點(diǎn)云，垂直投影到二維平面，然后根據(jù)上述算法選取參考點(diǎn)的過(guò)程，圖5中紅色點(diǎn)為最終確定的語(yǔ)義特征的位置?？梢?jiàn)該算法可有效地提取語(yǔ)義特征的位置，并且具有一定的魯棒性，不會(huì)受少量噪聲點(diǎn)的影響，因此本文選用此算法。

圖5 參考點(diǎn)選取過(guò)程Fig.5 Reference Point Selection

1.4 匹配及定位

通過(guò)上述語(yǔ)義特征的提取，已經(jīng)得到當(dāng)前位置圖像中的語(yǔ)義信息，具體包含其幾何模型、語(yǔ)義類型及位置坐標(biāo)信息，接下來(lái)需要結(jié)合地圖中的信息進(jìn)行語(yǔ)義匹配，進(jìn)而求解出當(dāng)前相機(jī)在世界坐標(biāo)系下的位置。

在傳統(tǒng)的三維點(diǎn)云匹配中，常用的匹配算法是迭代最近點(diǎn)（iterative closest point，ICP）［21-23］，其基本思想是：通過(guò)找到兩組點(diǎn)云集合中距離最近的點(diǎn)對(duì)，根據(jù)估計(jì)的變換關(guān)系（R和t）來(lái)計(jì)算距離最近點(diǎn)對(duì)在經(jīng)過(guò)變換之后的誤差，通過(guò)不斷的迭代直至誤差小于某一閾值或者達(dá)到最大迭代次數(shù)，從而確定最終的變換關(guān)系。對(duì)于傳統(tǒng)的具有描述子的特征點(diǎn)來(lái)說(shuō)，可以根據(jù)描述子來(lái)對(duì)點(diǎn)進(jìn)行匹配。而對(duì)于語(yǔ)義特征來(lái)說(shuō)，一方面，這種語(yǔ)義描述信息并非像傳統(tǒng)特征點(diǎn)的描述子那般精細(xì)，傳統(tǒng)特征點(diǎn)的描述子通過(guò)很復(fù)雜的計(jì)算方式來(lái)盡可能使得描述子和特征點(diǎn)幾乎是一一對(duì)應(yīng)的，而語(yǔ)義特征僅以語(yǔ)義特征所對(duì)應(yīng)的物體標(biāo)簽進(jìn)行描述。另一方面，其點(diǎn)不僅具有位置信息，還具有語(yǔ)義描述信息。因此，本文提出采用考慮語(yǔ)義約束的ICP算法，使用圖像中的語(yǔ)義點(diǎn)坐標(biāo)和地圖中的地物坐標(biāo)即毫無(wú)目的的匹配，也不會(huì)使匹配計(jì)算過(guò)程過(guò)于復(fù)雜。已知圖像中語(yǔ)義點(diǎn)P及其相機(jī)坐標(biāo)，地圖中語(yǔ)義點(diǎn)Q及其世界坐標(biāo)，求解相機(jī)的位姿T的具體步驟如下。

1）求圖像中的各個(gè)點(diǎn)P i在地圖中的最近點(diǎn)Q j兩語(yǔ)義點(diǎn)之間距離公式：

2）將上述Qj看作Pi的對(duì)應(yīng)點(diǎn)，求解轉(zhuǎn)換矩陣T k；

3）重新計(jì)算圖像中的各個(gè)Pi在經(jīng)過(guò)T k轉(zhuǎn)換之后的點(diǎn)，更新賦值給Pi；

4）重復(fù)步驟1）～步驟3）直至迭代次數(shù)或誤差滿足收斂條件。

在將地圖和圖像中的語(yǔ)義點(diǎn)匹配上后，本文采取基于奇異值分解（singular value decomposition，SVD）的方法求解轉(zhuǎn)換矩陣即位姿。若圖像中的語(yǔ)義點(diǎn)P i和地圖中的語(yǔ)義點(diǎn)Q j相互匹配即為同一語(yǔ)義點(diǎn)，則其坐標(biāo)應(yīng)該滿足P i=RQ j+t，問(wèn)題可轉(zhuǎn)化為求合適的R、t，使得點(diǎn)集P經(jīng)過(guò)R、t的旋轉(zhuǎn)平移后距離其匹配點(diǎn)集Q的距離最小，即：

對(duì)式（3）關(guān)于t求導(dǎo)，逐步化簡(jiǎn)最終可求得R和t，如式（4）～式（6）所示，其中H為點(diǎn)集P和Q之間的協(xié)方差矩陣，和為點(diǎn)集P和Q的中心點(diǎn)。

2 實(shí)驗(yàn)及結(jié)論

本文的實(shí)驗(yàn)數(shù)據(jù)選自慕尼黑工業(yè)大學(xué)（Technische Universit?t München，TUM）的Computer Vision Lab公布的RGB-D數(shù)據(jù)集中的一部分。

本文實(shí)驗(yàn)場(chǎng)景為圖6所示的室內(nèi)場(chǎng)景，按照上述中講過(guò)的算法，對(duì)圖像進(jìn)行語(yǔ)義檢測(cè)并恢復(fù)其在二維坐標(biāo)下的坐標(biāo)，然后結(jié)合二維地圖進(jìn)行匹配定位。本文選取用于定位的語(yǔ)義特征在圖6中用矩形框標(biāo)出，選取圖像中“顯示器（Monitor）”垂直投影后的兩個(gè)端點(diǎn)和兩顆“植物（Plant）”作為語(yǔ)義特征點(diǎn)與二維地圖進(jìn)行匹配定位。

圖6 實(shí)驗(yàn)場(chǎng)景Fig.6 Experimental Scene

圖7為圖像中恢復(fù)的語(yǔ)義在二維平面坐標(biāo)系下的坐標(biāo)，這里的二維坐標(biāo)系是以當(dāng)前相機(jī)位置為原點(diǎn)，相機(jī)光軸方向?yàn)閅軸，垂直Y軸水平向右為X軸，其中圓形點(diǎn)為“顯示器”兩個(gè)端點(diǎn)的位置，星形點(diǎn)為“植物”的位置。圖8為在地圖中（世界坐標(biāo)系中）相對(duì)應(yīng)語(yǔ)義特征的位置，其中圖中直線為“顯示器”的位置，閉合的折線為桌子（Table）邊緣位置，圓形點(diǎn)為“植物”的位置。

圖7 語(yǔ)義點(diǎn)位置恢復(fù)Fig.7 Semantic Poinst Position Restoration

圖8 地圖中各目標(biāo)的位置Fig.8 Location of Objects in the Map

實(shí)驗(yàn)定位結(jié)果與真值對(duì)比情況如表1所示，其中，真值是指相機(jī)位置在地圖中真實(shí)的坐標(biāo)，誤差由估計(jì)值減去真值所得。由實(shí)驗(yàn)結(jié)果可見(jiàn)，按照本文方法，通過(guò)提取語(yǔ)義特征，可以利用地圖實(shí)現(xiàn)定位。

表1 定位結(jié)果/mTab.1 Positioning Results/m

3 結(jié)束語(yǔ)

語(yǔ)義特征作為一種更加抽象的特征，彌補(bǔ)了傳統(tǒng)角點(diǎn)特征的不足，并且能更好的表達(dá)周圍環(huán)境。本文將語(yǔ)義特征引入到視覺(jué)定位中，設(shè)計(jì)了語(yǔ)義視覺(jué)定位系統(tǒng)的框架組成，從視覺(jué)圖像出發(fā)，以語(yǔ)義特征為切入點(diǎn)，以語(yǔ)義地圖為依據(jù)，實(shí)現(xiàn)對(duì)相機(jī)位置的確定。針對(duì)語(yǔ)義特征位置確定的問(wèn)題，提出了一套行之有效的方案，針對(duì)語(yǔ)義特征的匹配問(wèn)題，提出一種適用于本文的有效的匹配算法。最后實(shí)現(xiàn)本文所提算法，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其可行性。