視覺SLAM失效機(jī)理及檢測研究

王一波，胡家俊，蔡洪煒，趙 云

（柳州工學(xué)院，廣西 柳州 545616）

0 引 言

同時(shí)定位與地圖構(gòu)建（Simultaneous Localization And Mapping，簡稱SLAM），通常是指在機(jī)器人或者其他載體上，通過對各種傳感器數(shù)據(jù)進(jìn)行采集和計(jì)算，生成對其自身位置姿態(tài)的定位和場景地圖信息的系統(tǒng)，其在智能機(jī)器人走向方面的應(yīng)用發(fā)揮著關(guān)鍵作用。當(dāng)前，主流SLAM技術(shù)分為激光和視覺兩大類，激光SLAM算法簡單，但成本相對較高，應(yīng)用具有一定局限性。視覺SLAM利用攝像機(jī)（單目、雙目或者RGBD）可以從環(huán)境中獲取海量的、富于冗余的紋理信息，擁有超強(qiáng)的場景辨識能力，將成為今后技術(shù)發(fā)展的主要趨勢。當(dāng)機(jī)器人運(yùn)動或者環(huán)境條件過于具有挑戰(zhàn)性時(shí)（比如機(jī)器人快速運(yùn)動，高度動態(tài)的環(huán)境），視覺SLAM系統(tǒng)將會出現(xiàn)無法定位和建圖的失效情形，這對于未來無人系統(tǒng)越來越苛刻的應(yīng)用需求無疑是重大難題。而從系統(tǒng)狀態(tài)估計(jì)的角度認(rèn)識視覺SLAM系統(tǒng)失效的本質(zhì)，從機(jī)理上認(rèn)清失效的原因，從而有針對性地做出預(yù)防顯得更為重要。本文分析了視覺SLAM的概念，并以此為研究起點(diǎn)，通過對亮度、對比度、清晰度等構(gòu)建模型評價(jià)圖像質(zhì)量，以此檢測失效圖像。

1 視覺SLAM失效定義及機(jī)理分析

1.1 視覺SLAM失效定義

一般視覺SLAM系統(tǒng)失效可分為軟失效和硬失效。

（1）視覺SLAM軟失效

視覺SLAM軟失效：由于視覺SLAM算法未能及時(shí)、有效解析觀測信息，而無法為無人系統(tǒng)提供有效的位姿及地圖反饋。軟失效的一種典型情況是：當(dāng)相機(jī)視角發(fā)生大幅變化時(shí)，相鄰幀之間圖像特征點(diǎn)匹配數(shù)目驟減，而一般的視覺SLAM算法無法從有限的匹配點(diǎn)對中得到有效的位姿變化，引起定位失敗的失效；另一種典型情況是：感知混淆（perceptual aliasing），即對于不同的輸入，傳感器感知到了相同信號的現(xiàn)象，使一般算法建立錯(cuò)誤的觀測-狀態(tài)（measurement-state）匹配關(guān)系（false positive，假陽性），從而導(dǎo)致后端優(yōu)化做出錯(cuò)誤的狀態(tài)估計(jì)。算法如果未對環(huán)境的動態(tài)性（包括短期變化和長期的季節(jié)性變化）進(jìn)行建模，錯(cuò)誤的情況會很嚴(yán)重。軟失效只能通過不斷改進(jìn)算法進(jìn)而提升算法對于環(huán)境的魯棒性來解決。

（2）視覺SLAM硬失效

絕大多數(shù)無人系統(tǒng)都由于其需要反饋數(shù)據(jù)形成閉環(huán)流程，故極其依賴SLAM系統(tǒng)的正常運(yùn)作。而視覺SLAM系統(tǒng)的失效更多是由于傳感器發(fā)生的異?；蝈e(cuò)誤導(dǎo)致。由于視覺傳感器無法提供有效觀測，造成SLAM系統(tǒng)無法繼續(xù)跟蹤機(jī)器人的空間位置、姿態(tài)及建圖，即視覺SLAM硬失效。

1.2 視覺SLAM失效機(jī)理

一般的SLAM系統(tǒng)（包括激光SLAM和視覺SLAM）都是基于不同傳感器回傳數(shù)據(jù)、時(shí)序信息及歷史信息進(jìn)行定位與建圖。傳感器提供的數(shù)據(jù)將是系統(tǒng)能否有效工作的前提，當(dāng)傳感器發(fā)生嚴(yán)重失效時(shí)，無論SLAM算法多么魯棒，也無法對錯(cuò)誤信息或者干擾嚴(yán)重信息做出正確處理，自然也就無法做出正確的狀態(tài)估計(jì)。傳感器的兩種失效情況本質(zhì)上是不同的，可以從概率學(xué)的角度進(jìn)行考察。傳感器失效的本質(zhì)即觀測丟失，系統(tǒng)觀測總是假定包含了被估狀態(tài)或信號的信息，然而由于傳感器失效造成觀測僅包含噪聲或者噪聲占主要比重問題，視覺SLAM算法將以一定的概率利用的信息進(jìn)行定位與建圖。取值為0或1的伯努利白噪聲序列是描述丟失觀測的一種重要方法。假設(shè)系統(tǒng)模型如下：

式中：()∈R是系統(tǒng)狀態(tài)（位姿及標(biāo)志點(diǎn)空間坐標(biāo)）；()∈R是觀測圖像；()∈R表示加性過程噪聲；()∈R表示加性觀測噪聲；∈R和∈R是帶適當(dāng)維數(shù)的已知常矩陣。根據(jù)傳感器的失效分類，()表示某種概率分布，一般可描述為伯努利分布和非伯努利分布兩種。

（1）伯努利分布

()是取值為0或1的伯努利白噪聲，且已知概率為：

當(dāng)()=1時(shí)，觀測()被正常接收；而當(dāng)()=0時(shí)，觀測()=()，僅有噪聲信號被接收，即未包含狀態(tài)()的信息，此時(shí)視覺SLAM完全失效。這種情況即對應(yīng)著傳感器物理損壞，造成無法接收有效信息。

（2）非伯努利分布

當(dāng)()是在區(qū)間[,]上（0≤≤≤1）服從已知概率密度函數(shù)()的非伯努利白噪聲序列時(shí)，觀測中包含部分狀態(tài)()的信息，此時(shí)視覺SLAM部分失效。這種情況則對應(yīng)著部分硬失效，傳感器只能接收部分有效信息，可通過改善視覺SLAM算法來補(bǔ)救，比如通過增加閉環(huán)檢測。

2 視覺SLAM失效檢測算法

2.1 圖像質(zhì)量綜合評價(jià)算法

現(xiàn)在常用的客觀評價(jià)方法分為：MSE和PSNR模型，基于SSM的方法和基于HVS的方法。MSE 和PSNR忽視了圖像的實(shí)際內(nèi)容對人眼的影響，很難與主觀評價(jià)相一致；基于SSM的結(jié)果與圖像的主觀視覺質(zhì)量基本一致，但計(jì)算過程相對復(fù)雜；基于HVS的方法只能依據(jù)一定的假設(shè)前提進(jìn)行，目前對它的認(rèn)知還很有限。無人系統(tǒng)運(yùn)動過程中，掃描單元始終處于一種無約束狀態(tài)，圖像質(zhì)量將受到各種因素的影響。為此，針對圖像的特征，本文將利用客觀評價(jià)方法，建立評價(jià)模型，分別對對比度、亮度、清晰度和信息量做出評價(jià)，最后得到一個(gè)綜合的評價(jià)結(jié)果，作為是否失效的依據(jù)。

（1）對比度評價(jià)

SLAM圖像的對比度受直方圖控制，通常對比度較高的圖像其直方圖分布較寬，理想情況下覆蓋整個(gè)灰度范圍，反之則對比度較低。對比度越高，則越有利于SLAM特征的提取。為此，定義圖像對比度評價(jià)系數(shù)為λ，則其求解如下：

式中：(r)為圖像的歸一化直方圖；r表示第級灰度；n表示灰度級為r的像素個(gè)數(shù)；為圖像像素總數(shù)。

（2）亮度評價(jià)

對于SLAM圖像，過亮或者過暗都不利于后續(xù)特征提取或者匹配，可以基于平均灰度來定義聯(lián)亮度評價(jià)因子λ，則其評價(jià)函數(shù)為：

式中，為圖像像素的平均灰度值，即：

其中，、分別為圖像的行數(shù)和列數(shù)。

（3）清晰度評價(jià)

SLAM圖像同樣會受到模糊的影響，包括離焦模糊和運(yùn)動模糊，前者主要是由鏡頭與周圍物體表面的距離較大變化引起，后者則是由于運(yùn)動劇烈造成。本文選用拉普拉斯算子定義模糊度評價(jià)函數(shù)，其對于離焦模糊和運(yùn)動模糊評價(jià)都有很好的效果。設(shè)其評價(jià)因子為λ，定義如下：

其中，=∑|4(,)-(,-1)-(,+1)-(-1,)-(+1,)|。

（4）總體評價(jià)

在對每個(gè)分項(xiàng)進(jìn)行評價(jià)后，須給出一個(gè)總體的評價(jià)，設(shè)總體評價(jià)得分為，則：

其中，μ、μ、μ分別為3個(gè)評價(jià)分項(xiàng)的權(quán)重系數(shù)。綜合反映了圖像質(zhì)量，決定著該幅圖像是否有效，而權(quán)重系數(shù)的合理取值決定著評價(jià)的科學(xué)性。

2.2 模擬圖像退化系數(shù)求解算法

本文將采用模擬可控退化圖像的方式，確定式（8）中的權(quán)重系數(shù)。視覺SLAM在運(yùn)行過程中，可能存在各種干擾，見表1所列。但各種干擾的出現(xiàn)概率不一，如果單純靠實(shí)驗(yàn)進(jìn)行失效算法驗(yàn)證，則樣本缺乏多樣性，所得結(jié)果缺乏魯棒性，同時(shí)對于失效檢測算法的優(yōu)化也缺少相應(yīng)的數(shù)據(jù)支持。為此，本文將基于退化仿真的手段，對原始標(biāo)準(zhǔn)圖像進(jìn)行加噪、模糊、灰度/對比度變化、位移形變、降采樣等圖像處理，如圖1所示。在此各種處理可任意組合調(diào)用，同時(shí)通過調(diào)整各種處理參數(shù)，實(shí)現(xiàn)由一張圖像生成一批不同退化形式、不同退化程度的圖像數(shù)據(jù)集，實(shí)現(xiàn)干擾工況的充分模擬和數(shù)據(jù)增廣。

表1 常見干擾與算法實(shí)現(xiàn)方法

圖1 圖像退化處理

選用標(biāo)準(zhǔn)的棋盤格圖像分別進(jìn)行加噪、模糊和對比度處理，以目前視覺SLAM常用的ORB角點(diǎn)提取算法作為圖像退化評價(jià)的基準(zhǔn)，定量評價(jià)各種退化處理對ORB角點(diǎn)提取產(chǎn)生的影響，其結(jié)果如圖2所示。

圖2 棋盤格圖像退化對特征提取的影響

由圖中可以看出，圖像退化對于ORB特征的提取都會產(chǎn)生負(fù)面影響，模糊退化對于ORB角點(diǎn)提取的影響最大。本文將以特征檢測錯(cuò)誤率定量描述不同退化產(chǎn)生的影響，具體見表2所列。

表2 圖像退化特征檢測

同時(shí)也可推出，特征檢測錯(cuò)誤率越高說明其對應(yīng)的指標(biāo)權(quán)值越大，錯(cuò)誤率越低說明其對應(yīng)的指標(biāo)權(quán)值越小。這里可根據(jù)角點(diǎn)提取的錯(cuò)誤率確定權(quán)重并進(jìn)行歸一化：

其中：γ、γ、γ分別為亮度、對比度和模糊退化的錯(cuò)誤檢測率；μ表示任意一種評價(jià)指標(biāo)的權(quán)重。通過對不同形變條件下的20幅棋盤格圖像進(jìn)行實(shí)驗(yàn)，分別計(jì)算權(quán)重系數(shù)，最后取均值，結(jié)果見表2所列。以上述圖像為例，設(shè)定允許的錯(cuò)誤率為0.05條件下，通過估計(jì)可得圖像的綜合評價(jià)閾值為2.7，當(dāng)大于該閾值時(shí)，圖像的錯(cuò)誤率將滿足要求，反之則不滿足。對于SLAM而言，在無人駕駛等場景下可靠性要求更高，對于錯(cuò)誤判斷的容忍度更小，為此可通過提高閾值，從而提高判斷正確的指標(biāo)。

3 實(shí)驗(yàn)及分析

本文通過對真實(shí)場景不同程度的退化圖像進(jìn)行評價(jià)，然后對照其ORB提取結(jié)果，以此驗(yàn)證算法的有效性。這里分別采集了一組細(xì)節(jié)程度不同的圖像，并分別對其進(jìn)行亮度、對比度及清晰度退化，如圖3所示。

圖3 單一圖像退化對特征提取的影響

根據(jù)上述圖像對其進(jìn)行綜合評價(jià)，結(jié)果見表3所列，通過與閾值2.7進(jìn)行比較，發(fā)現(xiàn)三種退化都將造成圖像失效，與主觀觀察得出的結(jié)論一致。

表3 簡單場景圖像質(zhì)量評價(jià)

實(shí)際SLAM運(yùn)行過程中，圖像退化往往是幾種退化綜合作用產(chǎn)生的結(jié)果，為此將通過組合各種退化模擬實(shí)際場景，如圖4所示，分別綜合使用了亮度與模糊退化、對比度與模糊退化，前者評價(jià)分值為1.4，后者評價(jià)分值為1.3，二者都低于閾值2.7，算法判定為失效，該結(jié)論與主觀觀察得出的結(jié)論一致。

圖4 綜合圖像退化對特征提取的影響

4 結(jié) 語

基于圖像質(zhì)量評價(jià)的方法重點(diǎn)研究了視覺SLAM失效檢測方法，定義了評價(jià)指標(biāo)體系，應(yīng)用標(biāo)準(zhǔn)棋盤格標(biāo)準(zhǔn)圖像模擬視覺SLAM運(yùn)行過程中可能產(chǎn)生的退化；按照退化對于特征提取的影響程度成正比的關(guān)系，確定了不同指標(biāo)的權(quán)重，根據(jù)閾值方法進(jìn)行失效評判。實(shí)驗(yàn)表明，文中提出的失效檢測算法能夠有效檢測各種退化圖像，并且可以輔助視覺SLAM線上實(shí)時(shí)運(yùn)行，具有穩(wěn)定可靠的特點(diǎn)。今后將繼續(xù)優(yōu)化算法設(shè)計(jì)，不斷提升算法效率。