視覺(jué)SLAM 低照度圖像自適應(yīng)增強(qiáng)算法研究

王一波，婁伯韜，楊玉華，李 興

（柳州工學(xué)院 信息科學(xué)與工程學(xué)院，廣西 柳州 545616）

0 引 言

視 覺(jué)SLAM（Simultaneous Localization and Mapping,SLAM）成本低、紋理信息豐富、場(chǎng)景辨識(shí)能力強(qiáng)，始終是自主移動(dòng)定位研究的熱點(diǎn)，近年也出現(xiàn)了諸如Mono[1]、PTAM[2]、ORBSLAM[3]、SVO[4]、LSD-SLAM[5]、ORBSLAM2[6]等成熟的技術(shù)框架，在室內(nèi)移動(dòng)機(jī)器人、自動(dòng)駕駛、無(wú)人機(jī)等領(lǐng)域得到應(yīng)用。但視覺(jué)SLAM 受光照影響較大，已公布的成熟解決方案基本都是在比較理想的光照條件下實(shí)施，考慮到低光照因素較為常見(jiàn)且難以避免，例如陰天、夜晚等場(chǎng)景，為此通過(guò)對(duì)低照度圖像進(jìn)行增強(qiáng)，提升視覺(jué)SLAM 的魯棒性能是較為合理的技術(shù)路徑。當(dāng)前，對(duì)于靜態(tài)低照度圖像（如醫(yī)學(xué)、遙感等）的增強(qiáng)技術(shù)已比較成熟，大致分為三類：基于分布映射的方法、基于模型優(yōu)化的方法和基于深度學(xué)習(xí)的方法?；诜植加成涞姆椒▽儆趥鹘y(tǒng)處理方法，處理速度較快，但精度較低；基于模型優(yōu)化方法的核心在于以物理成像規(guī)律導(dǎo)出的數(shù)據(jù)項(xiàng)作為基本成分，但由于物理成像模型缺乏普適性，已成熟的方案難以進(jìn)行有效拓展；深度學(xué)習(xí)方法則有賴于大量數(shù)據(jù)的驅(qū)動(dòng)，應(yīng)用過(guò)程中占用資源較多，雖然處理精度最高，但耗時(shí)較長(zhǎng)[7]。綜合來(lái)看，基于傳統(tǒng)的低照度圖像增強(qiáng)方法處理速度快，更加貼合視覺(jué)SLAM 對(duì)實(shí)時(shí)性的要求。低光照下，圖像受到的干擾較大，增強(qiáng)處理的關(guān)鍵在于：一是盡可能保留圖像細(xì)節(jié)信息；二是最大限度限制噪聲。本文將采用頻域與空間域相結(jié)合的思路，通過(guò)自適應(yīng)參數(shù)調(diào)節(jié)，滿足多種光照條件下的應(yīng)用需求。

1 ORB-SLAM 基本原理

視覺(jué)SLAM 通過(guò)傳感器感知周圍環(huán)境來(lái)估計(jì)相機(jī)運(yùn)動(dòng)并建立地圖視覺(jué)，一般包括五部分，即輸入、前端、后端、回環(huán)檢測(cè)、建圖，如圖1 所示。

圖1 視覺(jué)SLAM 基本框架

輸入端采集外部環(huán)境數(shù)據(jù)，為連續(xù)的圖像幀序列；后端優(yōu)化需根據(jù)前端得出的初步位姿做整體優(yōu)化，保證位姿的準(zhǔn)確性和地圖的全局一致性；建圖即構(gòu)建周圍環(huán)境地圖，根據(jù)應(yīng)用環(huán)境，其可分為二維柵格地圖、三維點(diǎn)云地圖、語(yǔ)義地圖。前端即視覺(jué)里程計(jì)，是視覺(jué)SLAM 的核心，其通過(guò)攝像機(jī)獲取周圍環(huán)境圖像信息，通過(guò)對(duì)圖像進(jìn)行預(yù)處理及特征提取，實(shí)現(xiàn)相鄰幀的數(shù)據(jù)關(guān)聯(lián)，基于多視幾何的原理解算相機(jī)的位姿并估計(jì)地圖點(diǎn)的空間位置。當(dāng)環(huán)境光照較低時(shí)，特征提取精度將受到極大影響，為此需進(jìn)行圖像增強(qiáng)處理。

2 低照度圖像增強(qiáng)算法

2.1 同態(tài)濾波增強(qiáng)處理

按照Retinex 理論[8]，視覺(jué)SLAM 過(guò)程采集圖像可以分解為入射圖像I(x,y)、反射圖像R(x,y)及噪聲圖像N(x,y)，其中：I(x,y)表示環(huán)境照明，變化緩慢，代表低頻成分；R(x,y)反映事物本身特性，與光照無(wú)關(guān)，一般變化較快，代表高頻成分；N(x,y)表示成像過(guò)程中的環(huán)境干擾，光照條件較好的情況下可以忽略，而對(duì)于低照度環(huán)境，此項(xiàng)在建模過(guò)程中應(yīng)予考慮。因此，成像過(guò)程模型如下：

由于N(x,y)隨機(jī)性帶來(lái)的處理復(fù)雜性，在初始濾波中，暫且不做考慮，后續(xù)處理過(guò)程中進(jìn)行補(bǔ)償處理，上述模型可簡(jiǎn)化為：

低照度條件下，視覺(jué)SLAM 所采集圖像通常因感興趣部分由于光照不均勻無(wú)法辨認(rèn)細(xì)節(jié)，從而導(dǎo)致后續(xù)圖像特征提取誤差較大。因此，視覺(jué)SLAM 低照度圖像增強(qiáng)根本目的在于濾除圖像中的低頻成分，提高圖像的對(duì)比度。通過(guò)比較，本文選取保留圖像細(xì)節(jié)較好的同態(tài)濾波算法，其原理如下：

式中：γH為高頻系數(shù)，γL為低頻系數(shù)，當(dāng)γH＞1，γL＜1 時(shí)，可衰減低頻成分，保留高頻細(xì)節(jié)；c為控制濾波函數(shù)的坡度；D(u,v)、D0分別表示頻率中心及截止頻率，D0控制低頻濾除的效果，其越大，表示低頻成分濾除越多。

通常情況下，視覺(jué)SLAM 采集彩色圖像，同態(tài)濾波增強(qiáng)前須轉(zhuǎn)化為灰度圖像，在此使用普遍認(rèn)可的轉(zhuǎn)化公式：

式中：Grey 表示轉(zhuǎn)化得到的灰度圖像；R、G、B表示彩色圖像的紅、綠、藍(lán)3 圖層。

選取一幅低照度圖像進(jìn)行同態(tài)濾波增強(qiáng)，通過(guò)調(diào)節(jié)γH、γL發(fā)現(xiàn)，當(dāng)γH取值在0.5 附近，而γL取值在0.2 附近時(shí)，以上系數(shù)對(duì)于濾波影響不大。在此，c分別取0.1、0.5 和1，濾波效果如圖2 所示。

圖2 不同c 取值濾波比較

由圖2 可以發(fā)現(xiàn)，c取值對(duì)圖像整體增強(qiáng)效果影響較小，取值越大，對(duì)比度越高，為此，在接下來(lái)的處理中c取1，D0分別取20、60 及100 進(jìn)行處理，結(jié)果如圖3 所示。

圖3 不同D0 取值濾波比較

由圖3 可知，D0對(duì)于濾波效果影響較大，且其不存在適用于所有低照度圖像的最佳值，應(yīng)根據(jù)圖像特性進(jìn)行針對(duì)性選取。同時(shí)，直接對(duì)由彩色圖像轉(zhuǎn)化得到的灰度圖像進(jìn)行處理，其細(xì)節(jié)保留較完整，但有明顯的塊效應(yīng)，噪聲處理不甚理想。

2.2 自適應(yīng)同態(tài)濾波

D0與原始圖像對(duì)比度和平均亮度有著較強(qiáng)的相關(guān)性，對(duì)比度較低的圖像，D0越小越好，而對(duì)比度較高的圖像，D0越大越好；平均亮度較高的圖像，說(shuō)明低照度占比相對(duì)較低，D0越大，則整體動(dòng)態(tài)拉升加大，效果較好。為此，初步定義：

式中：CM表示原圖像對(duì)比度，是對(duì)圖像中明暗區(qū)域最亮與最暗之間不同亮度層級(jí)的測(cè)量，定義為：

式中：Lavg表示圖像的平均灰度；Dres表示參考截止頻率，在此根據(jù)經(jīng)驗(yàn)選取20。

D0自適應(yīng)取值濾波結(jié)果如圖4 所示。

圖4 D0 自適應(yīng)取值濾波

可以看出，圖4（a）中D0=5，圖4（c）中D0=2，圖像都得到了較好的增強(qiáng)，但圖像中有比較明顯的色塊?？紤]以上對(duì)比度是一種全局特性，未能體現(xiàn)圖像細(xì)節(jié)的變化，在此使用圖像梯度替代對(duì)比度，則式（5）變?yōu)椋?/p>

式中：Gagv表示圖像平均梯度，在此選用Sobel 算子進(jìn)行梯度計(jì)算。再次對(duì)圖4（a）、圖4（c）進(jìn)行處理，結(jié)果如圖5所示。

圖5 改進(jìn)D0 自適應(yīng)取值濾波

由此可知，借助平均梯度自適應(yīng)濾波，低照度圖像內(nèi)容得以恢復(fù)到人眼可辨認(rèn)的程度，細(xì)節(jié)得到更好的保留，但在增強(qiáng)過(guò)程中，噪聲也被相應(yīng)放大，必須做進(jìn)一步處理。

2.3 基于圖像分解改進(jìn)

通過(guò)使用自適應(yīng)參數(shù)算法，進(jìn)一步提升了細(xì)節(jié)的增強(qiáng)效果，但噪聲問(wèn)題尚未得到較好解決。為此，本文選用均值濾波算法對(duì)圖5（b）、圖5（d）進(jìn)行處理，結(jié)果如圖6 所示。

圖6 均值濾波

由圖6 看出，噪聲雖然得到了較好抑制，但圖像出現(xiàn)細(xì)節(jié)丟失現(xiàn)象，這對(duì)于視覺(jué)SLAM 應(yīng)用而言不可接受。

彩色圖像通常使用RGB 色彩空間表達(dá)，R、G、B 三個(gè)圖層都含有原始圖像的細(xì)節(jié)信息，考慮一般情況下，圖像的干擾為高斯噪聲，可通過(guò)多幅圖像平均進(jìn)行有效抑制。假設(shè)原始彩色圖像分解后的R、G、B 圖層受到相同分布的隨機(jī)噪聲干擾，可對(duì)上述算法進(jìn)行改進(jìn)：分解圖像；求取3 圖層的均值并做歸一化處理；自適應(yīng)同態(tài)化濾波。圖4（a）、圖4（c）經(jīng)上述算法處理后的結(jié)果如圖7 所示。

圖7 RGB 分解算法處理

3 實(shí)驗(yàn)分析

為驗(yàn)證本文提出的自適應(yīng)增強(qiáng)算法的可靠性，選取2 幅不同光照條件下的連續(xù)場(chǎng)景圖像進(jìn)行處理，并且將其與當(dāng)前流行的深度學(xué)習(xí)算法進(jìn)行比較，結(jié)果如圖8 所示。

圖8 低照度圖像處理比較

可以看出，在光照允許的范圍內(nèi)，同態(tài)濾波自適應(yīng)算法與深度學(xué)習(xí)算法效果相當(dāng)，但在細(xì)節(jié)保留方面稍差；而當(dāng)照度低到某種條件時(shí)，同態(tài)自適應(yīng)濾波算法增強(qiáng)效果有限，同時(shí)特征點(diǎn)提取出現(xiàn)錯(cuò)誤，而深度學(xué)習(xí)算法增強(qiáng)效果較好，特征點(diǎn)檢測(cè)準(zhǔn)確率也較高；但在照度特別低時(shí)，兩種算法同時(shí)失效。深度學(xué)習(xí)算法處理精度較高，但耗時(shí)過(guò)長(zhǎng)，難以滿足視覺(jué)SLAM 的實(shí)時(shí)要求，自適應(yīng)同態(tài)濾波算法在照度較低的情況下，基本可以滿足特征檢測(cè)的需求，同時(shí)處理時(shí)間較短，符合SLAM 動(dòng)態(tài)檢測(cè)要求[9-10]。

為驗(yàn)證本文提出的自適應(yīng)同態(tài)濾波算法，采集1 組相同光照條件下2 幀連續(xù)場(chǎng)景圖像進(jìn)行處理。其次，對(duì)處理前后的圖像分別進(jìn)行ORB 特征點(diǎn)檢測(cè)，結(jié)果如圖9 所示。

圖9 低照度圖像處理比較

由圖9 可知，未處理圖像特征點(diǎn)提取數(shù)量較多，但錯(cuò)誤匹配也相對(duì)較多；而經(jīng)同態(tài)濾波算法處理后圖像正確檢測(cè)出了特征點(diǎn)，并且匹配無(wú)誤。

4 結(jié) 語(yǔ)

本文針對(duì)視覺(jué)SLAM 存在的低光照運(yùn)行不穩(wěn)定問(wèn)題，對(duì)于實(shí)時(shí)低照度圖像增強(qiáng)進(jìn)行了研究，在傳統(tǒng)的同態(tài)濾波算法基礎(chǔ)上，提出了低照度條件下圖像自適應(yīng)增強(qiáng)算法。經(jīng)實(shí)驗(yàn)驗(yàn)證，算法得到的增強(qiáng)圖像細(xì)節(jié)豐富，降低了圖像失真度，避免了偽影現(xiàn)象的出現(xiàn)，提高了圖像質(zhì)量，雖然無(wú)法達(dá)到基于深度學(xué)習(xí)算法增強(qiáng)的精細(xì)程度，但已基本可以滿足視覺(jué)SLAM 的應(yīng)用需求。今后，將圍繞復(fù)雜光照條件下的圖像質(zhì)量改善展開(kāi)進(jìn)一步研究。