粗精結合的室內機器人視覺定位方法

唐國棟，方 明,2+，雷立宏

(1.長春理工大學 計算機科學技術學院，吉林 長春 130022；2.長春理工大學 人工智能學院，吉林 長春 130022)

0 引 言

由于室內環(huán)境一般較為復雜，存在建筑物遮擋，行人闖入等情況。因此，移動機器人室內定位技術已逐漸受到關注。

Google公司曾將GPS與Wi-Fi技術相結合[1]，對具體位置進行標記從而實現(xiàn)室內定位；北京航天航空大學的王田苗教授將多傳感器數(shù)據(jù)融合提出了一種基于無線定位的單目視覺定位相結合的傳感器融合室內定位方法[2]；盡管這些方法在室內定位中也有明顯的成效，準確度也較好，但由于相關的儀器設備成本較高、受周邊環(huán)境影響因素較大、部署繁瑣等問題，使在實際應用中會存在諸多困難。因此，基于計算機視覺的定位方法由于其設備成本較低，部署容易，被廣泛重視。

目前，基于機器視覺的室內定位方法主要通過視覺傳感器不斷地獲得更多當前場景的特征，矯正自身的位置與姿態(tài)，并利用圖像中的特征信息來進行場景環(huán)境的定位與建模[3]。但由于視覺傳感器成像過程容易受到光照變化、行人闖入[4]等問題的影響，導致該方法一般精準度不高，這也是現(xiàn)如今視覺室內定位研究的主要難題。為實現(xiàn)低成本高精度的室內定位算法，本文將指紋定位思想引用到視覺定位中。用指紋定位技術來縮小定位范圍，再將定位場景轉移到天花板中進行精確定位，從而避免了周圍環(huán)境變化對定位結果的影響。

1 方 法

如圖1所示，本文方法主要是通過實驗室自制的輪式機器人為搭載平臺。其搭載4個水平方向且視場角均為80°的單目相機及1個朝向正上方且視場角為120°的單目廣角相機。系統(tǒng)的總體工作流程如圖2所示。在預處理工作中獲取圖像信息并生成指紋信息庫。定位工作中，采用由粗匹配到精確定位相結合的方法。在粗匹配中通過測試圖信息與指紋庫中的信息進行匹配來縮小定位范圍，再到精確定位中計算精確的位移及偏轉角度，達到最終定位目的。

圖1 機器人視野

圖2 定位流程

1.1 預處理

首先，通過單目廣角相機，對室內實驗天花板進行圖像采集，同時使用4個單目相機對室內四周環(huán)境進行圖像信息采集。之后，提取圖像中的紋理特征，找到當前圖像的中心點及機器人當前位置記錄下來形成信息庫；在實驗室中進行不同位置的環(huán)境信息采集，用于后期的粗匹配定位。

(1)指紋信息庫生成

對采集到的室內環(huán)境圖像(大小為：640×480)進行灰度化處理；利用分塊的方法將圖像分成8×8平均大小的子塊，通過DCT變換[5,7]和反變換[5]對各子塊進行處理，保留其左上角4×4的系數(shù)，并利用相關系數(shù)組合成新的矩陣，此時，圖像大小縮小為320×240；按固定順序將縮小后的4幅環(huán)境圖拼接成1280×240新矩陣D，通過白化及奇異值分解的方法[5,6]提取出圖像中的特征向量P，起到降低冗余度與降維的目的，最后，令G=PD，得到一個1280×1的全局特征向量G(具體公式推導請參見文獻[5-7])；顯然，每一個位置的4幅圖都可以用一個全局特征描述向量作為指紋信息來表示，多個地點的圖像指紋信息形成指紋信息庫。

(2)天花板信息處理

在室內場景中，由于天花板的結構較為簡單，不會存在物體闖入的情況且不易受干擾，但其特征信息較少，所以需要對其進行圖像信息處理，通過邊緣檢測算法對天花板圖像進行邊緣提取，再通過改進的自適應中值濾波對圖像進行優(yōu)化，從而將測試圖中天花板中的紋理信息提取出來，最后記錄圖像中心點并標記。

1.2 定 位

采用粗匹配定位與精確定位相結合的方法，在粗匹配中縮小定位范圍，再通過精確定位在小范圍內計算位移與偏轉角，完成定位。

(1)粗匹配定位

同生成信息庫的方法類似，對測試圖中的環(huán)境信息圖像生成指紋信息，并與指紋庫中的信息進行對比找到匹配率最高的一組信息作為匹配結果，完成粗匹配定位。

目前特征匹配算法主要面臨著匹配精準度高的方法運行時間較長，運行速度快的匹配算法其穩(wěn)定性差的難題，一般導致這種情況的問題在于鄰域一致性約束的利用，由于稀疏特征的鄰域在定義上十分復雜，一致性特征匹配的計算比較繁瑣。我們選用GMS(grid-based motion statistics for fast)[8]方法，能很好地解決這個問題。其核心思想是憑借運動的平滑性使匹配的特征點鄰域有較多匹配的點，通過計算鄰域的匹配點個數(shù)來判斷一個匹配正確與否。

其實現(xiàn)過程如下：①將待匹配圖像分成20×20網(wǎng)格塊，對每一塊中的特征匹配個數(shù)進行統(tǒng)計，由于許多特征位于網(wǎng)格邊緣，為解決這種情況，采用多次計算來減少誤差，分別在 (x,y) 點及x和y方向上各移動半個單元寬度的情況下進行計算；②以3×3的網(wǎng)格為模型進行閾值計算；③正確與錯誤匹配的鑒別，公式如下

(1)

圖3為GMS方法的網(wǎng)格模擬，其中I1,I2,…,I9為I鄰域內各自匹配個數(shù)；J1,J2,…,J9為J鄰域內各自匹配個數(shù)。

圖3 網(wǎng)格

當要判斷 {i,j} 是否為正確匹配時，將i鄰域內的各網(wǎng)格內的匹配數(shù)中加入其自身權重wi，從而達到自適應性，如下式

(2)

式中：Mi為i鄰域網(wǎng)格中匹配數(shù)的中值，gik表示為鄰域中各網(wǎng)格位置的匹配數(shù)(k=1,2,…,9)，Ti公式如下

(3)

式中：N為3×3網(wǎng)格的格數(shù)9。

將式(2)與式(3)整合后公式為

(4)

再將ni代入回式(1)進行鑒別運算。

如圖4所示，我們通過3種優(yōu)化算法對ORB[9]特征匹配結果進行優(yōu)化，由圖4(a)可以看出ORB特征匹配算法匹配對的線條相互交錯，存在較多的錯誤匹配；傳統(tǒng)的RANSAC[10]優(yōu)化方法雖排除了一些錯誤匹配，但仍然有錯誤的匹配沒有被優(yōu)化掉，圖4(b)中依舊可以看到交錯的匹配對；圖4(c)中GMS優(yōu)化方法很好的將所有的錯誤匹配排除掉，匹配對之間較為順滑，方向較為一致，但匹配對的數(shù)量較少，許多正確的匹配已被誤處理掉；而圖4(d)中的匹配對不僅數(shù)量較多，而且較為順滑，可以看出本文提出的改進的GMS優(yōu)化方法不但可以抑制錯誤匹配，而且盡可能保留更多的正確匹配。

圖4 匹配優(yōu)化對比

(2)精確定位

通過對測試圖像中的天花板圖像進行處理，得到其紋理特征與圖像中心點坐標并進行標記，再運用σ=1.5的高斯函數(shù)對梯度做平滑處理，減小噪點影響，通過Harris關鍵點檢測算法來提取測試圖與匹配結果圖中的關鍵點，利用ANMS[11]方法對得到的關鍵點進行擇優(yōu)，再通過改進的GMS對匹配后的結果進行優(yōu)化，從而達到最佳的匹配結果，將最佳匹配結果作為兩圖之間關系模型，通過透視變換將匹配得到的原數(shù)據(jù)集中的天花板信息與測試圖像中的天花板信息進行融合、拼接[12]，從而得到一張包含兩張圖像信息的融合圖。因為透視變換[13]是利用透視中心、像點、目標點3點共線的原理，經(jīng)過透視變換后原圖中的直線關系在變換后的圖中依舊可以維持(透視變換原理請參照文獻[13])。再對融合圖像進行圖像處理找到融合圖像中原兩幅圖像的相應點，計算融合圖像中的原兩幅圖像中心點位置，通過式(5)得到兩點之間的距離，即為其位移

(5)

最后通過變換矩陣來計算疊加后測試圖圖像的4個角點坐標值，對任意相鄰兩角點求Δx，Δy，通過式(6)計算偏轉角

(6)

通過檢測融合后圖像中原兩幅圖像中的圖像中心位置差來計算位移差，兩張圖像融合的透視變換矩陣來計算機器人當前的偏轉角度，從而實現(xiàn)精確定位，其整體流程如圖5所示。

圖5 精確定位流程

2 實 驗

本實驗中的室內環(huán)境選用的是占地面面積為60 m2、高度為2.8 m的實驗室場地，通過在室內12個不同的位置進行相關的信息采集，分別獲取當前位置的四周環(huán)境4張圖像與天花板1張圖像作為當前位置的相關信息，然后在實驗室任意一個位置采集相關數(shù)據(jù)作為測試用例，并通過場景中闖入行人的方式，驗證算法對場景存在局部變化的魯棒性。

2.1 室內定位

將測試圖像生成指紋信息與指紋庫中的信息進行比較，得到匹配度最高的一組數(shù)據(jù)完成粗匹配，再對天花板進行處理計算位移與偏轉角，如圖6所示。

圖6 本文定位方法結果

在室內12個不同位置采集圖像集并生成指紋信息，將測試信息圖6(a)與指紋庫信息進行粗匹配，得到的匹配結果如圖6(b)所示，相應的指紋匹配結果如圖6(c)所示。

將測試圖中的天花板圖與匹配結果圖中的天花板圖相融合，如圖6(d)所示。其中虛線為融合后天花板中原測試圖與匹配結果圖的圖像邊界，圓點為兩幅圖像的中心點，通過計算兩點間距離得到位移為distance≈204.6 cm。

為進一步驗證本實驗方法在室內定位中的性能，我們使用廣泛應用于特征提取與匹配的pHash[14]、ORB與指紋方法進行對比實驗分析。其中ORB是局部特征提取方法，pHash是全局特征提取方法。對采集間隔為10 cm的連續(xù)圖像進行測試，來測試定位的準確度，圖7(a)、圖7(b)分別為測試圖像與匹配結果圖像。通過測量發(fā)現(xiàn)測試圖與匹配圖結果之間的實際距離仍然存在10 cm的誤差，我們將在下一步的精確定位中進一步抑制該誤差。

圖7 匹配結果對比

圖8為上述3種方法的粗匹配精度對比。其中，橫軸表示不同位置采集到的圖像集，ORB的縱軸表示匹配點個數(shù)，pHash與指紋方法的縱軸都表示匹配度。

圖8 粗匹配結果對比

通過精確定位計算，測得融合后天花板中原測試圖與匹配結果圖的圖像中心點，兩點間的橫坐標距離差為dx=9.0 cm，兩點間縱坐標距離差為dy=0.5 cm，兩點間距離為distance≈9.0 cm。

對以上多組實驗數(shù)據(jù)進行對比，結果見表1。表中A表示測試圖在指紋庫中得到最優(yōu)匹配圖像的序號，B表示匹配成功的點對數(shù)量。顯然兩圖位置越接近該數(shù)量越大。C代表測試圖像與指紋庫中最優(yōu)匹配圖像的匹配相關系數(shù)，其值越大，表示兩圖之間距離越小。D代表距離差，單位為厘米。H表示為應該匹配到的正確序號。ORB、pHash、指紋的誤差為單位向量，精確度到分米，而本文的誤差可以精確到厘米。

由表1中的數(shù)據(jù)可以看出本文的方法更精確，誤差值在4 cm之內；由于ORB算法對變化較少的連續(xù)圖像無法較好的區(qū)分，容易產生誤判情況[9]，因此當圖像采集的越密集，其間相似度越高時，ORB匹配誤差也就越大；pHash算法是對整張圖像進行匹配,當室內環(huán)境變化較小時，其區(qū)分效果較差，從而使其準確率下降；指紋匹配由圖像采集密集度來決定準確率，當圖像越密集時，其精度越高，從而也說明其內部數(shù)據(jù)較多，前期工作量大；而本文的方法受圖像的密集度影響較小，且有著較高的精準度。

表1 匹配結果對比

為驗證本文的計算效率，對以上多組實驗數(shù)據(jù)進行粗匹配計算效率對比，在Matlab2016編程環(huán)境下運行，并得出不同方法的匹配準確率(正確的匹配次數(shù)與實驗的總結果次數(shù)之比)與每組數(shù)據(jù)的平均匹配時間，見表2。

表2 計算效率對比

由表2可以看出ORB方法耗時最少，由于ORB方法采用了實現(xiàn)簡單的FAST特征點檢測法，但其準確率較低。pHash與本文的方法都可以通過一個矩陣來描述一幅圖像的特征，匹配時只需計算矩陣的相關性，從而節(jié)省大量時間，但本文方法的準確率上高于其它方法。

上述室內實驗是在開燈狀態(tài)下進行的測試。下面，我們再對關燈下的情況進行對比實驗，驗證光照變化對本實驗的影響，如圖9所示。

圖9 光照對比結果

通過實驗測得融合后天花板中原測試圖與匹配結果圖的圖像中心點的坐標，兩點間的橫坐標距離差為dx=10.6 cm，兩點間縱坐標距離差為dy=1.4 cm，其距離為distance≈11.5 cm。 由計算結果可以看出光照對本實驗影響較小，在不開燈的情況下，本方法依舊可以完成精確定位。

為驗證本文方法的適應性，在90 m2的室內環(huán)境中進行定位實驗，將測試圖如圖10(a)輸入定位系統(tǒng)中得到的粗匹配結果如圖10(b)所示，兩圖之間的位置距離相差20 cm，經(jīng)過精確定位后得到的位移為distance≈19.4 cm。

由于室內存在人流穿梭、物體突然闖入等情況，所以對此情況進行行人闖入對比實驗，驗證本文方法的適應性，實驗結果如圖11所示。

圖10 匹配結果對比

圖11 行人闖入情況的場景4

通過本文的精確定位，計算得到的位移值為distance≈18.4 cm。 由圖12可以看出3種方法的粗匹配結果與正確的匹配位置4都有所偏差，其中每個圖像集序列之間間隔為10 cm。ORB、pHash、指紋的方法在遇到測試圖與其自身數(shù)據(jù)集圖像的差異較大時其匹配效果較差，而本文的方法經(jīng)過精確定位后可以計算出粗定位的誤差值，較為準確完成最終定位,從而改善周圍環(huán)境變化對定位準確度的影響。

圖12 粗匹配結果對比

為驗證行人闖入場景中面積大小對本實驗粗匹配精度影響，在上述行人闖入實驗中場景4的環(huán)境下，以3號相機為例，在其視野中增加多種面積的行人闖入情況。如圖13 所示，其中圖13(a)～圖13(h)表示不同行人闖入面積大小的效果，通過粗匹配定位計算得到相應的匹配結果值，并將在場景4得到的不同匹配度進行匯總，結果如圖14所示，其中圖像序列集為上述8種不同面積大小的行人闖入情況。由粗匹配結果可以看出當遮擋面積較大時，粗匹配精度較差。

2.2 偏轉角

對測試圖與匹配結果圖進行特征提取并將兩幅圖中的相同位置進行疊加，通過相應的變換矩陣計算偏轉角。

圖13 場景中存在行人闖入情況

圖14 粗匹配結果

手動將機器人分別順時針旋轉30°、45°、60°來計算偏轉角度，計算結果如圖15所示。再將本文的方法與目前常用的改進相位相關[15,16]計算偏轉角的方法進行對比，對比結果見表3。

由表3可以看出基于相位相關的方法計算偏轉角度誤差較大，并且隨著偏轉角度逐漸變大，誤差變的更大；而本文基于特征匹配及透視變換的方法可以較好的將誤差值控制在2.4°之內，且誤差不會隨著偏轉角度越大而明顯增長。

3 結束語

針對室內真實場景進行定位操作，本文提出了一種由粗匹配到精確定位的室內機器人視覺定位方法，較好地解

圖15 系統(tǒng)測得偏轉角為30.4°、46.1°、59.2°

表3 視覺定位偏轉角度/°

決了在室內定位中由于行人闖入、亮度變化等情況發(fā)生時定位精確度變差的問題。該方法是建立在改進的GMS算法的基礎上而實現(xiàn)的，通過指紋的方法對室內位置進行粗匹配，再通過對相應天花板中的信息進行自適應GMS的匹配、疊加、旋轉等操作將粗匹配結果進一步求精，從而達到精確定位的目標。分析實驗結果可以得到，本文提出的定位方法，在高度為2.8 m的室內場景中定位誤差在4 cm之內，偏轉角度誤差在2.4°之內，達到了較高的室內精度標準。