一種基于BIM和單目相機(jī)的室內(nèi)定位方法

郭建軍，王韋剛

一種基于BIM和單目相機(jī)的室內(nèi)定位方法

郭建軍，王韋剛

（南京郵電大學(xué)電子與光學(xué)工程學(xué)院/柔性電子學(xué)院，南京 210023）

傳統(tǒng)的室內(nèi)定位與跟蹤需要在環(huán)境中安裝大量的輔助設(shè)施，這在一些特定的場(chǎng)合中存在很大的局限性。針對(duì)以上問(wèn)題，提出了一種基于建筑信息模型（BIM）和單目相機(jī)的室內(nèi)定位及跟蹤方法。該方法利用手機(jī)等移動(dòng)設(shè)備上的相機(jī)獲取現(xiàn)場(chǎng)圖像，使用坎尼（Canny）算法進(jìn)行邊緣檢測(cè)，結(jié)合BIM提供的幾何信息實(shí)現(xiàn)對(duì)目標(biāo)的定位，并通過(guò)改進(jìn)卡爾曼濾波算法對(duì)運(yùn)動(dòng)軌跡進(jìn)行優(yōu)化，最終實(shí)現(xiàn)了高精度的定位跟蹤。本文所提算法在實(shí)際的數(shù)據(jù)集上進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明，本算法滿足室內(nèi)定位的要求。

建筑信息模型；室內(nèi)定位；視覺跟蹤；單目視覺；卡爾曼濾波

0 引言

室內(nèi)定位技術(shù)在應(yīng)急救援、物品管理、商業(yè)等領(lǐng)域有著廣泛的應(yīng)用。根據(jù)是否需要在環(huán)境中安裝專用的傳感器、發(fā)射機(jī)或信標(biāo)網(wǎng)絡(luò)，室內(nèi)定位方法目前可以劃分為有基礎(chǔ)設(shè)施的室內(nèi)定位和無(wú)基礎(chǔ)設(shè)施的室內(nèi)定位。有基礎(chǔ)設(shè)施的室內(nèi)定位主要包括紅外線、無(wú)線保真（wireless fidelity, WiFi）、超寬帶（ultra-wide band, UWB）技術(shù)、射頻識(shí)別（radio frequency identification, RFID）等定位方法[1]。這類定位方法雖然有著較高的定位精度，但是需要在環(huán)境中安裝大量的基礎(chǔ)設(shè)施以保證定位的精度[2]，存在定位成本過(guò)高的問(wèn)題。因此，無(wú)基礎(chǔ)設(shè)施的室內(nèi)定位轉(zhuǎn)而成為近十年來(lái)研究和開發(fā)的重點(diǎn)。

在諸多無(wú)基礎(chǔ)設(shè)施的定位方法中，基于數(shù)字電視信號(hào)、磁場(chǎng)、氣壓計(jì)和環(huán)境聲級(jí)的方法可以提供米級(jí)定位精度，但這在許多室內(nèi)定位場(chǎng)景中是不夠的。行人航跡推算（pedestrian dead reckoning, PDR）[3]、視覺里程計(jì)（visual odometry, VO）[4]、同步定位與建圖（simultaneous localization and mapping, SLAM）[5]等定位方法會(huì)受到累積定位誤差的影響，導(dǎo)致估計(jì)的軌跡出現(xiàn)漂移。

另一方面，隨著當(dāng)下建筑工程項(xiàng)目管理的數(shù)字化轉(zhuǎn)型，世界各地掀起了一股研究與應(yīng)用建筑信息模型（building information modeling，BIM）技術(shù)的熱潮[6]。文獻(xiàn)[7]利用單個(gè)固定安置在室內(nèi)的單目相機(jī)來(lái)獲取場(chǎng)景信息，結(jié)合BIM實(shí)現(xiàn)了無(wú)標(biāo)簽?zāi)繕?biāo)物的被動(dòng)定位。文獻(xiàn)[8]將BIM和優(yōu)三締科技3D（unity technologies, unity 3D）結(jié)合實(shí)現(xiàn)了室內(nèi)環(huán)境的3維（three-dimensional, 3D）導(dǎo)航，該算法使用WiFi定位技術(shù)對(duì)目標(biāo)進(jìn)行主動(dòng)定位與導(dǎo)航。但該算法未充分利用BIM所提供的建筑信息且定位精度不夠理想，且需要在環(huán)境中安裝大量的WiFi信號(hào)源。

針對(duì)以上問(wèn)題，作者提出了一種基于BIM和單目視覺的室內(nèi)定位方法。該方法通過(guò)手機(jī)、智能眼鏡等智能設(shè)備上的相機(jī)捕獲現(xiàn)場(chǎng)圖像，使用坎尼（Canny）算法提取圖像中的線特征，結(jié)合BIM所提供的幾何信息實(shí)現(xiàn)對(duì)目標(biāo)的定位，然后通過(guò)改進(jìn)的卡爾曼濾波器對(duì)定位軌跡進(jìn)行平滑濾波，以較好地實(shí)現(xiàn)定位與跟蹤。

1 系統(tǒng)設(shè)計(jì)

圖1給出了本定位系統(tǒng)的基本流程。首先，根據(jù)BIM中可見模型邊緣的長(zhǎng)度對(duì)其進(jìn)行采樣。隨后，將采樣點(diǎn)投影至圖像平面上，通過(guò)搜索采樣點(diǎn)的投影與圖像邊緣的接近程度來(lái)建立點(diǎn)對(duì)應(yīng)關(guān)系。為了減少陰影或重復(fù)紋理造成的錯(cuò)誤的三維到二維的點(diǎn)對(duì)應(yīng)，使用M-估計(jì)抽樣一致（M-estimate sample consensus, MSAC）算法來(lái)剔除異常值。通過(guò)使用高斯-牛頓非線性最小化技術(shù)使得像素點(diǎn)與投影點(diǎn)之間的距離達(dá)到最小，估計(jì)出相機(jī)的位姿。最后，將相機(jī)位姿的估值送至卡爾曼濾波器，以預(yù)測(cè)下一幀的相機(jī)位姿。

圖1 定位系統(tǒng)框架

1.1 可視模型邊緣檢測(cè)

在得到卡爾曼算法預(yù)測(cè)的相機(jī)坐標(biāo)之后，利用布蘭德（Blender）軟件中的射線追蹤算法檢測(cè)出可視模型邊緣及其在BIM坐標(biāo)系下的三維坐標(biāo)。相比預(yù)先計(jì)算成表格的方法，這種方法可以處理更多復(fù)雜的情況。此外，作者使用包圍體層次樹（bounding volume hierarchy, BVH）[9]來(lái)減少射線追蹤的計(jì)算成本。

在BIM模型中，物體的邊緣被描述為2個(gè)3D點(diǎn)。因此，場(chǎng)景中可見模型邊緣的2個(gè)頂點(diǎn)都需要被檢測(cè)到。然而在實(shí)際的相機(jī)視圖中，邊緣的2個(gè)頂點(diǎn)不太可能都可見。為此，作者以50 cm的間隔對(duì)可見模型邊緣進(jìn)行了細(xì)分。另一方面，模型的邊緣在一定的相機(jī)視圖下會(huì)非常接近[10]，從而產(chǎn)生3D點(diǎn)到2D點(diǎn)的錯(cuò)誤匹配。為了降低這種情況對(duì)定位性能的影響，在圖像平面上相互靠近的可見模型邊緣將被舍棄。

1.2 模型邊緣投影

在共線性方程的基礎(chǔ)上，作者提出了一種將3D點(diǎn)投影至成像平面上的透視相機(jī)模型。數(shù)學(xué)上可以表示為

1.3 相機(jī)姿態(tài)估計(jì)

在得到3D點(diǎn)及其在相機(jī)成像平面的對(duì)應(yīng)點(diǎn)后，相機(jī)的位姿有許多求解方法。文獻(xiàn)[11]通過(guò)求解一個(gè)雙二次方程得到相機(jī)的姿態(tài)估計(jì)，并利用一個(gè)額外的3D點(diǎn)驗(yàn)證估計(jì)的正確性。這種直接求解的方法雖然速度更快，但是容易受噪聲的影響，誤差較大。作者通過(guò)高斯牛頓算法迭代地估計(jì)相機(jī)姿態(tài)，以得到更為準(zhǔn)確的位姿估計(jì)。如式（4）所示，定義重投影誤差向量為，表示樣本點(diǎn)的投影和圖像匹配點(diǎn)之間的距離，即

式中：點(diǎn)（，）為3D點(diǎn)（X，Y，Z）在像平面上的匹配點(diǎn)；為測(cè)量次數(shù)。

將式（2）代入式（4）中可知，重投影誤差為相機(jī)位姿的函數(shù)。當(dāng)相機(jī)位姿被正確估計(jì)時(shí)，的2范數(shù)應(yīng)當(dāng)?shù)扔?。設(shè)相機(jī)位姿為

則高斯牛頓算法的迭代公式為

式中為雅可比矩陣，它包含2×6個(gè)測(cè)量值對(duì)未知參數(shù)的偏導(dǎo)數(shù)。

2 基于改進(jìn)卡爾曼濾波的軌跡預(yù)測(cè)

通過(guò)以上步驟，得到了一個(gè)受噪聲影響的相機(jī)位姿。為減小噪聲對(duì)定位的影響，作者改進(jìn)了卡爾曼濾波器來(lái)預(yù)測(cè)相機(jī)的位姿，以初始化下一幀的高斯-牛頓最小化。

卡爾曼濾波本質(zhì)上屬于一種數(shù)據(jù)融合算法，它通過(guò)系統(tǒng)的觀測(cè)信息、狀態(tài)轉(zhuǎn)移以及觀測(cè)模型來(lái)對(duì)狀態(tài)進(jìn)行光滑、濾波和預(yù)測(cè)，從而得到一個(gè)更加精確的測(cè)量值[12]。相比于粒子濾波，卡爾曼濾波的最大優(yōu)點(diǎn)在于計(jì)算量小，能夠滿足實(shí)時(shí)定位的要求。

作者將卡爾曼濾波的狀態(tài)向量設(shè)計(jì)為一個(gè)包含有系統(tǒng)待估計(jì)參數(shù)的12維列向量，可描述為

由于相機(jī)是由用戶攜帶或安裝在智能眼鏡框架上的，其運(yùn)動(dòng)與用戶的運(yùn)動(dòng)具有相同的特征，可以近似為勻速運(yùn)動(dòng)。因此，假設(shè)相機(jī)的速度在整個(gè)軌跡中速度是保持恒定的。而在等速系統(tǒng)模型中，加速度被視為過(guò)程噪聲[13]，故式（9）可以進(jìn)一步改寫為

由于相機(jī)的加速度被視為白噪聲，過(guò)程噪聲協(xié)方差矩陣可表示為

卡爾曼濾波的觀測(cè)方程為

與過(guò)程噪聲類似，假設(shè)測(cè)量噪聲也是具有零均值的高斯白噪聲。

由于在高斯-牛頓極小化中已經(jīng)估計(jì)了卡爾曼濾波器的測(cè)量值，測(cè)量噪聲的協(xié)方差矩陣可計(jì)算為

標(biāo)準(zhǔn)卡爾曼濾波由狀態(tài)預(yù)測(cè)和測(cè)量值更新2個(gè)主要步驟組成。狀態(tài)預(yù)測(cè)步驟包括對(duì)相機(jī)狀態(tài)和協(xié)方差矩陣的預(yù)測(cè)，其計(jì)算公式為：

利用修正后的數(shù)據(jù)去進(jìn)行時(shí)刻的最優(yōu)估計(jì)，可以使異常值的影響大大降低。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

在對(duì)定位系統(tǒng)的性能進(jìn)行評(píng)估時(shí)，定位目標(biāo)的真實(shí)運(yùn)動(dòng)軌跡的準(zhǔn)確性起著至關(guān)重要的作用。目前，室內(nèi)環(huán)境下用于評(píng)估定位性能的數(shù)據(jù)集通常由運(yùn)動(dòng)捕捉[13]、激光測(cè)量[14]、目標(biāo)跟蹤[15]等方法收集。這些方法都需要特定的硬件或平臺(tái)進(jìn)行數(shù)據(jù)的采集，所得數(shù)據(jù)容易受傳感器性能的影響，且準(zhǔn)確性不高。如圖2所示，作者在Blender平臺(tái)上對(duì)南京郵電大學(xué)仙林校區(qū)電光學(xué)科樓四樓樓道進(jìn)行了建模，通過(guò)編程控制虛擬相機(jī)的移動(dòng)，從而得到了無(wú)誤差的數(shù)據(jù)集。

為了更好地呈現(xiàn)出樓道的整體形狀，樓道的天花板已經(jīng)被移除。圖2中深灰色的實(shí)線是為了生成相機(jī)姿態(tài)而定義的運(yùn)動(dòng)軌跡，其長(zhǎng)度約為80 m，高度保持在距離地面1.6～1.8 m的范圍內(nèi)，相機(jī)的移動(dòng)速度約為1.6 m/s。

圖2 樓道的模型與相機(jī)的軌跡

為了測(cè)試不同相機(jī)參數(shù)對(duì)本算法的定位性能的影響，作者使用不同內(nèi)參的相機(jī)沿著軌跡進(jìn)行移動(dòng)，從而得到如表1所示的5組數(shù)據(jù)集。

表1 不同數(shù)據(jù)集的相機(jī)參數(shù)

3.2 通過(guò)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)

本小節(jié)通過(guò)2個(gè)對(duì)比實(shí)驗(yàn)來(lái)評(píng)估相機(jī)參數(shù)對(duì)定位性能的影響，然后將本算法與視覺里程計(jì)進(jìn)行比較。

1）圖像分辨率的影響。為了分析圖像分辨率對(duì)定位性能的影響，作者選擇數(shù)據(jù)集1、數(shù)據(jù)集2和數(shù)據(jù)集3進(jìn)行實(shí)驗(yàn)（如圖3所示）。由于虛擬相機(jī)的傳感器大小對(duì)于所有分辨率是相同的，相應(yīng)的像素大小隨著分辨率的增加而減??；因此，作者分別設(shè)置分辨率參數(shù)為s、search、thr和min，以保證像素大小在圖像平面是相等的。

圖3 不同分辨率下平移和旋轉(zhuǎn)誤差的累積分布函數(shù)

從圖3中可以看出，具有較高分辨率的數(shù)據(jù)集3是最準(zhǔn)確的，數(shù)據(jù)集1的定位效果最差。造成這一現(xiàn)象的原因是：圖像的分辨率越低，圖像中的邊緣更加擁擠，從而產(chǎn)生更多的雜波，3D點(diǎn)與2D點(diǎn)之間正確匹配的數(shù)量也隨之減少，影響到最終的定位結(jié)果。

2）相機(jī)視場(chǎng)角對(duì)定位的影響。較寬視場(chǎng)角的圖像中觀察到更多的邊緣特征，這在邊緣特征較少的受限環(huán)境(如狹長(zhǎng)走廊)下跟蹤是有利條件。如圖4所示，為測(cè)試相同分辨率下相機(jī)視場(chǎng)角對(duì)定位的影響，分別選擇數(shù)據(jù)集2、數(shù)據(jù)集4和數(shù)據(jù)集5進(jìn)行實(shí)驗(yàn)。

圖4 不同視場(chǎng)角下平移和旋轉(zhuǎn)誤差的累積分布函數(shù)

從圖4中可以看出，對(duì)于平移誤差來(lái)說(shuō)，視場(chǎng)為90°的數(shù)據(jù)集2的定位結(jié)果是最準(zhǔn)確的。在旋轉(zhuǎn)誤差方面，數(shù)據(jù)集2和數(shù)據(jù)集5的結(jié)果比較接近，優(yōu)于數(shù)據(jù)集4的定位結(jié)果。如表2所示，在對(duì)每個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)時(shí)，作者分別計(jì)算了平均位移誤差和旋轉(zhuǎn)誤差。

表2 各個(gè)數(shù)據(jù)集的實(shí)驗(yàn)誤差

從表2中的數(shù)據(jù)可以觀察到，具有最小視場(chǎng)角的數(shù)據(jù)集4在平均位移誤差和平均旋轉(zhuǎn)誤差是最大的。這是因?yàn)橄鄼C(jī)的視場(chǎng)角較低，使得某些幀沒有足夠的邊緣數(shù)量來(lái)進(jìn)行跟蹤定位，從而導(dǎo)致較差的位姿估計(jì)，甚至導(dǎo)致跟蹤定位的失敗。

3）與視覺里程計(jì)的比較。如圖5所示，為進(jìn)一步分析本定位系統(tǒng)的性能，我們計(jì)算了每一幀圖像的定位誤差，并與視覺里程計(jì)的定位結(jié)果進(jìn)行比較。

圖5 每幀圖像的定位誤差

從圖5中可以看出，視覺里程計(jì)的定位誤差較大，且會(huì)隨著時(shí)間的推移越來(lái)越大，這主要是因?yàn)樽呃戎械沫h(huán)境相對(duì)單一，視覺里程計(jì)難以提取到足夠多的特征用于定位，相鄰幀之間容易出現(xiàn)較大的誤差。相比于視覺里程計(jì)，所提算法使用建筑物輪廓在圖像上的線特征進(jìn)行定位，對(duì)特征的數(shù)量要求相對(duì)較少；因而定位精度更高，最大定位誤差低于0.5 m，且無(wú)累積誤差，滿足長(zhǎng)時(shí)間定位跟蹤的要求。

4）算法實(shí)時(shí)性分析。在室內(nèi)定位的諸多應(yīng)用場(chǎng)景中，定位算法的實(shí)時(shí)性十分重要。本算法在實(shí)現(xiàn)定位功能的過(guò)程中，各步驟所用的時(shí)間如表3所示。

表3 各定位步驟的平均運(yùn)行時(shí)間

從表3中可以看出，算法在估計(jì)位姿的過(guò)程中，花費(fèi)的時(shí)間最多，這主要是因?yàn)樵谶M(jìn)行位姿估計(jì)時(shí)，選用了MSAC算法框架來(lái)剔除估計(jì)值中的異常值，從而增加了高斯-牛頓算法的迭代步驟。從整體上看，每幀圖像定位所需的平均時(shí)間約為0.95 s，滿足實(shí)時(shí)定位的要求。

4 結(jié)束語(yǔ)

本文提出了一種基于BIM和單目相機(jī)的室內(nèi)定位跟蹤方法。該方法解決了傳統(tǒng)室內(nèi)定位系統(tǒng)需要安裝大量基礎(chǔ)設(shè)施、存在累積誤差大等問(wèn)題，并結(jié)合改進(jìn)的卡爾曼濾波算法對(duì)定位軌跡進(jìn)行優(yōu)化，顯著提高了系統(tǒng)的魯棒性與定位精度。由于BIM不僅可以提供點(diǎn)線特征，還蘊(yùn)含著豐富的紋理特征和語(yǔ)義特征，在以后的工作中，可利用這些特征進(jìn)一步提高系統(tǒng)的定位性能。

[1] 謝恩德, 洪毅. 室內(nèi)定位方法綜述[J]. 電腦知識(shí)與技術(shù). 2021, 17(11): 231-234.

[2] 閆大禹, 宋偉, 王旭丹, 等. 國(guó)內(nèi)室內(nèi)定位技術(shù)發(fā)展現(xiàn)狀綜述[J]. 導(dǎo)航定位學(xué)報(bào), 2019, 7(4): 5-12.

[3] 王亞娜, 蔡成林, 李思民, 等. 基于行人航跡推算的室內(nèi)定位算法研究[J]. 電子技術(shù)應(yīng)用2017, 43(4) : 86-89.

[4] 徐愛功, 閆可新, 高嵩, 等. 一種單目視覺里程計(jì)/UWB組合室內(nèi)定位方法[J]. 導(dǎo)航定位學(xué)報(bào), 2021, 9(5): 82-88.

[5] 王丹, 黃魯, 李垚. 基于點(diǎn)線特征的單目視覺同時(shí)定位與地圖構(gòu)建算法[J]. 機(jī)器人, 2019, 41(3) : 392-403.

[6] 魏重潔, 宋博文. 建筑外輪廓線算法在BIM審查中的研究應(yīng)用[EB/OL]. 土木建筑工程信息技術(shù). (2022-04-01)[2022-06-18]. https: //kns. cnki. net/kcms/detail/detail. aspx?dbcode=CAPJ&dbname=CAPJLAST&filename= TMJZ20220330002&uniplatform=NZKPT&v=NKK_7JRXTCRLlSvqtw2Sp-Qf2ZUbzJrXZH-4Ta2d-6PkHFtg-5V0TErImgD__Kfi.

[7] 洪灝, 鄧逸川, 鄧暉. 基于BIM的單目相機(jī)室內(nèi)定位技術(shù)[C]//中國(guó)圖學(xué)學(xué)會(huì)BIM專業(yè)委員會(huì). 第三屆全國(guó)BIM學(xué)術(shù)會(huì)議論文集. 北京: 中國(guó)建筑工業(yè)出版社，2017: 147-152[2022-06-18].

[8] 郭語(yǔ)，鄭加柱. BIM與Unity 3D 結(jié)合的室內(nèi)導(dǎo)航系統(tǒng)[J]. 導(dǎo)航定位學(xué)報(bào), 2020, 8(5): 25-31.

[9] WALD I, BOULOS S, SHIRLEY P. Ray tracing deformable scenes using dynamic bounding volume hierarchies[J]. ACM Transactions on Graphics (TOG), 2007, 26(1): 6-11.

[10] REITMAYR G, DRUMMOND T W. Going out: robust model-based tracking for outdoor augmented reality[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of 2006 IEEE/ACM International Symposium on Mixed and Augmented Reality. Santa Barbara: IEEE, 2006: 109-118[2022-07-21].

[11] GAO X S, HOU X R, TANG J, et al. Complete solution classification for the perspective-three-point problem[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 930-943.

[12] GROVES P D. Principles of GNSS, inertial, and multisensor integrated navigation systems, book review[J]. IEEE Aerospace and Electronic Systems Magazine, 2015, 30(2): 26-27.

[13] HUANG A S, BACHRACH A, HEURY P, et al. Robotics research[M]. Cham: Springer, 2017: 235-252.

[14] TEULIERE C, MARCHAND E, ECK L. 3-D model-based tracking for UAV indoor localization[J]. IEEE Transactions on Cybernetics, 2014, 45(5): 869-879.

[15] BURKI B, GUILLAUME S, SORBER P, et al. DAEDALUS: a versatile usable digital clip-on measuring system for total stations[C]//The Institute of Electrical and Electronic Engineers (IEEE). Proceedings of International Conference on Indoor Positioning and Indoor Navigation. Zurich: IEEE, 2010: 1-10[2022-07-21].

An indoor positioning method based on BIM and monocular camera

GUO Jianjun, WANG Weigang

（College of Electronic and Optical Engineering & College of Flexible Electronics, Nanjing University of Posts and Telecommunications, Nanjing 210023, China）

Traditional indoor positioning and tracking requires the installation of a large number of auxiliary facilities in the environment, which has great limitations in some specific situations. Aiming at the above problems, this paper innovatively proposes an indoor positioning and tracking method based on Building Information Modeling (BIM) and monocular camera. In this method, the camera on mobile devices such as mobile phones is used to obtain field images. Canny algorithm is used to detect edges and the target location is realized by combining the geometric information provided by BIM. The motion trajectory is optimized by an improved Kalman filter algorithm, and the high-precision location tracking is finally realized. The proposed algorithm is testified on realistic data sets. At last the experimental results show that the algorithm meets the requirements of indoor positioning.

building information modeling; indoor positioning; visual tracking; monocular vision; Kalman filtering

TP391

A

2095-4999(2022)06-0037-06

郭建軍，王韋剛. 一種基于BIM和單目相機(jī)的室內(nèi)定位方法[J]. 導(dǎo)航定位學(xué)報(bào), 2022, 10(6): 37-42.（GUO Jianjun, WANG Weigang.An indoor positioning method based on BIM and monocular camera[J]. Journal of Navigation and Positioning, 2022, 10(6): 37-42.）

10.16547/j.cnki.10-1096.20220605.

2022-07-24

郭建軍（1995—），男，甘肅安定區(qū)人，碩士研究生，研究方向?yàn)橐曈X定位。

王韋剛（1975—），男，江西安福縣人，博士，教授，研究方向?yàn)闄C(jī)器視覺與圖像模式識(shí)別、室內(nèi)外定位、嵌入式等。