分層式三維室內(nèi)地圖分類方法及更新機(jī)制

馮光升 張曉雪 王慧強(qiáng) 李冰洋 袁泉 陳詩(shī)軍 陳大偉

摘 要：針對(duì)現(xiàn)有的地圖更新方法，在室內(nèi)地圖環(huán)境下的效果并不理想的問(wèn)題，提出了一種分層式的室內(nèi)地圖更新方法。首先以室內(nèi)物體的活動(dòng)性為參數(shù)，然后進(jìn)行層次的劃分來(lái)減少更新數(shù)據(jù)的數(shù)量，最后利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)室內(nèi)數(shù)據(jù)進(jìn)行歸屬層次的判定。實(shí)驗(yàn)結(jié)果表明，

與版本式更新方法相比，所提算法的更新時(shí)間降低了27個(gè)百分點(diǎn);與增量式更新方法相比，其更新時(shí)間在更新項(xiàng)大于100后逐漸降低。與增量式更新方法相比更新包大小降低了6.2個(gè)百分點(diǎn)，且在數(shù)據(jù)項(xiàng)小于200之前其更新包一直小于版本式更新方法。所提方法可以顯著提高室內(nèi)地圖的更新效率。

與沒(méi)有進(jìn)行分層的增量式更新方法和版本式更新方法相比此處是與一種方法比較，還是兩種方法進(jìn)行比較吧？請(qǐng)明確。應(yīng)該是兩種方法吧，但平均值是怎么計(jì)算的？這樣表達(dá)不太準(zhǔn)確，請(qǐng)將值分別表示出來(lái)，即應(yīng)該是兩個(gè)值，而不應(yīng)該用平均值來(lái)表述。英文摘要處的表述也請(qǐng)作相應(yīng)修改，更新時(shí)間平均降低了23個(gè)百分點(diǎn)，且數(shù)據(jù)量越大效果越明顯。

關(guān)鍵詞：室內(nèi)地圖;地圖更新方法;分層式更新;卷積神經(jīng)網(wǎng)絡(luò);增量式更新;版本式更新

中圖分類號(hào)： TP391

文獻(xiàn)標(biāo)志碼：A

Abstract： For the fact that existing map updating methods are not good at map updating in indoor map environments， a hierarchical indoor map updating method was proposed. Firstly， the activity of indoor objects was taken as a parameter. Then， the division of hierarchy was performed to reduce the amount of updated data. Finally， a Convolutional Neural Network （CNN） was used to determine the attribution level of indoor data in network. The experimental results show that compared with the version update method， the update time of the proposed method is reduced by 27 percentage points， and the update time is gradually reduced compared with the incremental update method after the update item number is greater than 100. Compared with the incremental update method， the update package size of the proposed method is reduced by 6.2 percentage points， and its update package is always smaller than that of the version update method before the data item number is less than 200. Therefore， the proposed method can significantly improve the updating efficiency of indoor maps.

Key words： indoor map; map updating method; hierarchical updating; Convolutional Neural Network （CNN）; incremental update; version update

0 引言

地圖的現(xiàn)勢(shì)性（Currency）是衡量其性能重要指標(biāo)之一，所謂現(xiàn)勢(shì)性是指地圖所提供的地理空間信息要盡可能地反映當(dāng)前最新的情況[1]，而提升地圖的現(xiàn)勢(shì)性的關(guān)鍵在于提高地圖的更新頻率及效率。

不同于室外地圖，室外地形變化較少，交通道路和建筑的刷新頻率通常以月或者年計(jì)算;而室內(nèi)地圖的實(shí)體要素復(fù)雜多變

此處不通順，前面的是否應(yīng)該為“室內(nèi)地圖”？

把這一整句話進(jìn)行修改。室外地形變化較少，交通道路和建筑的刷新頻率通常以月或者年計(jì)算。與室外地圖不同，室內(nèi)地圖的實(shí)體要素復(fù)雜多變。。。

室外地形變化較少，交通道路和建筑的刷新頻率通常以月或者年計(jì)算。與室外地圖不同，室內(nèi)地圖的實(shí)體要素復(fù)雜多變

并且其變化頻率更加頻繁，例如大型超市通常以星期為單位改變貨架布局，而大型會(huì)展中心以天為單位改變室內(nèi)布局，頻繁的場(chǎng)景改變和數(shù)以千萬(wàn)計(jì)的室內(nèi)地圖場(chǎng)景為室內(nèi)地圖更新帶來(lái)了挑戰(zhàn)。與此同時(shí)，不僅是空間上發(fā)生變化，室內(nèi)地圖中還承載著豐富的活動(dòng)資訊和相關(guān)推介，這種地圖的附帶信息則是以小時(shí)為單位變化的，因此，如何快速、有效地更新室內(nèi)地圖是一個(gè)具有研究?jī)r(jià)值的問(wèn)題。

目前室外地圖更新方式多參照導(dǎo)航更新的方式進(jìn)行，包括增量式更新與版本式更新[2-4]。版本式更新需要將地圖內(nèi)所有要素進(jìn)行重新繪制，期間經(jīng)過(guò)變化信息的采集、制作、檢驗(yàn)到發(fā)布，整個(gè)周期時(shí)間較長(zhǎng)，更新效率也低，成本高;而增量式更新則對(duì)地圖進(jìn)行增量式分析，然后對(duì)變化的部分進(jìn)行相應(yīng)的補(bǔ)測(cè)，獲取新的數(shù)據(jù)，繪制生成增量包，發(fā)布后完成更新操作。但是對(duì)于室內(nèi)地圖如果采用增量式更新，在進(jìn)行增量分析式其狀態(tài)不僅是增加、刪除、修改要素，還要體現(xiàn)屬性變化，而且由于其要素眾多，增量分析的過(guò)程也繁瑣且周期長(zhǎng);若采用版本式更新，當(dāng)室內(nèi)地圖僅僅是改變了一些屬性信息或者其承載的相關(guān)活動(dòng)信息時(shí)，而將其所有要素都更新，造成了大量不必要的資源浪費(fèi)并且成本高[5-7]。

綜上所述，為了保證室內(nèi)地圖的更新效率以及用戶體驗(yàn)，本課題我們提出了一種分層式的室內(nèi)地圖更新方法，將原始室內(nèi)地圖根據(jù)室內(nèi)物體的可運(yùn)動(dòng)性進(jìn)行分層處理，用來(lái)解決對(duì)于具要素多、且變化頻繁的室內(nèi)場(chǎng)景的更新問(wèn)題此句不通順用來(lái)解決要素多且變化頻繁的室內(nèi)場(chǎng)景的更新問(wèn)題，來(lái)保證室內(nèi)地圖的現(xiàn)勢(shì)性。

1 分層式三維室內(nèi)地圖更新方法

在現(xiàn)實(shí)生活中，用戶對(duì)室內(nèi)地圖的要求是范圍廣、內(nèi)容詳細(xì)、現(xiàn)勢(shì)性高。對(duì)此為了提升室內(nèi)地圖的現(xiàn)勢(shì)性，本文提出了分層式三維室內(nèi)地圖更新的方法，目的是以傳輸最小數(shù)據(jù)量或者是最快的速度更新用戶的數(shù)據(jù)。

從用戶的角度看室內(nèi)地圖，主要包括三維室內(nèi)物體、室內(nèi)房屋框架、一些興趣點(diǎn)（Point of Interest， POI）（例如防火栓、滅火器、安全出口等），還有以文本展示的信息（例如商家優(yōu)惠信息、超市哪些物品缺貨等）。根據(jù)室內(nèi)地圖這些要素的表達(dá)形式，本文提出了一種分層模型，將具有相同性質(zhì)的物體提取至一個(gè)圖層，在以后更新地圖時(shí)，只需要更新變動(dòng)物體所在的圖層，減少更新地圖的代價(jià)。將室內(nèi)地圖分為5層，各層的詳細(xì)定義如下。

1）基礎(chǔ)架構(gòu)層?；A(chǔ)架構(gòu)層為整個(gè)室內(nèi)地圖的底層，也是整個(gè)室內(nèi)環(huán)境的基礎(chǔ)，主要包括建筑的墻面、門窗、各個(gè)房間直接的間隔板，在室內(nèi)環(huán)境中基本上處于不會(huì)移動(dòng)的地位。主要包括建筑的墻面、門窗、各個(gè)房間直接的間隔板等要素，在室內(nèi)環(huán)境中基本上不會(huì)發(fā)生移動(dòng)。此處語(yǔ)句不通順，請(qǐng)作相應(yīng)調(diào)整

2）穩(wěn)定層。穩(wěn)定層是整個(gè)室內(nèi)的地圖的第二層，其包含的物體主要是例如展廳內(nèi)貨架、大型家具等物體。

3）活動(dòng)層?；顒?dòng)層是整個(gè)室內(nèi)地圖的第三層，也是采用地圖分層思想的主要原因，該層主要以小型、頻繁移動(dòng)的家具為主，例如帶滑輪的工作椅、簡(jiǎn)易折疊小家具等物品。

4）POI層。該層是由安全出口、消火栓、滅火器等物體構(gòu)成，在地圖上僅以一個(gè)點(diǎn)體現(xiàn)。

5）信息層。信息層體現(xiàn)的主要是室內(nèi)場(chǎng)景的一些信息，例如商場(chǎng)的打折信息、機(jī)場(chǎng)的航班信息等。

利用分類方法將室內(nèi)地圖按照以上五種層次進(jìn)行分層處理，為室內(nèi)元素添加所在圖層標(biāo)簽，然后根據(jù)元素的標(biāo)簽，對(duì)其進(jìn)行逐層輸出，生成更新包。將分層地圖與原地圖進(jìn)行匹配，完成地圖更新。其流程如圖1所示。

2 室內(nèi)要素分層方法

在本文的分層任務(wù)中，后兩層POI層是以點(diǎn)的形式體現(xiàn)，信息層是以文字的形式體現(xiàn)出來(lái)，這些都無(wú)需判斷，可直接進(jìn)行更新。本文主要是解決在大規(guī)模且具有遮擋的室內(nèi)場(chǎng)景中提取出物體并分析出其所屬分層（前三層）的任務(wù)[8-9]。因數(shù)據(jù)源為二維圖像，本文根據(jù)分類好的二維圖像和其具體坐標(biāo)繪制三維室內(nèi)地圖，所以訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)均為二維圖像。傳統(tǒng)分類方法是對(duì)物體進(jìn)行手工提取特征值然后加入分類器的對(duì)物體分類;然而人工設(shè)計(jì)的特征提取方法存在局限性：這意味著它們泛化能力差，且勞動(dòng)力成本高。本文利用在大規(guī)模數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）模型提取物體的初步特征，然后通過(guò)主成分分析法對(duì)特征降維，然后利用支持向量機(jī)（Support Vector Machine， SVM）分類器對(duì)物體進(jìn)行分類分層處理[10-11]。

本文使用的預(yù)訓(xùn)練模型是AlexNet模型，該模型總共包括910層：第1層是輸入層，第2～6層都是卷積層，第7～9層為全連接層，第10層為輸出層原稿的圖2中沒(méi)有第10層，現(xiàn)在補(bǔ)充出來(lái)了，是否符合表達(dá)？請(qǐng)明確?；貜?fù)：可以這么修改，對(duì)，其拓?fù)浣Y(jié)構(gòu)如圖2所示。

對(duì)于第2～6層卷積層，不僅是傳統(tǒng)的單層卷積結(jié)構(gòu)，而是一種卷積過(guò)程，每次卷積過(guò)程都包括一次卷積操作和一次下采樣（Subsampling）操作，中間適當(dāng)?shù)夭迦胍恍┖瘮?shù)來(lái)控制數(shù)值的范圍，以便后續(xù)的循環(huán)計(jì)算。第2、3層的卷積部分由卷積階段、激活函數(shù)、下采樣階段以及局部響應(yīng)歸一化部分階段卷積過(guò)程組成[12-13]，如以Ali（p，q）表示第l層網(wǎng)絡(luò)上卷積操作過(guò)的第i個(gè)特征響應(yīng)中間值矩陣，經(jīng)過(guò)激活函數(shù)后即得到l+1層的第i個(gè)輸出矩陣Xl+1i（p，q），以Yij（u，v）表示l層連接這l+1層的第j個(gè)卷積核。首先由式（1）計(jì)算到l層圖像域在各個(gè)卷積核上二維卷積后的值：

Ai+1j（p，q）=∑li=1∑Du，v=1Ylj（u，v）xli（p-u，q-v）+blj（1）此處bllj（l、j為上標(biāo)和下標(biāo)）是何意？請(qǐng)明確。書(shū)寫(xiě)正確嗎？參數(shù)說(shuō)明中沒(méi)有體現(xiàn)出來(lái)，請(qǐng)補(bǔ)充。回復(fù)：公式錯(cuò)了 ，應(yīng)該是blj。其中l(wèi)表示層數(shù)，j表示第j個(gè)卷積核

其中blj（l表示層數(shù)， j表示第j個(gè)卷積核）為偏置量，然后將上述矩陣經(jīng)過(guò)激活函數(shù)得到第l+1層的輸出值，如式（2）：

第2層的卷積結(jié)構(gòu)包含輸出是96個(gè)27×27特征映射圖，其卷積核的大小是11×11，卷積步長(zhǎng)是4，下采樣的步長(zhǎng)為2。第3層的輸出的是256個(gè)13×13特征映射圖，其卷積核的大小是5×5，卷積步長(zhǎng)是1。第4、5層是卷積過(guò)程，因?yàn)檩斎氲某叽绮顒e，特征的數(shù)據(jù)量已經(jīng)較少，取消了下采樣層，且這兩層的輸出均為384個(gè)13×13特征映射圖，卷積內(nèi)核大小為3×3，步長(zhǎng)為1。第6層為由卷積階段、激活函數(shù)、下采樣階段以及局部響應(yīng)歸一化部分階段組成的卷積運(yùn)算，它的最終輸出是56個(gè)6×6的特征映射圖。最后三第7～9層是全連接層，它們的神經(jīng)元個(gè)數(shù)分別為4096、4096和1000，并且在最后一層中加入了Softmax分類器，輸出最終分類結(jié)果及概率。

本實(shí)驗(yàn)采用的數(shù)據(jù)集是MIT67 Indoor Scene dataset。該數(shù)據(jù)集是麻省理工采集并發(fā)布的有67個(gè)不同室內(nèi)類別場(chǎng)景，共15620幅圖像。數(shù)據(jù)集包含不同類型的商店（如會(huì)展廳、超市），住宅，公共空間（如圖書(shū)館、機(jī)場(chǎng)）等場(chǎng)景，圖片數(shù)量因類別而異，但每個(gè)類別至少有100幅圖像，如圖3所示。圖像均為jpg格式。同類別數(shù)據(jù)具有一定的差異性，而不同類別的數(shù)據(jù)又具有一定的相似性。部分場(chǎng)景依次是：飯店、倉(cāng)庫(kù)、機(jī)場(chǎng)、超市、教室、酒吧，本文從MIT67 數(shù)據(jù)集中每一類中隨機(jī)選取80幅作為訓(xùn)練集，20幅圖像作為測(cè)試集。

首先利用預(yù)訓(xùn)練的AlexNet提取網(wǎng)絡(luò)的特征，并直接結(jié)合支持向量機(jī)進(jìn)行分類，探究哪一層的特征性能最優(yōu)，其效果如表1所示;隨后將獲取的最優(yōu)層特征進(jìn)行主成分分析法進(jìn)行降維后，利用SVM進(jìn)行分類，產(chǎn)生詳細(xì)的分類結(jié)果。

3 實(shí)驗(yàn)結(jié)果和分析

本文選取了由公眾上傳的哈爾濱市某大型超市的數(shù)據(jù)為例，這里包括該超市的平面俯視圖和超市內(nèi)場(chǎng)景多角度的圖片數(shù)據(jù)，如圖34所示，其中室內(nèi)場(chǎng)景的詳細(xì)數(shù)據(jù)如下：一共包含超市圖片數(shù)據(jù)5352張，涵蓋展架、信息臺(tái)、冰箱、收銀臺(tái)等共92類物體。根據(jù)這組數(shù)據(jù)對(duì)本文提出的更新方法過(guò)程進(jìn)行說(shuō)明，并與傳統(tǒng)的更新方法進(jìn)行比較。

用LabelImg將場(chǎng)景中的物體提取出來(lái)，其效果如圖5，將提取出來(lái)的物體圖片作為卷積神經(jīng)網(wǎng)絡(luò)的輸入層，對(duì)物體進(jìn)行分層處理，將處理分層后的物體添加分層標(biāo)簽，然后生成增量包，對(duì)地圖進(jìn)行更新。

為證明本文方法的使實(shí)用性，本文采用同樣的場(chǎng)景，選取更新區(qū)域分別有20、50、100、200更新項(xiàng)的數(shù)據(jù)，使用版本式更新、增量式更新和分層式更新的方法，來(lái)測(cè)試本文所設(shè)計(jì)方法的效果，其測(cè)試效果對(duì)比如表2所示。

通過(guò)上述實(shí)驗(yàn)可以發(fā)現(xiàn)，在更新項(xiàng)較少的情況下，增量式更新方法的效果較好;但是隨著更新項(xiàng)的增加，增量式方法的效果越來(lái)越差，而版本式更新，因其需要對(duì)全部數(shù)據(jù)更新，會(huì)消耗大量的無(wú)用資源。除此之外，本文還做了定性實(shí)驗(yàn)，實(shí)驗(yàn)效果如表3所示。

4 結(jié)語(yǔ)

本文提出的方法對(duì)于具有要素多且更新頻繁的室內(nèi)場(chǎng)景的更新問(wèn)題是一個(gè)很好的解決辦法，滿足了用戶對(duì)地圖現(xiàn)勢(shì)性的要求。與版本式更新方法、增量式更新的方法相比，本文方法具有更高的更新效率，且在數(shù)據(jù)量方面有所改善。下一步工作，將嘗試機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)結(jié)合方法對(duì)物體進(jìn)行分類。

參考文獻(xiàn) （References）

[1] 應(yīng)申，楊杰，王凱，等.眾包模式下室內(nèi)地圖變化發(fā)現(xiàn)與更新[J].測(cè)繪地理信息，2016，41（2）：62-65.（YING S， YANG J， WANG K， et al. Crowdsourcing-based change detection and updating of indoor map [J]. Geomatics of Surveying and Mapping， 2016，41（2）：62-65.）

[2] 汪永紅，張斌，郭黎，等.導(dǎo)航電子地圖增量更新方法研究[J].地理信息世界，2011，9（4）：40-43.（WANG Y H， ZHANG B， GUO L， et al. Research of incremental updating method for navigation electronic map [J]. Geographic Information World， 2011， 9（4）： 40-43.）

[3] 郭鵬，崔鐵軍.導(dǎo)航電子地圖增量式更新服務(wù)模式[J].地理信息世界，2011，9（4）：57-61.（GUO P， CUI T J. Incremental updating service mode of navigable electronic maps [J]. Geographic Information World，2011，9（4）：57-61.）

[4] 李曉斌，李飛，馬春紅.面向車聯(lián)網(wǎng)應(yīng)用的導(dǎo)航電子地圖增量更新[J].測(cè)繪科學(xué)，2016，41（8）：161-164.（LI X B， LI F， MA C H. Incremental updating technique of navigation electronic map for telematics [J]. Science of Surveying and Mapping， 2016，41（8）：161-164.）

[5] 蘇旭明，譚建成，陳悅竹，等.支持增量更新的導(dǎo)航電子地圖數(shù)據(jù)模型的研究[J].北京測(cè)繪，2016（3）：126-128.（SU X M， TAN J C， CHEN Y Z， et al. The research on data model of supportingincremental updating of navigation electronic map [J]. Beijing Surveying and Mapping， 2016（3）： 126-128.）

[6] 張新長(zhǎng)，郭泰圣，唐鐵.一種自適應(yīng)的矢量數(shù)據(jù)增量更新方法研究[J]. 測(cè)繪學(xué)報(bào)，2012，41（4）：613-619.（ZHANG X C， GUO T S， TANG T. An adaptive method for incremental updating of vector data [J]. Acta Geodaetica et Cartographica Sinica， 2012， 41（4）： 613-619.）

[7] 張保鋼，楊伯鋼，張偉松.矢量地理信息更新增量的傳播[J].測(cè)繪通報(bào)，2015（4）：53-56.（ZHANG B G， YANG B G， ZHANG W S. Incremental propagation of vector geographic information updating [J]. Bulletin of Surveying and Mapping， 2015（4）：53-56.）

[8] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation[C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 3431-3440.

[9] YUAN J， WU Y， YANG M. Discovery of collocation patterns： from visual words to visual phrases[C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[10] TU S， HUANG Y， LIU G. CSFL： a novel unsupervised convolution neural network approach for visual pattern classification[J]. AI Communications， 2017， 30（5）： 311-324.

[11] HERRANZ L， JIANG S， LI X. Scene recognition with CNNs： objects， scales and dataset bias[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2016： 571-579.

[12] HE K， ZHANG X， REN S， et al. Delving deep into rectifiers： surpassing human-level performance on ImageNet classification [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 1026-1034.

[13] CAGLAYAN A， CAN A B. Volumetric object recognition using 3-D CNNs on depth data[J]. IEEE Access， 2018， 6： 20058-20066.