淺談SLAM+AR眼鏡在遠程協(xié)助中的應(yīng)用

李新春

（中國聯(lián)合網(wǎng)絡(luò)通信有限公司上海市分公司，上海 200082）

1 AR技術(shù)發(fā)展

AR（Augmented Reality，增強現(xiàn)實）是一種現(xiàn)實世界環(huán)境的交互式體驗，現(xiàn)實中的使用者感知通過計算機虛擬生成的對象，有時跨越多種感官模式，包括視覺、聽覺、觸覺、體感和嗅覺。

增強現(xiàn)實技術(shù)通俗的講就是將計算機生成的虛擬信息疊加到用戶所處的現(xiàn)實空間中，它可以有效提高用戶對于現(xiàn)實世界的感知能力，提高用戶的體驗感，并且通過語音、手勢的輸入讓用戶可以與虛擬對象進行互動，近年來在教育、醫(yī)療、工業(yè)、軍事、文娛等方面展現(xiàn)出不俗的表現(xiàn)。在研究AR之前我們需要明確，怎樣才算是AR。

（1）自身定位：指的是計算機根據(jù)彩色/紅外/深度攝像頭輸入的數(shù)據(jù)進行分析，定位目標并將虛擬的物體渲染到現(xiàn)實中。（2）環(huán)境感知：可以增強虛擬物品在現(xiàn)實中的存在感，即通過陰影、環(huán)境反光、遮擋剔除等方式實現(xiàn)虛擬物體在現(xiàn)實中的遮擋和光影反射效果。（3）人機交互：即人類的聲音、手勢、表情等，作為計算機信息的輸入進而控制虛擬物體做出相應(yīng)的反饋。（4）自身定位所用到的技術(shù)被稱為跟蹤注冊技術(shù)，而跟蹤注冊技術(shù)又分為以下幾種：基于標志物的三維跟蹤注冊技術(shù)、視覺與傳感器的跟蹤注冊技術(shù),基于環(huán)境重建的跟蹤注冊技術(shù)SLAM。（5）基于標志物的三維跟蹤注冊技術(shù)：攝像機對預(yù)定義的標志物進行識別并獲得標志物頂點信息，形的仿射不變性原理重建預(yù)定義標志物坐標到當(dāng)前場景標志物坐標的位姿變化矩陣，來完成虛擬信息的跟蹤注冊。（6）視覺與傳感器的跟蹤注冊技術(shù):通過分析處理拍攝到的圖像數(shù)據(jù)信息識別和定位真實場景環(huán)境，進而確定現(xiàn)實場景與虛擬信息之間的對應(yīng)關(guān)系，再將視覺定位的信息與陀螺儀和加速度計信息深度融合，在無人機和手持移動設(shè)備上可以獲得更好的跟蹤注冊效果。（7）基于同步定位與地圖構(gòu)建的注冊技術(shù)SLAM：SLAM技術(shù)能夠構(gòu)建視覺效果更為真實的地圖，從而針對當(dāng)前視角渲染虛擬物體的疊加效果，使之更真實沒有違和感?；趥鞲衅鬟M行分類又分為激光SLAM、視覺SLAM，激光SLAM采用2D或3D激光雷達，視覺SLAM也具有相似特點，它可以從環(huán)境中獲取海量的、富于冗余的紋理信息，擁有辨識能力。

綜上，SLAM的增強現(xiàn)實技術(shù)區(qū)別于傳統(tǒng)的AR識別技術(shù)，不需要預(yù)定義的識別模板，直接進行環(huán)境的掃描識別。這樣的優(yōu)勢在于在一些復(fù)雜的環(huán)境下，不需要識別圖片也可以進行環(huán)境的定位，并且識別范圍遠大于傳統(tǒng)的AR識別范圍，在遠程協(xié)助過程中可以為遠程專家提供更加廣闊的操作空間。

2 AR顯示設(shè)備的發(fā)展

軟件技術(shù)的發(fā)展以及硬件設(shè)備的升級換代，讓AR應(yīng)用從電腦應(yīng)用變?yōu)橹悄苁謾C應(yīng)用，同時伴隨著可穿戴設(shè)備的發(fā)展，智能眼鏡又為AR的展示呈現(xiàn)提供了一條新的道路。

2.1 計算機屏幕顯示設(shè)備

計算機屏幕顯示是最為傳統(tǒng)的展示方式，一般具有較高的分辨率，且體積較大。在增強現(xiàn)實應(yīng)用中通過攝像頭捕捉現(xiàn)實場景并將虛擬的物體渲染并疊加到現(xiàn)實場景中。通常用于大型的展示互動，3D模型渲染精度高，現(xiàn)場效果逼真，但是由于體積大，沉浸感比較低。

2.2 手持式移動顯示設(shè)備

手持式移動顯示設(shè)備是包含但不限于智能手機、Pad、小型顯示器在內(nèi)的允許用戶手持的顯示設(shè)備。與計算機顯示設(shè)備相比，手持式移動顯示設(shè)備一般體積較小、重量較輕，便于攜帶，但是不同的設(shè)備由于硬件的限制計算性能參差不齊，不同的廠家和設(shè)備所表現(xiàn)出來的性能有較大差異。相信隨著硬件性能的提升，后續(xù)的多數(shù)新款智能設(shè)備將更廣泛的支持增強現(xiàn)實應(yīng)用。

2.3 頭戴式顯示設(shè)備

基于用戶體驗的考慮，不論是計算機顯示還是手持終端都不能給用戶很好的沉浸式融合體驗，而通過頭戴式智能顯示設(shè)備則能較好的解決這個問題。

微軟公司于2019年發(fā)布的第二代HoloLens增強現(xiàn)實設(shè)備，通過實景疊加的方式，增強用戶體驗。第二代HoloLens加入了眼球跟蹤能力，可以精確地感知使用者在注視什么位置，實現(xiàn)更自然便捷的互動。優(yōu)化語音識別和手勢識別交互，相比其他獨立的AR設(shè)備，HoloLens的定位、互動和運算能力又更強，加大了了FOV視野使得畫幅更大，沉浸感更強。

Magic Leap公司發(fā)布了一款基于光場的頭戴式增強現(xiàn)實設(shè)備Magic Leap One。這款設(shè)備利用外部攝像頭和計算機視覺處理器實時追蹤用戶位置，同時在追蹤過程中可以不斷調(diào)整雙眼的焦距，并將包含有深度信息的圖像通過光場顯示器顯示出來。

HMT-1Z1是RealMax公司推出的一款獲得ATEX Zone 1 /CSA C1-D1認證并通過中國PCEC、國際IECEx、北美NEC500認證的工業(yè)頭戴平板電腦。基于安卓系統(tǒng)，支持30幀1080P高清視頻以及1600萬像素攝像頭，支持藍牙、Wi-Fi連接、GPS定位、9軸傳感器，全程語音操控進行命令式操作支持多種語言，解放雙手。

圖1 Real Wear設(shè)備

隨著硬件技術(shù)的發(fā)展，未來可穿戴設(shè)備將會更加普及，也將更加的輕便和智能，以此為基礎(chǔ)的智能應(yīng)用也會有更大想象空間。

3 AR智能眼鏡的應(yīng)用

智能手機已經(jīng)基本上滿足日常的生活和溝通需要，但是在一些特殊的行業(yè)，仍然對智能設(shè)備有巨大的需求，特別是能夠解放雙手的可穿戴設(shè)備。

（1）安防領(lǐng)域應(yīng)用：安防行業(yè)一直是比較敏感的應(yīng)用場景，經(jīng)常會涉及到國家安全、個人信息等敏感信息。通過AR眼鏡的方式，對于執(zhí)法人員有更方便快捷的處理方式，比如車輛檢查、人臉識別等。（2）應(yīng)急救援中的應(yīng)用：北京國際虛擬現(xiàn)實與增強現(xiàn)實博覽會（VRSD）上，愛普生公司展示了其最新產(chǎn)品Moverio BT-350和BT-300和相應(yīng)的特色案例：“美國某消防員培訓(xùn)項目”“日本某災(zāi)害預(yù)防應(yīng)對系統(tǒng)”。在這些案例中，愛普生AR智能眼鏡主要用于培訓(xùn)，可以將復(fù)雜的機器使用說明變得可視化，直接代替枯燥無味的紙質(zhì)版使用說明書。（3）遠程協(xié)同應(yīng)用：遠程會議最大的好處在于與遠程協(xié)作者共享工作空間，而不是像傳統(tǒng)的視頻會議那樣，只是參會者的面對面。配合AR眼鏡可以實時反饋設(shè)備維修的細節(jié)，哪里出了問題以及相對應(yīng)的處理方案，相對應(yīng)的專家也不需要坐飛機或者各種交通工具往返于辦公室和現(xiàn)場，這樣既節(jié)省了資源又提高了效率。（4）遠程視頻醫(yī)療：AR智能眼鏡的遠程視頻功能，在醫(yī)療行業(yè)同樣發(fā)揮著重要的作用。在醫(yī)生面對從未遇到過的病癥束手無策時，他可以帶上具有遠程醫(yī)療視頻功能的AR智能眼鏡呼叫專家，專家在電腦屏幕上就可以看到鄉(xiāng)村醫(yī)生第一視角的病人景象，可以指導(dǎo)鄉(xiāng)村醫(yī)生進一步詢問或檢查病人病癥，遠程給出診斷結(jié)果。

4 以SLAM提升AR眼鏡的應(yīng)用

分析以上應(yīng)用會發(fā)現(xiàn)，大多數(shù)遠程協(xié)助應(yīng)用只是基于音視頻功能的開發(fā)和拓展，而真正用到AR的多以學(xué)習(xí)和培訓(xùn)為主。原因在于在遠程協(xié)助過程中，不太可能進行基于識別圖的AR定位和3D模型展示，一般需要進行遠程協(xié)助的環(huán)境都比較特殊，比如地下室、手術(shù)室、汽修現(xiàn)場等，在這種情況下無法提供穩(wěn)定的識別圖定位，那么所謂的AR效果也就僅限于智能眼鏡的屏幕顯示了。

而基于SLAM的增強現(xiàn)實技術(shù)就可以做到這樣的效果，讓遠程協(xié)助真正的實現(xiàn)AR呈現(xiàn)。通過SLAM快速掃描現(xiàn)場環(huán)境創(chuàng)建三維空間圖，以此為基礎(chǔ)，遠程專家可以在被協(xié)助人員的視野范圍內(nèi)任何一個地點進行標注。

圖2 SLAM方式遠程協(xié)助

圖3 SLAM方式遠程教學(xué)

并且一旦標簽標注完成，在一定范圍內(nèi)不管操作人員是轉(zhuǎn)頭還是移動，都不影響被標注點的位置和內(nèi)容，大大提高了遠程輔助的效率，遠程專家可以在操作人員視野里進行持續(xù)性、有記錄的操作而不僅僅是一般意義上的語音和短暫的屏幕圖片展示。

在這種技術(shù)環(huán)境下，遠程教學(xué)的時候，教師可以直接的在學(xué)生視頻畫面中進行標注和指導(dǎo)而不必擔(dān)心標注的內(nèi)容會消失或者位移。同理，在遠程醫(yī)療的過程中，醫(yī)療專家可以在手術(shù)操作者的畫面中書寫手術(shù)順序、標記手術(shù)位置、選擇手術(shù)工具甚至可以標記切割的長度，而不用考慮操作者在轉(zhuǎn)頭的情況下忘記或者找不到之前的標記信息。

5 結(jié)語

隨著硬件不斷更新發(fā)展，未來AR智能眼鏡將會有更強大的運算能力，而SLAM技術(shù)的發(fā)展也將消耗更少的資源但是提供更強的環(huán)境感知能力。實時環(huán)境掃描建圖，可以讓技術(shù)專家遠程過程中的視野更為開闊；AR定位和標志，可以讓技術(shù)專家擁有真實的現(xiàn)場處置的感覺，從而更好的進行遠程輔助工作。