基于AR技術(shù)的隧道人工巡檢輔助系統(tǒng)

陶 杰， 朱熙豪， 鄭于海

(浙江省機(jī)電設(shè)計研究院有限公司， 浙江 杭州 310000)

0 引言

隨著我國公路領(lǐng)域的迅速發(fā)展，隧道機(jī)電系統(tǒng)也朝著智能化方向發(fā)展。隧道機(jī)電系統(tǒng)是隧道運營管理的主要依托工具，主要包括監(jiān)控通信設(shè)施、照明設(shè)施、通風(fēng)設(shè)施、消防設(shè)施及配電設(shè)施。為保障隧道實現(xiàn)安全、高速、暢通、舒適等功能，對隧道機(jī)電系統(tǒng)的日常養(yǎng)護(hù)與監(jiān)測十分必要。在當(dāng)前的隧道機(jī)電設(shè)備巡檢中，普遍以人工巡檢為主，并配合一定的信息化手段，例如自動化程度較高的專用移動巡檢機(jī)器人，但當(dāng)前的技術(shù)難以完全替代人工巡檢；還有通過固定攝像機(jī)，采用人工智能技術(shù)對機(jī)電設(shè)備進(jìn)行監(jiān)測，但這種模式難以對所有設(shè)備進(jìn)行全覆蓋。

雖然人工智能、物聯(lián)網(wǎng)等前沿技術(shù)的進(jìn)步為隧道機(jī)電設(shè)備提供了智能檢測的技術(shù)基礎(chǔ)，但是人工巡檢仍是當(dāng)前不可或缺的巡檢方式，利用現(xiàn)有技術(shù)去輔助人工巡檢而不是取代人工巡檢或具備更好的可行性。為規(guī)范隧道的養(yǎng)護(hù)管理工作，2015年交通部修訂發(fā)布了JTG H12—2015《公路隧道養(yǎng)護(hù)技術(shù)規(guī)范》，明確提出了“預(yù)防為主、防治結(jié)合”的隧道養(yǎng)護(hù)工作原則，修訂了隧道機(jī)電設(shè)施的養(yǎng)護(hù)規(guī)定，要求強(qiáng)化隧道巡檢等預(yù)防性養(yǎng)護(hù)措施。為提高隧道巡檢的科學(xué)化水平及效率,新規(guī)范明確要求公路隧道鼓勵運用信息化手段,實現(xiàn)高效、科學(xué)的養(yǎng)護(hù)管理。隨著新一代機(jī)電系統(tǒng)開始大規(guī)模應(yīng)用于隧道內(nèi)，機(jī)電設(shè)備種類型號、新舊程度等的差異增加了設(shè)備巡檢工作的難度，加之巡檢人員業(yè)務(wù)能力已難以支撐當(dāng)前高度智能化、集成化的機(jī)電設(shè)備的巡檢任務(wù)，直接導(dǎo)致了巡檢時耗大、誤檢率及漏檢率高，如何實現(xiàn)高質(zhì)量、高效率的巡檢已迫在眉睫。因此，本文提出基于AR的人工巡檢輔助系統(tǒng)，通過AR技術(shù)提高人工巡檢的效率與準(zhǔn)確率。

增強(qiáng)現(xiàn)實(augmented reality，AR)是一種全新的人機(jī)交互技術(shù)，是通過圖像處理和可視化技術(shù)產(chǎn)生虛擬對象，使用傳感技術(shù)將虛擬對象準(zhǔn)確放置到現(xiàn)實中，可以實現(xiàn)現(xiàn)場與虛擬場景的疊加，讓真實世界和虛擬物體共存[1]。基于AR系統(tǒng)的研究主要包括真實環(huán)境與虛擬對象的融合、精確定位、追蹤技術(shù)以及人機(jī)交互等方面，最終通過手機(jī)等終端安裝AR軟件，將虛擬與真實完美疊加。

自20世紀(jì)90年代提出AR技術(shù)以來，國內(nèi)外高校、研究所和大型企業(yè)在基于AR技術(shù)的巡檢與運維領(lǐng)域取得了一定的研究成果。Lorenz等[2]將AR眼鏡和智能巡檢機(jī)器人連接起來，實現(xiàn)可靠、安全的遠(yuǎn)程維護(hù)；Perla等[3]提出了基于AR的巡檢框架，用于工業(yè)檢測領(lǐng)域中的維護(hù)和維修輔助等；Jayaweera等[4]在物聯(lián)網(wǎng)系統(tǒng)中啟用AR穿戴設(shè)備，增強(qiáng)了機(jī)械操作工和修理工的巡檢能力；Ribeiro等[5]提出了以虛擬現(xiàn)實技術(shù)為基礎(chǔ)的沉浸式變電站操作人員培訓(xùn)系統(tǒng)，通過頭戴式頭盔對虛擬變電站環(huán)境進(jìn)行操作，達(dá)到培訓(xùn)員工準(zhǔn)確地完成維護(hù)和緊急操作的目的；Hamidane等[6]設(shè)計了基于增強(qiáng)現(xiàn)實的預(yù)防性維護(hù)系統(tǒng)，使用3D模型、圖像及文本，實時虛擬幫助技術(shù)人員維護(hù)和檢查設(shè)備，該系統(tǒng)不僅可以降低預(yù)防性維護(hù)的成本，還可以監(jiān)控預(yù)測故障。郝騰飛等[7]從三維建模、虛擬場景搭建、可視化交互及網(wǎng)絡(luò)連接等方面詳細(xì)闡述了AR巡檢系統(tǒng)設(shè)計時所需關(guān)鍵技術(shù)；肖東裕等[8]開發(fā)的基于AR技術(shù)的變電站設(shè)備運維輔助系統(tǒng)，降低了設(shè)備現(xiàn)場維修的難度并提高了運維效率、質(zhì)量，同時增加了相關(guān)設(shè)備運維技能培訓(xùn)的AR渲染效果。

綜上所述，國內(nèi)外專家對AR技術(shù)進(jìn)行了深度的研究和驗證，且在機(jī)電設(shè)備維護(hù)巡檢方面已有成熟的應(yīng)用。但AR技術(shù)在隧道巡檢領(lǐng)域的相關(guān)研究較少，缺乏結(jié)合實際的應(yīng)用驗證。本文通過分析隧道巡檢的技術(shù)現(xiàn)狀和存在的問題，結(jié)合未來智慧隧道發(fā)展的方向，研究并驗證隧道AR人工巡檢輔助系統(tǒng)。

1 AR巡檢系統(tǒng)的設(shè)計

1.1 系統(tǒng)工作原理

本文利用AR渲染、移動互聯(lián)網(wǎng)等技術(shù)與設(shè)備運行信息、典型問題處置方法等經(jīng)驗，構(gòu)建了一套隧道AR虛擬巡檢遠(yuǎn)程協(xié)助系統(tǒng)。該系統(tǒng)工作原理如圖1所示。

圖1 系統(tǒng)工作原理

本系統(tǒng)利用AR終端來獲取真實隧道設(shè)備的信息與數(shù)據(jù)，并結(jié)合3D交互與AR渲染，從而將設(shè)備的信息與實時數(shù)據(jù)、巡檢任務(wù)單、智能解決方案和虛擬設(shè)備手冊等數(shù)據(jù)信息與現(xiàn)實疊加。

1.2 系統(tǒng)物理與通信架構(gòu)

使本系統(tǒng)正常工作的基礎(chǔ)包括終端設(shè)備、數(shù)據(jù)源和服務(wù)器等物理設(shè)施，以及一個相通的網(wǎng)絡(luò)系統(tǒng)。系統(tǒng)物理與通信架構(gòu)如圖2所示。

AR終端在隧道內(nèi)利用4G/5G從廣域網(wǎng)通過安全接入平臺接入隧道運營方內(nèi)網(wǎng)[9]，實現(xiàn)了隧道運營數(shù)據(jù)的獲取與傳輸，有效維護(hù)了隧道運營方內(nèi)網(wǎng)的安全。數(shù)據(jù)源與服務(wù)器構(gòu)建一個獨立的局域網(wǎng)，該局域網(wǎng)通過防火墻與安全內(nèi)網(wǎng)相連，這樣可以保證應(yīng)用網(wǎng)絡(luò)的相對獨立性，以充分保證網(wǎng)絡(luò)的安全性。

1.3 系統(tǒng)工作流程

基于AR的隧道機(jī)電設(shè)備巡檢系統(tǒng)工作流程如圖3所示。

1)在平臺上設(shè)定好每個巡檢人員的巡檢方案，填寫任務(wù)名稱、任務(wù)完成時間、任務(wù)責(zé)任人等基本信息，明確本次待巡檢的作業(yè)流程和作業(yè)內(nèi)容。

2)巡檢人員利用AR終端接收任務(wù)，根據(jù)任務(wù)流程進(jìn)行作業(yè)，使用基于計算機(jī)視覺的精準(zhǔn)室內(nèi)定位技術(shù)，實現(xiàn)巡檢員在巡檢時的實時定位。通過在地面上放置虛擬的指引箭頭，實現(xiàn)虛擬巡檢指引[10]。

3)通過AR終端將實時畫面?zhèn)鬏斨疗脚_，平臺對畫面進(jìn)行識別，將識別信息和關(guān)鍵數(shù)據(jù)傳輸回AR終端，輔助巡檢人員對設(shè)備是否異常作出精準(zhǔn)判斷。

4)AR終端快速識別出需要巡檢的機(jī)電設(shè)備信息，后臺將該設(shè)備實時數(shù)據(jù)迅速傳遞至AR終端，并通過疊加標(biāo)記數(shù)據(jù)異常的機(jī)電設(shè)備，可以全方位720°對機(jī)電設(shè)備進(jìn)行查看并分解，查看內(nèi)部結(jié)構(gòu)與運作情況。

5)巡檢人員通過AR終端所顯示的機(jī)電設(shè)備實時數(shù)據(jù)及后臺算法所提供的設(shè)備健康值判定設(shè)備異常故障后，平臺同時使用算法自動推薦合適的解決方案。若巡檢人員無法解決，現(xiàn)場巡檢人員可以通過AR遠(yuǎn)程指導(dǎo)獲得專家的幫助，專家通過實時看到現(xiàn)場巡檢人員的操作內(nèi)容并聽到清晰的語音，從而進(jìn)行指導(dǎo)。

6)遠(yuǎn)程專家可通過移動端或PC端實時連接現(xiàn)場巡檢人員的AR終端，查看現(xiàn)場視頻。遠(yuǎn)程專家具備操作系統(tǒng)，可以在視頻畫面上標(biāo)注信息或傳輸處理方案信息等。專家也可以抓取靜態(tài)圖像并放大檢查細(xì)節(jié)，對實時視頻或靜態(tài)圖像進(jìn)行批注講解，幫助缺乏經(jīng)驗的巡檢人員增長經(jīng)驗，減少停機(jī)時間、降低差旅成本。

7)自動記錄巡檢電子記錄單，并將其收錄檢修知識庫，包括故障原因分析和故障排查、故障處理步驟、設(shè)備使用手冊和配置說明、故障的影響及影響范圍，為下次巡檢提供更多的數(shù)據(jù)源，以利于AI智能解決方案的學(xué)習(xí)。

8)完成巡檢任務(wù)。

圖3 AR巡檢工作流程圖

2 AR巡檢系統(tǒng)的實現(xiàn)

本系統(tǒng)的實現(xiàn)是針對各個機(jī)電設(shè)備的不同特征進(jìn)行提取，構(gòu)建好所有機(jī)電設(shè)備的特征樣本數(shù)據(jù)庫，利用AR終端獲取圖像并進(jìn)行識別與匹配。在識別與匹配算法研究上，針對隧道場景的特點，對SURF算法進(jìn)行優(yōu)化[11]，提高了識別性能。對于檢測到的機(jī)電設(shè)備，返還識別結(jié)果和位置信息進(jìn)行AR渲染。AR渲染建立了現(xiàn)實世界與屏幕之間的映射關(guān)系，使想要展示的信息、數(shù)據(jù)或三維模型疊加在實物上并可以在屏幕上看到。巡檢人員使用AR終端就可以看到機(jī)電設(shè)備的信息與實時數(shù)據(jù)、巡檢任務(wù)單、智能解決方案和虛擬設(shè)備手冊等。

2.1 識別匹配算法

識別匹配算法本質(zhì)上是要在AR終端的攝像機(jī)畫面內(nèi)識別出所有樣本數(shù)據(jù)庫中存在的機(jī)電設(shè)備并與之匹配。當(dāng)AR終端的攝像頭開始獲取圖像畫面后，提取畫面內(nèi)特征點并與樣本特征點進(jìn)行比較，如果匹配數(shù)量超過閾值，即可認(rèn)為捕獲到該樣本。

常用來進(jìn)行物體辨識和圖像匹配的算法是SIFT和SURF算法，且都能較好地解決尺度不變的問題。尺度不變性如圖4所示。

圖4 尺度不變性示意圖

SIFT算法特征穩(wěn)定，但實時性不高，對隧道內(nèi)有些邊緣不明顯設(shè)備的特征點提取能力弱。SURF算法步驟與SIFT算法大致相同，但是改進(jìn)了特征的提取和描述方式，具備更強(qiáng)的特征值點提取能力和實時性[12]。

2.1.1 構(gòu)建Hessian矩陣與尺度空間

SURF算法的核心為Hessian矩陣(見式(1))，是一個多元函數(shù)的二階偏導(dǎo)數(shù)構(gòu)成的矩陣[13]，可以生成圖像穩(wěn)定的邊緣點，為下文的特征提取做好基礎(chǔ)。

(1)

式中x,y為像素點坐標(biāo)。

Hessian矩陣的判別式為：

(2)

判別式取得局部極大值時像素點的坐標(biāo)即為關(guān)鍵點的位置。在SURF算法中，圖像像素I(x,y)取代函數(shù)值f(x,y)[14]，并使用二階標(biāo)準(zhǔn)高斯函數(shù)對其進(jìn)行高斯濾波，使特征點具備尺度無關(guān)性：

L(x,t)=G(t)·I(x,t)。

(3)

通過特定核間的卷積計算二階偏導(dǎo)數(shù)，計算出3個矩陣元素Lxx,Lxy,Lyy,從而得到矩陣：

(4)

SURF算法從9×9的箱式高斯濾波器開始，如圖5所示。為了保持尺度空間的連續(xù)性，SURF算法尺度空間相鄰組中有部分層重疊。改變?yōu)V波窗口大小來獲得不同尺度的圖像，構(gòu)成了尺度空間。

(a) x方向 (b) y方向 (c) xy方向

2.1.2 特征點主方向分配并生成描述子

將經(jīng)過Hessian矩陣處理的每個極值點與二維圖像空間和尺度空間鄰域內(nèi)的像素點作比較，并篩選出最終穩(wěn)定的特征點。

當(dāng)?shù)玫筋I(lǐng)域內(nèi)所有點的矢量后，需要確定該特征值點的主方向。將領(lǐng)域以每60°為一個區(qū)間，逐一統(tǒng)計每個區(qū)間內(nèi)所有點加權(quán)矢量和，然后遍歷整個領(lǐng)域內(nèi)的所有特征點。該特征點的主方向由值最大的區(qū)間的方向確定，如圖6所示。

圖6 特征點主方向

以圖6中3個區(qū)間領(lǐng)域為例，可認(rèn)為該特征點主方向由15°～75°區(qū)間領(lǐng)域梯度方向確定。

沿著特征點的主方向選定一個矩形區(qū)域塊，如圖7所示。

(a) 領(lǐng)域梯度方向 (b) 關(guān)鍵點特征向量

以主方向為基準(zhǔn)，建立X軸和Y軸，每個子區(qū)域統(tǒng)計X和Y方向的哈爾小波特征[15]。該哈爾小波特征為水平方向值代數(shù)和、垂直方向值代數(shù)和、水平方向絕對值之和以及垂直方向絕對值之和[16]。把這4個值作為每個子塊區(qū)域的特征向量，共有4×4×4=64維向量作為SURF算法特征的描述子。最終將向量歸一化，得到SURF算法一個特征點的描述子[17]。

2.1.3 Lowe’s算法優(yōu)化篩選特征點匹配

特征點匹配常用的辦法是對2個圖像中的特征點進(jìn)行提取，然后以一個最佳的閾值來判斷特征點是否匹配。SURF算法也是采用類似的原理，其通過計算2個特征點間的歐式距離來確定匹配度，也就是最鄰近匹配算法(見式(5))[18]。歐氏距離越短，代表匹配度越高?；赟URF算法的特征點匹配如圖8和圖9所示。

(5)

圖8 SURF算法特征點匹配

圖9 有干擾下的特征點匹配

由圖9可知，在有干擾下的特征點匹配效果欠佳，存在些錯誤匹配，所以需要進(jìn)一步篩選匹配點，來獲取最優(yōu)的特征點匹配。

本文選用Lowe’s算法來優(yōu)化匹配點。即先取其中一圖中的一個關(guān)鍵點X，并找出其與另一圖中歐式距離最近的2個關(guān)鍵點Y和Z[19]。如果最近的距離除以次近的距離得到的比率R不大于閾值T[20]，則接受這一對匹配點，即：

(6)

本文對大量隧道內(nèi)的圖片進(jìn)行了匹配。經(jīng)過試驗發(fā)現(xiàn)： 閾值T在0.5附近匹配效果最好； 當(dāng)閾值T<0.5，則匹配點會大大減少；當(dāng)閾值T>0.5，則匹配點存在較多錯誤匹配。運用Lowe’s算法后排除了大量因為遮擋和背景混亂而產(chǎn)生的無匹配關(guān)系的關(guān)鍵點，大大減少了計算量。優(yōu)化后的特征點匹配如圖10所示，取得了較好的效果。

圖10 優(yōu)化后的特征點匹配

2.1.4 PSO融合優(yōu)化識別匹配

隧道內(nèi)同類型機(jī)電設(shè)備眾多，對于相同型號的設(shè)備難以實現(xiàn)精準(zhǔn)匹配。利用機(jī)電設(shè)備的固定性，對每個設(shè)備新增其地理位置或特定標(biāo)簽等唯一屬性。由于隧道內(nèi)GPS/北斗定位信號弱，可以通過隧道內(nèi)5G室內(nèi)高精定位獲取用戶的地理位置和后臺數(shù)據(jù)庫里該位置附近物體的POI信息，再通過AR智能終端里的電子指南針和加速度傳感器獲取方向和角度，從而建立基于目標(biāo)物體唯一屬性的識別匹配。當(dāng)利用唯一屬性完成識別匹配后，需要將唯一屬性識別匹配與SURF算法識別匹配的結(jié)果進(jìn)行融合。因為識別匹配算法的本質(zhì)是將現(xiàn)實中的目標(biāo)與后臺數(shù)據(jù)庫里的目標(biāo)進(jìn)行關(guān)聯(lián)，利用定位獲取用戶地理位置，與后臺數(shù)據(jù)庫里該位置附近物體的POI信息進(jìn)行關(guān)聯(lián)后，相較于整個隧道的物體數(shù)量而言，匹配的難度大大降低，有助于識別匹配的準(zhǔn)確性。

PSO算法具備較強(qiáng)的信息融合優(yōu)化能力。首先在可解空間中初始化一群粒子,每個粒子都代表極值優(yōu)化問題的一個潛在最優(yōu)解[21]，用位置、速度和適應(yīng)度值表示該粒子特征，速度決定其飛翔的方向和距離，適應(yīng)度值由適應(yīng)度函數(shù)計算得到，其值的好壞表示粒子的優(yōu)劣。利用PSO算法尋找目標(biāo)物體在后臺數(shù)據(jù)庫關(guān)聯(lián)度最優(yōu)的一個解，用戶地理位置附近的一些物體則抽象成一群粒子，每個粒子都代表目標(biāo)物體關(guān)聯(lián)問題的一個潛在最優(yōu)解，再通過關(guān)聯(lián)度來抉擇粒子是否為最優(yōu)匹配對象。

本系統(tǒng)選擇PSO信息優(yōu)化算法對SURF算法識別匹配的結(jié)果和唯一屬性識別匹配的結(jié)果進(jìn)行優(yōu)化關(guān)聯(lián)融合，有助于識別匹配的準(zhǔn)確性。其融合流程如圖11所示。

圖11 PSO信息優(yōu)化算法

將用戶地理位置附近范圍內(nèi)的物體集合作為一個D維的搜索空間，由n個代表物體的粒子組成一個種群X=(X1,X2,…,Xn)，其中向量Xi=(Xi1,Xi2,…,XiD)T代表第i個粒子在D維的搜索空間中的位置，也代表一個潛在解[22]。

根據(jù)匹配關(guān)聯(lián)度即可計算出每個粒子位置對應(yīng)的適應(yīng)度值。

第i個粒子的速度為：

Vi=(Vi1,Vi2,…,ViD)T。

(7)

其個體極值為：

Pi=(Pi1,Pi2,…,PiD)T。

(8)

種群的全局極值為：

Pg=(Pg1,Pg2,…,PgD)T。

(9)

粒子每更新一次位置，就計算一次適應(yīng)度值，并通過比較新粒子個體極值的適應(yīng)度值和群體極值的適應(yīng)度值來更新自己。個體極值就是粒子本身所找到的最優(yōu)解，群體極值是整個種群找到的最優(yōu)解。更新公式如下：

(10)

(11)

式(10)—(11)中：ω為慣性權(quán)重，體現(xiàn)的是粒子當(dāng)前速度多大程度上繼承先前的速度；d=1,2,…,D；i=1,2,…,n；k為當(dāng)前迭代次數(shù)；Vid為粒子的速度；c1和c2為非負(fù)常數(shù)，稱為加速度因子；r1和r2為分布在[0，1]的隨機(jī)數(shù)。

為防止粒子的盲目搜索，本系統(tǒng)將其位置和速度限制在[-Xmax,Xmax]、[-Vmax,Vmax]。

為了平衡算法的全局與局部搜索能力，本文經(jīng)過實際場景的運用，選用線性遞減慣性權(quán)重LDIW，即

ω(k)=ωstart-(ωstart-ωend)·k/Tmax。

(12)

式中：ωstart為慣性權(quán)重；ωend為迭代至最大次數(shù)時的慣性權(quán)重；k為當(dāng)前迭代代數(shù)；Tmax為最大迭代代數(shù)。

ωstart=0.86、ωend=0.35時算法性能最好。

2.2 AR渲染

當(dāng)完成機(jī)電設(shè)備的匹配識別后，需要將AR渲染效果加載到匹配識別的機(jī)電設(shè)備上，也就是跟蹤注冊技術(shù)。跟蹤注冊技術(shù)需要計算出機(jī)電設(shè)備所在的三維空間內(nèi)的位置，從而可以確定AR渲染效果在真實場景中的位置。因此，計算出機(jī)電設(shè)備在三維空間中的一系列坐標(biāo)轉(zhuǎn)換關(guān)系是首要任務(wù)。

(13)

式中： 矩陣C為攝像機(jī)內(nèi)參矩陣，只與內(nèi)部幾何構(gòu)造有關(guān)； 外參矩陣Tm為攝像頭在真實世界坐標(biāo)系下的姿態(tài)，需要根據(jù)屏幕坐標(biāo)(xc,yc)和事先定義好的坐標(biāo)系以及內(nèi)參矩陣來估計Tm[23]。

經(jīng)過計算機(jī)視覺處理算法，即可實現(xiàn)現(xiàn)實場景中標(biāo)識上的[XmYmZm1]T到二維成像平面對應(yīng)點[xcyc1]T的計算[24]。由于內(nèi)參矩陣為C定值，確定了外參矩陣Tm即可完成攝像機(jī)標(biāo)定。當(dāng)計算出標(biāo)識在各坐標(biāo)系轉(zhuǎn)換之間的關(guān)系后，就能實時跟蹤標(biāo)識在三維空間中的變化位置并完成虛擬模型疊加，實現(xiàn)跟蹤注冊的目的[25]。本文以甬臺溫復(fù)線漁寮隧道為實施對象，隧道內(nèi)AR渲染效果如圖12所示。

(a) 渲染前隧道實景

(b) 實時渲染效果

(c) 選定設(shè)備下的渲染效果

圖12(a)為隧道內(nèi)未渲染的實景。如圖12(b)所示，通過AR終端在有效范圍內(nèi)可以看到實時渲染效果；針對不同類設(shè)備以不同顏色進(jìn)行區(qū)分，路面呈現(xiàn)根據(jù)巡檢任務(wù)自動規(guī)劃的巡檢指引線路；右上方具備巡檢小地圖功能，左上方具備菜單欄、任務(wù)欄、重置、路線、自動等功能。如圖12(c)所示，通過AR交互技術(shù)選擇特定的某一設(shè)備即可獲取其實時運行數(shù)據(jù)及狀態(tài)，并可以查看其3D結(jié)構(gòu)、手冊詳情、設(shè)備檢查、遠(yuǎn)程協(xié)助等功能。

圖13(a)為未渲染的機(jī)電設(shè)備實景。如圖13(b)所示，AR終端在巡檢模式中除了圖12(c)中的功能外，還可以查看到設(shè)備的詳細(xì)數(shù)據(jù)及歷史數(shù)據(jù)等。將基于大數(shù)據(jù)的設(shè)備全生命周期分析和綜合展示進(jìn)行虛擬疊加，為巡檢決策提供依據(jù)。

(a) 渲染前機(jī)電設(shè)備實景

(b) 實時渲染效果

2.3 交互技術(shù)

當(dāng)完成識別匹配和虛擬效果渲染后，巡檢人員需要對AR虛擬效果進(jìn)行交互。

手機(jī)與AR眼鏡哪種作為AR終端更符合隧道運營方也是一個需要考慮的問題。手機(jī)作為AR終端的基礎(chǔ)工具，性價比高，只需要開發(fā)手機(jī)端程序即可使用，但是其性能遠(yuǎn)低于AR眼鏡；而AR眼鏡較重，并不適合長時間佩戴，用戶體驗效果不佳。因此，本文擬將AR眼鏡與安全頭盔進(jìn)行結(jié)合，有效提升設(shè)備性能與集成化，并進(jìn)行現(xiàn)場應(yīng)用，如圖14所示。

(a)(b)(c)

如圖14(a)所示，AR終端將電源內(nèi)置于安全頭盔處，能有效降低AR眼鏡的質(zhì)量，使巡檢人員的負(fù)荷更加合理。該AR終端的鏡片透光率高，不會影響巡檢人員觀察路況的視線。圖14(b)與圖14(c)則示出巡檢人員處于巡檢狀態(tài)，如隧道傳統(tǒng)日常巡檢一樣，在巡檢過程中不中斷交通，采用步行方式，配備AR終端進(jìn)行巡檢。

對于AR終端，比較方便的交互方式是手勢、語音和遙控器。遙控器操控是一種傳統(tǒng)的交互方式，唯一的優(yōu)點就是能保證交互的準(zhǔn)確與高效，但是不利于巡檢人員解放雙手；手勢操控只在一定程度上解放了雙手，仍需要頻繁地用手進(jìn)行操作；語音操控則可以全面解放巡檢人員的雙手，但其智能程度也遠(yuǎn)遠(yuǎn)達(dá)不到AR交互需求，只能作為輔助操作工具。

在實際使用中將結(jié)合眼控交互。眼睛的運動分為注視和掃視[26-27]，如在一個虛擬界面中，眼睛的掃視運動軌跡能夠反映在虛擬界面中，達(dá)到虛擬界面的上下拉動，以注視的時長作為觸發(fā)閾值，從而實現(xiàn)某虛擬物體的放大和縮小。也可以將眼控交互作為選擇性的操控，使某選項處于待激活狀態(tài)[28]，再搭配語音交互或者通過某個特定手勢交互進(jìn)行激活，例如通過人體手指的運動進(jìn)行界面操作，將實現(xiàn)最基本的點選、拖拽操作，這種多重交互協(xié)作方式將會有效避免誤觸發(fā)。

3 試驗分析與評估

為驗證AR隧道虛擬巡檢系統(tǒng)的有效性和可用性，本文將從匹配性能和AR渲染性能2方面對AR隧道虛擬巡檢系統(tǒng)的性能進(jìn)行測試，并結(jié)合實際運行效果與傳統(tǒng)人工巡檢效果做出對比評估。

3.1 匹配性能測試評估

本文將從識別匹配時耗和識別匹配準(zhǔn)確度來評估匹配性能。其中，測試環(huán)境依托近年新建的甬臺溫高速公路復(fù)線溫州瑞安至蒼南段漁寮隧道，其長度為5.86 km，內(nèi)部光照條件良好且機(jī)電設(shè)備齊全。本試驗選取了隧道內(nèi)常有的機(jī)電設(shè)備，包括消防水泵、射流風(fēng)機(jī)、攝像機(jī)、控制箱、照度儀、車道指示器、環(huán)境檢測器、可變標(biāo)志作為測試類別，每類測試類別分別挑選10個外形不一的測試設(shè)備，每個測試設(shè)備在720°全方位下以間隔7.2°為截圖點截取100張，即每類機(jī)電設(shè)備獲得了1 000張測試集。最終以不同車流量為環(huán)境參數(shù)變量驗證本系統(tǒng)在實際環(huán)境下的實用性。

3.1.1 識別匹配耗時測試

將測試集數(shù)據(jù)通過SURF算法、Lowe’s算法優(yōu)化后的SURF和PSO融合優(yōu)化后的識別匹配算法分別測試識別匹配的效率，統(tǒng)計各機(jī)電設(shè)備類型1 000個測試案例的平均耗時來作為評判依據(jù)，見表1。

表1 識別匹配耗時

可以發(fā)現(xiàn)，Lowe’s算法優(yōu)化后的SURF大大降低了識別匹配時耗，而PSO融合優(yōu)化后的識別匹配算法雖然在優(yōu)化后的SURF算法上融合了獨有特征的識別，但對比于優(yōu)化后的SURF算法只略微增加了識別匹配的時耗，仍然具備超過傳統(tǒng)SURF算法的效率。

3.1.2 識別匹配準(zhǔn)確度測試

識別匹配的準(zhǔn)確度是匹配性能的核心，將測試集數(shù)據(jù)通過SURF算法、Lowe’s算法優(yōu)化后的SURF和PSO融合優(yōu)化后的識別匹配算法分別測試識別匹配的準(zhǔn)確度，并采用人工驗證統(tǒng)計各機(jī)電設(shè)備類型1 000個測試案例的平均匹配準(zhǔn)確度，見表2?？梢园l(fā)現(xiàn)，Lowe’s算法優(yōu)化后的SURF算法與傳統(tǒng)SURF算法的識別匹配準(zhǔn)確度相似，并無多大提升，且對于消防水泵和控制箱等所處周邊環(huán)境比較復(fù)雜的情況下識別匹配準(zhǔn)確率不高。而PSO信息優(yōu)化算法對SURF算法識別匹配的結(jié)果和獨有屬性識別匹配的結(jié)果進(jìn)行優(yōu)化關(guān)聯(lián)融合，極大地提升了識別的匹配準(zhǔn)確率，各類機(jī)電設(shè)備的匹配準(zhǔn)確率均高于95%，雖然在實施過程中增加了一定工作量，但保證了識別匹配的準(zhǔn)確率。

表2 識別匹配準(zhǔn)確度

然而，測試案例并不能完全體現(xiàn)隧道內(nèi)實際情況，因此需要對不同環(huán)境參數(shù)下的識別匹配準(zhǔn)確度進(jìn)行測試。由于車輛的車燈照明及尾氣會對隧道環(huán)境參數(shù)造成較大影響，本文以車流量的變化來量化環(huán)境參數(shù)的改變，從而測試本系統(tǒng)在不同環(huán)境下的識別匹配準(zhǔn)確率。由于測試時難以保證每次車流量的完全一致，通過按范圍來劃分并分別進(jìn)行10次實地測試，最后采用人工驗證統(tǒng)計各車流量區(qū)間下的平均匹配準(zhǔn)確度，見表3。

表3 不同環(huán)境參數(shù)下的識別匹配準(zhǔn)確度

由表3可知，隨著車流量的增大，隧道內(nèi)的環(huán)境會發(fā)生很大的改變，汽車燈光與尾氣等均會對識別匹配產(chǎn)生嚴(yán)重的干擾。由于照度儀、車道指示器和可變標(biāo)志直接處于隧道中間，所受的影響也是最大，其識別匹配準(zhǔn)確率下降較大；攝像機(jī)與環(huán)境檢測器雖然處于隧道兩壁，但是其識別匹配準(zhǔn)確率也有下降；消防水泵與控制箱則處于隱蔽處未受影響。

3.2 AR渲染性能測試評估

本文將從渲染耗時和渲染有效性來測試評估匹配性能。

3.2.1 渲染耗時測試

當(dāng)視頻幀數(shù)達(dá)30幀以上即具備流暢性，因而需要保證每一幀渲染時耗小于33 ms。本文挑選15個不同機(jī)電設(shè)備作為測試場景進(jìn)行AR渲染耗時測試，如圖15所示。

圖15 渲染耗時統(tǒng)計圖

由圖15可知，15個案例的平均渲染時耗都維持在25 ms/幀以下，且運行時無明顯卡頓，由此可以判斷本系統(tǒng)的三維模型渲染能夠滿足實時性的要求。

3.2.2 渲染有效性測試

在進(jìn)行渲染有效性評估時，由于不便量化，本文以在不同距離下的渲染是否成功來衡量渲染的有效性，并統(tǒng)計到表中。其中，√表示渲染成功，×表示無渲染，-表示時有時無。以20 cm為視距間隔對所有機(jī)電設(shè)備進(jìn)行渲染有效性測試，只要當(dāng)前視距間隔內(nèi)有一類設(shè)備渲染不成功均視為該視距無渲染，見表4。

表4 渲染有效性統(tǒng)計

由表4可知，當(dāng)機(jī)電設(shè)備在距離AR終端視距小于20 cm時，由于機(jī)電設(shè)備在攝像機(jī)視覺內(nèi)過大，攝像機(jī)只能獲取部分特征點，無法完成識別；當(dāng)視距大于200 cm時，由于像素點過少，攝像機(jī)獲取的特征點較少，也一樣而無法識別；當(dāng)機(jī)電設(shè)備在距離AR終端視距40～220 cm的情況下均能完成渲染?；旧现恍枰东@300個有效像素就可以進(jìn)行精準(zhǔn)識別，滿足現(xiàn)有場景下的隧道巡檢，后期可以通過提升AR終端的像素來改進(jìn)識別的距離，但是同樣會增加識別匹配和渲染的時耗，這是后期改進(jìn)的方向。

3.3 實際運用效果評估

為驗證AR輔助巡檢系統(tǒng)的實際運用效果，對比傳統(tǒng)人工巡檢檢測內(nèi)容，從巡檢耗時與巡檢準(zhǔn)確率2方面進(jìn)行驗證。

通過選取正常巡檢的時間點，在傳統(tǒng)人工巡檢的基礎(chǔ)上新增1名巡檢人員，采用AR輔助巡檢方式持續(xù)1個月每日按時進(jìn)行巡檢，最后由復(fù)核人員核定巡檢耗時、誤檢率、漏檢率及準(zhǔn)確率并取平均值，對比結(jié)果見表5。

表5 實際運用效果對比

可以發(fā)現(xiàn)，AR輔助巡檢系統(tǒng)相對于人工巡檢有明顯優(yōu)勢，總體準(zhǔn)確率約為94%，平均耗時縮減為傳統(tǒng)人工巡檢的54%，且未發(fā)生漏檢情況。人工巡檢效率低、誤判率高且存在漏檢的情況，利用AR輔助巡檢系統(tǒng)能通過系統(tǒng)規(guī)劃的巡檢路線有效避免漏檢的情況，且系統(tǒng)所展示的設(shè)備實時數(shù)據(jù)及輔助決策功能大大降低了巡檢時間，有效減少了誤檢率。

4 結(jié)論與討論

本文研究和設(shè)計了基于AR的隧道虛擬巡檢系統(tǒng)，在一定程度上能提高設(shè)備巡檢效率和質(zhì)量，實現(xiàn)AR可視化指導(dǎo)、智能識別、輔助巡檢。具體研究成果如下：

1)選擇Lowe’s算法優(yōu)化SURF的匹配點，排除了大量因為遮擋和背景混亂而產(chǎn)生的無匹配關(guān)系的關(guān)鍵點，減少了計算量，有效地提升了本系統(tǒng)AR渲染效果的實時性。

2)提出PSO信息優(yōu)化算法對SURF算法識別匹配和唯一屬性識別匹配的結(jié)果進(jìn)行優(yōu)化關(guān)聯(lián)融合，提升了識別匹配的準(zhǔn)確性。

3)計算出機(jī)電設(shè)備所在的三維空間內(nèi)的位置，從而確定AR渲染效果在真實場景中的位置。通過對各坐標(biāo)系轉(zhuǎn)換后，完成實時虛擬模型疊加，實現(xiàn)跟蹤注冊。最終系統(tǒng)通過匹配性能和AR渲染性能及實際運行效果測試評估，總體準(zhǔn)確率接近94%，平均耗時縮減為傳統(tǒng)人工巡檢的54%，且未發(fā)生漏檢情況。

通過對基于AR技術(shù)的隧道人工巡檢輔助系統(tǒng)進(jìn)行深度的研究與實踐，在實際應(yīng)用中取得了較好的效果。但未來仍需對以下幾個方向的技術(shù)問題深入研究：

1)本系統(tǒng)的AR渲染效果在隧道環(huán)境復(fù)雜情況下匹配準(zhǔn)確度有較大下降，尤其在大尺度場景中，誤差漂移嚴(yán)重，因此，本系統(tǒng)AR渲染效果的精確性需要進(jìn)一步優(yōu)化。

2)對于本系統(tǒng)的人機(jī)交互邏輯、AR終端的集成化和觸覺反饋硬件提升也是未來研究的方向。

3)未來將做到對機(jī)電設(shè)備虛擬模型的拆分，這樣更有利于巡檢人員發(fā)現(xiàn)問題和解決問題，其中的精準(zhǔn)模型構(gòu)建將是深入研究的方向。