面向視障患者的跨模態(tài)環(huán)境感知與導(dǎo)航系統(tǒng)

沈立新，胡威，王艷紅

（1.長春師范高等?？茖W(xué)校，長春 130216；2.長春理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院，長春 130022）

據(jù)世界衛(wèi)生組織（WHO）數(shù)據(jù)顯示，全球約有7 500 萬盲人和約1.24 億的視力低下的人群。由于視力受損，該人群的自理能力和生活質(zhì)量都受到了極大的影響。隨著物質(zhì)生活和科技水平的不斷提高，視障患者也有與正常人一樣享受物質(zhì)文化成果和體驗科技進步的需求。然而，視覺的缺失嚴重限制了視障患者的信息獲取能力，在無他人幫助的情況下，視障患者無法通過自主運動而完成正常的生活活動。同時，視力受損導(dǎo)致的行動能力缺失，使視障患者無法參與到社會活動中。

區(qū)別于室外導(dǎo)航服務(wù)系統(tǒng)，室內(nèi)環(huán)境普遍存在遮擋和多徑效應(yīng)，因此，無法通過接收衛(wèi)星定位信號為用戶提供位置服務(wù)［1-2］。視障患者在室內(nèi)空間中迫切需要確定自身位置并感知環(huán)境信息，因此，研究和開發(fā)不依賴衛(wèi)星信號的室內(nèi)輔助導(dǎo)航系統(tǒng)是十分重要的。近年來，隨著圖像處理與傳感器技術(shù)的發(fā)展，視覺驅(qū)動的定位方法逐漸成為了輔助導(dǎo)航領(lǐng)域的研究熱點。

室內(nèi)輔助導(dǎo)航根據(jù)其使用設(shè)備不同，可分為視覺導(dǎo)航系統(tǒng)、視覺-深度（RGB-D）導(dǎo)航系統(tǒng)、智能手杖系統(tǒng)以及輔助導(dǎo)航車系統(tǒng)等［3-5］。綜合考慮定位精度、有效距離以及使用便利性等因素，認為RGB-D 輔助導(dǎo)航系統(tǒng)在保證性能的同時，更具有使用便利性。視障患者受制于生理缺陷，無法通過視覺系統(tǒng)獲取導(dǎo)航指引信息和環(huán)境感知結(jié)果。因此，跨模態(tài)的信息交互方法是指導(dǎo)患者完成環(huán)境感知和自主運動的關(guān)鍵。Li 等人［6］提出了可穿戴式輔助導(dǎo)航系統(tǒng)，該系統(tǒng)雖然可以在室外環(huán)境中借助于GPS 信號為患者提供位置信息，但該系統(tǒng)無法在室內(nèi)環(huán)境中工作。Hirano 等人［7］通過觸覺感知系統(tǒng)將運動指導(dǎo)信息傳遞給參與運動的視障患者，并對患者的運動動作提供指導(dǎo)。近年來，語音提示功能被引入到面向視障患者的環(huán)境感知和輔助導(dǎo)航系統(tǒng)中［8-9］。但是，視障患者無法通過語音提示（例如“前、后、左、右”等方位提示）理解環(huán)境中地理要素的準確位置，尤其是當(dāng)患者需要與室內(nèi)設(shè)施發(fā)生互動時，準確的方位指引便顯得尤為重要。因此，在本文中，將視覺可見的地理要素轉(zhuǎn)化為虛擬聲源，以跨模態(tài)的方式傳遞給視障患者。通過調(diào)制虛擬聲場的頻率、振幅和響度，賦予地理要素不同的語義標(biāo)簽，從而指導(dǎo)視障患者完成環(huán)境感知。在此基礎(chǔ)上，通過深度學(xué)習(xí)方法，實現(xiàn)對視障患者的跨模態(tài)導(dǎo)航。

1 系統(tǒng)介紹與地理要素識別

本文提出的跨模態(tài)導(dǎo)航系統(tǒng)由兩個消費級傳感器（RGB-D 傳感器和骨傳導(dǎo)耳機）以及一個微型計算機構(gòu)成，如圖1所示。在該系統(tǒng)中，RGB-D傳感器采集室內(nèi)環(huán)境中的視覺特征以及視覺特征對應(yīng)的深度信息。視覺和深度信息在計算機中進行處理和運算，生成聽覺導(dǎo)航信息，并由骨傳導(dǎo)耳機傳遞給視障患者。震動馬達放置于患者的腰部，用于發(fā)送運動方向指令。

圖1 輔助導(dǎo)航系統(tǒng)示意圖

在跨模態(tài)導(dǎo)航系統(tǒng)中，視覺傳感器采集到的信息首先被輸入到Y(jié)OLO-V3 深度學(xué)習(xí)模型［10］中，對室內(nèi)場景中的重要地理要素進行識別和標(biāo)記。對于視障患者來說，室內(nèi)環(huán)境中的重要地理要素主要包括生活中所必須使用的生活設(shè)施，例如桌椅、電器、衣柜等。通過深度學(xué)習(xí)方法可以對圖像中的地理要素進行識別并加以理解和標(biāo)記。獲得地理要素標(biāo)簽后，將地理要素以聲學(xué)符號的形式加以描述，并以虛擬聲源的方式將地理要素進行表示。在室內(nèi)地理要素轉(zhuǎn)換為虛擬聲源之前，需要根據(jù)人耳的聽力范圍，對不同的語義元素進行音頻編碼，即對不同的語義元素賦予不同頻率的音頻信號，頻譜劃分示例如圖2 所示。人的聽覺系統(tǒng)可以分辨20～20 000 Hz 范圍內(nèi)的聲音信號。本系統(tǒng)中選用更為舒適的頻率區(qū)間（即200～8 000 Hz）用于對地理要素的音頻編碼。

圖2 虛擬聲源頻譜劃分示例

2 視覺地理要素的跨模態(tài)聲學(xué)渲染

在本導(dǎo)航系統(tǒng)中，將采用頭相關(guān)傳輸函數(shù)進行視覺地理要素的跨模態(tài)聲學(xué)渲染。頭相關(guān)傳輸函數(shù)（Head Related Transfer Function，HRTF）是一個與頭部相關(guān)脈沖響應(yīng)的傅里葉變換，頭相關(guān)傳輸函數(shù)結(jié)果取決于患者與地理要素之間的相對位置。頭相關(guān)傳輸函數(shù)是一個線性時不變的傳遞函數(shù)，因此可以用線性時不變模型來近似［11］。本系統(tǒng)中主要利用頭相關(guān)傳輸函數(shù)的空間指向特性來實現(xiàn)對地理要素的聲學(xué)渲染。

根據(jù)RGB-D 傳感器的原理可知，視覺圖像中地理要素與傳感器之間的距離可以通過深度傳感器進行測量，該距離r在本系統(tǒng)認為是患者與地理要素之間的距離。利用頭相關(guān)傳輸函數(shù)可以對地理要素進行二維聲學(xué)渲染，得到在P位置處的渲染結(jié)果為：

其中，方位角φk表示患者與地理要素在水平面上的相對位置關(guān)系；wk為與方位角相關(guān)的權(quán)重。如果將RGB-D 傳感器上彩色相機的光心與地理要素之間的連線稱為視覺線，那么方位角即為視覺線與彩色相機光軸在水平面上的夾角。

由式（1）可知，P位置處的聲學(xué)渲染結(jié)果是由已測量的HRTF 函數(shù)結(jié)果f(φk) 加權(quán)相加得到的。

通過參數(shù)(φ,r) 可以表示出患者與地理要素之間的相對位置關(guān)系。當(dāng)?shù)乩硪嘏c患者的方向角為φ（φk≤φ≤φk+1）時，利用鄰域線性插值法可得［12］：

由式（3）可知，視障患者與地理要素之間的相對位置關(guān)系由渲染結(jié)果表示。在實際應(yīng)用過程中，需要針對左右耳分別進行聲學(xué)渲染，從而獲得左右耳的渲染結(jié)果和。此外，地理要素與患者之間的距離用音頻的強度來表示，不同地理要素之間用不同頻率的音頻信號來加以區(qū)分。這樣，RGB-D 傳感器采集到的視覺信號便轉(zhuǎn)化為了視障患者可以感知的音頻信號。

3 基于深度學(xué)習(xí)的輔助導(dǎo)航

本系統(tǒng)中提出了基于深度學(xué)習(xí)的視聽覺協(xié)同導(dǎo)航框架（如圖3 所示），在此框架下為視障患者提供環(huán)境感知和輔助導(dǎo)航信息。視聽覺協(xié)同導(dǎo)航框架包含有三個卷積神經(jīng)網(wǎng)絡(luò)（CNN）層（卷積核尺寸分別為8 × 8、4 × 4 以及3 × 3）、一個線性層以及一個門限循環(huán)單元。導(dǎo)航框架的輸入是視覺信息、深度信息以及經(jīng)過處理的雙耳音頻信號，經(jīng)過卷積網(wǎng)絡(luò)處理后，得到向量VV、VD和VA。將三個向量串聯(lián)并輸入到門控循環(huán)單元中，門控循環(huán)單元同時處理當(dāng)前輸入狀態(tài)ht和歷史累積狀態(tài)ht-1，從而更新當(dāng)前狀態(tài)，并輸出觀測狀態(tài)ot。利用評判（Critic）模塊和執(zhí)行（Actor）模塊可以進一步計算出狀態(tài)值V(ot,ht-1)以及策略分布πφ(at|ot,ht-1)。動作采樣器對執(zhí)行模塊數(shù)據(jù)進行處理，并結(jié)合室內(nèi)環(huán)境形成“動作-狀態(tài)”集反饋給輸入端，從而為下一步運動提供參考策略。

圖3 基于深度學(xué)習(xí)的視聽覺協(xié)同導(dǎo)航框架

面向視障患者的輔助導(dǎo)航系統(tǒng)在提供運動決策方案時，需要預(yù)先定義運動指令集合A={MF,TL,TR,LF,RF,S} ，其中，MF 表示前進、TL 表示左轉(zhuǎn)、TR 表示右轉(zhuǎn)、LF 表示向左前方前進、RF表示向右前方前進，S表示停止。在某個時間t，室內(nèi)環(huán)境狀態(tài)為st∈S，輔助導(dǎo)航系統(tǒng)觀測到的狀態(tài)為ot，該狀態(tài)包含有輔助導(dǎo)航系統(tǒng)渲染的音頻、RGB-D 傳感器采集的視覺和深度信息。輔助導(dǎo)航系統(tǒng)根據(jù)先前狀態(tài)ht-1和當(dāng)前觀測狀態(tài)ot制定策略πt,θ:A→[ 0,1] ，其中，輔助導(dǎo)航系統(tǒng)在時刻t指導(dǎo)患者實施動作a（tat∈A）的概率是πt,θ(at|ot,ht-1)。當(dāng)輔助導(dǎo)航系統(tǒng)進入下一個狀態(tài)st+1，即時獎勵定義為rt∈?。未來衰減獎勵之和Gt,γ為：

其中，γ∈[ 0,1] 是衰減系數(shù)，用于調(diào)節(jié)對近期或長期獎勵權(quán)重；Vt,θ(ot,ht-1)的值是期望回報。本系統(tǒng)采用近端策略優(yōu)化（Proximal Policy Optimization）［13］對導(dǎo)航系統(tǒng)進行優(yōu)化，近端策略優(yōu)化是一種具有高魯棒性和高采樣率的一階優(yōu)化方法，在充分考慮視障患者運動特性和安全約束規(guī)則的條件下，近端策略算法可以實現(xiàn)對患者運動方案的優(yōu)化，從而提高輔助導(dǎo)航系統(tǒng)的性能表現(xiàn)。優(yōu)化后的導(dǎo)航系統(tǒng)可以向視障患者發(fā)出運動指令，指導(dǎo)患者在室內(nèi)環(huán)境中進行自主移動。

在輔助導(dǎo)航系統(tǒng)運行過程中，室內(nèi)環(huán)境信息（包括障礙物檢測結(jié)果、人類狀態(tài)識別結(jié)果等）和輔助導(dǎo)航信息通過骨傳導(dǎo)耳機和振動馬達傳遞給視障患者，指導(dǎo)患者與室內(nèi)設(shè)施的互動，并指引患者進行自主運動。具體來說，患者利用數(shù)字鍵盤選擇一個地理要素作為導(dǎo)航目的地，這樣患者便可以通過音頻渲染結(jié)果識別出地理要素的距離和方位，同時通過振動馬達感知運動方向。這樣，視障患者便可以在已知目的地方位的情況下，依據(jù)震動信號進行室內(nèi)行走，更有利于發(fā)揮患者的主觀能動性，更好地完成自主運。

4 實驗結(jié)果與分析

本文中提出的輔助定位系統(tǒng)以RGB-D 傳感器（Intel Real Sense D435i）作為信息輸入設(shè)備，信息經(jīng)過微型計算機運算和加工后，導(dǎo)航信息通過骨傳導(dǎo)耳機（SHOKZ Open Run Pro）和震動馬達傳遞給視障患者。輔助導(dǎo)航系統(tǒng)運行在ubuntu18.04 操作系統(tǒng)上，配備有Intel I7 9700K 處理器和NVIDIA GeForce RTX 2070 SUPER 顯卡。本文實驗主要驗證輔助導(dǎo)航系統(tǒng)的導(dǎo)航指引性能和地理要素感知性能。

輔助導(dǎo)航系統(tǒng)通過渲染聲音信號，為患者提供地理要素指引信息，即方位信息。為了驗證輔助導(dǎo)航系統(tǒng)的方位指引能力，實驗前召集了16 名身體健康的志愿者作為測試對象。測試對象接收到音頻信號后，需要根據(jù)左右耳信號差別，判斷地理要素的方向。實驗中共設(shè)置12 類生活常用物品（包括冰箱、電視機、計算機、打印機等），對不同種類物品賦予不同的音頻標(biāo)簽，以供用戶判斷物品種類。不同物品分別擺放在與人體矢狀面夾角為-90°、-60°、-30°、0°、30°、60°、90°位置處，不同位置被編號為P1、P2、…、P7。對于每位待測試志愿者，分別在不同位置擺放不同物品用于測試，每個物品重復(fù)測試10 次，計算志愿者感知到的方位與真實方位之間的角度誤差，結(jié)果如表1 所示。綜合分析16 名志愿者的方向指引結(jié)果，在位置P1、P2、P3、P4、P5、P6、P7處的平均方位指引誤差分別為2.5°、3.3°、4.5°、8.1°、4.9°、4.2°、2.7°。

表1 輔助導(dǎo)航系統(tǒng)方位指引誤差統(tǒng)計表

從輔助導(dǎo)航系統(tǒng)方位指引誤差統(tǒng)計結(jié)果來看，方位指引精度在人體矢狀面夾角為-90°和90°時，方位指引精度最高；物品位置與人體矢狀面夾角為0°時，方位指引誤差較大。該結(jié)果表明，當(dāng)被測試者接收到的左右耳信號差別較大時（即在P1和P7位置處），被測試者方位辨別能力較強；當(dāng)被測試者接收到的左右耳信號差別較小時（即在P4位置處），被測試者方位辨別能力較弱。對于所有被測試志愿者，不同角度下的方位指引平均誤差為4.31°。

在蒙住眼睛的情況下，志愿者佩戴導(dǎo)航系統(tǒng)進行室內(nèi)行走實驗，導(dǎo)航目的地為預(yù)先設(shè)定好的地點。志愿者事先不了解測試場地的實際情況，開始測試時蒙住眼睛并由工作人員帶領(lǐng)至測試場地。導(dǎo)航開始后，志愿者僅依靠輔助導(dǎo)航系統(tǒng)在室內(nèi)進行自主行走。測試場地中安裝有光學(xué)三維動作捕捉系統(tǒng)，可以完整記錄志愿者的運動軌跡。通過比較志愿者的運動軌跡和導(dǎo)航規(guī)劃路徑，可以評估輔助導(dǎo)航系統(tǒng)的性能表現(xiàn)。圖4 所示為某個志愿者的輔助導(dǎo)航結(jié)果示例，圖中由黑色圓點組成的軌跡是導(dǎo)航系統(tǒng)的規(guī)劃路徑，由星號組成的軌跡是志愿者實際運動路徑。

圖4 輔助導(dǎo)航結(jié)果示例

通過圖4 所示結(jié)果可知，當(dāng)導(dǎo)航系統(tǒng)引導(dǎo)志愿者進入轉(zhuǎn)彎狀態(tài)時，產(chǎn)生的導(dǎo)航誤差較大；當(dāng)志愿者直行時導(dǎo)航誤差較小。這是因為導(dǎo)航系統(tǒng)向志愿者發(fā)出轉(zhuǎn)彎信號后，志愿者接收信號并執(zhí)行時會產(chǎn)生偏差，從而導(dǎo)致實際路徑與規(guī)劃路徑不一致。導(dǎo)航系統(tǒng)的引導(dǎo)誤差用均方根誤差（RMSE）進行評價，計算公式如下：

其中，pi為導(dǎo)航規(guī)劃路徑點；p?i為志愿者實際運動軌跡點。

在實際的輔助導(dǎo)航實驗中發(fā)現(xiàn)，導(dǎo)航系統(tǒng)在引導(dǎo)視障患者直線行走時，導(dǎo)航精度較高；當(dāng)導(dǎo)航系統(tǒng)引導(dǎo)患者進行轉(zhuǎn)彎時，產(chǎn)生的引導(dǎo)誤差大于直行引導(dǎo)誤差。因此，本文對不同導(dǎo)航狀態(tài)下的引導(dǎo)誤差進行了統(tǒng)計，結(jié)果如表2 所示。對于16 位參與實驗的志愿者，每位志愿者均在導(dǎo)航系統(tǒng)的指引下完成10 次輔助導(dǎo)航任務(wù)，直行狀態(tài)平均引導(dǎo)誤差為5.936 cm，轉(zhuǎn)彎狀態(tài)平均引導(dǎo)誤差為17.793 cm，不同導(dǎo)航引導(dǎo)狀態(tài)下的平均引導(dǎo)誤差為15.125 cm。通過分析導(dǎo)航誤差結(jié)果可知，在輔助導(dǎo)航系統(tǒng)引導(dǎo)志愿者進行直行時，引導(dǎo)誤差較低，僅為5.936 cm。但是，當(dāng)輔助導(dǎo)航系統(tǒng)引導(dǎo)志愿者進行轉(zhuǎn)彎時，平均導(dǎo)航誤差達到17.793 cm。

表2 輔助導(dǎo)航引導(dǎo)誤差統(tǒng)計表

在轉(zhuǎn)彎狀態(tài)下，導(dǎo)致系統(tǒng)引導(dǎo)誤差較高的原因主要有兩個方面：（1）志愿者接收到系統(tǒng)發(fā)送的以震動形式傳遞的轉(zhuǎn)彎信號后，需要一段反應(yīng)時間，導(dǎo)致運動方向的改變滯后于系統(tǒng)指令；（2）志愿者對方位理解存在偏差，無法準確地對“向左前方前進”、“向右前方前進”等指令做出準確的響應(yīng)動作。針對以上兩個問題，可以讓使用輔助導(dǎo)航系統(tǒng)的患者參加短期導(dǎo)航訓(xùn)練。實驗表明，當(dāng)16 名志愿者分別參加20 次導(dǎo)航訓(xùn)練后，轉(zhuǎn)彎引導(dǎo)誤差的平均值可以降至9.476 cm，綜合導(dǎo)航引導(dǎo)誤差可以控制在10 cm 以內(nèi)。

5 結(jié)論

針對視障患者在室內(nèi)場景中行動困難的問題，提出了跨模態(tài)環(huán)境感知與導(dǎo)航系統(tǒng)，該系統(tǒng)通過頭相關(guān)傳輸函數(shù)將RGB-D 相機采集的視覺和距離信息轉(zhuǎn)化為視障患者可以感知的音頻信號，并利用深度學(xué)習(xí)方法實現(xiàn)輔助導(dǎo)航功能，以震動方式將導(dǎo)航信號傳遞給視障患者，從而使視障患者在感知地理要素方位的同時，在導(dǎo)航系統(tǒng)的指引下完成運動。實驗結(jié)果表明，輔助導(dǎo)航系統(tǒng)的平均方位指引誤差為4.31°，平均導(dǎo)航誤差為9.476 cm，可以有效幫助視障患者在室內(nèi)場景中完成自主運動。