基于視聽感知替代的虛擬環(huán)繞聲導(dǎo)盲系統(tǒng)設(shè)計(jì)

陸 翔，吳 冕，楊新宇，張國寧，王新鈺

(山東科技大學(xué) 電子信息工程學(xué)院，山東 青島 266590)

世界衛(wèi)生組織估計(jì)全世界有盲人約4 000～4 500萬，低視力人群的數(shù)量是盲人的3倍。截至2019年，中國的盲人數(shù)達(dá)到1 700萬[1]。隨著視障人士數(shù)量的逐年增加，解決視障人士的出行問題成為熱門問題。近年來，隨著該領(lǐng)域相關(guān)技術(shù)的快速發(fā)展，國內(nèi)外研發(fā)了不同解決方案的導(dǎo)盲系統(tǒng)，其中障礙物檢測(cè)與人機(jī)交互是相關(guān)研究的重點(diǎn)領(lǐng)域。

在導(dǎo)盲設(shè)備研究領(lǐng)域，目前障礙物檢測(cè)方法主要有雷達(dá)[2]、紅外[3]以及圖像檢測(cè)[4]。其中，便攜式三維激光雷達(dá)價(jià)格昂貴，紅外難以檢測(cè)垂直方向障礙物，而圖像檢測(cè)方法尚未廣泛應(yīng)用。但隨著相關(guān)研究的不斷推進(jìn)，有研究表明[5]大多數(shù)視障人士的心理障礙遠(yuǎn)大于周圍事物對(duì)他們?cè)斐傻恼系K。目前大多數(shù)研究著重關(guān)注導(dǎo)盲系統(tǒng)的功能性問題，采取多樣的障礙物檢測(cè)方式，但往往忽略了視障人士的心理狀態(tài)。盡管也有導(dǎo)盲系統(tǒng)使用語言提示的方式將導(dǎo)盲信息以語言播報(bào)的方式提供給使用者[6]，但通常忽略了人腦在處理聲音信息時(shí)，不夠直觀的信息對(duì)視障群體造成的認(rèn)知壓力[7]過大的問題。目前大多數(shù)價(jià)格適中的導(dǎo)盲設(shè)備無法檢測(cè)到垂直方向上的障礙物，對(duì)于常使用導(dǎo)盲拐杖的視障人群而言，地面上的障礙物已不是最大的安全隱患。因此迫切需要一種方法，能在檢測(cè)到水平及垂直方向障礙物的同時(shí)，兼顧解決視障群體認(rèn)知壓力的問題。

本研究提出一種將視聽融合與虛擬環(huán)繞聲技術(shù)融入導(dǎo)盲系統(tǒng)的設(shè)計(jì)方案，緩解視障人士在使用相關(guān)導(dǎo)盲輔助設(shè)備時(shí)所帶來的認(rèn)知壓力過大的問題。方案采用圖像障礙物檢測(cè)的方式獲取障礙物相關(guān)信息，首先提取圖像的輪廓或者特征點(diǎn)，在兩幅或者多幅圖像中進(jìn)行匹配，利用得到的視差圖計(jì)算障礙物的大小、距離、位置等信息，然后將圖像映射為聲音，利用頭相關(guān)傳輸函數(shù)實(shí)現(xiàn)虛擬環(huán)繞聲，將障礙物信息映射為聲音的音長、頻率和方位，實(shí)現(xiàn)系統(tǒng)的導(dǎo)盲功能。該方案在應(yīng)對(duì)復(fù)雜多變環(huán)境時(shí)有著明顯優(yōu)勢(shì)，并且能夠提供足夠的準(zhǔn)確度以及穩(wěn)定性，為降低視障群體的認(rèn)知壓力提供一種新的途徑。

1 理論背景

1.1 映射音頻產(chǎn)生原理

聲音從聲源傳輸?shù)饺说碾p耳過程中，左耳和右耳不是在同一時(shí)刻接收到音頻信號(hào)的，而是存在一個(gè)很小的時(shí)間差，該時(shí)間差就是雙耳時(shí)間差[8]；且由于距離不同，空氣等媒質(zhì)對(duì)聲音的衰減不同，左耳和右耳接收到的聲音強(qiáng)度也不一樣，這個(gè)強(qiáng)度差值就是雙耳強(qiáng)度差，如圖1所示。從圖1可以看出，距離聲源遠(yuǎn)的耳朵接收到聲音時(shí)間比距離聲源近的耳朵接收到聲音的時(shí)間更長、聲音強(qiáng)度更小。

圖1 雙耳時(shí)間、強(qiáng)度差示意圖

1.2 頭相關(guān)傳輸函數(shù)

目前已有相關(guān)研究提出了更符合人聽覺特性的頻域傳輸函數(shù)——頭相關(guān)傳輸函數(shù)(head-related transfer functions，HRTF)[9-10]。HRTF是一組頻域?yàn)V波器，用來描述聲音從聲源傳輸?shù)蕉涞倪^程。HRTF的定義為：

(1)

式中：PL為聲源到左耳的復(fù)數(shù)聲壓，PR為聲源到右耳的復(fù)數(shù)聲壓，P0為假設(shè)人頭部消失時(shí)中心處的復(fù)數(shù)聲壓，θ為水平方位角，φ為垂直方位角，r為聲源到人頭部中心的距離，ω為聲音的角頻率，α為人的頭部大小。

2 基于視聽融合的導(dǎo)盲系統(tǒng)設(shè)計(jì)

為了實(shí)現(xiàn)輔助導(dǎo)盲并緩解使用者認(rèn)知壓力，并且在較為復(fù)雜的環(huán)境下，如果無法解決垂直方向的障礙物識(shí)別問題，將混淆使用者對(duì)障礙物方位的判斷。因此，本研究采用虛擬環(huán)繞聲作為提示音，提示使用者障礙物的方位、距離、大小等信息。在獲取3個(gè)音頻參數(shù)之前，需要對(duì)攝像頭進(jìn)行預(yù)處理，獲得優(yōu)化的圖像后計(jì)算與障礙物的3個(gè)參數(shù)相對(duì)應(yīng)的音頻參數(shù)，進(jìn)行圖像聲音映射與虛擬環(huán)繞聲的合成，最后通過耳機(jī)輸出音頻。本設(shè)計(jì)解決了大多數(shù)方案在垂直方向上識(shí)別障礙物方位困難的問題，解決了文獻(xiàn)[2]的雷達(dá)方案與文獻(xiàn)[3]的紅外方案只能實(shí)現(xiàn)水平方向上對(duì)障礙物檢測(cè)的局限?？傮w方案流程如圖2所示。

圖2 導(dǎo)盲系統(tǒng)流程圖

2.1 圖像采集預(yù)處理

為采集到較為準(zhǔn)確、穩(wěn)定的圖像，本研究首先利用MATLAB的立體相機(jī)校準(zhǔn)工具箱對(duì)所使用的攝像頭進(jìn)行相機(jī)標(biāo)定，標(biāo)定方法參考文獻(xiàn)[11]，用雙目攝像機(jī)在不同角度拍攝標(biāo)定板，通過標(biāo)定板上的棋盤格角點(diǎn)位置，結(jié)合多個(gè)圖像，求解出標(biāo)定參數(shù)，具體標(biāo)定流程如圖3所示。完成標(biāo)定后，獲得雙目攝像頭的相關(guān)參數(shù)，如表1所示。運(yùn)用畸變向量、旋轉(zhuǎn)矩陣等對(duì)原始圖像進(jìn)行矯正。對(duì)矯正后的兩張圖片進(jìn)行像素點(diǎn)匹配，并根據(jù)計(jì)算結(jié)果得到深度圖。

圖3 MATLAB 工具箱標(biāo)定流程

2.2 立體匹配獲取深度圖

完成標(biāo)定之后可以采集并處理得到具有精確參數(shù)的圖像。由于雙目攝像頭拍攝獲得的圖片無法直接用來獲取本研究所需的參數(shù)，需要利用立體匹配將圖片處理為深度圖——通過圖像中某空間點(diǎn)計(jì)算出該點(diǎn)與相機(jī)的距離。立體匹配利用OpenCV(open computer vision)自有BM(block matching)算法完成，流程如圖4所示。該算法為局部匹配算法，處理速度快。

圖4 OpenCV BM算法實(shí)現(xiàn)流程圖

進(jìn)行立體匹配獲得的深度圖有較多的噪點(diǎn)和部分錯(cuò)誤匹配的點(diǎn)，對(duì)其進(jìn)行空洞填充和中值濾波后能夠得到修復(fù)后的深度圖。原圖、未經(jīng)修復(fù)的深度圖以及修復(fù)后的深度圖對(duì)比如圖5所示。

圖5 修復(fù)前后對(duì)比圖

對(duì)修復(fù)后的深度圖，選擇連通面積最大的一個(gè)區(qū)域，計(jì)算大小參數(shù)、中心點(diǎn)坐標(biāo)(x，y)，并計(jì)算平均距離d。為了獲取本研究所需參數(shù)，首先對(duì)修復(fù)后的深度圖進(jìn)行閾值分割獲得二值化圖像，然后進(jìn)行連通區(qū)域識(shí)別，獲得連通區(qū)域數(shù)目、中心點(diǎn)坐標(biāo)、面積等信息，用以計(jì)算距離最近和面積最大障礙物的映射參數(shù)。這里只計(jì)算深度圖障礙物的平均距離，也就是深度圖障礙物區(qū)域的平均像素值，最終效果如圖6所示。

圖6 距離最近或面積最大的障礙物

2.3 映射方案設(shè)計(jì)

為了能夠讓使用者直觀地感受到映射出的音頻參數(shù)與上述參數(shù)的關(guān)系，符合常人的聲音分辨習(xí)慣，本研究將獲取到的障礙物位置、大小、距離等參數(shù)分別通過各自的映射方案映射為音頻中的方位、音長、頻率[12]，映射參數(shù)如表2所示。

表2 提示音參數(shù)區(qū)間

音長0.1 s對(duì)應(yīng)小障礙物，1 s對(duì)應(yīng)最大障礙物。頻率500 Hz對(duì)應(yīng)遠(yuǎn)距離障礙物，聲音柔和；1 500 Hz對(duì)應(yīng)最近距離障礙物，聲音尖銳，以此提醒使用者更加警覺。方位采用HRTF數(shù)據(jù)庫表示方法。

2.3.1 障礙物大小與距離映射

障礙物大小的映射方法與距離的映射方法類似，均為直接映射方式。其中，障礙物的像素個(gè)數(shù)映射區(qū)間為[500，4 000]，對(duì)應(yīng)的音長區(qū)間為[0.1 s，1 s]，映射關(guān)系為：

(2)

式中：s為映射的大小量；t為映射后的音長，ms。

距離的映射區(qū)間為[300 mm, 3 000 mm]，對(duì)應(yīng)的頻率區(qū)間為[500 Hz, 1 500 Hz]，映射關(guān)系為：

(3)

式中：d為映射的平均距離，mm；f為映射后的頻率，Hz。

通過上述映射關(guān)系式，可將參數(shù)s映射為音長t，參數(shù)d映射為頻率f。

2.3.2 障礙物方位映射

1) 圖像像素方位到角度轉(zhuǎn)換

由于圖像像素方位和該像素點(diǎn)現(xiàn)實(shí)中角度方位的映射不是線性關(guān)系，因此需要把圖像像素方位轉(zhuǎn)換到角度方位，轉(zhuǎn)換方法如圖7所示。

圖7 像素角度轉(zhuǎn)換示意圖

圖7(a)中，扇形為視野范圍[-65°, 65°]，BA為圖像平面水平方向的正半軸方向，∠BOA為65°，可得：

(4)

式中，dAB、dBP分別為圖7中AB、BP的距離。從而得到映射角

(5)

同理可以得：

(6)

式中，hCP、hOD分別為圖7中CP、OD的高度。

借助現(xiàn)有HRTF數(shù)據(jù)庫實(shí)現(xiàn)虛擬立體環(huán)繞聲[13]，通過查找α、β在HRTF數(shù)據(jù)庫中對(duì)應(yīng)的頭相關(guān)沖激響應(yīng) (head-related impulse response，HRIR)，將此HRIR數(shù)據(jù)與合成聲音進(jìn)行時(shí)域卷積，即可實(shí)現(xiàn)方位的映射。其中HRIR為HRTF的時(shí)域表示，可由傅里葉逆變換得出。

2) 方案實(shí)施

方位映射的流程如圖8所示。首先得到物體中心的像素?cái)?shù)據(jù)，將像素?cái)?shù)據(jù)坐標(biāo)轉(zhuǎn)化為角度坐標(biāo)，然后在HRTF數(shù)據(jù)庫中查找最接近該方位的HRIR數(shù)據(jù)位置，最后將該數(shù)據(jù)用于后續(xù)的虛擬環(huán)繞聲合成。

圖8 方位映射流程圖

2.4 虛擬環(huán)繞聲合成

首先利用Python中Numpy庫的相關(guān)函數(shù)產(chǎn)生音頻，并對(duì)音頻信號(hào)進(jìn)行時(shí)域卷積；然后從HRIR數(shù)據(jù)庫中提取左、右耳對(duì)應(yīng)方向上的HRIR數(shù)據(jù)，利用相關(guān)卷積函數(shù)對(duì)其進(jìn)行時(shí)域卷積得到左、右聲道的音頻文件，并將其合并得到輸出的雙聲道音頻文件；最后將獲取的音頻文件用于音頻設(shè)備輸出，為使用者提供導(dǎo)盲功能。

3 試驗(yàn)結(jié)果驗(yàn)證與分析

3.1 試驗(yàn)數(shù)據(jù)

本研究采用CIPIC(center for image processing and integrated computing)機(jī)構(gòu)[14]測(cè)量的多人數(shù)據(jù)集，該數(shù)據(jù)集有多人的HRTF數(shù)據(jù)且公開發(fā)布，每組數(shù)據(jù)均包含個(gè)體特征的測(cè)量值，對(duì)每個(gè)個(gè)體測(cè)量了1 250個(gè)方位的沖激響應(yīng)。

HRTF在時(shí)域中有以下關(guān)系：

y(n)=u(n)?h(n)。

(7)

式中：n為離散時(shí)間序列，?表示卷積運(yùn)算，h(n)為HRIR，u(n)為原始音頻序列，y(n)為時(shí)域卷積的結(jié)果。將左、右聲道的聲音分別與對(duì)應(yīng)的HRIR進(jìn)行卷積后得到y(tǒng)L(n)和yR(n)，然后將二者合成為雙聲道立體聲yS(n)，通過耳機(jī)輸出到人雙耳中。

HRIR數(shù)據(jù)分為左耳和右耳數(shù)據(jù)。單耳的1 250個(gè)方位的數(shù)據(jù)構(gòu)成25×50×200的三維矩陣，分別對(duì)應(yīng)水平方位角(圖9(a))、垂直方位角(圖9(b))及對(duì)應(yīng)數(shù)據(jù)[15]。對(duì)于虛擬環(huán)繞聲的生成來說，HRIR數(shù)據(jù)最為重要，其直接與待處理音頻對(duì)應(yīng)聲道時(shí)域卷積，參與虛擬環(huán)繞聲的生成過程。

圖9 CIPIC HRTF數(shù)據(jù)方位角示例

1) 水平方位角

水平方位角數(shù)據(jù)一共25個(gè)方向，如圖9(a)所示。假定使用者正前方為0°，左側(cè)為-90°，右側(cè)為90°，則這25組數(shù)據(jù)分布在-80°、-65°、-55°、80°、65°、55°等6個(gè)方向和-45°～45°中每5°間隔共19個(gè)方向上。

2) 垂直方位角

垂直方位角為均勻分布，如圖9(b)所示，從-45°開始逆時(shí)針轉(zhuǎn)到人體后側(cè)230.625°，方位間隔為5.625°。對(duì)于每個(gè)方位來說，其數(shù)據(jù)是采樣頻率為44.1 kHz的沖激響應(yīng)函數(shù)。如圖10所示，顯示了水平方位角0°、垂直方位角0°時(shí)左耳的HRIR數(shù)據(jù)。

圖10 水平和垂直方位角均為0°時(shí)左耳HRIR數(shù)據(jù)

測(cè)試好HRIR數(shù)據(jù)后，利用Python的Numpy庫、Simpleaudio庫進(jìn)行音頻生成與輸出。

3.2 障礙識(shí)別及聲音映射準(zhǔn)確度試驗(yàn)

3.2.1 障礙識(shí)別試驗(yàn)

為了便于使用者正確識(shí)別障礙物的大小、方位和距離，耳機(jī)中播放出的虛擬環(huán)繞聲會(huì)呈現(xiàn)不同的特性。對(duì)于識(shí)別障礙物的大小，障礙物在圖像中像素點(diǎn)個(gè)數(shù)越多，則聲音的持續(xù)周期越長，反之越短；對(duì)于識(shí)別障礙物的方位，基于虛擬環(huán)繞聲的環(huán)繞特性，使用者能識(shí)別障礙物在前方某個(gè)角度大致的水平與垂直方位；對(duì)于識(shí)別障礙物的距離，類似于汽車?yán)走_(dá)系統(tǒng)中的聲音信號(hào)，距離較遠(yuǎn)時(shí)，聲音頻率較低而低沉，隨著距離逐漸減小，聲音頻率也隨之升高而顯得尖銳。

試驗(yàn)結(jié)果如圖11所示。結(jié)果表明，本研究設(shè)計(jì)的導(dǎo)盲系統(tǒng)在正常光照下對(duì)靜止和移動(dòng)中的障礙物識(shí)別準(zhǔn)確度能夠維持在90%以上，但在強(qiáng)光位置點(diǎn)的靜止和移動(dòng)的障礙物識(shí)別準(zhǔn)確度僅在50%左右，后續(xù)可以考慮通過增加環(huán)境光傳感器來緩解光線強(qiáng)弱的影響。

圖11 障礙識(shí)別準(zhǔn)確度試驗(yàn)結(jié)果

3.2.2 聲音映射試驗(yàn)

為使數(shù)據(jù)更具代表性，在選取試驗(yàn)個(gè)體時(shí)，遵循普遍性的原則，根據(jù)不同的個(gè)體參數(shù)進(jìn)行篩選，如耳廓尺寸、頭圍等。水平方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果如圖12所示，其中測(cè)試點(diǎn)信息如表3所示。垂直方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果如圖13所示，其中測(cè)試點(diǎn)信息如表4所示。

表3 水平方向測(cè)試點(diǎn)信息

表4 垂直方向測(cè)試點(diǎn)信息

圖12 水平方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果

圖13 垂直方向聲音映射準(zhǔn)確度試驗(yàn)結(jié)果

試驗(yàn)結(jié)果表明，使用者的方位識(shí)別水平偏差角度在15°之內(nèi)的準(zhǔn)確度為82.85%，垂直偏差角度在15°之內(nèi)準(zhǔn)確度為67.5%，對(duì)應(yīng)水平方向的識(shí)別能力總體上高于垂直方向，可輔助盲人進(jìn)行基本的障礙物識(shí)別。試驗(yàn)結(jié)果還可以看出，每個(gè)測(cè)試個(gè)體的準(zhǔn)確度均不同，這是由于在CIPIC的HRTF數(shù)據(jù)庫中，受測(cè)試個(gè)體頭部的形狀、肩寬、耳廓尺寸等人體參數(shù)的影響，每個(gè)測(cè)試個(gè)體對(duì)應(yīng)不同的HRTF數(shù)據(jù)，因此產(chǎn)生準(zhǔn)確度的差別。

4 結(jié)論

1) 本設(shè)計(jì)將虛擬環(huán)繞聲應(yīng)用于導(dǎo)盲領(lǐng)域，而不再拘泥于語言播報(bào)等忽視視障人士心理因素的提示方式，為該領(lǐng)域后續(xù)研究提供參考。

2) 采用圖像檢測(cè)方式，在復(fù)雜環(huán)境中依然能夠穩(wěn)定檢測(cè)障礙物，并能夠檢測(cè)障礙物的垂直方位，為室外復(fù)雜環(huán)境下障礙物檢測(cè)方案提供了借鑒。

3) 采用圖像-聲音的映射方案設(shè)計(jì)，將視聽融合技術(shù)引入導(dǎo)盲系統(tǒng)。在方位識(shí)別方面，使用者判斷的水平偏差角度在15°之內(nèi)的測(cè)試成功數(shù)占總測(cè)試次數(shù)的82.85%，垂直偏差角度在15°之內(nèi)的測(cè)試成功數(shù)占總測(cè)試次數(shù)的67.5%，可實(shí)現(xiàn)簡單的導(dǎo)盲功能。

本設(shè)計(jì)對(duì)光強(qiáng)變化較為敏感，在不同光照環(huán)境下障礙物識(shí)別準(zhǔn)確度差距較大，后續(xù)將嘗試通過環(huán)境光傳感器等手段進(jìn)行光補(bǔ)償自適應(yīng)調(diào)整方面的試驗(yàn)研究。