智能手機(jī)音頻信號與MEMS傳感器的緊耦合室內(nèi)定位方法

陳銳志，郭光毅，葉 鋒，錢 隆，徐詩豪，李 正

武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079

高精度高可用的室內(nèi)定位技術(shù)對人們未來的生活起著至關(guān)重要的作用，是推動(dòng)大眾創(chuàng)新、萬眾創(chuàng)業(yè)的科技源動(dòng)力，是支撐新型基礎(chǔ)設(shè)施建設(shè)，乃至國家戰(zhàn)略需求的重要組成部分。日前，北斗三號全球衛(wèi)星導(dǎo)航系統(tǒng)正式開通，在天基、地基增強(qiáng)技術(shù)的輔助下，精度已可以滿足絕大部分室外定位需求。但由于衛(wèi)星信號的遮擋、衰減和屏蔽，GNSS定位技術(shù)在室內(nèi)無法提供可靠的位置服務(wù)。據(jù)統(tǒng)計(jì)，人們有70%～90%的時(shí)間是在室內(nèi)度過，同時(shí)隨著城市化的不斷加速，室內(nèi)空間的面積總和飛速增加，基于位置的服務(wù)(location based service，LBS)的大量需求與應(yīng)用已經(jīng)從室外轉(zhuǎn)向了室內(nèi)。因此,高精度室內(nèi)定位技術(shù)具有非常廣闊的應(yīng)用前景和重要的社會(huì)價(jià)值[1-2]。

隨著智能手機(jī)飛速發(fā)展，其計(jì)算能力也越來越強(qiáng)勁，搭載的傳感器也越來越豐富，其中可用于室內(nèi)定位的包括：射頻傳感器、麥克風(fēng)、攝像頭、磁力計(jì)、運(yùn)動(dòng)傳感器等?；谥悄苁謾C(jī)的室內(nèi)定位技術(shù)也多種多樣，根據(jù)信號物理類型可分為：射頻信號(蜂窩信號[3]、WiFi[4-7]、BLE[8-9])、音頻信號[10-11]、圖像[12-13]、地磁場[14]、運(yùn)動(dòng)信號[15-16]。表1對比了基于智能手機(jī)室內(nèi)定位技術(shù)特點(diǎn)及典型精度。不難看出，表1中總結(jié)的室內(nèi)定位技術(shù)都有各自的優(yōu)勢以及局限性[17]，單一的定位技術(shù)難以做到像室外環(huán)境的GNSS一樣的普適性。此外，新款智能手機(jī)支持的室內(nèi)定位技術(shù)(UWB、WiFi RTT、5G、BLE 5.1)均有著不錯(cuò)的商用推廣潛質(zhì)，但到目前為止室內(nèi)定位技術(shù)尚未明了，其主要受制于：①室內(nèi)建筑隔絕GNSS信號，絕大部分情況下無法定位；②室內(nèi)環(huán)境拓?fù)鋸?fù)雜，定位場景多樣；③室內(nèi)聲、電信道環(huán)境復(fù)雜；④用戶行為復(fù)雜多變，運(yùn)動(dòng)軌跡難以預(yù)測；⑤智能手機(jī)的搭載的傳感器性能有限。

表1 基于智能手機(jī)的室內(nèi)定位技術(shù)特點(diǎn)及其精度

基于音頻信號的室內(nèi)定位技術(shù)，具有成本低、精度高、兼容性好的特點(diǎn)，非常適合消費(fèi)級智能手機(jī)的室內(nèi)定位場景，直接使用智能手機(jī)內(nèi)置的麥克風(fēng)，無須增加額外的設(shè)備。但是，相比于無線射頻信號，音頻信號無法獲得很高的更新頻率，進(jìn)而無法獲得單位時(shí)間內(nèi)具有統(tǒng)計(jì)意義的觀測值。因此單次的信號到達(dá)時(shí)間估計(jì)精度，直接影響了定位系統(tǒng)的精度及可用性。由于室內(nèi)環(huán)境復(fù)雜，衰減、混響效應(yīng)嚴(yán)重，直接造成直達(dá)經(jīng)的能量大幅度衰減甚至消失，造成較大的誤差[18]。在行人動(dòng)態(tài)定位導(dǎo)航場景中，由人體或物體遮擋引發(fā)的“漏檢測”，使得到達(dá)時(shí)間差(time difference of arrival,TDOA)數(shù)量無法滿足定位最低要求，導(dǎo)致定位失敗。此外，分時(shí)播發(fā)的策略和聲速的緣故，使得運(yùn)動(dòng)狀態(tài)下的行人檢測到的到達(dá)時(shí)間時(shí)是異步的，同時(shí)與聲源的相對運(yùn)動(dòng)會(huì)造成多普勒效應(yīng)，在到達(dá)時(shí)間估計(jì)中引入一個(gè)或正或負(fù)的偏差，需要進(jìn)行補(bǔ)償。針對以上問題，本文提出了一種兩步音頻信號到達(dá)時(shí)間檢測算法，利用行人航跡推算(pedestrian dead reckoning，PDR)和音頻信號的互補(bǔ)性，開展了音頻TDOA和PDR緊組合定位研究，并給出了基于預(yù)測狀態(tài)的多普勒補(bǔ)償改正和異步到達(dá)時(shí)間補(bǔ)償?shù)姆椒ā?/p>

1 音頻信號到達(dá)時(shí)間估計(jì)

1.1 音頻信號設(shè)計(jì)

Chirp信號[19]是當(dāng)前應(yīng)用最廣泛的脈沖壓縮信號，是典型的非平穩(wěn)信號，具有較大的能量帶寬，較好的自相關(guān)特性和較強(qiáng)的抗干擾能力，同時(shí)對多普勒頻移不敏感。選取Chirp信號作為發(fā)射的定位信號，其定義為

(1)

式中，f0為Chirp信號起始頻率；k0為Chirp信號調(diào)頻率；T為Chirp信號的持續(xù)時(shí)間。Chirp信號的抗干擾能力可以用持續(xù)時(shí)間T×B來度量，B為帶寬，乘積越大抗干擾能力越強(qiáng)。

通常，人耳的聽覺范圍約為20 Hz～20 kHz，且絕大部分的人對大于16 kHz的高頻聲音不敏感[20-21]，一方面，考慮到用于定位的信號應(yīng)當(dāng)盡可能不產(chǎn)生噪聲，選取16 kHz作為起始頻率，另一方面，為了盡可能適配消費(fèi)級智能終端，選取44.1 kHz作為大采樣率，因此依據(jù)奈奎斯特(Nyquist)采樣定理選取21 kHz作為截止頻率，具體參數(shù)見表2。

表2 Chirp信號參數(shù)

在室內(nèi)，音頻定位基站播發(fā)的聲波會(huì)通過不同路徑反射到達(dá)智能手機(jī)的麥克風(fēng)。由于傳播路徑、反射面，反射路徑長度各不相同，智能手機(jī)接收到的聲音信號可以看作是不同能量與時(shí)延信號的疊加，可定義為

(2)

1.2 到達(dá)時(shí)間估計(jì)

本文提出了一種兩步法到達(dá)時(shí)間估計(jì)方法，首先對濾波后的數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換(short-time Fourier transform,STFT)，計(jì)算求得當(dāng)前窗口的時(shí)頻矩陣。利用已知的Chirp信號的調(diào)頻率，對矩陣進(jìn)行旋轉(zhuǎn)變換，求得矩陣在水平軸上的能量累計(jì)，計(jì)算相鄰能量累計(jì)的變換量來粗略地估計(jì)音頻信號的到達(dá)時(shí)刻；然后以粗檢測的時(shí)刻為基準(zhǔn)，前后截取濾波后的數(shù)據(jù)，與模板信號求解互相關(guān)運(yùn)算，再利用最高峰向前倒序進(jìn)行峰值搜索，選取第一個(gè)超過閾值的時(shí)刻，作為最終的到達(dá)時(shí)刻估計(jì)。

STFT通過在時(shí)域給信號加窗口的方法獲得信號的局部頻譜。對于信號s(t)，其STFT定義為

exp(-j2πft′)dt′

(3)

式中，γ(t)為窗函數(shù)。

時(shí)頻矩陣旋轉(zhuǎn)角度θ可由調(diào)頻率k0計(jì)算得到

θ=arctan(k0)

(4)

由此，可得變換后的時(shí)頻矩陣TFθ(F′,T′)表達(dá)為

(5)

構(gòu)建統(tǒng)計(jì)量旋轉(zhuǎn)能量累積量Π(F′)，即變換后的時(shí)頻矩陣投影在F′軸上的能量累積量為

(6)

計(jì)算旋轉(zhuǎn)能量累積量Π(F′)的變化量ΔΠ(F′)來進(jìn)行波谷檢測，最后通過逆旋轉(zhuǎn)變換，來實(shí)現(xiàn)對Chirp信號到達(dá)時(shí)間Tc的快速粗略估計(jì)

(7)

(8)

式中，α(0<α≤1)為閾值系數(shù)，本文選取α=0.3。

2 行人航跡推算

PDR是針對行人定位導(dǎo)航場景的相對定位算法，圖1表述了其基本原理：利用三軸加速度計(jì)和陀螺儀，實(shí)時(shí)解算航向角，同時(shí)檢測行人行走狀態(tài)，用步長模型估計(jì)步長；基于上一步的位置，結(jié)合航向角與步長，推算當(dāng)前腳步的位置。

圖1 行人航跡推算原理Fig.1 The principle of pedestrian dead reckoning

基本公式[23]如下

(9)

步長模型選取文獻(xiàn)[5]提出的經(jīng)驗(yàn)線性模型，模型如下

(10)

式中，SF和H分別代表步頻和用戶身高；a、b和c為模型參數(shù)，可以通過預(yù)先的標(biāo)定和數(shù)據(jù)擬合獲得。

四元數(shù)是一個(gè)具有4個(gè)元素的矢量表達(dá)形式，各個(gè)元素為矢量方向和轉(zhuǎn)動(dòng)大小的函數(shù)[24]，相比方向余弦矩陣具有較低的冗余度，并且不存在不確定性，因此選取四元數(shù)作為PDR系統(tǒng)中姿態(tài)的表示方法，當(dāng)進(jìn)行位置推算時(shí)，將四元數(shù)轉(zhuǎn)化為歐拉角的形式進(jìn)行計(jì)算。

慣性傳感器的更新率是極高的(本文設(shè)定為100 Hz)，PDR的輸出是按照用戶步頻來進(jìn)行輸出(正常步頻1～3 Hz)；相比而言，絕對定位源的更新頻率通常不高，甚至是不固定的。為了實(shí)現(xiàn)PDR結(jié)果與音頻TDOA更新時(shí)間配準(zhǔn)，本節(jié)將對腳步內(nèi)位置進(jìn)行插值，轉(zhuǎn)換為行人行走速度

(11)

3 音頻TDOA和航跡推算組合導(dǎo)航

卡爾曼濾波器(Kalman filter，KF)[25]由R.E.Kalman博士于1960年提出，KF的顯著特點(diǎn)是對狀態(tài)空間的估計(jì)，即狀態(tài)空間的一階矩(期望)和二階矩(方差或協(xié)方差)。KF以一種“預(yù)測-更新”的模式對狀態(tài)空間進(jìn)行估計(jì)。在預(yù)測階段，依靠系統(tǒng)狀態(tài)預(yù)測方程，遞推預(yù)測狀態(tài)向量及其時(shí)變的不確定誤差。在量測更新階段，計(jì)算Kalman增益矩陣對觀測信息和預(yù)測狀態(tài)向量值加權(quán)平均，得到狀態(tài)向量的最優(yōu)估計(jì)值。然而，在實(shí)際應(yīng)用中的很多問題是無法用線性微分方差表述的，擴(kuò)展卡爾曼濾波(extend Kalman filter，EKF)通過對非線性函數(shù)進(jìn)行一階線性化，忽略高階項(xiàng)，在犧牲部分精度的前提下，將非線性問題轉(zhuǎn)化為線性問題。在Kalman最優(yōu)估計(jì)條件下，EKF是最小方差準(zhǔn)則下的次優(yōu)濾波器，適合于非線性度較低的系統(tǒng)[26]。本文基于EKF濾波框架，充分利用音頻TDOA和PDR的互補(bǔ)性，以PDR短時(shí)間內(nèi)提供準(zhǔn)確的相對增量作為紐帶，研究了一種基于音頻TDOA和PDR緊耦融合定位算法，并給出了基于預(yù)測狀態(tài)的多普勒補(bǔ)償改正和異步到達(dá)時(shí)間補(bǔ)償方法，提高了系統(tǒng)的定位精度和可靠性。

3.1 系統(tǒng)模型

選取東北天框架下的位置矢量[enu]T以及PDR解算的航向與導(dǎo)航的絕對航線之間的夾角α作為系統(tǒng)估計(jì)狀態(tài)，α由兩部分組成，一部分為真實(shí)航向與PDR解算航向的夾角，系統(tǒng)啟動(dòng)后，當(dāng)安裝角不發(fā)生改變時(shí)，該夾角是一個(gè)常量；另一部分則是由傳感器累積誤差造成的角度，這部分角度變化與MEMS傳感器的性能及導(dǎo)航持續(xù)時(shí)間相關(guān)

(12)

(13)

3.2 量測模型

本文提出的音頻定位系統(tǒng)采用時(shí)分多址(time-division multiple access，TDMA)策略，如圖2所示，完整的播發(fā)周期為1000 ms，4個(gè)音頻基站分別交替播發(fā)。為了保證信號播發(fā)的順序在定位范圍內(nèi)，不存在信號“后發(fā)先至”的情況，相鄰播發(fā)的信號設(shè)置200 ms的間隔時(shí)間。則到達(dá)時(shí)間差TDOAi,j表示為

圖2 時(shí)分播發(fā)策略Fig.2 The strategy of time-division broadcast

TDOAi,j=TOAi-TOAj+200(i-j)i≥j

(14)

3.2.1 多普勒效應(yīng)改正

多普勒效應(yīng)是指，當(dāng)接收端與聲源之間發(fā)生相對運(yùn)動(dòng)時(shí)，接收到的聲波頻率發(fā)生變化的現(xiàn)象。多普勒頻移的大小與相對運(yùn)動(dòng)的速度相關(guān)，而頻移的正負(fù)由相對運(yùn)動(dòng)的方向決定，向聲源方向移動(dòng)頻移為正，反之，遠(yuǎn)離聲源方向頻移為負(fù)。它們之間定量的關(guān)系表達(dá)為

(15)

(16)

(17)

因此多普勒頻移產(chǎn)生的時(shí)間補(bǔ)償Δt可以表達(dá)為

(18)

式中，F(xiàn)和T分別代表Chirp信號的頻率范圍和持續(xù)時(shí)間。則第k個(gè)基站補(bǔ)償后的到達(dá)時(shí)間表達(dá)為

(19)

3.2.2 PDR輔助的TDOA量測補(bǔ)償

(20)

將多普勒效應(yīng)改正和異步觀測補(bǔ)償后的距離差作為觀測量構(gòu)建量測方程

(21)

(22)

通過泰勒級數(shù)展開并忽略高階誤差，量測矩陣Hk可表示為

(23)

4 計(jì)算與分析

4.1 試驗(yàn)描述

本文設(shè)計(jì)了兩組試驗(yàn)來評價(jià)定位精度，測試場地為武漢大學(xué)詩琳通中心大廳。如圖3(a)所示，現(xiàn)場測試區(qū)域約為203 m2，部署4個(gè)音頻基站，基站間通過433 MHz無線模塊進(jìn)行時(shí)間同步。音頻信號播發(fā)的策略如圖2所示。測試用手機(jī)型號及操作系統(tǒng)版本為華為Mate 20(Android P)，OnePlus 6(Android P)和Google Pixel 3(Android P)，手機(jī)搭載的運(yùn)動(dòng)傳感器(加速度計(jì)、陀螺儀)采樣率設(shè)置為100 Hz，音頻信號的采樣率為44.1 kHz。本文試驗(yàn)中，靜態(tài)測試的參考真值由Leica Nova TS60全站儀測量；動(dòng)態(tài)測試是由測試人員背著360°全向棱角，全站儀自動(dòng)跟蹤棱鏡并每0.15 s提供3 mm精度的真值參考。

圖3 測試場景Fig.3 Experimental site

4.2 靜態(tài)定位試驗(yàn)

本文試驗(yàn)評價(jià)了定位算法的靜態(tài)精度，圖3(a)在現(xiàn)場測試區(qū)域中設(shè)置了30個(gè)靜態(tài)測試點(diǎn)，并使用Leica Nova TS60全站儀測量的位置作為真值基準(zhǔn)，測試人員使用3部手機(jī)分別在測試點(diǎn)上采集1 min的數(shù)據(jù)。本文試驗(yàn)從定位精度的角度出發(fā)，利用最小二乘算法，對比了粗檢測TOA和兩步檢測TOA的定位表現(xiàn)；并且對比了提出的融合定位算法和最小二乘算法的結(jié)果。圖4給出了靜態(tài)定位試驗(yàn)的誤差累計(jì)百分比，LS(粗檢測)定位結(jié)果的50%、95%和最大誤差分別為0.646 m、 1.142 m和1.865 m。 EKF(粗檢測)融合定位結(jié)果的50%、95%和最大誤差分別為0.521 m、0.943 m和6.999 m。LS(兩步檢測)定位結(jié)果的50%、95%和最大誤差分別為0.273 m、1.146 m和2.016 m。EKF(兩步檢測)融合定位結(jié)果的50%、95%和最大誤差分別為0.133 m、0.885 m和1.546 m。

圖4 室內(nèi)靜態(tài)定位誤差累計(jì)百分比Fig.4 Cumulative error percentages of static localization errors

從靜態(tài)測試結(jié)果來看，由于基于STFT的粗檢測無法兼得時(shí)間和頻率的精度，只能粗略地給出Chirp信號的到達(dá)時(shí)刻，解算出的TDOA結(jié)果存在“精度瓶頸”；提出的兩步檢測則在粗檢測的基礎(chǔ)上，加入了優(yōu)化互相關(guān)方法，提高了TDOA估計(jì)精度。試驗(yàn)結(jié)果表明，基于最小二乘定位方法，兩步檢測算法比粗檢測算法定位精度提升了38.72%，詳細(xì)統(tǒng)計(jì)結(jié)果列于表3中。由于PDR速度信息的約束，融合算法的平均定位精度相較LS又提高了38.66%，方差降低了35.05%。靜態(tài)測試中不存在手機(jī)與基站的相對位移，因此多普勒效應(yīng)和異步觀測帶來的誤差修正將在下個(gè)試驗(yàn)重點(diǎn)討論。

表3 靜態(tài)定位誤差統(tǒng)計(jì)結(jié)果

4.3 動(dòng)態(tài)定位試驗(yàn)

本節(jié)試驗(yàn)評估了提出的融合算法的動(dòng)態(tài)定位性能，以及誤差補(bǔ)償與修正算法的有效性。圖3(b)中的動(dòng)態(tài)測試軌跡由Leica Nova TS60全站儀實(shí)時(shí)測量。測試開始后，測試人員以端平手機(jī)的姿勢，沿著預(yù)先設(shè)置好的軌跡勻速行走并記錄下傳感器數(shù)據(jù)和實(shí)時(shí)解算的TDOA數(shù)據(jù)。圖5給出了3款手機(jī)的定位測試軌跡結(jié)果，黑色實(shí)心點(diǎn)代表音頻定位基站，綠色實(shí)線為參考真值軌跡，青色虛線為預(yù)先初始化的PDR軌跡。同靜態(tài)試驗(yàn)一樣，圖5給出LS(粗檢測)、EKF(粗檢測)、LS(兩步檢測)、EKF(兩步檢測)定位結(jié)果。此外還對比了EKF/多普勒補(bǔ)償(藍(lán)色實(shí)線)、EKF/延遲修正(黃色實(shí)線)和EKF/延遲修正/多普勒補(bǔ)償(紅色實(shí)線)的軌跡。

圖5 動(dòng)態(tài)測試軌跡結(jié)果Fig.5 Trajectory of dynamic localization

從軌跡結(jié)果可以看出，一方面，兩步檢測數(shù)據(jù)的定位結(jié)果依然在整體上優(yōu)于粗檢測數(shù)據(jù)，同靜態(tài)測試結(jié)果一致；提出的方法融合了PDR的相對變化信息以及音頻TDOA的絕對位置信息，定位軌跡連續(xù)，且定位精度明顯高于音頻TDOA的LS定位結(jié)果。另一方面，基于預(yù)測狀態(tài)的多普勒補(bǔ)償和異步觀測延遲修正方法，進(jìn)一步提高了定位的精度。特別的，當(dāng)用戶的運(yùn)動(dòng)方向平行于觀測站-參考站連線時(shí)，此時(shí)多普勒效應(yīng)引入的誤差最大。綜合對比而言，補(bǔ)償算法對動(dòng)態(tài)位置估計(jì)性能有明顯的提升。此外整體來看，3部手機(jī)的融合定位結(jié)果差別不大，由此可知音頻信號檢測算法和融合定位算法對設(shè)備的差異性不敏感。3部手機(jī)的3組動(dòng)態(tài)定位誤差的詳細(xì)統(tǒng)計(jì)結(jié)果列于表4。

表4 動(dòng)態(tài)定位誤差統(tǒng)計(jì)結(jié)果

續(xù)表4

從整體結(jié)果來看，標(biāo)準(zhǔn)EKF的平均定位誤差和方差分別為0.709 m和0.688 m2，較LS的平均定位誤差和方差(1.026 m、0.133 m2)降低了30.89%和80.67%，由于PDR信息的融入，定位的精度和穩(wěn)定性都大幅得到了提高。提出的基于狀態(tài)估計(jì)的多普勒效應(yīng)改正方法和異步觀測延遲補(bǔ)償方法，分別將EKF方法的平均定位誤差降低為0.615 m (13.26%)和0.590 m(16.78%)。最終音頻TDOA和PDR組合定位的平均定位誤差和方差分別為0.513 m和0.104 m2，相比于未做修正補(bǔ)償?shù)腅KF定位性能分別提高了27.64%。表5給出了本節(jié)試驗(yàn)總體誤差的統(tǒng)計(jì)結(jié)果。

表5 動(dòng)態(tài)定位

5 結(jié) 論

本文研究了基于消費(fèi)級智能手機(jī)的音頻室內(nèi)定位技術(shù)，提出了一種基于時(shí)頻分析和優(yōu)化互相關(guān)方法的實(shí)時(shí)到達(dá)時(shí)間檢測算法，實(shí)現(xiàn)了良好的TOA估計(jì)；利用PDR和音頻TDOA的互補(bǔ)性，研究了的音頻TDOA和PDR緊組合定位方案，并給出了基于預(yù)測狀態(tài)的多普勒補(bǔ)償改正和異步到達(dá)時(shí)間補(bǔ)償方法，進(jìn)一步提升了系統(tǒng)的定位精度。試驗(yàn)結(jié)果表明，提出的緊組合定位方案有效地提高了定位精度：靜態(tài)試驗(yàn)中，取得了0.238 m的平均定位精度，相比最小二乘方法提高了38.66%；動(dòng)態(tài)試驗(yàn)中，提出的基于估計(jì)狀態(tài)的多普勒效應(yīng)改正方法和異步觀測延遲補(bǔ)償方法，定位精度分別提高了13.26%和16.78%。本文方法最終的平均定位誤差和方差分別為0.513 m和0.104 m2，相比于未做修正補(bǔ)償?shù)臉?biāo)準(zhǔn)組合算法定位精度提高了27.64%，測試的3款手機(jī)定位性能相當(dāng)且無明顯差異。基于音頻信號的室內(nèi)定位技術(shù)，具有成本低、精度高、兼容性好的特點(diǎn)，為基于消費(fèi)級智能手機(jī)的室內(nèi)定位提供了一種解決思路。

圖6 動(dòng)態(tài)定位誤差累計(jì)百分比Fig.6 Cumulative error percentages of dynamic localization errors