基于超聲波傳感器的室內(nèi)多功能電子行走輔助系統(tǒng)

陶春靜 ，陸彥琦，余曉強(qiáng)

(1. 國家康復(fù)輔具中心，北京 100176；2. 北京市老年功能障礙康復(fù)輔助技術(shù)重點實驗室，北京 100176；3. 華中科技大學(xué)自動化學(xué)院，武漢 430074)

根據(jù)世界衛(wèi)生組織(WTO)資料顯示[1]：世界上有2.85億視覺障礙者，其中包括0.39億盲人與2.46億視力低下人群，約有 90%,的視覺障礙者生活在低收入的環(huán)境中．全球盲人數(shù)量最多的國家為中國，總數(shù)達(dá) 1,233萬．人類感知外部事物的方式包括：視覺、觸覺、嗅覺、聽覺和味覺，即人們所說的“五感”．據(jù)分析，正常人日常生活中 80%,的信息是通過視覺獲取的，視覺是最主要的獲取信息的途徑[2]．視覺障礙者無法通過視覺來獲取信息，在學(xué)習(xí)、生活及工作將存在著很大的困擾，因此必須通過輔具獲取信息，利用感覺替代以獲取經(jīng)驗．

隨著世界盲人聯(lián)盟的創(chuàng)立，盲人的安全出行與正常生活已經(jīng)越來越受重視，帶有定位功能的電子行走輔助系統(tǒng)(ETA)也成為科研工作者的研究項目之一．Shoval等[3]于1992年設(shè)計的Navbelt導(dǎo)航系統(tǒng)，是在一個移動機(jī)器人上實現(xiàn)避障的．Meijer[4]設(shè)計的電子行走輔助系統(tǒng) vOICe包括一個附著于眼鏡上的電子攝像機(jī)、一對耳機(jī)和裝有必要軟件的便攜式電腦．加拿大圭爾夫大學(xué)的 Zelek[5]和他的學(xué)生研發(fā)了一套價格低廉、可穿戴、低功耗的設(shè)備，能夠?qū)z像機(jī)捕捉到的外界信息通過觸覺傳遞給視覺障礙者．Ulrich等[6]設(shè)計的 Guidecane，可以像手杖一樣由使用者手持，當(dāng)遇到障礙物時，通過自身改變方向讓使用者感知信息．弗羅里達(dá)國際大學(xué)的 Adjouadi[7]從事計算機(jī)視覺項目的研究，他致力于開發(fā)一套能夠以最優(yōu)的方式將攝像頭得到的環(huán)境信息描述給用戶的設(shè)備．總結(jié)國內(nèi)外電子行走輔助系統(tǒng)大部分研究成果，有些需要患者長期學(xué)習(xí)輔助系統(tǒng)的人機(jī)交互界面，有的結(jié)構(gòu)過于復(fù)雜或者體積龐大、價格昂貴、外觀設(shè)計不佳．

本文以視覺障礙者體驗為出發(fā)點，設(shè)計了一種結(jié)構(gòu)簡單、大小適中、輕便、易于佩戴，并能夠?qū)崿F(xiàn)實時定位的系統(tǒng)．

1 系統(tǒng)總體方案

多功能電子行走輔助系統(tǒng)是針對視覺障礙者或者全盲者的，其肢體健全，且擁有除了視覺以外的其他感覺．所以，系統(tǒng)只需要采集實驗者周圍的障礙物信息，并確定其所處的地理位置．系統(tǒng)的主要功能包括：探測腰部周圍的障礙物信息；每邁出一步后，探測地面上的障礙物信息；實現(xiàn)視覺障礙者的室內(nèi)定位；實現(xiàn)避障與定位信息的反饋．系統(tǒng)的總體方案設(shè)計見圖1．

圖1 總體方案設(shè)計Fig. 1 Overall design

系統(tǒng)的硬件結(jié)構(gòu)如圖2所示．為了兼顧I/O接口數(shù)量、數(shù)據(jù)運(yùn)算速度、信號反饋等的要求，系統(tǒng)采用雙CPU處理方式：主CPU選用E8_BOARD卡片式計算機(jī)，完成姿態(tài)檢測的數(shù)據(jù)處理、定位算法的實現(xiàn)以及定位信息的語音播報；從 CPU采用基于 ARM內(nèi)核的 16位單片機(jī) STM32F103VET6，主要完成傳感器的信息采集與微型振動電機(jī)的振動信息反饋．

系統(tǒng)用到的傳感器包括 4個薄膜壓力傳感器、7個超聲波傳感器、5個姿態(tài)檢測傳感器，信息反饋采用7個微型振動電機(jī)與1個骨傳導(dǎo)耳機(jī)．

圖2 系統(tǒng)硬件結(jié)構(gòu)框圖Fig. 2 Hardware system structure

2 基于感覺替代的避障方法

針對視覺障礙者，Bach-Y-Rita提出了感覺替代的思想，即利用大腦的可塑性，將其他形式的感知形態(tài)(如聽覺或觸覺等)呈現(xiàn)出某種缺失的感知形態(tài)(如視覺等)，使大腦獲得的感知特性[8]．對于一個完整的視覺系統(tǒng)，光學(xué)圖像映射到視網(wǎng)膜上，并在視網(wǎng)膜上轉(zhuǎn)換為神經(jīng)上的電脈沖信號，從而感知圖像在人腦中得到呈現(xiàn)．許多研究證明，使用感覺替代系統(tǒng)能夠讓盲人體驗類似的主觀圖像[9]．以這種方式恢復(fù)失去的感知形態(tài)時，信息被一個人機(jī)界面接收，然后進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換后的信息通過一個完好的器官傳送給大腦．現(xiàn)有的感覺替代研究包括視覺、觸覺、聽覺、定位與平衡感及空間感覺等之間的相互替代．其中最常見的是觸覺代償視覺的研究，同時利用聽覺的代償系統(tǒng)也在逐步成熟[10]．

2.1 超聲波傳感器測距

腰部周圍的障礙物由均勻分布在視覺障礙者腰間的 5個超聲波傳感器進(jìn)行探測，其分布見圖 3，保證了對視覺障礙者整個前方區(qū)域的覆蓋．對地表障礙物的探測由鞋子前端的2個超聲波傳感器完成．

圖3 腰部超聲波傳感器的布局Fig. 3 Layout of the ultrasonic sensors

HC-SR04超聲波傳感器是借助于超聲波脈沖渡越時間法來實現(xiàn)測距的，7個超聲波傳感器的連接方式相同，VCC、GND 分別與 STM32F103VET6的5,V、GND 端口連接，TRIG、ECHO 與 STM32F103 VET6的I/O端口相連．

2.2 壓力傳感器的開關(guān)控制

在每只鞋前后腳掌下各安裝一片薄膜壓力傳感器 FSR402，壓力傳感器的電路連接如圖 4所示．傳感器與 10,k?的電阻串聯(lián)于 5,V電壓的電路中．當(dāng)視覺障礙者邁出步伐后，前后腳掌同時著地，壓力傳感器受到的壓力增大，電阻減小，從而電阻兩端電壓增大．將A點處的電壓值引出，經(jīng)過電壓跟隨器后與STM32F103VET6的I/O口連接，然后再進(jìn)行模數(shù)轉(zhuǎn)換，與設(shè)定閾值進(jìn)行比較，從而實現(xiàn)邁步的判斷．電壓跟隨器在電路中起著隔離、緩沖與提高帶載能力的作用．

圖4 壓力傳感器電路Fig. 4 Diagram of pressure sensor circuit

2.3 基于觸覺的信息反饋

在避障系統(tǒng)中，對距離信息的提醒是通過微型振動電機(jī)實現(xiàn)的，在腰部的每個超聲波傳感器下方分別安置一個微型振動電機(jī)，用以提醒視覺障礙者探測到的空中障礙物信息．同時，在人體較為敏感的腳踝處也分別固定兩個微型振動電機(jī)，用于鞋子前端傳感器探測到的地表障礙物信息的提醒．

系統(tǒng)通過調(diào)節(jié)微型振動電機(jī)的振動頻率，給實驗者以距離遠(yuǎn)近的提醒．實驗發(fā)現(xiàn)，人體對 250,Hz的振動最敏感，因此設(shè)置振動頻率在 200～300,Hz范圍．振動強(qiáng)弱是通過脈沖寬度調(diào)制(PWM)，設(shè)置不同占空比的方波來實現(xiàn)的．

3 基于擴(kuò)展卡爾曼濾波的室內(nèi)定位設(shè)計

3.1 定位系統(tǒng)的軟硬件基礎(chǔ)

3.1.1 姿態(tài)檢測模塊

將 5個姿態(tài)傳感器分別固定在使用者的大小腿及腰部，當(dāng)人體下肢運(yùn)動時，附著在身上的傳感器會有對應(yīng)的運(yùn)動，根據(jù)傳感器的姿態(tài)，就可以得到肢體的運(yùn)動狀態(tài)．

姿態(tài)檢測傳感器由三軸磁力計、三軸加速度計和三軸陀螺儀組成．加速度計在靜止?fàn)顟B(tài)下用于檢測重力加速度，在運(yùn)動狀態(tài)下用于檢測重力加速度與運(yùn)動加速度的合成量；磁力計用于檢測地磁場強(qiáng)度；陀螺儀用于檢測旋轉(zhuǎn)過程中的角速度．

對于每個傳感器，可以根據(jù)重力加速度與磁場強(qiáng)度確定該傳感器在傳感器坐標(biāo)系中的姿態(tài)角．

3.1.2 超聲波觀測模塊

利用腰間的5個超聲波傳感器的測量數(shù)據(jù)，探測視障者前方 180°范圍內(nèi)的障礙物，從而實現(xiàn)視覺障礙者在室內(nèi)的絕對定位．根據(jù)使用者的實際情況，長半軸與短半軸的長度均為已知的值．

3.1.3 數(shù)據(jù)采集模塊

STM32F103VET6通過I/O口實時采集超聲波傳感器及姿態(tài)傳感器的數(shù)據(jù)，其中，姿態(tài)檢測傳感器與STM32F103VET6之間的連接采用串行外設(shè)接口(SPI)實現(xiàn)．

STM32F103VET6將采集到的數(shù)據(jù)通過串口發(fā)送給主 CPU，串口數(shù)據(jù)的傳送采用中斷方式實現(xiàn).STM32F103VET6與主 CPU之間由藍(lán)牙模塊連接，實現(xiàn)了數(shù)據(jù)的無線通信．為保證數(shù)據(jù)處理的實時性，STM32F103VET6以 60,ms周期發(fā)送數(shù)據(jù)幀形式的采集數(shù)據(jù)．

3.1.4 數(shù)據(jù)處理模塊

數(shù)據(jù)處理 E8_BOARD卡片式計算機(jī)完成，程序在Linux系統(tǒng)下實現(xiàn)，數(shù)據(jù)處理界面如圖5所示．界面顯示了包括5個姿態(tài)傳感器的姿態(tài)角、腰上5個超聲波傳感器的障礙物距離、慣性導(dǎo)航的定位坐標(biāo)及多傳感器信息融合的定位坐標(biāo)等內(nèi)容．整個終端的軟件工程自定義了5個類與1個文件，即卡爾曼濾波算法類 CKalman、串口通信類 CPort、電源開關(guān)類CPoweroff、數(shù)據(jù)處理類 CDataprocess、窗口類MainWindow和main.cpp文件．

圖5 數(shù)據(jù)處理模塊的界面Fig. 5 Data processing module interface

3.2 基于擴(kuò)展卡爾曼濾波的多傳感器融合定位方法

3.2.1 定位系統(tǒng)的總體設(shè)計

室內(nèi)定位是多功能電子行走輔助系統(tǒng)的一個重要功能．基于慣性導(dǎo)航的定位方法屬于相對定位，隨著視覺障礙者行走步數(shù)的增加，定位誤差會不斷累加．因此，采用了基于擴(kuò)展卡爾曼濾波的多傳感器數(shù)據(jù)融合方法，充分利用姿態(tài)傳感器與腰間超聲波傳感器的數(shù)據(jù)，對慣性導(dǎo)航數(shù)據(jù)進(jìn)行周期性修正，從而提高定位精度，其實現(xiàn)過程如圖 6所示．第一步是狀態(tài)預(yù)測，根據(jù)慣性導(dǎo)航傳感器的信息得到狀態(tài)估計值與對應(yīng)的統(tǒng)計特性．第二步，超聲波傳感器采集觀測信息值；同時，根據(jù)狀態(tài)估計值及地圖信息得到預(yù)測觀測值；然后，根據(jù)預(yù)測觀測值與傳感器采集的觀測值形成有效的特征匹配對．第三步，利用擴(kuò)展卡爾曼濾波對有效的特征匹配對進(jìn)行信息融合，實現(xiàn)位姿的更新．

圖6 定位系統(tǒng)的擴(kuò)展卡爾曼濾波定位框圖Fig. 6 Location diagram of the extended Kalman filter positioning system

3.2.2 定位實現(xiàn)

(1)位姿預(yù)測

由于時間及精力有限，僅對第八版醫(yī)學(xué)微生物某些章節(jié)內(nèi)容進(jìn)行了題目的設(shè)計和問卷星試卷的制作，目前已經(jīng)編寫的習(xí)題包括：細(xì)菌的遺傳與變異、細(xì)菌的耐藥性、細(xì)菌的感染與抗細(xì)菌免疫、細(xì)菌感染的檢查方法與防治原則及病毒總論等內(nèi)容。今后將持續(xù)完善其他章節(jié)內(nèi)容。

假設(shè)表示當(dāng)前時刻的狀態(tài)估計，U(n?1)表示控制輸入，下一時刻的預(yù)測狀態(tài)為

預(yù)測方差為

式中：Q(n?1)表示系統(tǒng)噪聲協(xié)方差矩陣；?F(n)表示F的Jacobi矩陣，滿足

(2)預(yù)測觀測模型

結(jié)合已知地圖，得到第j個超聲波傳感器與對應(yīng)的墻面i

l間的預(yù)測觀測值，可表示為

(3)觀測

通過超聲波傳感器收集n時刻的觀測值Zij(n)．

根據(jù)超聲波的觀測模型，對墻面il的觀測值Zij(n)需滿足

①觀測值必須在傳感器量程范圍內(nèi)，即

②dij(n)與xg的夾角θij(n)滿足

在n時刻，保存此時所有滿足以上條件的觀測值Zij(n)，并且取與之對應(yīng)的超聲波傳感器的預(yù)測觀測值，分別組成一個新的向量，即

對應(yīng)于每對有效觀測，? Hij表示 Jacobi矩陣，Rj(n)為觀測噪聲，分別將它們組成新的矩陣，有

最后，根據(jù)擴(kuò)展卡爾曼濾波的步驟，視覺障礙者的位姿更新可表示為

協(xié)方差矩陣的更新方程為

4 實 驗

4.1 單個超聲波測距實驗

為檢測超聲波傳感器的測距效果，首先針對單個HC-SR04超聲波傳感器進(jìn)行測距實驗，讓超聲波與擋板距離在10～170,cm，每隔20,cm測量1次，假定人工測量的數(shù)據(jù)為標(biāo)準(zhǔn)值，實驗結(jié)果見表 1．實際距離與測量距離之間存在一定的誤差，分析誤差來源，可能是：聲速受溫度、壓力、濕度等因素的影響；超聲波傳感器的尺寸影響，由 2.1節(jié)的測距原理可知，對于不是收發(fā)一體的超聲波傳感器，其自身的尺寸對結(jié)果有一定的影響．

表1 單個超聲波傳感器測距實驗結(jié)果Tab. 1 Experimental results of single ultrasonic sensor

4.2 室內(nèi)定位與語音反饋實驗

實驗者穿戴電子行走輔助系統(tǒng)進(jìn)行實驗．5個超聲波均勻分布在實驗者腰部前端 180°方向，超聲波陣列的分布近似為長軸 30,cm，短軸 20,cm 的橢圓．實驗環(huán)境地圖如圖 7所示，將地圖信息存儲于主CPU中．

圖7 實驗環(huán)境地圖Fig. 7 Experimental environment map

實驗者從五角星處出發(fā)，沿著藍(lán)色虛線順時針行走一周，若按下播報按鍵，則播報所在區(qū)域的語音信息．實驗過程，當(dāng)實驗者行至圖 7地圖中紅色標(biāo)識的房間(302、305、310、314及衛(wèi)生間)時，固定于腰部的E8_BOARD卡片式計算機(jī)會自動語音播報當(dāng)前的房間號，并根據(jù)腰部姿態(tài)傳感器的航向角，識別該房間所在的方位(實驗者左側(cè)，還是右側(cè))；在 4個區(qū)域按下按鍵時，能夠語音播報當(dāng)前的區(qū)域．

實驗過程中，記錄實驗者每行走一步僅依靠姿態(tài)傳感器的相對定位坐標(biāo)與利用多傳感器融合定位的坐標(biāo)，并離線作圖，如圖 8所示．實驗數(shù)據(jù)的誤差曲線如圖9所示．

圖8 實際路線與相對定位、多傳感器融合定位數(shù)據(jù)Fig. 8 The actual route，relative positioning and multisensor fusion positioning data

由圖8與圖9可知：基于多傳感器融合的室內(nèi)定位方法相比于慣性導(dǎo)航的相對定位在精度上顯著提高．由于慣性導(dǎo)航的相對定位在行走過程中存在著累積誤差，因此估計的坐標(biāo)曲線將越來越偏離于實際路線．根據(jù)超聲波傳感器的觀測值周期性地修正姿態(tài)傳感器的計算結(jié)果后，有效地提高了定位精度．

圖9 實驗誤差曲線Fig. 9 Error curve of experiment data

5 結(jié) 語

本文設(shè)計了一套結(jié)構(gòu)簡單、穿戴方便、價格低廉的多功能電子行走輔助系統(tǒng)，能夠?qū)崿F(xiàn)空中及地表障礙物探測、室內(nèi)定位與信息反饋等功能．

系統(tǒng)利用腰間超聲波傳感器感知空中障礙物的距離信息，由鞋前部的超聲波傳感器感知地表的障礙物信息，由安裝在鞋底的薄膜壓力傳感器控制鞋上的超聲波傳感器在邁出步伐時才啟動工作．所有的測距信息轉(zhuǎn)換為不同頻率的振動反饋給使用者．

利用腰間的 5個超聲波傳感器，并結(jié)合室內(nèi)地圖，建立了室內(nèi)的絕對定位系統(tǒng)．利用超聲波傳感器和姿態(tài)傳感器得到當(dāng)前位置相對于初始位置的距離與方向，從而實現(xiàn)相對定位；并通過基于擴(kuò)展卡爾曼濾波的多傳感器融合，不斷修正累計誤差，顯著提高了定位的精確性．

［1］ World Health Organization. Visual impairment and blindness[EB/OL]. [2017-10-11]. http：//www.who.int/mediacentre/factsheets/fs282/en/.

［2］ 何婧， 旻聶 ，羅蘭，等. 聽覺引導(dǎo)助盲系統(tǒng)[J]. 生物醫(yī)學(xué)工程學(xué)雜志，2010，27(2)：467-470.

［3］ Shoval S，Borenstein J，Koren Y. Mobile robot obstacle avoidance in a computerized travel aid for the blind[C]//Proceedings of IEEE Conference on Robotics and Automation. Piscataway：IEEE，1994：2023-2029.

［4］ Meijer P B L. An experimental system for auditory image representations[J]. IEEE Transactions on Biomedical Engineering，1992，39(2)：112-121.

［5］ Sainarayanan G，Nagarajan R，Yaacob S. Fuzzy image processing scheme for autonomous navigation of human blind[J]. Applied Soft Computing，2007，7(1)：257-264.

［6］ Ulrich I，Borenstein J. The guidecane-applying mobile robot technologies to assist the visually impaired people[J]. IEEE Transactions on Systems，Man and Cybernetics，Part A：Systems and Humans，2001，31(2)：131-136.

［7］ Adjouadi M. A man-machine vision interface for sensing the environment[J]. Journal of Rehabilitation Research and Development，1992，29(2)：57-76.

［8］ Szeto A Y，Saunders F A. Electrocutaneous stimulation for sensory communication in rehabilitation engineering[J]. IEEE Transactions on Biomedical Engineering，1982，29(4)：300-308.

［9］ White B W，Saunders F A，Scadden L，et al. Seeing with the skin[J]. Perception and Psychophysics，1970，7(1)：23-27.

［10］ Visell Y. Tactile sensory substitution：Models for enaction in HCI[J]. Interacting with Computers，2009，21(1)：38-53.