基于AI圖像識(shí)別的視覺(jué)障礙人士背包

黃志芳，魏潔鋒，陳德鵬，姚凱茵，梁銳軒

（嘉應(yīng)學(xué)院 物理與電子工程學(xué)院，廣東 梅州 514015）

0 引 言

據(jù)相關(guān)數(shù)據(jù)可知，國(guó)內(nèi)目前約有視覺(jué)障礙人士達(dá)3 500多萬(wàn)，且這一數(shù)據(jù)還在逐年增加。由于視力上的缺陷，視覺(jué)障礙人士在學(xué)習(xí)、生活、工作等方面存在諸多不便。據(jù)調(diào)查，當(dāng)前視覺(jué)障礙人士可使用的輔助性用具較少，其中最常見(jiàn)的就是拐杖，而普通拐杖只能輔助視覺(jué)障礙人士對(duì)周?chē)?0 cm以?xún)?nèi)的障礙物進(jìn)行避讓?zhuān)诂F(xiàn)實(shí)錯(cuò)綜復(fù)雜的交通環(huán)境下無(wú)法滿(mǎn)足保障視障人士出行安全的需要。擁有測(cè)距導(dǎo)盲性的拐杖，具有紅外測(cè)距避障及手動(dòng)燈光警示功能[1]，但由于其紅外測(cè)距范圍較小，手動(dòng)控制警示燈光并不能預(yù)判當(dāng)前環(huán)境的狀況，因此視覺(jué)障礙人士行走時(shí)人身安全并不能得到充分保障。綜合現(xiàn)有視覺(jué)障礙人士輔助性用具的不足，本文介紹了一款輔助視覺(jué)障礙人士的多功能背包，該背包不僅能夠作為視覺(jué)障礙人士隨身攜帶的物品，還能夠?qū)崿F(xiàn)超聲波大范圍測(cè)距避障、光強(qiáng)檢測(cè)自動(dòng)照明警示、紅綠燈識(shí)別、遠(yuǎn)程監(jiān)測(cè)視覺(jué)障礙人士姿態(tài)情況等功能，從而有效幫助視覺(jué)障礙人士解決外出時(shí)行動(dòng)不便的問(wèn)題。

1 整體設(shè)計(jì)方案

1.1 系統(tǒng)設(shè)計(jì)

背包系統(tǒng)設(shè)計(jì)方面，由于需要及時(shí)處理視覺(jué)障礙人士行走過(guò)程中存在的識(shí)別障礙物、光強(qiáng)檢測(cè)、語(yǔ)音播報(bào)、定位、姿態(tài)檢測(cè)等問(wèn)題，所以對(duì)于系統(tǒng)主控芯片的選擇，尤其要考慮芯片的運(yùn)行速度和響應(yīng)處理能力。當(dāng)視覺(jué)障礙人士遇到需要識(shí)別紅綠燈等情況時(shí)，主控芯片的計(jì)算性能和處理能力將受到極大考驗(yàn)?？紤]到系統(tǒng)中存在眾多模塊，因此采用STM32F407ZGT6單片機(jī)作為控制中心，其主頻高達(dá)168 MHz，擁有多達(dá)140個(gè)具有中斷功能的I/O端口與眾多外設(shè)，可為系統(tǒng)提供強(qiáng)大的硬件支持。圖1所示為系統(tǒng)框架。

圖1 系統(tǒng)框架

當(dāng)超聲波測(cè)距模塊測(cè)量到視覺(jué)障礙人士距離障礙物較近時(shí)，系統(tǒng)將自動(dòng)語(yǔ)音播報(bào)提醒前方障礙物距離；若視覺(jué)障礙人士在夜間出行，背包系統(tǒng)將自動(dòng)檢測(cè)環(huán)境光是否過(guò)低，若低于閾值，則開(kāi)啟LED燈以警示行人及車(chē)輛；在過(guò)馬路時(shí)，背包上的攝像頭將自動(dòng)識(shí)別交通燈的紅綠狀態(tài)并進(jìn)行語(yǔ)音提醒；同時(shí)，系統(tǒng)會(huì)時(shí)刻監(jiān)測(cè)視覺(jué)障礙人士的身體姿態(tài)，若發(fā)生摔倒則系統(tǒng)自動(dòng)發(fā)送定位及提醒短信給家屬。系統(tǒng)根據(jù)各模塊發(fā)送的數(shù)據(jù)進(jìn)行處理、分析、反饋，多角度輔助視覺(jué)障礙人士安全出行。

1.2 結(jié)構(gòu)設(shè)計(jì)

本文設(shè)計(jì)的多功能視覺(jué)障礙人士輔助出行背包不僅能夠隨身攜帶，還能有效解決視覺(jué)障礙人士出行不便的問(wèn)題，社會(huì)效益、經(jīng)濟(jì)效益俱佳。圖2為背包結(jié)構(gòu)。

圖2 背包結(jié)構(gòu)

2 硬件設(shè)計(jì)

2.1 超聲波測(cè)距避障

超聲波測(cè)距功能采用HC-SR04超聲波傳感測(cè)距模塊實(shí)現(xiàn)。該模塊裝載有2個(gè)壓電陶瓷超聲傳感器，其中一個(gè)用于發(fā)射超聲波信號(hào)，另一個(gè)則用于接收反射回來(lái)的超聲波信號(hào)。將該模塊的Trig控制端和Echo接收端與單片機(jī)的I/O口相連，便可實(shí)現(xiàn)其與單片機(jī)間的通信。單片機(jī)通過(guò)計(jì)算發(fā)射與接收超聲波信號(hào)的時(shí)間差，進(jìn)而計(jì)算出視覺(jué)障礙人士前進(jìn)方向障礙物的距離[2]。圖3所示為HC-SR04超聲波傳感測(cè)距模塊電路接線(xiàn)圖。

圖3 HC-SR04超聲波傳感測(cè)距模塊電路接線(xiàn)圖

2.2 攝像頭紅綠燈識(shí)別

背包系統(tǒng)的紅綠燈識(shí)別功能采用OpenMV4攝像頭實(shí)現(xiàn)[3]。當(dāng)視覺(jué)障礙人士獨(dú)自外出遇到人行道路口時(shí)，可通過(guò)背包上的攝像頭識(shí)別人行道交通燈顯示的紅綠狀態(tài)，進(jìn)而通過(guò)語(yǔ)音播報(bào)提醒視覺(jué)障礙人士當(dāng)前路口是否處于可通行狀態(tài)，從而輔助視覺(jué)障礙人士辨別路口的交通情況。

2.3 語(yǔ)音播報(bào)

語(yǔ)音播報(bào)采用SYN6288語(yǔ)音合成模塊進(jìn)行文本合成，然后通過(guò)喇叭播報(bào)。SYN6288內(nèi)置智能文本分析處理算法，將單片機(jī)的串口與模塊串口相連實(shí)現(xiàn)兩者間的通信。單片機(jī)通過(guò)串口以命令幀的格式將文本數(shù)據(jù)發(fā)送給模塊，模塊進(jìn)行文本合成，實(shí)現(xiàn)文本到語(yǔ)音之間的轉(zhuǎn)換[4]，然后通過(guò)喇叭播報(bào)。圖4所示為SYN6288語(yǔ)音合成模塊電路接線(xiàn)圖。

圖4 SYN6288語(yǔ)音合成模塊電路接線(xiàn)圖

2.4 光強(qiáng)檢測(cè)照明

光強(qiáng)檢測(cè)采用GY-30光照強(qiáng)度模塊。該模塊內(nèi)置ROHM-BH1750FLV芯片以及16位A/D轉(zhuǎn)換器[5]，通過(guò)SDA和SCL端口對(duì)外提供I2C接口，單片機(jī)I/O口與其相連以實(shí)現(xiàn)I2C總線(xiàn)通信。模塊初始化后，讀取單片機(jī)發(fā)送的相應(yīng)指令以及數(shù)據(jù)并處理，通過(guò)算法計(jì)算出光照強(qiáng)度，進(jìn)而決定是否驅(qū)動(dòng)LED燈照明。圖5所示為GY-30光照強(qiáng)度模塊電路接線(xiàn)圖。

2.5 身體姿態(tài)檢測(cè)

監(jiān)測(cè)視覺(jué)障礙人士身體姿態(tài)采用MPU9250姿態(tài)傳感器，該傳感器內(nèi)部含有三軸加速度計(jì)、三軸陀螺儀及三軸磁力計(jì)，通過(guò)模塊中的數(shù)字運(yùn)動(dòng)處理器進(jìn)行算法處理，輸出穩(wěn)定的姿態(tài)角度，判斷視覺(jué)障礙人士身體是否向左傾、向右傾、向前傾或向后傾[6]。通過(guò)SDA和SCL端口對(duì)外提供I2C接口，單片機(jī)I/O口與其相連以實(shí)現(xiàn)I2C總線(xiàn)通信。圖6所示為MPU9250姿態(tài)傳感器電路接線(xiàn)圖。

圖6 MPU9250姿態(tài)傳感器電路接線(xiàn)圖

2.6 GSM+GPS通信

GSM+GPS功能的實(shí)現(xiàn)借助GSM/GPS模塊，該模塊工作頻段支持GSM/GPRS：900 MHz/1800 MHz。模塊通過(guò)AT指令控制，接口豐富，外圍電路集成度高[7]。只需將單片機(jī)串口與模塊串口相連，即可實(shí)現(xiàn)單片機(jī)與模塊間的通信。單片機(jī)向串口陸續(xù)發(fā)送相應(yīng)功能的多條AT指令即可實(shí)現(xiàn)對(duì)模塊的控制，進(jìn)而實(shí)現(xiàn)短信、語(yǔ)音通話(huà)和基站定位等功能。圖7所示為GSM/GPS模塊電路接線(xiàn)圖。

圖7 GSM/GPS模塊電路接線(xiàn)圖

3 軟件程序設(shè)計(jì)

3.1 測(cè)距+播報(bào)程序的實(shí)現(xiàn)

HC-SR04超聲波傳感器在檢測(cè)到前方障礙物時(shí)，自動(dòng)播報(bào)“前方有障礙物距離××米”。根據(jù)實(shí)際情況，設(shè)定HC-SR04超聲波傳感器的測(cè)距范圍為4 cm～4 m。該功能可為視力殘障人士提供行進(jìn)道路上的障礙物信息，為視力殘障人士的安全出行提供保障。圖8所示為測(cè)距+播報(bào)提醒流程。

圖8 測(cè)距+播報(bào)提醒流程

3.2 紅綠燈識(shí)別+播報(bào)程序的實(shí)現(xiàn)

通過(guò)OpenMV4攝像頭進(jìn)行圖像識(shí)別，確定視覺(jué)障礙人士所在路口的交通燈位置，然后借助攝像頭進(jìn)行顏色掃描，確定交通燈的顏色，接著將信息傳送到單片機(jī)處理，并語(yǔ)音播報(bào)提醒視覺(jué)障礙人士當(dāng)前路口的紅綠燈狀態(tài)。圖9所示為紅綠燈識(shí)別+播報(bào)程序的實(shí)現(xiàn)流程。

圖9 紅綠燈識(shí)別+播報(bào)程序的實(shí)現(xiàn)流程

3.3 光強(qiáng)檢測(cè)+照明程序的實(shí)現(xiàn)

模擬I2C協(xié)議以實(shí)現(xiàn)單片機(jī)與光強(qiáng)模塊間的通信。單片機(jī)向傳感器內(nèi)部發(fā)送通電指令以及連續(xù)分辨率模式指令，然后發(fā)送設(shè)備地址寫(xiě)數(shù)據(jù)并等待接收應(yīng)答信號(hào)ACK。傳感器一次測(cè)量完成后，發(fā)送地址數(shù)據(jù)并發(fā)送應(yīng)答信號(hào)ACK，得到測(cè)量結(jié)果后[8]進(jìn)行計(jì)算，單片機(jī)根據(jù)計(jì)算結(jié)果判斷是否發(fā)送信號(hào)驅(qū)動(dòng)LED燈照明。圖10所示為光強(qiáng)檢測(cè)+照明程序流程。

圖10 光強(qiáng)檢測(cè)+照明程序流程

3.4 身體姿態(tài)檢測(cè)+通信提醒程序的實(shí)現(xiàn)

檢測(cè)視覺(jué)障礙人士的身體姿態(tài)，首先在MPU9250姿態(tài)傳感器初始化后，對(duì)視覺(jué)障礙人士的身體姿態(tài)進(jìn)行檢測(cè)，利用三軸陀螺儀檢測(cè)在x、y、z三個(gè)軸向上的數(shù)據(jù)信息以及三軸磁力計(jì)測(cè)量的方位，結(jié)合加速度計(jì)實(shí)時(shí)測(cè)得各方位加速度，判斷是否在某一方向上加速度過(guò)高，若超過(guò)閾值，則表明視覺(jué)障礙人士出現(xiàn)跌倒?fàn)顟B(tài)[9]。系統(tǒng)將自動(dòng)觸發(fā)GSM通信向家屬發(fā)送視覺(jué)障礙人士所處定位及跌倒的提醒短信，從而有效保障視覺(jué)障礙人士的出行安全。圖11所示為身體姿態(tài)檢測(cè)+通信提醒實(shí)現(xiàn)流程。

圖11 身體姿態(tài)檢測(cè)+通信提醒實(shí)現(xiàn)流程

3.5 通信程序的實(shí)現(xiàn)

對(duì)于背包系統(tǒng)GSM通信功能的實(shí)現(xiàn)，單片機(jī)與GSM/GPS模塊均通過(guò)串口發(fā)送一系列AT指令實(shí)現(xiàn)控制。首先，通過(guò)設(shè)置AT指令將模塊的波特率設(shè)置為9 600 b/s，然后再向串口陸續(xù)發(fā)送相應(yīng)多條AT指令，實(shí)現(xiàn)短信、語(yǔ)音通話(huà)和基站定位等功能[10]。圖12所示為GSM通信模塊運(yùn)行流程。

圖12 GSM通信模塊運(yùn)行流程

4 實(shí)驗(yàn)測(cè)試結(jié)果

圖13為背包系統(tǒng)實(shí)物。本系統(tǒng)采用背包作為載體，將各功能模塊固定在背包的不同部位上，通過(guò)超聲波測(cè)距、光強(qiáng)檢測(cè)、GSM通信等測(cè)試，發(fā)現(xiàn)系統(tǒng)可穩(wěn)定運(yùn)行。圖14所示為背包光強(qiáng)檢測(cè)，當(dāng)光強(qiáng)較低時(shí)，背包上的LED燈自動(dòng)開(kāi)啟，為視力殘障人士夜晚外出行走提供安全保障。家屬可通過(guò)Android Studio開(kāi)發(fā)的手機(jī)APP發(fā)送短信至GSM模塊，查詢(xún)視覺(jué)障礙人士所處位置。圖15所示為手機(jī)APP定位測(cè)試圖。表1為檢測(cè)前方障礙物距離測(cè)試表，表2為時(shí)間播報(bào)測(cè)試表。

圖13 背包系統(tǒng)實(shí)物

圖14 背包光強(qiáng)檢測(cè)

圖15 手機(jī)APP定位測(cè)試圖

表1 檢測(cè)前方障礙物距離測(cè)試表

表2 時(shí)間播報(bào)測(cè)試表

5 結(jié) 語(yǔ)

保障弱勢(shì)群體安全是時(shí)代大勢(shì)所趨，而研發(fā)相關(guān)輔助性產(chǎn)品是其中的重要環(huán)節(jié)。本文介紹的研究基于AI圖像識(shí)別的視覺(jué)障礙人士背包實(shí)現(xiàn)了超聲波測(cè)距、語(yǔ)音提醒避障、環(huán)境光強(qiáng)檢測(cè)、紅綠燈識(shí)別并語(yǔ)音提醒、身體姿態(tài)檢測(cè)及定位通信等功能，經(jīng)仿真及測(cè)試，該背包能夠達(dá)到預(yù)期目標(biāo)，可有效輔助社會(huì)廣大視覺(jué)障礙人士出行。

本文介紹的方案在后續(xù)還可以繼續(xù)優(yōu)化，優(yōu)化方向大致如下：

（1）增加攝像頭，識(shí)別車(chē)流量及前方人物；

（2）增加語(yǔ)音導(dǎo)航提醒功能。