一種基于深度學習的盲人助行裝置實現(xiàn)

劉全偉 戴魏邦 梁正宇 王默涵 滿建濤

摘 ? 要：文章提出一種新型的盲人助行裝置，為盲人朋友的便利出行提供一種新方案。主要是通過深度學習與傳感器相結(jié)合的嵌入式開發(fā)，增加盲人朋友的道路信息獲取量，突破以往單一輔助設(shè)備的不足，具有一定的實用意義。

關(guān)鍵詞：深度學習;盲人助行;嵌入式開發(fā);傳感器應(yīng)用

據(jù)世界衛(wèi)生組織在2019年提供的數(shù)據(jù)顯示，中國大陸盲人約有1 700萬。盲人群體在我國乃至世界都是不可忽視的弱勢群體，其生活質(zhì)量也影響著社會的和諧發(fā)展。

如今，盲人出行依靠的工具主要有：無障礙設(shè)施、導盲犬和盲人專用拐杖等，但是對盲人正常出行的幫助有限，體驗性、實用性、交互性等無法充分滿足盲人的需求，目前盲人的個人出行依然很困難，影響其生活質(zhì)量[1]。

21世紀以來，尤其是近年來，深度學習和移動便攜式終端設(shè)備的不斷發(fā)展使得可穿戴設(shè)備的研發(fā)備受矚目，能夠幫助盲人群體，切身享受到科技帶來的福音。

1 ? ?實現(xiàn)方法

該設(shè)計是基于深度學習的嵌入式開發(fā)，使用者通過YOLO3深度學習模型、Python-OpenCV、樹莓派以及傳感器的應(yīng)用，可以突破單一的信息獲取，實時獲取更多的外界路況信息，從而使使用者的出行更加容易。系統(tǒng)結(jié)構(gòu)設(shè)計如圖1所示。

2 ? ?主要功能

（1）通過圖像識別技術(shù)識別到交通中的物體并給予使用者語音提示，例如車輛、紅綠燈、斑馬線等[2]。

（2）通過超聲波測距傳感器獲取障礙物的距離，并給予使用者提示。

（3）通過GPS給予使用者位置信息等。

3 ? ?深度學習模型

3.1 ?模型闡述

本設(shè)計主要采用YOLO3模型進行目標識別工作，如紅綠燈識別、車輛識別、行人識別等。近年來，目標檢測技術(shù)層出不窮，從基本的計算方式來看，可以分為基于候選區(qū)域和基于回歸兩類。

所謂基于候選區(qū)域是指對圖像的基本特征做分析，選取一定的區(qū)域?qū)D像進行特征提取，該類目標識別的特點是準確度高、流程簡單，但是因為要逐一提取每個候選區(qū)域，所以速度較慢。Fast R-CNN是基于候選區(qū)域的目標識別模型。而YOLO模型屬于基于回歸的目標識別，相較于基于候選區(qū)域的目標識別，YOLO模型的識別速度大大提高，可以滿足實時識別的需求，但是會存在識別準確度較低的問題。

考慮到Y(jié)OLO的輕量化，本文采用基于回歸的YOLO模型。YOLO模型的特征提取流程：首先，將輸入的圖像劃分成S×S的網(wǎng)格;其次，特征提取器對每個網(wǎng)格進行卷積操作，得到每個特征矩陣;再次，輸出到全連接層，繼而在全連接層進行預測，輸出每個邊框在指定類中匹配的概率以及邊框的坐標信息、置信度;最后，通過設(shè)定的區(qū)間值來判定目標窗口的最大可能，同時使用非極大值抑制除去其他不需要的冗余窗口。

3.2 ?模型訓練過程

（1）下載YOLO源碼和預訓練權(quán)重文件。使用YOLO的開源模型代碼，其中包含模型文件和訓練文件，可以通過開源的訓練代碼訓練自己的模型，設(shè)置需要的標簽，并且準備好訓練數(shù)據(jù)集[3]。

（2）模型訓練。需要不斷調(diào)整模型參數(shù)和數(shù)據(jù)集進行訓練，增加模型的魯棒性。

（3）模型測試。將權(quán)重文件YOLOV3.CFG和YOLOV3-TINY.CFG轉(zhuǎn)換成.H5格式，方便使用，然后對訓練得到的模型進行準確率和魯棒性的測試。

3.3 ?實現(xiàn)的功能

（1）調(diào)用攝像頭，使用不同顏色的框框出人臉、紅綠燈、公共汽車、轎車、卡車、自行車、摩托車等馬路上可以看到的物體，在識別成功后可以顯示識別出幾個物體，每個物體的標簽名稱和識別的準確率，以及物體在攝像頭中的位置。

（2）在識別成功后可以調(diào)用麥克風，將識別的物體名稱通過語音播報出來。

4 ? ?硬件實現(xiàn)

該便攜式盲人助行器的硬件系統(tǒng)主要是基于樹莓派（微型卡片電腦，其系統(tǒng)基于Linux），各個功能模塊依賴于攝像頭、超聲波測距以及GPS模塊等傳感器，具體功能則由Python程序?qū)崿F(xiàn)，總體上具有輕量、便攜、處理能力強等特點。

4.1 ?攝像頭模塊

該攝像頭模塊主要用于采集視覺信息，并交由樹莓派處理，在本系統(tǒng)所使用的樹莓派中內(nèi)建了Opencv環(huán)境，可以通過特殊算法識別如紅綠燈、人行道、各種障礙物等特定物體，并給予用戶反饋。比如：當前方有障礙物時，助行器會提示用戶注意障礙;當前方交通燈為紅燈時，助行器會提示用戶停止穿越路口等。

4.2 ?超聲波測距模塊

該超聲波測距模塊使用的是市面上常用且技術(shù)成熟的HC-SR04。該模塊有4個引腳，分別為：VCC電源引腳、GND 接地引腳、觸發(fā)控制信號的輸入端TRIG和回響信號輸出端ECHO。該超聲波模塊性能穩(wěn)定，測量距離精準，可以提供 2～400 cm的非接觸式距離感測功能。

該模塊的工作原理：樹莓派向超聲波傳感TRIG端口提供一個脈沖觸發(fā)信號，模塊內(nèi)部開始自動發(fā)送超聲波脈沖并檢測有無返回信號。一旦檢測到返回信號，便通過ECHO端口輸出回響信號。樹莓派通過發(fā)射信號與收到回響信號的時間間隔計算出與障礙物之間的距離。超聲波測距功能中數(shù)據(jù)傳輸方式如圖2所示。

該模塊的實際功能如下：HC-SR04實時監(jiān)測與障礙物的距離并向樹莓派回傳數(shù)據(jù)，當用戶與障礙物的距離超過設(shè)定的閾值后，系統(tǒng)即向用戶發(fā)送語音警告，提醒用戶以避免碰撞障礙物。

4.3 ?GPS定位模塊

GPS定位模塊是集成了RF射頻芯片、基帶芯片和核心CPU，并加上相關(guān)外圍電路而組成的一個集成電路。該系統(tǒng)采用的是NEO-6M的GPS導航模塊，帶有Micro USB接口，可以進行初始配置調(diào)節(jié)，其誤差在2.5 m左右。GPS模塊通過TTL轉(zhuǎn)USB線與樹莓派USB口連接。樹莓派則通過Raspbian系統(tǒng)開發(fā)與安裝minicom軟件，以獲取串口數(shù)據(jù)并進行功能測試，從而使樹莓派獲得相應(yīng)地理定位信息。

GPS定位模塊的功能主要為獲取用戶的位置信息，可供用戶實時調(diào)用，以了解自己所處的位置，避免用戶因不了解自己的位置任意跑動而迷路或置身危險環(huán)境之中。如果樹莓派聯(lián)網(wǎng)的話，用戶的家人亦可獲取用戶的位置信息，方便他們尋找用戶。

4.4 ?人機交互語音提示模塊

人機交互語音提示模塊主要與各傳感器模塊配合使用，主要功能是對信息采集與數(shù)據(jù)分析處理的結(jié)果進行反饋，從而達到盲人避障與導航的功能。因此，需要實現(xiàn)將分析得到的文本信息轉(zhuǎn)換成可以聽到的音頻信息輸出（Textto Speech，TTS）。

樹莓派支持多種文字轉(zhuǎn)語音服務(wù)，有Festival Text to Speech，Espeak Text to Speech，Google Text to Speech，Ekho Text to Speech等?？紤]到前期使用本系統(tǒng)的用戶大多為中國人，而以上多種文字轉(zhuǎn)語音服務(wù)大多不支持中文文本轉(zhuǎn)語音，因此，模塊采用百度的ilangbd語音庫，并且使用Python調(diào)用shell庫來完成，最后合成的語音通過樹莓派的 3.5 mm立體聲音頻接口連接耳機輸出，便可以為盲人提供語音提示。其過程如圖3所示。

4 ? ?結(jié)語

本設(shè)計基本能夠?qū)崿F(xiàn)模型的輕量化，在一定程度上能夠滿足使用者的部分需求。但是在實際應(yīng)用中依然需要不斷改進，例如增加豐富的語音交互功能、硬件的輕量化和便攜化等。

[參考文獻]

[1]王建紅.一種模擬蝙蝠回聲定位法的盲人助行器[J].國際生物醫(yī)學工程雜志，1991（6）：49.

[2]胡嘉浩.基于工業(yè)4.0下的盲用智能助行產(chǎn)品設(shè)計研究[D].武漢：湖北工業(yè)大學，2017.

[3]徐行祥.美國盲人的出行[J].中國殘疾人，2002（7）：31.

Realization of a blind walk aid device based on deep learning

Liu Quanwei， Dai Weibang， Liang Zhengyu， Wang Mohan， Man Jiantao

（Jiangnan University， Wuxi 214122， China）

Abstract：A new type of blind walking aid device is proposed to provide a new scheme for convenient travel of blind friends in this paper. Mainly through the embedded development of deep learning and sensor combination， it is of practical significance to increase the amount of road information acquisition of blind friends and break through the shortcomings of single auxiliary equipment in the past.

Key words：deep learning; blind walking aid; embedded development; sensor application