基于深度學(xué)習(xí)的智能導(dǎo)盲犬的研究與設(shè)計(jì)

楊友晨 彭萬(wàn)新 陶興發(fā) 胡偉

摘 要：近年來(lái)，機(jī)器人已逐漸融入人們的工作和生活。智能導(dǎo)盲犬是基于智能機(jī)器人技術(shù)開(kāi)發(fā)研究的一種符合社會(huì)需求的社會(huì)服務(wù)型機(jī)器人，其設(shè)計(jì)融合了激光測(cè)距、智能避障、智能語(yǔ)音導(dǎo)航和深度學(xué)習(xí)等智能化手段。同時(shí)在功能方面，智能導(dǎo)盲犬將多種智能手段相結(jié)合，不僅操作方便還具有很高的安全性，在一定程度上滿足了消費(fèi)群體的需要。

關(guān)鍵詞：智能導(dǎo)盲犬；視障人群；導(dǎo)航；避障；安全

隨著科技不斷發(fā)展，智能化不斷普及，高新科技的發(fā)展需要關(guān)注弱勢(shì)群體，尤其是視障人群。中國(guó)殘疾人聯(lián)合會(huì)統(tǒng)計(jì)中國(guó)有一千多萬(wàn)盲人，且逐年以一定的速度遞增。視障人士的出行面對(duì)的是重重的困難，除了缺失視覺(jué)識(shí)別道路信息的能力之外，還存在不符合規(guī)范的盲道、無(wú)法預(yù)知的突發(fā)危險(xiǎn)等一系列的困難。盲人面臨著的惡劣的出行環(huán)境，極大程度地限制了盲人的正常出行生活。

根據(jù)中國(guó)盲人協(xié)會(huì)的統(tǒng)計(jì)數(shù)據(jù)顯示，我國(guó)有一千多萬(wàn)盲人，是世界盲人最多的國(guó)家，但只有數(shù)百條導(dǎo)盲犬，遠(yuǎn)遠(yuǎn)不夠使用。開(kāi)發(fā)智能導(dǎo)盲犬可以極大程度緩解現(xiàn)有導(dǎo)盲犬的壓力。導(dǎo)盲犬系統(tǒng)中最重要的工作是導(dǎo)盲，系統(tǒng)需要實(shí)現(xiàn)的是引導(dǎo)視障人群正常出行，避開(kāi)出行路線范圍內(nèi)的障礙物。因此，設(shè)計(jì)出能夠精準(zhǔn)快速識(shí)別出障礙物的智能導(dǎo)盲犬系統(tǒng)，具有很好的現(xiàn)實(shí)意義的。

一、系統(tǒng)結(jié)構(gòu)

本設(shè)計(jì)系統(tǒng)通過(guò)數(shù)據(jù)采集、處理、存儲(chǔ)、反饋等子系統(tǒng)構(gòu)架而成。首先由兩路信息采集系統(tǒng)——超聲波測(cè)速測(cè)距系統(tǒng)及圖像采集系統(tǒng)采集外部環(huán)境信息，經(jīng)決策處理系統(tǒng)對(duì)信息進(jìn)行處理，并進(jìn)行多模塊輸出，其中有信息的反饋系統(tǒng)可以面向使用者提供足夠的信息提示，同時(shí)，又可通過(guò)運(yùn)動(dòng)系統(tǒng)對(duì)“導(dǎo)盲犬”進(jìn)行實(shí)時(shí)控制。存儲(chǔ)系統(tǒng)可以將采集和處理的環(huán)境信息進(jìn)行存取，方便查詢(xún)。圖1為系統(tǒng)的體系結(jié)構(gòu)圖。

（一）硬件設(shè)計(jì)結(jié)構(gòu)

采用英偉達(dá)的Jetson Nano作為主控，將主控板、蓄電池、供電電路、攝像頭監(jiān)測(cè)及智能識(shí)別模塊、紅外線避障模塊、超聲波測(cè)速與測(cè)距模塊、電機(jī)驅(qū)動(dòng)與控制模塊、語(yǔ)音識(shí)別與播報(bào)模塊、實(shí)時(shí)存儲(chǔ)模塊、即插即用液晶顯示模塊一同安裝在機(jī)器人上，構(gòu)成整個(gè)硬件系統(tǒng)。

（二）軟件設(shè)計(jì)結(jié)構(gòu)

軟件系統(tǒng)決定了系統(tǒng)的功能實(shí)現(xiàn)和人機(jī)交互的舒適性、便利性。在Ubuntu操作系統(tǒng)的基礎(chǔ)上設(shè)計(jì)超聲波測(cè)距模塊、語(yǔ)音識(shí)別與播報(bào)模塊、紅外線避障模塊和電機(jī)控制模塊的驅(qū)動(dòng)程序，使得模塊控制實(shí)現(xiàn)更為便利。

1.超聲波測(cè)距模塊。超聲波測(cè)距模塊，通過(guò)發(fā)送一定頻率的聲音，計(jì)算返回的時(shí)間，根據(jù)聲速公式，可以精確的測(cè)量出盲人和前方障礙物的距離，如果距離低于設(shè)定的閥值智能導(dǎo)盲犬便會(huì)發(fā)出警報(bào)提醒盲人停下來(lái)。空氣中的溫度、濕度以及超聲波傳播的速度，超聲波測(cè)距的時(shí)間都可能會(huì)引起超聲波測(cè)距的誤差而超聲波的傳播速度影響最大，所以我們想到了使用可以補(bǔ)償溫度的傳感器測(cè)距，通過(guò)高精度的溫度傳感器實(shí)時(shí)檢測(cè)外界溫度的變化，進(jìn)而可以更好的提高超聲波測(cè)距的精準(zhǔn)度[1]。圖3為超聲波測(cè)距基本組成圖。

2.語(yǔ)音識(shí)別與播報(bào)模塊。語(yǔ)音識(shí)別和播報(bào)任務(wù)的作用是識(shí)別語(yǔ)音指令，如語(yǔ)音指令啟動(dòng)、去往哪個(gè)地點(diǎn)等，語(yǔ)音播報(bào)任務(wù)負(fù)責(zé)播報(bào)前方障礙物、路面情況，如前方路面坑洼，左側(cè)有障礙物等。

3.紅外線避障模塊。紅外線避障模塊主要利用微處理器來(lái)產(chǎn)生一定頻率的光信號(hào)，并用高頻率的方波對(duì)紅外線發(fā)射管進(jìn)行調(diào)制發(fā)射，當(dāng)發(fā)射出去的紅外線光信號(hào)遇到障礙物反射回來(lái)時(shí)，紅外線接收管便開(kāi)始對(duì)反射會(huì)的光信號(hào)進(jìn)行解調(diào)，輸出相應(yīng)的高或者低電平。利用紅外線的優(yōu)點(diǎn)是外界對(duì)紅外光信號(hào)的干擾相比于其他信號(hào)比較小，并且易于實(shí)現(xiàn)，紅外發(fā)射接收管的價(jià)格也比較合理，紅外線避障系統(tǒng)是智能導(dǎo)盲犬的“眼睛”，其性能的好壞和抗干擾能力的強(qiáng)弱以及過(guò)濾其他信號(hào)的能力，決定了紅外避障精準(zhǔn)性和多變性[2]。

4.圖像采集模塊。利用的地貌比對(duì)是對(duì)被檢測(cè)到的環(huán)境特征在環(huán)境圖像庫(kù)中進(jìn)行目標(biāo)搜索以及進(jìn)行地點(diǎn)的確認(rèn)。實(shí)際上，將采樣到的環(huán)境圖像與庫(kù)存的圖像依次進(jìn)行比對(duì)，并找出最佳的匹配對(duì)象。所以，環(huán)境的描述決定了環(huán)境識(shí)別的具體方法與性能。該應(yīng)用的核心是“圖形識(shí)別算法”，這種算法是利用了環(huán)境中的各主要特點(diǎn)及一些特征部分而形成的方法[3]。

5.電機(jī)控制模塊。智能導(dǎo)盲犬的設(shè)計(jì)中采用的是直流電源，因此用到的電機(jī)也為直流電機(jī)，控制智能導(dǎo)盲犬自由運(yùn)動(dòng)的是四個(gè)可以雙向轉(zhuǎn)動(dòng)的直流電機(jī)，并且給超聲波避障測(cè)距系統(tǒng)的執(zhí)行和紅外線的測(cè)量提供動(dòng)力系統(tǒng)。通過(guò)試驗(yàn)，然后按照事先編輯好的程序微處理器的參數(shù)進(jìn)行整定執(zhí)行，由微處理器輸出控制兩個(gè)電機(jī)的相互協(xié)調(diào)轉(zhuǎn)向，進(jìn)而可以實(shí)現(xiàn)智能導(dǎo)盲犬的自主運(yùn)動(dòng)及循跡避障。超聲波測(cè)距線路用于測(cè)量智能導(dǎo)盲犬距離障礙物的遠(yuǎn)近，反饋電路輸出控制剎車(chē)系統(tǒng)可控制預(yù)先設(shè)定的編程代碼[4]。

二、技術(shù)路線

首先將ubuntu系統(tǒng)移植到Jetson Nano中，進(jìn)行系統(tǒng)初始化及基本信息存儲(chǔ)。然后在Ubuntu中建立一個(gè)開(kāi)始任務(wù)，再在開(kāi)始任務(wù)中創(chuàng)建六個(gè)任務(wù)，分別是超聲波測(cè)距任務(wù)、語(yǔ)音識(shí)別與播報(bào)任務(wù)、紅外線避障任務(wù)、圖像采集任務(wù)、電機(jī)控制任務(wù)和GSM無(wú)線任務(wù)。超聲波測(cè)距任務(wù)負(fù)責(zé)探測(cè)周?chē)恼系K物情況；語(yǔ)音識(shí)別和播報(bào)任務(wù)負(fù)責(zé)識(shí)別語(yǔ)音指令，如左轉(zhuǎn)、右轉(zhuǎn)、前進(jìn)、后退等，以及播報(bào)當(dāng)前的障礙物和路面情況；紅外線避障任務(wù)負(fù)責(zé)探測(cè)路面坑洼情況，并通過(guò)信號(hào)量傳遞給其他任務(wù)；圖像采集任務(wù)負(fù)責(zé)確認(rèn)當(dāng)前所處的環(huán)境情況；電機(jī)控制任務(wù)負(fù)責(zé)根據(jù)路面情況和指令控制電機(jī)的行走路徑和轉(zhuǎn)動(dòng)方向；GSM無(wú)線任務(wù)負(fù)責(zé)將盲人所說(shuō)的話快捷地發(fā)送出去，或者在盲人遇到特殊情況時(shí)將情況描述并自動(dòng)發(fā)送給其家人。系統(tǒng)會(huì)將從這些任務(wù)得到的信息進(jìn)行綜合分析，然后發(fā)布到下一節(jié)點(diǎn)去實(shí)現(xiàn)控制。系統(tǒng)還會(huì)收集反饋信息進(jìn)行處理，再返回信息綜合分析實(shí)現(xiàn)閉環(huán)處理[5]。圖4為技術(shù)路線流程圖。

為了滿足生活中的各種復(fù)雜場(chǎng)景，還需進(jìn)行深度學(xué)習(xí)，使得各種功能識(shí)別準(zhǔn)確率更高。通過(guò)使用導(dǎo)盲犬的仿目攝像頭采集大量實(shí)際場(chǎng)景中的圖片進(jìn)行處理與分類(lèi)數(shù)據(jù)集，如將轎車(chē)、卡車(chē)、行人與騎行者歸類(lèi)為car類(lèi)。對(duì)采集到的圖片使用yolo_mark標(biāo)注工具進(jìn)行標(biāo)注，并隨機(jī)抽取80%的數(shù)據(jù)集作為訓(xùn)練集，其余20%用于測(cè)試。訓(xùn)練模型方面采用yolov3模型，訓(xùn)練前需設(shè)置訓(xùn)練參數(shù)，在確定訓(xùn)練參數(shù)后對(duì)YOLOv3進(jìn)行訓(xùn)練。訓(xùn)練次數(shù)設(shè)置為50000次，學(xué)習(xí)率在35000次后下降到0.0001，在45000次后下降到0.00001，使損失函數(shù)進(jìn)一步收斂。同時(shí)利用旋轉(zhuǎn)、調(diào)整飽和度和色調(diào)等方法對(duì)數(shù)據(jù)集中的圖像進(jìn)行增強(qiáng)和擴(kuò)充，以增強(qiáng)模型的魯棒性。

三、結(jié)論

智能導(dǎo)盲犬運(yùn)用了攝像頭檢測(cè)及智能識(shí)別技術(shù)、紅外線避障技術(shù)、超聲波測(cè)距技術(shù)、電機(jī)驅(qū)動(dòng)與控制技術(shù)、語(yǔ)音識(shí)別技術(shù)等先進(jìn)技術(shù)手段，具有行進(jìn)中的障礙物檢測(cè)、識(shí)別與定位，其中包括移動(dòng)的物體與靜止的物體識(shí)別；測(cè)定障礙物的速度與距離；對(duì)周?chē)肪€的特定環(huán)境標(biāo)志進(jìn)行環(huán)境辨認(rèn)等功能，在引領(lǐng)視力殘疾人方面有杰出的表現(xiàn)。它可以彌補(bǔ)導(dǎo)盲犬?dāng)?shù)量嚴(yán)重不足的缺點(diǎn)，能夠代替導(dǎo)盲犬在日常生活中為視力殘疾人提供幫助。

參考文獻(xiàn)：

[1]王力程，陳銳，韓旭，蘇龍霞.基于超聲波測(cè)距原理的電子導(dǎo)盲車(chē)設(shè)計(jì)[J].電子技術(shù)與軟件工程，2018，No.140（18）：98-99.

[2]趙海蘭.基于單片機(jī)的紅外遙控智能小車(chē)的設(shè)計(jì)[J].無(wú)線互聯(lián)科技，2011，No.7（03）：36-38.

[3]黃大志，申屠留芳，郭燕.導(dǎo)盲機(jī)器人中超聲波測(cè)距系統(tǒng)的研究[J].淮海工學(xué)院學(xué)報(bào)（自然科學(xué)版），2009，v.18;No.72（01）：19-22.

[4]楊東燕.一種移動(dòng)機(jī)器人小車(chē)的電機(jī)控制系統(tǒng)[J].內(nèi)蒙古科技與經(jīng)濟(jì)，2008，No.174（20）：99-100+108.

[5]王廣權(quán)，石玲，王建文等.基于機(jī)器學(xué)習(xí)的智能導(dǎo)盲犬設(shè)計(jì)[J].電子測(cè)試，2022，36（24）：35-37.DOI：10.16520/j.cnki.1000-8519.2022.24.006.