基于機器視覺的穿戴式導盲設備的開發(fā)與設計

摘要：據(jù)2019年世衛(wèi)組織發(fā)布數(shù)據(jù)，全世界約有22億視障人群，近七成盲人有出行需求，但社會上無障礙措施并不完善，現(xiàn)有導盲產(chǎn)品無法真正滿足盲人的需求?，F(xiàn)有導盲輔具存在較多問題：導盲杖檢測距離短、不識別障礙物；導盲腰帶、眼鏡等探測范圍窄、導盲距離遠，無法應對嘈雜環(huán)境。針對此類問題，研發(fā)一款基于機器視覺的穿戴式導盲設備，選用語音模塊搭配骨傳導耳機，配合百度地圖API進行開發(fā)，將路徑規(guī)劃進行語音播送；基于行人、車輛等，展開基于YO?LOv5的目標檢測，進行重復訓練，用于檢測路況；針對路標、斑馬線等傳統(tǒng)路標，通過對目標顏色進行閾值二值化處理，通過串口通信將色塊的實際位置、大小等信息傳回，用于實時定位。該項目在通信技術、障礙物識別、穿戴方式等方面進行突破，解決盲人在嘈雜的環(huán)境中無法準確導盲的問題，隨身攜帶，從而保障他們的出行安全。

關鍵詞：導盲；機器視覺；YOLOv5

中圖分類號：TN29 文獻標識碼：A

文章編號：1009-3044（2024）27-0012-03

0 引言

許多研究者一直致力于改善盲人的導盲輔具[1]。早期設備多依賴單一傳感器，如超聲波或紅外線，主要通過聲音或震動提示導航。這些設備雖小巧且檢測范圍廣，但功能單一，缺乏路線規(guī)劃能力，智能化有限。

近年來，出現(xiàn)了導盲眼鏡、導盲腰帶等可穿戴電子導盲產(chǎn)品[2]。例如，Google Glass外觀時尚、輕便，可像普通眼鏡一樣佩戴，具備通話等功能。仿生眼鏡通過攝像頭捕捉圖像，處理后顯示在眼鏡內(nèi)側(cè)，但要求用戶有感光能力，不適合全盲者。隨著移動設備普及和GPS、圖像識別等技術的發(fā)展，可穿戴設備的智能化設計迎來了新機遇。

然而，現(xiàn)有導盲設備仍存在諸多挑戰(zhàn)，如無法識別所有障礙物、續(xù)航短、易丟失以及無法創(chuàng)造“熟悉”的場景和環(huán)境等。因此，本項目設計了一款基于機器視覺的穿戴式導盲設備，旨在解決這些問題，滿足盲人的行為習慣、使用便利性和安全性等需求。該設備穿在身上，為盲人提供更加智能和貼心的導航體驗。

1 系統(tǒng)設計方案

1.1 系統(tǒng)設計綜述

STM32F407微控制器作為主控芯片，將主控板、深度學習攝像頭、蓄電池、供電電路、超聲波模塊、紅外模塊和語音識別模塊分別做輕量化處理后，整合至穿戴外衣中，構(gòu)成整個系統(tǒng)。

設計采用語音交互模式，微控制器搭載GPS 模塊[3]、視頻采集模塊、圖像處理模塊等，使用百度地圖API進行路徑規(guī)劃，通過深度學習卷積神經(jīng)網(wǎng)絡算法YOLO進行行人、車輛、障礙物等目標識別，結(jié)合傳統(tǒng)圖像處理算法實現(xiàn)盲道、路標、斑馬線等目標位置、大小等信息反饋，可以實現(xiàn)盲人的實時定位和準確導航。系統(tǒng)設計框圖如圖1所示。

1.2 系統(tǒng)設計方案

系統(tǒng)主要通過微型攝像頭進行環(huán)境信息的采集，利用K210處理器對采集的信息進行識別操作，將識別后的障礙物等信息發(fā)送至STM32主控微處理器當中。主控處理器同時需要接收激光測距、GPS等傳感器的數(shù)據(jù)信息，后將整合的數(shù)據(jù)打包，使用網(wǎng)絡通信發(fā)送至云端上位機。用戶可以通過設備的震動和語音交互模塊獲取環(huán)境信息，以便做出下一步動作。與此同時，預先設置的緊急聯(lián)系人可以通過上位機實時查看使用者的位置信息和狀態(tài)信息。

當使用者在使用過程中，發(fā)生意外情況，可以通過胸前的SOS報警裝置聯(lián)系緊急聯(lián)系人，或者進行報警操作。該系統(tǒng)也支持使用者預先設定導航路徑，以及根據(jù)使用者的習慣記憶常用路線信息。

2 系統(tǒng)硬件設計

2.1 視覺識別設計

使用K210芯片作為圖像處理單元，其上搭載的RISC-V 64位雙核處理器，專為機器視覺而設計，通過運算神經(jīng)網(wǎng)絡模型，對微攝像頭采集到的環(huán)境信息進行識別處理，將處理結(jié)果反饋至主控處理器中。K210 攝像頭模塊，如圖2所示。

首先利用雙肩矯正和標定技術，精確獲取攝像頭參數(shù)矩陣，實現(xiàn)立體匹配，獲得高精度立體視差圖。然后采用先進的YOLO算法進行物體檢測與識別，該算法精確度高且速度快捷，比R-CNN快1000倍。識別障礙物演示（柱子），如圖3所示。神經(jīng)網(wǎng)絡模型的主要特征如下。

特征自動提?。壕矸e神經(jīng)網(wǎng)絡可以通過學習來自動提取圖像中的特征，減少了手工特征工程的負擔。

魯棒性：由于卷積神經(jīng)網(wǎng)絡可以自動學習圖像特征，使得網(wǎng)絡對圖像的變形、光照等影響具有一定的魯棒性。

可擴展性：卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)可以通過增加卷積層、池化層等可復制的層次來擴展網(wǎng)絡結(jié)構(gòu)，從而適應更大規(guī)模的數(shù)據(jù)集。

端到端學習：卷積神經(jīng)網(wǎng)絡可以直接將圖像的原始像素作為輸入來進行學習，從而實現(xiàn)端到端的自動學習。

層次結(jié)構(gòu)：卷積神經(jīng)網(wǎng)絡是一種多層結(jié)構(gòu)，每一層都通過前一層的輸出作為輸入。這種結(jié)構(gòu)讓它能夠探測到不同層次的特征。

局部連接和共享權值：卷積神經(jīng)網(wǎng)絡中的卷積操作是在局部區(qū)域內(nèi)執(zhí)行的，而不是在整個輸入數(shù)據(jù)上進行操作。這樣可以減少計算量，并且更好地捕捉到局部特征。同時，每一個卷積核都可以在輸入數(shù)據(jù)的不同位置上進行卷積操作，從而提高特征提取的效率。

多層卷積：卷積神經(jīng)網(wǎng)絡中包含多個卷積層，每一層提取的特征都比前一層更加抽象。

池化層：卷積神經(jīng)網(wǎng)絡中的池化層用于縮小特征圖的大小，減少計算量，并且提高模型的魯棒性。

Dropout：卷積神經(jīng)網(wǎng)絡中的Dropout層可以減少過擬合現(xiàn)象，并且提高模型的泛化能力。

2.2 主控微處理器

STM32系列微處理器是意法半導體開發(fā)的嵌入式處理器，專為要求高性能、低成本、低功耗的嵌入式的應用而設計。

系統(tǒng)中采用了STM32F407微控制器，它具有多達1MB的FLASH、64KB的SRAM、168MHz的主頻、12位ADC以及高速USART，完全能夠滿足本項目的所有開發(fā)需要。利用IIC、USART等通信接口實現(xiàn)與各個模塊之間的數(shù)據(jù)交換任務，同時能夠快速地完成多種數(shù)據(jù)信息的整合運算工作，實現(xiàn)路徑的規(guī)劃導航和記憶。

2.3 傳感器

2.3.1 定位模塊

系統(tǒng)中所使用的GPS 定位功能通過ATKMO1218模塊實現(xiàn)。該模塊的應用主要通過SkyTraqbinary 協(xié)議進行相關參數(shù)的配置，然后利用NMEA-0183協(xié)議[4]獲取實時定位信息。主控微處理器對獲取到的原始定位數(shù)據(jù)進行處理操作后，通過通信模塊發(fā)送至上位機，并實時記錄位置信息。

2.3.2 通信模塊

系統(tǒng)使用了4G通信模塊ATK-MW510模塊來實現(xiàn)通訊功能。ATK-MW510模塊作為一款高性能的LTE Cat.4模塊，具備豐富的硬件資源。它集成了LTECat.4模組，支持高速數(shù)據(jù)傳輸，滿足用戶對于網(wǎng)絡速度的需求。同時，模塊還配備了Nano-SIM卡座，方便用戶進行SIM卡安裝和更換。此外，該模塊還具備ADC檢測接口、3.5mm音頻輸入輸出接口、SMA主天線接口等多種接口，方便用戶進行各種外接設備的連接和通信。復位按鍵和開機按鍵的設置，使得用戶可以方便地控制模塊的啟動和復位。

根據(jù)以上所描述的信息，ATK-MW510模塊是一款功能全面、性能卓越的網(wǎng)絡通信模塊，因此能夠很好地完成系統(tǒng)分配的通訊任務。

2.3.3 激光測距模塊

除了通過視覺識別進行環(huán)境判斷之外，系統(tǒng)還采用了激光測距模塊組對行走過程中的障礙物進行輔助避障。ATK-MS53L1M激光測距模塊擁有小巧的外形，能夠輕易地安裝在穿戴設備周圍，該測距模塊能夠?qū)崿F(xiàn)范圍為40mm至4 000mm內(nèi)的障礙物檢測任務，完全符合視障人士行走過程中的檢測需要。

2.3.4 交互模塊

考慮到視障人群的使用方式，設備主要通過震動和語音的方式進行交互操作[5]。在設備中安裝了八處振動源，分別位于穿戴者的前方、左前方、左方、左后方、后方、右后方、右方以及右前方八個方位，能夠根據(jù)每個方位檢測到的障礙物信息進行震動提示。同時語音模塊也將進行路況的大致內(nèi)容播報，便于使用者進行下一步規(guī)劃。人機交互設計框圖，如圖4所示。

3 系統(tǒng)軟件設計

3.1 YOLO（You Only Look Once） 算法

系統(tǒng)在通過K210 模塊進行物體識別時使用的YOLO算法是一種在AI領域目標檢測方向非常流行的算法[6-7]。它以其速度、精度和效果上的優(yōu)勢而著稱。YOLO算法的核心思想是將目標檢測任務轉(zhuǎn)換為一個單次前向傳播的回歸問題，從而實現(xiàn)了快速的目標檢測和定位。與傳統(tǒng)的目標檢測方法相比，YOLO 算法不需要進行復雜的區(qū)域提議和分類器訓練，而是直接在整個圖像上進行預測，從而大大提高了處理速度。在物體識別方面，YOLO算法能夠檢測出各種大小、形狀和旋轉(zhuǎn)角度的目標，并且在復雜背景下也具有較好的檢測效果。它采用全局損失函數(shù)，能夠在不同尺度的特征圖上進行檢測，從而提高了檢測的精度。

當使用過程中，K210模塊對道路上的障礙物體進行識別時，YOLO算法可以與該模塊的機器視覺能力相結(jié)合。K210模塊具備的卷積人工神經(jīng)網(wǎng)絡硬件加速器KPU，可高性能進行卷積人工神經(jīng)網(wǎng)絡運算，支持基于卷積神經(jīng)網(wǎng)絡的目標檢測和圖像分類任務。通過結(jié)合YOLO算法和K210模塊的機器視覺能力，可以實現(xiàn)快速、準確的障礙物檢測識別，完成道路環(huán)境的采集和處理任務。

此外，該算法還采用交叉損失函數(shù)，能夠同時預測目標的類別和位置，進一步提升了檢測的精度。

3.2 系統(tǒng)上位機設計

系統(tǒng)使用了4G通信模塊進行網(wǎng)絡通信，將實時定位數(shù)據(jù)信息上傳至云端。設計了一個帶有地圖定位功能的上位機軟件，選定百度地圖的SDK并集成到開發(fā)環(huán)境當中[8]。隨后，通過網(wǎng)絡獲取用戶使用設備過程中提供的定位數(shù)據(jù)，利用SDK將位置信息實時展示在地圖上。

此外，為了提升用戶體驗，還增加了地圖的縮放、定位以及標記點添加等交互功能。最后，通過實際的測試與調(diào)試，完善了軟件的穩(wěn)定性和可用性，并將提供相應的文檔和用戶指南，以便用戶輕松上手。上位機初始界面，如圖5所示。

4 系統(tǒng)的性能測試與分析

本設計的系統(tǒng)為穿戴式的導盲設備，旨在為視障人士提供一種更加便捷高效的行走輔助方式。在使用過程中，主要以設備的單獨運行為主，上位機在此過程中僅作為信息接收端，主要負責接收設備運行過程中的定位與報警信息，從而方便設備使用者的監(jiān)護人或緊急聯(lián)系人能夠隨時隨地觀察該使用者的動態(tài)，以保證使用者的安全。

團隊按照上文設計要求與設計方案，并結(jié)合了對于視障人群的調(diào)研報告，完善了整套穿戴式導盲系統(tǒng)以及上位機的設計。根據(jù)數(shù)名視障人士提供的信息，團隊在不同地點、不同環(huán)境下分別對設備進行了多方位多角度的實際測試實驗。最終測試獲得的數(shù)據(jù)如表1所示。

整體系統(tǒng)最終測試數(shù)據(jù)均處于預測范圍內(nèi)，符合初期的精準度要求，在大部分情況下均能夠完成基礎的行走輔助任務。上位機在使用過程當中也能夠很好地獲取實時定位信息，并且能夠及時準確地得到使用者發(fā)出的報警信息。

5 結(jié)束語

基于機器視覺的穿戴式導盲設備旨在實現(xiàn)盲人的便捷出行，通過高度智能化的設計，為視覺障礙人士的安全出行提供額外的保障和便利。該設備采用先進的神經(jīng)卷積網(wǎng)絡算法，能夠通過雙肩矯正和標定技術獲取攝像頭參數(shù)矩陣，實現(xiàn)立體匹配，獲得高精度立體視差圖。同時，采用YOLO算法，可以精確識別與定位目標物體，確保盲人在行走過程中能夠避開障礙物。

該設備仍然需要大量的數(shù)據(jù)進行模型訓練，并且需要高性能的計算資源?？傮w來說，基于機器視覺的穿戴式導盲設備為視覺障礙人士的安全出行提供了強有力的支持和保障。

參考文獻：

[1] 余娜娜.面向視障人群的導盲輔具設計研究[D].廣州：廣東工業(yè)大學，2022.

[2] 徐浩.室外導盲機器人研究與設計[D].沈陽：東北大學，2020.

[3] 金文祥，王紹偉，時繼潮，等.一種低成本的GPS定位信息采集顯示系統(tǒng)[J].單片機與嵌入式系統(tǒng)應用，2018，18（8）：46-48.

[4] 周蘭蘭，曾水平.基于NMEA-0183協(xié)議的導盲儀定位信息采集與解析系統(tǒng)[J].工業(yè)控制計算機，2021，34（2）：41-42，55.

[5] 徐進波，陳晨.基于語音交互的盲人出行輔具設計[J].藝術與設計（理論），2018（5）：100-102.

[6] 張炳力，王焱輝，潘澤昊，等.基于障礙物和車位檢測的單階段多任務YOLO-Parking 算法研究[J]. 合肥工業(yè)大學學報（自然科學版），2024，47（1）：1-6，61.

[7] 張四平.基于YOLO目標檢測算法的人群多目標識別跟蹤方法[J].智能計算機與應用，2024，14（1）：152-155.

[8] 涂晉升，李鵬，王延霞，等.基于百度地圖開放平臺的導航電子地圖課程實踐教學研究[J].導航定位學報，2022，10（2）：191-194.

【通聯(lián)編輯：朱寶貴】

基金項目：省級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目-基于機器視覺的穿戴式導盲設備的開發(fā)與設計（項目編號：S202110723035）