基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅

王希望 王 橋 王晴晴 田江濤 張兆金 陳 春 曾家明

(貴州師范學(xué)院 數(shù)學(xué)與大數(shù)據(jù)學(xué)院,貴州 貴陽(yáng) 550000)

1 概述

目前市面上大多數(shù)輪椅不能自動(dòng)識(shí)別樓梯,但能在平坦的路面上行駛。遇到樓梯或坡度大于12 度的路面就會(huì)受到很大限制,目前中國(guó)仍有將近一半的居民住在七層以下沒(méi)有電梯的建筑,并且很多交通樞紐站臺(tái)或商場(chǎng)里需要爬樓梯的地方很少有輪椅的專(zhuān)用通道導(dǎo)致使用者外出時(shí)必須有人陪同。功能齊全的智能輪椅價(jià)格高,給使用者帶來(lái)很多煩惱。這一現(xiàn)狀給無(wú)數(shù)殘疾人和老年人帶來(lái)生活的不便。

本文主要介紹一種基于機(jī)器視覺(jué)技術(shù)的可識(shí)別樓梯階數(shù)并自動(dòng)攀爬樓梯的輪椅。利用模擬電子技術(shù)、嵌入式軟硬件開(kāi)發(fā)技術(shù)等,結(jié)合了多種傳感器模塊(如MPU6050 模塊、K210 模塊、光電傳感器等電子元件),將爬樓輪椅升級(jí),實(shí)現(xiàn)了一種基于機(jī)器視覺(jué)技術(shù)的可識(shí)別樓梯階數(shù),并自動(dòng)攀爬樓梯的輪椅。并且用戶可以通過(guò)OLED 模塊顯示當(dāng)前狀態(tài),通過(guò)MPU6050 模塊對(duì)輪椅姿態(tài)進(jìn)行監(jiān)測(cè)。在保證低價(jià)格的同時(shí)可以實(shí)現(xiàn)在沒(méi)有人輔助的情況下,輕松上下樓,其能夠保障使用者安全的同時(shí),也能給其家屬及朋友帶來(lái)很多方便。

2 總體設(shè)計(jì)

本文基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅以STM32 單片機(jī)為核心控制器,采用F103C8T6 為主控芯片,使用低功耗且性能優(yōu)良的K210 模塊來(lái)實(shí)現(xiàn)機(jī)器視覺(jué)。當(dāng)上樓梯時(shí),直流電機(jī)驅(qū)動(dòng)輪椅前進(jìn),步進(jìn)電機(jī)帶動(dòng)輪椅攀爬樓梯;紅外傳感器實(shí)現(xiàn)識(shí)別樓梯階數(shù),0LED 模塊實(shí)現(xiàn)狀態(tài)顯示功能。并且該裝置選擇了升桿電機(jī),輕便簡(jiǎn)潔,簡(jiǎn)單實(shí)用,操作上 通俗易懂；實(shí)現(xiàn)人機(jī)交互,用戶通過(guò)手機(jī)APP 設(shè)定階梯層數(shù)控制該裝置到達(dá)設(shè)定的階梯；通過(guò)MPU6050 模塊利用數(shù)字運(yùn)動(dòng)處理器硬件加速引擎,實(shí)現(xiàn)姿態(tài)監(jiān)測(cè),調(diào)整座椅姿態(tài)保持座椅平衡;方便用戶更好的控制該裝置。本文基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅使用多個(gè)升桿電機(jī)組合,基于動(dòng)力學(xué)原理、機(jī)械原理,從而實(shí)現(xiàn)具有自動(dòng)連續(xù)攀爬樓梯功能。總體框圖如圖1 所示、模型圖如圖2 所示。

圖1 總體框圖

圖2 模型圖

3 系統(tǒng)設(shè)計(jì)

該系統(tǒng)分為核心控制器、電機(jī)、紅外傳感器、MPU6050 模塊、K210 模塊、ESP8266 模塊、OLED 模塊、電池等幾個(gè)部分。

3.1 核心控制器

在我們的日常生活中,集成電路芯片的應(yīng)用非常廣泛,單片機(jī)本質(zhì)就是一種集成電路芯片,而單片機(jī)在我們的生活中的應(yīng)用也是非常廣泛的,它的型號(hào)非常多,在大學(xué)的項(xiàng)目實(shí)踐中比較常見(jiàn)的是STM32 單片機(jī)和51 單片機(jī),這兩者非常適合初學(xué)者入門(mén)和項(xiàng)目實(shí)踐。單片機(jī)把定時(shí)器和計(jì)數(shù)器等一些功能以及中央處理器CPU 和儲(chǔ)存器、I/O 口等集成在一起。本文基于機(jī)器視覺(jué)的自動(dòng)爬樓輪椅所用到的STM32F103C8T6 芯片,它是英國(guó)Acorn 公司設(shè)計(jì)的基于ARM處理器并以Cortex-M 為內(nèi)核的STM32 系列的32 位微型計(jì)算機(jī)系統(tǒng)。

本文基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅以STM32F103C 8T6 芯片為核心控制器,能使爬樓輪椅的成本降到最低,且實(shí)現(xiàn)的功能非常多,還有一個(gè)好處就是,它可以直接調(diào)用STM32 系列的單片機(jī)的官方提供的庫(kù)文件,對(duì)于本文各個(gè)模塊的編程及驅(qū)動(dòng)非常方便。此外,單片機(jī)的工作電壓為2V至3.6V,其工作溫度為零下四十?dāng)z氏度至八十五攝氏度,對(duì)于極寒天氣和高溫天氣而言,單片機(jī)實(shí)現(xiàn)的功能不會(huì)極端受天氣影響,自動(dòng)爬樓輪椅可以正常使用。在本文的自動(dòng)爬樓輪椅中,STM32 單片機(jī)控制著整個(gè)輪椅所有的功能模塊,以此達(dá)到實(shí)現(xiàn)基于機(jī)器視覺(jué)技術(shù)的爬樓輪椅的自動(dòng)化。

3.2 K210 模塊

K210 芯片模組,它基于雙核RISC-V64 位處理器,雙核的主頻高達(dá)600MHZ,可以應(yīng)對(duì)各種業(yè)務(wù)場(chǎng)景及計(jì)算任務(wù)。硬件浮點(diǎn)指令加速:兩個(gè)核心均支持雙精度指令加速,可使簡(jiǎn)單的渲染高達(dá)100fps,

本文采用功耗低且性能優(yōu)良的K210 芯片來(lái)實(shí)現(xiàn)機(jī)器視覺(jué),該芯片具有雙核64 位處理器,其特色在于芯片架構(gòu)中包含了一個(gè)自研的神經(jīng)網(wǎng)絡(luò)硬件加速器KPU,可以高性能地進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)運(yùn)算,簡(jiǎn)單來(lái)說(shuō)就是KPU 能加載和運(yùn)行各種現(xiàn)成的AI 算法模型,實(shí)現(xiàn)各種機(jī)器視覺(jué)等功能。它的算力其實(shí)是相當(dāng)可觀的,根據(jù)嘉楠官方的描述,K210 的KPU 算力有0.8TOPS,作為對(duì)比,擁有128 個(gè)CUDA 單元GPU 的英偉達(dá)的算力是0.47TFLOPS 而最新的樹(shù)莓派4 只有不到0.1TFLOPS。

3.3 紅外傳感器+電機(jī)組件

紅外傳感器在我們的日常生活中非常常見(jiàn),在客運(yùn)站和商場(chǎng)等場(chǎng)所,它可以用來(lái)檢測(cè)人體體溫,以及檢測(cè)乘客或顧客是否攜帶違禁物品,給我們的的生活帶來(lái)了很大的便利,當(dāng)然它的用途遠(yuǎn)遠(yuǎn)不止這些。于本文的基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅而言,紅外傳感器的作用是檢測(cè)行輪椅前是否有障礙物或者樓梯,輪椅的行進(jìn)和攀爬。如圖3 所示。

圖3 紅外測(cè)距

本文的電機(jī)包含步進(jìn)電機(jī)和減速電機(jī),其中步進(jìn)電機(jī)用于輪椅的行進(jìn)狀態(tài),與輪椅的輪子連接在一起；減速電機(jī)用于輪椅的攀爬,與直線導(dǎo)軌等連接在一起。

步進(jìn)電機(jī)是現(xiàn)代數(shù)控系統(tǒng)中常用的元件,它是和驅(qū)動(dòng)器一起搭配使用的,它的工作原理簡(jiǎn)單來(lái)說(shuō)是當(dāng)步進(jìn)電機(jī)驅(qū)動(dòng)器收到一個(gè)脈沖信號(hào)時(shí),步進(jìn)電機(jī)驅(qū)動(dòng)器會(huì)驅(qū)使電機(jī)內(nèi)部的轉(zhuǎn)子和軸承轉(zhuǎn)動(dòng)一個(gè)相應(yīng)的角度。

減速電機(jī)在本文中實(shí)現(xiàn)輪椅的攀爬樓梯功能,減速電機(jī)的效率很高,可靠性也是非常高；因?yàn)樗木S護(hù)較為簡(jiǎn)便,所以當(dāng)我們對(duì)減速電機(jī)進(jìn)行維護(hù)時(shí),是非常方便的；此外,減速電機(jī)的工作壽命非常長(zhǎng),所以本文輪椅不會(huì)頻繁出現(xiàn)功能紊亂和不能實(shí)現(xiàn)的情況。

本文該紅外傳感器+電機(jī)組件主要作用是實(shí)現(xiàn)本文基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅的攀爬行進(jìn),該組件結(jié)構(gòu)總共用到兩根絲桿,本文中利用3D 打印,為電機(jī)打印了一些3D 軸承,用于電機(jī)的固定,減速電機(jī)下部連接著軸承,減速電機(jī)上部連接著絲桿,絲桿另一端連接著直線滑軌,當(dāng)紅外傳感器檢測(cè)到箱體正面有階梯時(shí),輪椅的正面被絲桿等結(jié)構(gòu)抬起,當(dāng)正面抬起后,輪椅的背面被另一根絲桿抬起,就實(shí)現(xiàn)了本文基于機(jī)器視覺(jué)技術(shù)的自動(dòng)爬樓輪椅的攀爬功能。

3.4 MPU6050 模塊

MPU6050 是一款運(yùn)動(dòng)處理傳感器。它集成了陀螺儀和加速度計(jì),以及一個(gè)可擴(kuò)展的數(shù)字運(yùn)動(dòng)處理器DMP(Digital MoTIon Processor),可用I2C 接口連接一個(gè)第三方的數(shù)字傳感器。擴(kuò)展之后就可以通過(guò)其I2C 接口輸出一個(gè)9 軸的信號(hào)。MPU-6050 也可以通過(guò)其I2C 接口連接非慣性的數(shù)字傳感器。在MPU6050 中,用陀螺儀傳感器測(cè)角度,用加速度傳感器測(cè)加速度。陀螺儀的原理是一個(gè)旋轉(zhuǎn)物體的旋轉(zhuǎn)軸所指的方向在不受外力影響下,是不會(huì)改變的,根據(jù)這個(gè)原理,用它來(lái)保持方向,然后用多種方法讀取所指示的方向,并自動(dòng)將數(shù)據(jù)信號(hào)傳給控制系統(tǒng)。加速度傳感器是一種能夠測(cè)量加速度的傳感器,通常由質(zhì)量塊、阻尼器、彈性元件、敏感元件和適調(diào)電路等部分組成,傳感器在加速過(guò)程中,通過(guò)對(duì)質(zhì)量塊所受慣性力的測(cè)量,利用牛頓第二定律獲得加速度值。MPU6050 在此項(xiàng)目中,主要通過(guò)I2C 接口,向應(yīng)用端輸出姿態(tài)解算后的數(shù)據(jù),調(diào)整座椅姿態(tài)保持座椅平衡。

圖4 角運(yùn)動(dòng)檢測(cè)裝置圖

3.5 ESP8266 模塊

ESP8266 是一款超低功耗的UART-WiFi 透?jìng)髂K,擁有業(yè)內(nèi)極富競(jìng)爭(zhēng)力的封裝尺寸和超低能耗技術(shù),專(zhuān)為移動(dòng)設(shè)備和物聯(lián)網(wǎng)應(yīng)用設(shè)計(jì),可將用戶的物理設(shè)備連接到Wi-Fi 無(wú)線網(wǎng)絡(luò)上,進(jìn)行互聯(lián)網(wǎng)或局域網(wǎng)通信,實(shí)現(xiàn)聯(lián)網(wǎng)功能。ESP8266WiFi 模塊通過(guò)串口AT 指令與單片機(jī)通訊,實(shí)現(xiàn)串口透?jìng)?。模塊中實(shí)現(xiàn)了TCP/IP 協(xié)議棧,模塊作為客戶端可輕松使用AT 指令向服務(wù)端發(fā)起TCP 連接,連接TCP 服務(wù)器并開(kāi)啟透?jìng)髂Ｊ胶?模塊串口收到的數(shù)據(jù)就會(huì)通過(guò)TCP 連接透?jìng)鞯椒?wù)端,這樣就完成了數(shù)據(jù)從硬件串口通過(guò)網(wǎng)絡(luò)到程序進(jìn)程的傳輸,實(shí)現(xiàn)軟硬結(jié)合。

圖5 ESP8266 引腳圖

3.6 電池

本文基于機(jī)器視覺(jué)的自動(dòng)爬樓輪椅在給STM32 及其他一些外部電路和電子元件供電采用的是航模電池,航模電池的本質(zhì)是鋰離子聚合物電池,而鋰離子聚合物電池是今后二次電池的發(fā)展的方向,航模電池的相對(duì)優(yōu)勢(shì)是內(nèi)含能量高、重量輕、型號(hào)較多。于形狀方面而言,航模電池輕薄化的一大特征可以迎合用戶的諸多需求,可以制成一些市面上難以見(jiàn)到的電池。在實(shí)際應(yīng)用中,航模電池常用于航模飛機(jī)等玩具模型的供電,由此可見(jiàn)它的效率和安全性都高。

4 結(jié)論

本文基于機(jī)器視覺(jué)的自動(dòng)爬樓輪椅是一款輕便、操作簡(jiǎn)單、具有判斷樓梯階層數(shù)、人機(jī)交互、監(jiān)測(cè)當(dāng)前的姿態(tài)、能夠自動(dòng)連續(xù)攀爬樓梯的裝置。該裝置選擇了升桿電機(jī),測(cè)距模塊,輕便簡(jiǎn)潔,簡(jiǎn)單實(shí)用,操作上 通俗易懂；并且使用多個(gè)升桿電機(jī)組合,基于動(dòng)力學(xué)原理、機(jī)械原理,從而實(shí)現(xiàn)具有自動(dòng)連續(xù)攀爬樓梯功能。解決了目前市面上傳統(tǒng)的輪椅普遍存在的一些問(wèn)題,在保證低價(jià)格的同時(shí)可以實(shí)現(xiàn)在沒(méi)有人輔助的情況下,輕松上下樓,其能夠保障使用者安全的同時(shí),也能給其家屬及朋友帶來(lái)很多方便。