健康服務(wù)機(jī)器人室內(nèi)導(dǎo)航視覺(jué)傳感器研究與開(kāi)發(fā)

(西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽(yáng) 621010)

0 引言

我國(guó)將很快進(jìn)入老齡化社會(huì)，健康養(yǎng)老的需求推動(dòng)社會(huì)經(jīng)濟(jì)結(jié)構(gòu)，產(chǎn)業(yè)結(jié)構(gòu)調(diào)整與發(fā)展，健康服務(wù)技術(shù)與該領(lǐng)域的智能制造技術(shù)，也迅猛發(fā)展起來(lái)。我國(guó)重視機(jī)器人技術(shù)研究開(kāi)發(fā)，但國(guó)內(nèi)對(duì)于健康服務(wù)類機(jī)器人研究與開(kāi)發(fā)，還處在起步階段，市場(chǎng)上也鮮有這類的機(jī)器人出現(xiàn)；而在國(guó)外，此類機(jī)器人雖然有一些產(chǎn)品輸出，但從數(shù)據(jù)上看出，銷量十分稀少，也正在大力研究開(kāi)發(fā)。著力健康服務(wù)類機(jī)器人技術(shù)，與世界各國(guó)并跑，是有意義，有前景的事業(yè)。

根據(jù)資料表明，當(dāng)今世界約有25個(gè)國(guó)家大力發(fā)展服務(wù)型機(jī)器人，在國(guó)外，已有7種健康服務(wù)類型機(jī)器人進(jìn)入半商業(yè)化的應(yīng)用；世界最大的民用機(jī)器人開(kāi)發(fā)團(tuán)隊(duì)已經(jīng)在歐盟啟動(dòng)，計(jì)劃到2020年，在研發(fā)家政、護(hù)理、運(yùn)輸和醫(yī)療等領(lǐng)域的機(jī)器人項(xiàng)目中投入28億歐元。在服務(wù)型智能機(jī)器人的應(yīng)用領(lǐng)域內(nèi)，處于領(lǐng)先地位的有德國(guó)、日本、韓國(guó)以及美國(guó)等。代表性產(chǎn)品有：Care-0-Bot4機(jī)器人，由德國(guó)生產(chǎn)，是一款能幫助老人獨(dú)立生活(報(bào)警呼救、取拿飲品、安置桌椅、控制空調(diào)等)的看護(hù)機(jī)器人；日本的一家跨國(guó)公司研制的一款機(jī)器人，是可以烹飪煎餅的家政服務(wù)類機(jī)器人；韓國(guó)研制的Mahru-Z，這是一款可以打掃房子、加熱食物、輔助洗衣等的女仆機(jī)器人。

服務(wù)機(jī)器人只有準(zhǔn)確知道自身的位置、工作空間中障礙物的位置、障礙物的運(yùn)動(dòng)情況，才能安全有效地進(jìn)行自主移動(dòng)，定位是移動(dòng)的前提。定位、導(dǎo)航技術(shù)，在很多領(lǐng)域都有應(yīng)用，技術(shù)方法也較多，如GPS導(dǎo)航，激光導(dǎo)航，電磁導(dǎo)航，信標(biāo)、地圖導(dǎo)航等等，健康服務(wù)類機(jī)器人在室內(nèi)工作，GPS導(dǎo)航不可靠，電磁、信標(biāo)導(dǎo)航不方便，探索簡(jiǎn)潔，有效的新的技術(shù)方法，才自主設(shè)計(jì)了室內(nèi)導(dǎo)航視覺(jué)傳感器方案。此視覺(jué)傳感器是粘貼式的，和健康服務(wù)機(jī)器人并不是一體，他們之間通過(guò)無(wú)線傳輸技術(shù)進(jìn)行交互，能夠粘在家庭的天花板上，非常的便捷。

1 視覺(jué)傳感器總體結(jié)構(gòu)設(shè)計(jì)

該視覺(jué)傳感器主要由STM32F429IGT6、數(shù)據(jù)傳輸模塊、電源模塊、數(shù)據(jù)采集模塊(特殊標(biāo)記圖像和環(huán)境地圖)、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)處理模塊、無(wú)線通信模塊組成[1]。STM32F429IGT6作為主中央處理器以滿足多功能任務(wù)處理；數(shù)據(jù)采集模塊是基于OV5640圖像傳感器獲取移動(dòng)體特殊標(biāo)記的實(shí)時(shí)圖像和環(huán)境地圖，利用圖像處理的方法得到移動(dòng)體此時(shí)準(zhǔn)確的位置以及方向，通過(guò)無(wú)線傳輸模塊能夠把位置方向信息發(fā)送給移動(dòng)體，這樣移動(dòng)體就能根據(jù)接收到的位置信息搭配環(huán)境地圖進(jìn)行移動(dòng)[2]。系統(tǒng)總體結(jié)構(gòu)框圖如圖1所示。

圖1 系統(tǒng)總體結(jié)構(gòu)框圖

由圖1可知此視覺(jué)傳感器的核心是CMOS圖像芯片和高性能的嵌入式MCU處理器，是一個(gè)微型系統(tǒng)，此系統(tǒng)具有“眼睛”和“大腦”的能力。CPU和CMOS通過(guò)總線直接連接：通過(guò)DMA把OV5640采集的數(shù)據(jù)傳輸?shù)街骺刂破?，這樣訪問(wèn)控制簡(jiǎn)捷，且不占用CPU資源。此導(dǎo)航傳感器外部有大容量?jī)?nèi)存，方便實(shí)現(xiàn)復(fù)雜視覺(jué)算法。具有各種各樣的通訊接口，擁有強(qiáng)大的通訊能力。本研究設(shè)計(jì)的健康服務(wù)機(jī)器人室內(nèi)導(dǎo)航視覺(jué)傳感器性價(jià)比高且結(jié)構(gòu)清晰。

此導(dǎo)航視覺(jué)傳感器的設(shè)計(jì)與開(kāi)發(fā)是基于底層芯片，可最大化發(fā)揮CMOS芯片的采集能力。針對(duì)室內(nèi)環(huán)境光變化大的問(wèn)題，在設(shè)計(jì)中研發(fā)了室內(nèi)光自適應(yīng)模塊，即開(kāi)放CMOS圖像芯片的曝光時(shí)間、亮度、白平衡等控制寄存器，有手動(dòng)和自動(dòng)2種方式控制CMOS芯片的控制寄存器，增強(qiáng)了室內(nèi)導(dǎo)航視覺(jué)傳感器對(duì)室內(nèi)光變化的自適應(yīng)能力，在特殊標(biāo)記移動(dòng)體的采集品質(zhì)上有明顯的提升。

本文設(shè)計(jì)的導(dǎo)航視覺(jué)傳感器有1個(gè)顯著的特性:能夠通過(guò)調(diào)整CMOS芯片的控制寄存器來(lái)增強(qiáng)OV5640傳感器室內(nèi)光自適應(yīng)能力，解決了室內(nèi)特殊標(biāo)記移動(dòng)體采集時(shí)光線強(qiáng)、弱的問(wèn)題，為后期的圖像處理提供有利的條件。

2 視覺(jué)傳感器硬件電路設(shè)計(jì)

2.1 微控制器簡(jiǎn)介

系統(tǒng)控制器采用STM32系列的32位微控制器STM32F429。它采用ARM32位Cortex?-M4的CPU，具備豐富的外設(shè)資源，主要包括3個(gè)速度為2.4MSPS的12 位ADC、通用DMA、3個(gè)I2C、3個(gè)速度高達(dá)45Mb/s的SPI、6個(gè)速度達(dá)11.25Mb/s的USART、定時(shí)器有17個(gè)，帶有Flash存儲(chǔ)器中實(shí)現(xiàn)零等待狀態(tài)運(yùn)行性能的自適應(yīng)實(shí)時(shí)加速器[3]， MPU，具有豐富的DSP指令集，內(nèi)置高達(dá)1M的Flash和192+4KB的SRAM，主頻高達(dá)168MHz。這些使得F4尤其適用于需要浮點(diǎn)運(yùn)算和DSP處理的應(yīng)用，也被稱之為：DSC，具有非常廣泛的應(yīng)用場(chǎng)景。

2.2 電源電路

該視覺(jué)傳感器搭配環(huán)境地圖能夠?qū)崟r(shí)為服務(wù)機(jī)器人提供導(dǎo)航服務(wù)，因此需要對(duì)其提供穩(wěn)定可靠的電源[4]。電源電路采用蓄電池作為供電電源，經(jīng)過(guò)電源降壓電路轉(zhuǎn)換為系統(tǒng)可用的5 V以及3.3 V兩路工作電源，系統(tǒng)控制器通過(guò)協(xié)調(diào)實(shí)現(xiàn)各模塊的電源供給，實(shí)現(xiàn)系統(tǒng)低功耗。LP3878供應(yīng)穩(wěn)定的5V輸出、3.3 V電源采取功耗極度低的LTC3631中轉(zhuǎn)提供。

2.3 數(shù)據(jù)采集電路

利用OV5640圖像芯片結(jié)合STM32F429IGT6作為本視覺(jué)傳感器數(shù)據(jù)采集模塊。OV5640是一款CMOS類型的數(shù)字圖像傳感器，該芯片支持輸出的圖像像素最大可為 500 萬(wàn) (2592x1944分辨率)，輸出圖像的數(shù)據(jù)支持使用VGA時(shí)序，輸出圖像的數(shù)據(jù)格式可以為 YUV(422/420)、YCbCr422、RGB565 以及JPEG，與STM32F429IGT6處理器的相機(jī)接口匹配。輸出圖像數(shù)據(jù)的幀率可調(diào)范圍是15-60幀。它還可以對(duì)采集的圖像進(jìn)行補(bǔ)償，通過(guò)控制寄存器和數(shù)據(jù)寄存器的讀寫設(shè)置對(duì)伽瑪曲線、色度、飽和度、白平衡等基礎(chǔ)處理，有自動(dòng)和手動(dòng)兩種模式，為室內(nèi)環(huán)境光的變化提供硬件基礎(chǔ)。此攝像頭可以對(duì)機(jī)器人當(dāng)前所處室內(nèi)環(huán)境地圖以及特殊標(biāo)記進(jìn)行采集。

根據(jù)應(yīng)用需求，本研究選擇數(shù)據(jù)采集的圖像格式為YUV(422)格式，此格式的圖像傳輸時(shí)占用較小的頻寬，Y數(shù)據(jù)對(duì)環(huán)境光比較敏感而且圖像處理數(shù)據(jù)量比較小，能克服室內(nèi)光線等外界因素的干擾。環(huán)境地圖的采集則是采用JPEG格式，此格式可以大大減少圖像數(shù)據(jù)量，便于處理。

2.4 數(shù)據(jù)存儲(chǔ)電路

數(shù)據(jù)存儲(chǔ)電路主要由內(nèi)部Flash和外部SRAM以及外部 MicroSD 卡三部分組成[5]。內(nèi)部Flash用于系統(tǒng)內(nèi)部傳感器的數(shù)據(jù)存儲(chǔ)，外部SRAM是用來(lái)擴(kuò)展程序運(yùn)行時(shí)需要的內(nèi)存，MicroSD卡用于采集環(huán)境地圖和特殊標(biāo)記圖像的數(shù)據(jù)存儲(chǔ)[6]。F429是采用SDIO模式驅(qū)動(dòng)MicroSD卡工作。利用STM32F429IGT6通過(guò)SCCB 總線進(jìn)行控制OV5640的寄存器SIO_C和SIO_D。采集完后OV5640會(huì)根據(jù)控制寄存器的配置做一些基本的圖像處理，轉(zhuǎn)換出的數(shù)據(jù)最終通過(guò)Y2-Y9引腳輸出。輸出的數(shù)據(jù)通過(guò)DMA的FIFO模式傳到外部SD卡中，等待進(jìn)一步的處理。

2.5 數(shù)據(jù)傳輸電路

視覺(jué)傳感器與服務(wù)機(jī)器人之間的交互借助網(wǎng)絡(luò)通信技術(shù)實(shí)現(xiàn)，基于TCP/IP的無(wú)線網(wǎng)絡(luò)通信。本文WIFI通信模塊主要利用ATK-ESP8266來(lái)實(shí)現(xiàn)，ATK-ESP8266具有強(qiáng)大的片上處理和存儲(chǔ)能力，通過(guò)GPIO口集成傳感器，實(shí)現(xiàn)了運(yùn)行中最少地占用系統(tǒng)資源[7]，并且內(nèi)部包含開(kāi)關(guān)balun、電源管理器，因此需要極少的外部電路。ATK-ESP8266與STM32F429的連接方式如圖2所示。

圖2 ATK-MODULE接口與MCU的連接關(guān)系

3 視覺(jué)傳感器軟件設(shè)計(jì)

視覺(jué)傳感器軟件設(shè)計(jì)是在ARM公司的Keil5集成開(kāi)發(fā)環(huán)境下采用C語(yǔ)言編寫實(shí)現(xiàn)，主要包括串口初始化及DMA初始化、按鍵初始化、初始化系統(tǒng)時(shí)鐘、DCMI時(shí)鐘以及I2C時(shí)鐘、MicroSD卡初始化、OV5640攝像頭GPIO及I2C初始化以及用戶參數(shù)配置[8]，主程序流程圖如圖3所示。

圖3 主程序流程圖

由圖3可知，此視覺(jué)傳感器通過(guò)不斷的匹配目的地址，當(dāng)前地址與目的地址重合時(shí)，結(jié)束導(dǎo)航，否則根據(jù)機(jī)器人智能引導(dǎo)路徑繼續(xù)行走，直到當(dāng)前地址與目的地址重合。

3.1 數(shù)據(jù)采集軟件設(shè)計(jì)

數(shù)據(jù)采集程序由STM32F429IGT6和OV5640圖像傳感器共同完成，在微控制器初始化完成以后[9]，可以根據(jù)用戶選擇來(lái)進(jìn)行環(huán)境地圖采集或者服務(wù)機(jī)器人位置采集，當(dāng)進(jìn)入第2種時(shí)，攝像頭每采集完一幀圖像時(shí)會(huì)進(jìn)入DCMI_IRQHandler中斷，用來(lái)計(jì)算幀率以滿足服務(wù)機(jī)器人定位導(dǎo)航需求。OV5640數(shù)據(jù)采集流程圖如圖4所示。

圖4 數(shù)據(jù)采集程序流程圖

由圖4可知，視覺(jué)傳感器的數(shù)據(jù)收集模塊有兩種選擇。一是對(duì)環(huán)境地圖的采集，此地圖作為輔助型地圖結(jié)合導(dǎo)航定位算法對(duì)室內(nèi)機(jī)器人進(jìn)行定位導(dǎo)航；二是對(duì)室內(nèi)機(jī)器人當(dāng)前位置進(jìn)行采集，OV5640每采集一幀數(shù)據(jù)，就會(huì)進(jìn)去一次幀中斷，在這個(gè)過(guò)程中，如果接收到結(jié)束導(dǎo)航的指令，就會(huì)關(guān)閉系統(tǒng)。

控制OV5640涉及到它的很多寄存器，輸出圖像的圖像格式、圖像方向以及分辨率的大小等可以通過(guò)設(shè)置這些寄存器來(lái)控制。部分代碼如圖5所示。對(duì)OV5640采用SCCB協(xié)議控制，SCCB總線跟I2C十分類似，因此我們直接控制片上I2C外設(shè)與它通訊。輸出圖像使用VGA時(shí)序，這根控制液晶屏輸入類似，一幀幀輸出，幀內(nèi)數(shù)據(jù)從左到右、從上至下，一個(gè)像素一個(gè)像素輸出。

圖5 CMOS芯片寄存器配置部分代碼

3.2 數(shù)據(jù)存儲(chǔ)軟件設(shè)計(jì)

由于本文采集數(shù)據(jù)都是圖形數(shù)據(jù)，因此需要擴(kuò)展外部?jī)?nèi)存方式進(jìn)行數(shù)據(jù)的存取。本文采用SD卡擴(kuò)展內(nèi)存，當(dāng)數(shù)據(jù)采集開(kāi)始后，OV5640利用像素?cái)?shù)據(jù)輸出端口把采集到的像素?cái)?shù)據(jù)傳到DCMI的數(shù)據(jù)寄存器，此后DMA會(huì)把DCMI的DR寄存器像素?cái)?shù)據(jù)搬至外部SD內(nèi)存，微控制器是通過(guò)SD_ReadDisk()函數(shù)與SD_WriteDisk()函數(shù)控制MicroSD卡的讀寫操作。

3.3 數(shù)據(jù)處理算法設(shè)計(jì)

數(shù)據(jù)采集存儲(chǔ)完成后，由于本文采集圖像場(chǎng)口為1080p，數(shù)據(jù)比較大處理比較困難，因?yàn)楸疚氖褂玫缺壤s小場(chǎng)口的方法把圖像縮放成320*240圖像，然后再進(jìn)行后續(xù)的處理，原始圖像如圖6所示。

定位導(dǎo)航算法步驟如下：

1)背景分割：由于圖像背景和ROI存在明顯的顏色差異，因此利用OTSU(最大類間方差法)對(duì)圖7進(jìn)行背景分割；

圖6 原始圖像 圖7 輪廓圖

2)對(duì)第一步得到的圖像進(jìn)行行映射，用式1進(jìn)行行求和，其中erzhihua是保存數(shù)據(jù)的二維數(shù)組，SUM用來(lái)保存每行的和；

(1)

3)把SUM中大于等于10的行下標(biāo)和最開(kāi)始的1和最后一個(gè)1所在的列下標(biāo)保存，根據(jù)下標(biāo)位置就可以把圖像輪廓圖求出來(lái)，如圖7所示。

4)SUM中和最大的那行就是此時(shí)移動(dòng)體橫坐標(biāo)位置，和最小的代表移動(dòng)體此時(shí)移動(dòng)方向橫坐標(biāo)位置，至于縱坐標(biāo)可以利用開(kāi)始和結(jié)尾為1所在的列數(shù)求出中間點(diǎn)的坐標(biāo)；

5)把直角坐標(biāo)系分成8個(gè)方向，根據(jù)步驟④求出的兩個(gè)點(diǎn)坐標(biāo)可以確定移動(dòng)體的當(dāng)前位置和移動(dòng)方向。

3.4 數(shù)據(jù)傳輸軟件設(shè)計(jì)

數(shù)據(jù)傳輸軟件設(shè)計(jì)采用無(wú)線通信技術(shù)，利用ATK-ESP8266和微控制器來(lái)實(shí)現(xiàn)。本文ATK-ESP8266配置成串口無(wú)線STA(COM-STA)模式，模塊作為無(wú)線WIFI STA，用于連接無(wú)線網(wǎng)絡(luò)，實(shí)現(xiàn)微控制器串口與服務(wù)機(jī)器人數(shù)據(jù)互傳。數(shù)據(jù)傳輸流程如圖8所示。

圖8 數(shù)據(jù)傳輸軟件流程圖

由圖7可知，無(wú)線通信模塊通過(guò)調(diào)用函數(shù)ESP-Status wifi_station()連接區(qū)域wifi，程序正常運(yùn)行，連接成功顯示如圖9所示。調(diào)用ESP-Send()函數(shù)把視覺(jué)傳感器即時(shí)信息傳給機(jī)器人。此過(guò)程中指令包和數(shù)據(jù)包的格式如表1和表2所示。

圖9 WIFI連接成功

表1 指令包格式

表2 數(shù)據(jù)包格式

4 實(shí)驗(yàn)與仿真結(jié)果

本文實(shí)驗(yàn)環(huán)境在一間6 m*4 m的房間內(nèi)，鏡頭場(chǎng)口大小為1080p，視角為70度，自動(dòng)對(duì)焦的情況下對(duì)服務(wù)機(jī)器人進(jìn)行識(shí)別與定位。人為調(diào)整機(jī)器人位置，利用本文視覺(jué)傳感器對(duì)其進(jìn)行定位，并把數(shù)據(jù)通過(guò)專用數(shù)據(jù)通信總線傳到上位機(jī)看其是否與實(shí)際一致，所測(cè)20組數(shù)據(jù)如表3所示。數(shù)據(jù)傳到上位機(jī)顯示如圖10～11所示。

表3 測(cè)試結(jié)果

由表3可知，本文視覺(jué)傳感器在對(duì)機(jī)器人進(jìn)行定位誤差基本都在±9 mm以內(nèi)。在抹除通過(guò)串口把數(shù)據(jù)傳到上位機(jī)的時(shí)間，本視覺(jué)傳感器的定位速度達(dá)到每秒3次。

圖10 位置信息

圖11 方向信息

5 結(jié)論

健康服務(wù)類機(jī)器人是移動(dòng)機(jī)器人，主要是室內(nèi)運(yùn)動(dòng)的智能裝備。移動(dòng)機(jī)器人結(jié)構(gòu)創(chuàng)新技術(shù)；環(huán)境感知測(cè)控與定位、導(dǎo)航技術(shù)；智能與融合控制技術(shù)；無(wú)線網(wǎng)絡(luò)與通信技術(shù)，康復(fù)器具與生物機(jī)電技術(shù)等等，都是需要研究開(kāi)發(fā)的技術(shù)領(lǐng)域，都需要青年科技人員創(chuàng)新創(chuàng)業(yè)。本文是在健康服務(wù)類移動(dòng)機(jī)器人的環(huán)境感知測(cè)控與定位、導(dǎo)航技術(shù)上，做創(chuàng)造性的研究與開(kāi)發(fā)，即研究一種新穎的室內(nèi)移動(dòng)機(jī)器人的視覺(jué)導(dǎo)航技術(shù)。依托自主研制的室內(nèi)導(dǎo)航視覺(jué)傳感器(無(wú)線、粘貼安裝式)，通過(guò)對(duì)圖像傳感器芯片的底層控制實(shí)現(xiàn)室內(nèi)環(huán)境光自適應(yīng)功能。系統(tǒng)穩(wěn)定可靠、成本低、功耗低，在室內(nèi)導(dǎo)航方面有較好的應(yīng)用前景。