基于樹莓派與OpenCV的智能監(jiān)控跟蹤機(jī)器人系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

俞文靜，莫健彬，黃嘉鏘

（廣州大學(xué)華軟軟件學(xué)院，廣州 510990）

0 引言

隨著科學(xué)技術(shù)的不斷進(jìn)步，人們工作生活的各個(gè)領(lǐng)域逐步向自動(dòng)化、智能化方向發(fā)展。尤其伴隨著計(jì)算機(jī)圖像處理技術(shù)及各種微電腦硬件的進(jìn)步，基于圖像分析及處理能力的智能監(jiān)控型機(jī)器人技術(shù)得到了廣泛的重視，該技術(shù)在偵察、醫(yī)學(xué)護(hù)理、媒體傳播等方面，有著相當(dāng)廣闊的應(yīng)用前景。近年來，許多研究者嘗試著基于圖像處理的智能機(jī)器人研發(fā)，也取得了一些相關(guān)進(jìn)展，然而將微電腦硬件與圖像處理算法很好地結(jié)合，并做到利用攝像頭智能捕獲跟蹤目標(biāo)的監(jiān)控機(jī)器人系統(tǒng)比較少，本文就是基于樹莓派微電腦系統(tǒng)結(jié)合OpenCV下的粒子濾波跟蹤算法實(shí)現(xiàn)了一個(gè)智能機(jī)器人監(jiān)控跟蹤系統(tǒng)，實(shí)驗(yàn)證明該系統(tǒng)在延時(shí)比較小的情況下，能夠較好地實(shí)現(xiàn)智能監(jiān)控和跟蹤。

1 硬件平臺(tái)和開發(fā)相關(guān)技術(shù)介紹

1.1 樹莓派及其開發(fā)語言

樹莓派（Raspberry PI）[1-2]是一款基于ARM的微型電腦主板，以SD/MicroSD卡為內(nèi)存硬盤，具備個(gè)人計(jì)算機(jī)主機(jī)的基本功能和接口。樹莓派體積小、適用于各種小型智能設(shè)備，具有完整的計(jì)算機(jī)處理功能，支持大規(guī)模數(shù)據(jù)計(jì)算、圖形圖像處理等應(yīng)用。樹莓派自身帶有GPIO接口、USB接口，可以直接使用編寫好的具有特定功能的程序通過GPIO接口控制相應(yīng)的硬件設(shè)備，也可以通過USB連接各種外設(shè)硬件設(shè)備。

樹莓派預(yù)搭載和采用的語言是Python編程語言，Python是一種面向?qū)ο蟮拈_源跨平臺(tái)程序設(shè)計(jì)語言，它包含了一組比較完善并容易理解的標(biāo)準(zhǔn)庫，能夠把其他語言制作的各種模塊（尤其是C/C++）很輕松地聯(lián)結(jié)在一起，語法簡(jiǎn)潔清晰，能夠?qū)崿F(xiàn)內(nèi)存的自動(dòng)管理，并常被用于網(wǎng)絡(luò)編程。

1.2 OpenCV

OpenCV[3-4]是一個(gè)基于BSD許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows、Android和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法，在該平臺(tái)上可以進(jìn)行各種自研發(fā)的圖像處理算法仿真。

基于樹莓派及其開發(fā)語言特點(diǎn)，本文結(jié)合樹莓派運(yùn)行Python+OpenCV的圖像識(shí)別程序，通過粒子濾波算法跟蹤設(shè)定的目標(biāo)，從而指導(dǎo)攝像頭的轉(zhuǎn)向以及跟蹤，最終實(shí)現(xiàn)對(duì)視頻邊攝像邊處理的自動(dòng)跟蹤功能。

2 系統(tǒng)總體設(shè)計(jì)

2.1 系統(tǒng)設(shè)計(jì)思路

本文設(shè)計(jì)了基于樹莓派與OpenCV的智能監(jiān)控跟蹤機(jī)器人，主要設(shè)計(jì)思路及原理如下：在電子可行駛設(shè)備上搭載一個(gè)智能視頻攝像分析系統(tǒng)，該智能視頻攝像分析系統(tǒng)由樹莓派、智能攝像頭以及各種傳感硬件搭建而成，由攝像頭獲取目標(biāo)視頻和圖像，樹莓派進(jìn)行獲取的視頻圖像分析和處理，通過視頻圖像的處理結(jié)果指導(dǎo)進(jìn)行硬件控制，如攝像頭轉(zhuǎn)向、機(jī)器人轉(zhuǎn)向及行駛，以達(dá)到目標(biāo)跟蹤的目的。

2.2 系統(tǒng)總體架構(gòu)

智能監(jiān)控跟蹤機(jī)器人系統(tǒng)硬件分為上位機(jī)與下位機(jī)，上位機(jī)由樹莓派和攝像頭組成，下位機(jī)由C51單片機(jī)和各傳感器模塊組成。上位機(jī)與下位機(jī)之間采用無線網(wǎng)絡(luò)通訊。系統(tǒng)的總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總架構(gòu)圖

2.3 硬件平臺(tái)設(shè)計(jì)

本系統(tǒng)上位機(jī)主要由搭載樹莓派和攝像頭組成，下位機(jī)是C51單片機(jī)為基礎(chǔ)的電子可行駛設(shè)備，C51單片機(jī)是指支持C語言編程的8051單片機(jī)，其基礎(chǔ)入門，應(yīng)用廣泛。出于輔助跟蹤移動(dòng)的考慮，在單片機(jī)的基礎(chǔ)上集成紅外線模塊、超聲波模塊，紅外線模塊用于路面識(shí)別尋軌，超聲波模塊用于判斷電子車與障礙物的距離。除此之外。出于遙控或新的通訊方式的考慮，本系統(tǒng)加裝藍(lán)牙模塊，電子車移動(dòng)由L293D直流電機(jī)驅(qū)動(dòng)實(shí)現(xiàn)，L293D電機(jī)驅(qū)動(dòng)板適用于Arduino初學(xué)者，有強(qiáng)大的驅(qū)動(dòng)庫支持及功能更新，操作簡(jiǎn)單方便。電源部分主要分為2個(gè)獨(dú)立電源，均為移動(dòng)電源。

2.4 Wi-Fi模塊設(shè)計(jì)

上位機(jī)與下位機(jī)的通訊由無線網(wǎng)絡(luò)實(shí)現(xiàn)，以無線網(wǎng)絡(luò)為基礎(chǔ)主要基于日后新模塊升級(jí)、加裝以及模塊的自由活動(dòng)如攝像頭的轉(zhuǎn)向。樹莓派3B自帶的802.11b/g/n無線網(wǎng)卡能完美地達(dá)到系統(tǒng)要求。而下位機(jī)C51單片機(jī)電子車則需要加裝ESP8266網(wǎng)絡(luò)模塊，ESP8266是一個(gè)完整且自成體系的Wi-Fi網(wǎng)絡(luò)解決方案，即Uart-WiFi網(wǎng)絡(luò)芯片，其同樣支持802.11b/g/n且具有功耗低的優(yōu)點(diǎn)。樹莓派同時(shí)接受攝像頭采集的視頻和下位機(jī)的信息并先后進(jìn)行處理，最后發(fā)送指令給下位機(jī)，使電子車根據(jù)樹莓派的判斷結(jié)果數(shù)據(jù)指導(dǎo)前進(jìn)速度以及轉(zhuǎn)彎方向等操作。

2.5 攝像頭視頻獲取模塊設(shè)計(jì)

本系統(tǒng)使用的攝像頭是360D70智能攝像頭內(nèi)核，該攝像頭支持1080P高清分辨率，鏡頭視角對(duì)角視角118度，旋轉(zhuǎn)角度水平360度，垂直260度，可以保證監(jiān)控區(qū)域的無死角監(jiān)控；其次，該攝像頭支持紅外線以及USB接口輸入，便于本項(xiàng)目系統(tǒng)中各個(gè)模塊的集成；并且該攝像頭還支持Wi-Fi無線網(wǎng)絡(luò)傳輸，并支持WEP、WPA、WPA2的無線安全標(biāo)準(zhǔn)，可以保證傳輸視頻的安全性，在合適的網(wǎng)絡(luò)條件下，能夠保證視頻傳輸速度以及穩(wěn)定性。

3 運(yùn)動(dòng)目標(biāo)檢測(cè)算法設(shè)計(jì)

本系統(tǒng)軟件技術(shù)中的一個(gè)關(guān)鍵問題就是關(guān)于獲取到的視頻圖像中運(yùn)動(dòng)目標(biāo)的識(shí)別以及檢測(cè)問題，根據(jù)人類視覺系統(tǒng)的特點(diǎn)，目標(biāo)跟蹤最基本的跟蹤方法是通過目標(biāo)的顏色特征和運(yùn)動(dòng)邊緣特征來識(shí)別，然而由于環(huán)境光線問題，這些方法在實(shí)際跟蹤中，容易丟失跟蹤對(duì)象。由于在目標(biāo)跟蹤領(lǐng)域里，考慮到環(huán)境變化因素，往往面臨著非線性動(dòng)態(tài)系統(tǒng)問題，而粒子濾波算法對(duì)于解決非線性動(dòng)態(tài)系統(tǒng)具有極大的優(yōu)勢(shì)。本項(xiàng)目程序采用的是基于多特征融合的粒子濾波目標(biāo)跟蹤算法，特征上選擇顏色特征以及運(yùn)動(dòng)邊緣特征。

3.1 基本粒子濾波算法步驟

粒子濾波的基本原理[5-8]，就是在狀態(tài)空間尋找一組隨機(jī)分布的樣本粒子，通過蒙特卡羅方法處理貝葉斯估計(jì)中的積分運(yùn)算通過這些樣本粒子的均值運(yùn)算從而代替原本的積分運(yùn)算，對(duì)系統(tǒng)的后驗(yàn)概率密度函數(shù)分布進(jìn)行近似估計(jì)，從而得到系統(tǒng)狀態(tài)的最小均方差估計(jì)。當(dāng)粒子數(shù)量區(qū)域無窮時(shí)可以逼近服從任意概率分布的系統(tǒng)狀態(tài)。

基本粒子濾波包括樣本采樣和再采樣，結(jié)合貝葉斯濾波體系的時(shí)間更新和觀測(cè)更新兩步驟進(jìn)行，具體算法步驟如下：

步驟1：讀取視頻，采集一幀進(jìn)行目標(biāo)初始化，初始化過程包括通過背景差分獲取目標(biāo)輪廓及其中心點(diǎn)，采用顏色和運(yùn)動(dòng)特征建立狀態(tài)模型，加入高斯噪聲初始化狀態(tài)分布。

步驟2：計(jì)算顏色直方圖分布，計(jì)算各粒子對(duì)應(yīng)的Bhattacharyya距離并根據(jù)計(jì)算出的Bhattacharyya系數(shù)計(jì)算各粒子的權(quán)重值。

步驟3：根據(jù)權(quán)重重采樣。

步驟4：根據(jù)權(quán)重，估計(jì)一個(gè)狀態(tài)量作為跟蹤輸出。

步驟5：更新模型，計(jì)算預(yù)測(cè)位置目標(biāo)直方圖和Bhattacharyya系數(shù)，再次進(jìn)行權(quán)重計(jì)算。計(jì)算最大權(quán)重值。

步驟6：根據(jù)目標(biāo)與畫面中心偏移量控制攝像頭旋轉(zhuǎn)校準(zhǔn)，通過最大權(quán)重值判斷目標(biāo)是否丟失。循環(huán)步驟2到步驟6直到接受停止命令。

3.2 圖像特征的融合

本項(xiàng)目在做圖像跟蹤時(shí)，采用了圖像多特征融合機(jī)制，主要提取的圖像特征是顏色灰度特征以及運(yùn)動(dòng)狀態(tài)輪廓特征。本文運(yùn)動(dòng)狀態(tài)輪廓的獲取采用的是擴(kuò)展邊緣跟蹤算法，通過展開邊緣起始結(jié)點(diǎn)，從起始像素沿著跟蹤邊界的移動(dòng)方向，依據(jù)背景像素、區(qū)域像素、不確定像素進(jìn)行方向跟蹤擴(kuò)展邊界，直到得到一個(gè)封閉的擴(kuò)展邊界。

得到的封閉的擴(kuò)展邊界將作為運(yùn)動(dòng)目標(biāo)的初始狀態(tài)輪廓，并提取該輪廓內(nèi)部的圖像像素顏色灰度分布，以該區(qū)域塊內(nèi)的灰度分布信息作為比對(duì)模板，進(jìn)行不同時(shí)刻攝像頭獲取圖像的目標(biāo)跟蹤比對(duì)模板。當(dāng)目標(biāo)形態(tài)超過允許的閾值范圍，有了大幅度的形態(tài)變化的時(shí)候，需要進(jìn)行再一次的運(yùn)動(dòng)目標(biāo)輪廓獲取，重新獲取灰度分布比對(duì)模板。

4 系統(tǒng)的應(yīng)用開發(fā)與實(shí)現(xiàn)

本系統(tǒng)在系統(tǒng)框架的基礎(chǔ)上進(jìn)行最后的開發(fā)與實(shí)現(xiàn)，系統(tǒng)實(shí)現(xiàn)主要分為兩個(gè)部分，機(jī)器人硬件控制模塊以及服務(wù)器端視頻獲取和處理模塊。主要工作原理為：機(jī)器人硬件攝像頭獲取拍攝到的環(huán)境視頻，并將視頻通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器端，服務(wù)器端根據(jù)獲取到的視頻，確定跟蹤對(duì)象，并將跟蹤數(shù)據(jù)傳回到樹莓派控制中心，由樹莓派控制中向向機(jī)器人小車發(fā)送執(zhí)行信號(hào)，跟蹤識(shí)別到的信號(hào)。在跟蹤過程中主要通過攝像頭的轉(zhuǎn)向以及小車的轉(zhuǎn)向相結(jié)合的跟蹤模式，攝像頭負(fù)責(zé)鏡頭視角對(duì)角視角118度的跟蹤，小車會(huì)根據(jù)紅外線測(cè)定與運(yùn)動(dòng)目標(biāo)的距離，跟蹤2m以內(nèi)的目標(biāo)。

4.1 基于樹莓派的機(jī)器人控制的實(shí)現(xiàn)

機(jī)器人控制模塊基本圖1的系統(tǒng)總框架來實(shí)現(xiàn)，樹莓派控制器負(fù)責(zé)所有數(shù)據(jù)的中心處理，紅外模塊用于探測(cè)與跟蹤目標(biāo)的距離設(shè)定，根據(jù)樹莓派處理得到的視頻數(shù)據(jù)信息，傳給C51單片機(jī)，并給小車的相應(yīng)硬件模塊發(fā)指令，控制小車的前進(jìn)后退以及轉(zhuǎn)向等。機(jī)器人小車控制模塊的實(shí)現(xiàn)如圖2所示。

圖2 機(jī)器人控制模塊實(shí)現(xiàn)

4.2 視頻數(shù)據(jù)處理和顯示的實(shí)現(xiàn)

本系統(tǒng)中，服務(wù)器端的視頻處理模塊是通過軟件編程實(shí)現(xiàn)，本系統(tǒng)采用Python語言，基于OpenCV對(duì)視頻數(shù)據(jù)進(jìn)行處理，目標(biāo)跟蹤采用基于顏色灰度以及邊緣特征多特征融合的粒子濾波算法，并通過樹莓派的無線數(shù)據(jù)連接傳輸將視頻傳輸?shù)斤@示設(shè)備上，方便用戶對(duì)跟蹤對(duì)象的實(shí)時(shí)監(jiān)控。圖3為視頻數(shù)據(jù)的顯示部分。

5 系統(tǒng)測(cè)試結(jié)果

本文對(duì)所實(shí)現(xiàn)的基于樹莓派與OpenCV的智能監(jiān)控跟蹤機(jī)器人系統(tǒng)進(jìn)行了跟蹤測(cè)試，分別對(duì)物體跟蹤以及人像跟蹤進(jìn)行了兩組測(cè)試，每組測(cè)試進(jìn)行三次，每次跟蹤180s，三次測(cè)試的測(cè)試數(shù)據(jù)如表1所示。

圖3 視頻數(shù)據(jù)處理和顯示的實(shí)現(xiàn)

表1的測(cè)試數(shù)據(jù)項(xiàng)，跟蹤延遲是指系統(tǒng)攝像頭獲取目標(biāo)并進(jìn)行轉(zhuǎn)向與實(shí)際轉(zhuǎn)向直接的時(shí)間延遲；由于180s內(nèi)不能一次性地連續(xù)跟蹤，在失去目標(biāo)時(shí)，系統(tǒng)會(huì)再次獲取目標(biāo)繼續(xù)跟蹤，獲取目標(biāo)次數(shù)代表180s內(nèi)有多少次獲取目標(biāo)；表1中的最大速度代表移動(dòng)物體的最大行走速度，當(dāng)超過這個(gè)速度時(shí)，機(jī)器人小車將無法跟蹤到移動(dòng)目標(biāo)，也就是超出了機(jī)器人的最大跟蹤速度。

根據(jù)表1的測(cè)試數(shù)據(jù)可以看出：對(duì)人像跟蹤的最大速度可以達(dá)到平均3m/s，而人行走的一般速度在1.1-1.5m/s，可以達(dá)到人的快速走路以及小跑的跟蹤；系統(tǒng)平均有1-2s左右的延遲，延時(shí)比較低，效果較好！從整體數(shù)據(jù)指標(biāo)可以看出，該系統(tǒng)對(duì)人像目標(biāo)的跟蹤效果比對(duì)物體跟蹤的效果更好。

6 結(jié)語

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于樹莓派與OpenCV的智能監(jiān)控跟蹤機(jī)器人系統(tǒng)，將圖像目標(biāo)輪廓及像素特征融合的改進(jìn)粒子濾波目標(biāo)跟蹤算法引入系統(tǒng)，并設(shè)計(jì)了系統(tǒng)軟硬件的整體架構(gòu)，實(shí)現(xiàn)了系統(tǒng)各級(jí)模塊的搭建。最后系統(tǒng)分別對(duì)物體跟蹤及人像跟蹤進(jìn)行了多次實(shí)驗(yàn)測(cè)試，測(cè)試結(jié)果表明該系統(tǒng)能夠?qū)崿F(xiàn)對(duì)物體和人像的智能跟蹤，對(duì)人像跟蹤的跟蹤效率更加高效，延遲更小。該系統(tǒng)接下來進(jìn)一步需要解決的問題是：機(jī)器人跟蹤時(shí)的最短距離控制，減少由于目標(biāo)運(yùn)動(dòng)速度太快造成的目標(biāo)丟失的次數(shù)，可以考慮利用系統(tǒng)紅外線模塊進(jìn)行距離反饋來實(shí)現(xiàn)。