基于ARM嵌入式圖像采集處理平臺的標(biāo)簽跟蹤系統(tǒng)設(shè)計

段佳雷, 高智博

(西安工程大學(xué) 電子信息學(xué)院， 西安 710600)

?

基于ARM嵌入式圖像采集處理平臺的標(biāo)簽跟蹤系統(tǒng)設(shè)計

段佳雷, 高智博

(西安工程大學(xué) 電子信息學(xué)院， 西安 710600)

以移動小車為實驗平臺，設(shè)計了一款應(yīng)用于移動機器人上的Linux嵌入式圖像采集處理系統(tǒng),系統(tǒng)選用三星公司的S3C2440開發(fā)板作為核心處理器，采用OV9650攝像頭采集圖像。重點介紹了圖像采集模塊的設(shè)計，以及兩種標(biāo)簽識別方式——模版匹配和形狀特征匹配，并對兩種方法的進行了對比分析。對識別過程中出現(xiàn)的標(biāo)簽傾斜現(xiàn)象進行了補償處理。該嵌入式圖像處理系統(tǒng)能夠較為快捷準(zhǔn)確的識別標(biāo)簽，為移動機器人的設(shè)計提供了一個較好的實驗平臺。

智能跟蹤; S3C2440; 嵌入式圖像處理; 標(biāo)簽識別

0 引言

智能跟蹤技術(shù)是移動機器人研究的重點，是集合自動控制、圖像識別、嵌入式等多種技術(shù)為一體的綜合研究課題[1][2]。目前，跟蹤技術(shù)的研究大多集中在復(fù)雜背景下跟蹤算法的研究方面，也就是利用相對復(fù)雜的算法來提高目標(biāo)識別的精度。比較常用的跟蹤算法有基于Camshift算法的目標(biāo)跟蹤[3][4][5]，基于光流法的跟蹤[6][7]等。這些算法的實現(xiàn)大都以高性能的硬件設(shè)備為基礎(chǔ)，從而使得不依賴于PC機獨立跟蹤系統(tǒng)的設(shè)計一度陷入停滯。隨著嵌入式arm圖像處理技術(shù)的高速發(fā)展，使得該研究方向有了新的進展[8][9]。智能跟蹤技術(shù)逐漸朝著簡單、獨立、準(zhǔn)確的方向邁進[10]。本文以ARM9系列開發(fā)板為核心，設(shè)計了一款應(yīng)用于移動小車上的圖像處理系統(tǒng)，系統(tǒng)通過對采集圖像的實時處理，識別出圖像中的標(biāo)簽，進而追蹤到攜帶標(biāo)簽的目標(biāo)人。

1 系統(tǒng)總體設(shè)計

整個設(shè)計系統(tǒng)是以移動小車為研究平臺的。在小車上搭載了OV9650攝像頭以及ARM9系列開發(fā)板S3C2440。OV9650攝像頭和S3C2440開發(fā)板構(gòu)成了整個圖像采集處理系統(tǒng)的硬件核心。

在此硬件基礎(chǔ)上，設(shè)計了一款基于ARM的Linux系統(tǒng)，用于視頻圖像的采集及處理。整個嵌入式系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。

圖1 軟件結(jié)構(gòu)框圖

2 視頻圖像采集

由于Linux系統(tǒng)專門向用戶提供了一套應(yīng)用程序訪問音、視頻驅(qū)動的統(tǒng)一接口即V4L(Video for Linux)[11]。這就使得視頻的采集處理難度大大降低。目前市面上應(yīng)用較為流行的是V4L的改進版V4L2，V4L2中對攝像頭設(shè)備有一個字符設(shè)備“dev/video0”與之對應(yīng)，通過對該設(shè)備文件的讀操作可以實現(xiàn)視頻的采集，其主要使用open()、close()、ioctl()。其中ioctl使用到的控制命令字符在頭文件 中有相關(guān)定義。下面是一些主要函數(shù)的設(shè)計：

Camera_open()開啟視頻設(shè)備文件；

Camera_get_capbility()通過調(diào)用ioctl()函數(shù)來獲取攝像頭參數(shù)；

Camera_set_init()對設(shè)備進行初始化操作包括設(shè)定視頻制式和幀格式、視頻的捕獲參數(shù)；

Camera_get_buffer()向設(shè)備申請一個擁有數(shù)個緩沖幀的緩沖區(qū)，獲取其長度地址等信息，然后調(diào)用函數(shù)mmap把內(nèi)核空間地址映射到用戶空間；

Camera_process_image()讀取緩存幀，獲得一幅圖片的信息，并將其保存在picture結(jié)構(gòu)中以方便圖像處理程序調(diào)用，最后將緩存幀重新放回緩存列隊；

Camera_close()關(guān)閉視頻設(shè)備。

通過上述函數(shù)的設(shè)計，最終將采集到的圖像存儲在picture結(jié)構(gòu)中，以方便進一步處理。

3 圖像處理

為了滿足圖像處理的需要，文中在嵌入式Linux系統(tǒng)中移植了圖像處理函數(shù)庫OpenCV(Open Source Computer Vision Library)，該函數(shù)庫中包含了圖像處理過程中所使用的基本函數(shù)[12][13]。利用這些算法函數(shù)的組合可以實現(xiàn)對圖像中標(biāo)簽的識別。圖像處理的基本流程,如圖2所示。

圖2 圖像處理流程

對圖像進行簡單的預(yù)處理，從而得到較為清晰的含有標(biāo)簽的圖像。如圖3所示。

圖3 預(yù)處理前后圖像對比

之后進行圖像識別，一般來說，快速，準(zhǔn)確的圖像識別是視覺跟蹤成敗與否的關(guān)鍵。文中采取了兩種不同的識別方式，模版匹配識別和形狀特征匹配識別。

3.1 模版匹配識別

模版匹配[14]，是最常用的識別方式。

1) 模板選擇

在模版匹配方法中，模版的選擇尤為重要。在這里將標(biāo)簽置于攝像頭前10 cm處拍攝一副圖像，然后從中分離出標(biāo)簽圖像，以此作為模版。

然而隨著標(biāo)簽遠(yuǎn)近的變化，圖像中標(biāo)簽的大小是不相同的。用一副模版來匹配原始圖像，明顯是不適合的。因此，需對之前選擇的模板進行相應(yīng)的縮小處理。如圖4所示。

圖4 模板的提取及縮小

通過實驗最終將縮小系數(shù)k的范圍確定在(0.35>k>0.05),縮小系數(shù)在這個范圍(30 cm～150 cm)時，模板的大小恰好是小車的跟蹤范圍內(nèi)標(biāo)簽的大小，將縮小后的模板記作模版T。

2) 模版匹配

將這個模版T放在所需要對比的原始圖像I的一個圖像點上，然后把模版T上的點與原圖I覆蓋的點逐一匹配，將匹配結(jié)果記錄在該圖像點上。通過滑動模版，可以得到一個度量值R的矩陣。在R矩陣中最大的點即是模版所在的位置。一般用來做匹配的算法是多種多樣的，在考慮到算法復(fù)雜程度和準(zhǔn)確性以及匹配速度等多種因素的前提下，這里選擇了相關(guān)性匹配方式。其計算公式為式(1)。

(1)

一段視頻中幾幀圖像采用模版匹配后的識別結(jié)果,如圖5所示。

3.2 形狀特征匹配識別

對于形狀特征比較明顯的目標(biāo)，采用形狀特征匹配識別比較準(zhǔn)確方便[15][16][17]。而本文選擇的標(biāo)簽的形狀十分特殊，因此采用形狀特征的識別方式，也可以達到識別的目的。

首先對預(yù)處理后的圖像進行邊緣提取，并填充閉合區(qū)域，如圖6所示。

由于標(biāo)簽是打印在矩形的白紙上的，因此對圖中的連通域做矩形的相識度判別就可以確定白紙的位置。矩形判別公式為R=A0/AR。其中，A0為目標(biāo)形狀圍繞面積，AR為其最小外接長方形的面積，0≤R≤1。當(dāng)R越接近于1時，實際目標(biāo)越接近于矩形,如圖7所示。

圖a

圖b

圖7 矩形相似度的判別

初步判斷白紙的位置并不能直接確定標(biāo)簽的位置，需要進一步確定。將矩形相似度判別后的圖像去掉預(yù)處理圖像中非矩形部分。再將矩形內(nèi)的部分分離出來，做進一步判定,如圖8所示。

圖8 疑似標(biāo)簽的分離

對該區(qū)域重復(fù)邊緣檢測，區(qū)域填充。這樣就得到了標(biāo)簽的輪廓，這時進行圓的相識度判別。判斷結(jié)果如果是圓，則證明之前識別的矩形區(qū)域為標(biāo)簽圖像。圓的相識度判別公式是式(2)。

R=4πA/L2

(2)

其中，A表示圖像中目標(biāo)形狀圍繞的面積，L表示目標(biāo)形狀的周長，0≤R≤1。當(dāng)R=1時目標(biāo)形狀為圓，由此可以判斷該矩形范圍內(nèi)包含著標(biāo)簽，如圖9所示。

圖9 基于圓形輪廓的判別

3.3 標(biāo)簽傾斜處理

在實驗中發(fā)現(xiàn)，標(biāo)簽正面朝向攝像頭時候，識別情況良好，但當(dāng)標(biāo)簽發(fā)生傾斜時候標(biāo)簽的識別率較低。因此，文中通過對標(biāo)簽傾斜原因的分析，設(shè)計了標(biāo)簽傾斜補償處理方案。首先，標(biāo)簽傾斜的產(chǎn)生主要是由于目標(biāo)人轉(zhuǎn)向或者站姿引起的左右傾斜和邁步時引起的上下傾斜。如圖10所示。

而文中的圓形標(biāo)簽是繪于一張正方形的白紙上的，因此在初步識別出這張白紙時候，如果出現(xiàn)了標(biāo)簽傾斜現(xiàn)象，白紙會呈現(xiàn)出長方形。為初步處理后分割得到的標(biāo)簽圖像，此時對標(biāo)簽進行短軸方向上的拉伸處理，使得短軸的長度與長軸相等時，此時標(biāo)簽圖案恢復(fù)成為圓形，此時的圓與正面拍攝得到的圓的大小是相同的。標(biāo)簽左右傾斜后處理得到的圖像,如圖11所示。

圖10 標(biāo)簽的傾斜情況

圖11 標(biāo)簽傾斜的處理

3.4 圖像處理結(jié)果分析

文中通過對一段兩分鐘視頻進行處理分析(采集到300張圖像)。發(fā)現(xiàn)兩種方法均能夠在規(guī)定時間內(nèi)完成圖像的處理，即都滿足系統(tǒng)的實時性要求，但在處理的準(zhǔn)確性方面差別較大。如表1所示。

表1 匹配結(jié)果

由表中可以看出，模版匹配和形狀匹配方式在識別標(biāo)簽的準(zhǔn)確率相差不大，形狀匹配方式略優(yōu)于模版匹配方式。這是由于模版匹配的準(zhǔn)確度會受采集到圖像的明暗程度，及標(biāo)簽形變的影響，而形狀匹配只受到形狀特征的影響。在形狀的識別過程中，二即二次識別時候，標(biāo)簽若產(chǎn)生傾斜，圓的輪廓會變成橢圓，從而使得相似度降低。因此，在做了相應(yīng)的補償處理后，匹配準(zhǔn)確度明顯提升。

5 總結(jié)

本系統(tǒng)以S3C2440開發(fā)板為核心，通過圖像采集模塊的設(shè)計，以及嵌入式圖像處理算法的設(shè)計，準(zhǔn)確的識別出標(biāo)簽的位置，完成了對目標(biāo)人的跟蹤。該嵌入式圖像采集處理系統(tǒng)具有較高的實用價值，可以作為移動機器人研究的一個實用平臺。

[1] 苑晶, 劉鋼墩, 孫沁璇. 激光與單目視覺融合的移動機器人運動目標(biāo)跟蹤[J]. 控制理論與應(yīng)用，2016, 33(2): 196-204.

[2] 居青, 房芳, 馬旭東. 基于RGB-D傳感器的移動機器人目標(biāo)跟蹤系統(tǒng)設(shè)計與實現(xiàn)[J]. 工業(yè)控制計算機，2016, 29(4): 68-70.

[3] Tengyue Zou, Xiaoqi Tang. Bao Song Improved Camshift Tracking Algorithm Based on Silhouette Moving Detection[J]. Multimedia Information Networking and Security, Date, 2011(11):11-15.

[4] 王玲玲, 裴東, 王全州. 一種改進的Camshift視頻目標(biāo)跟蹤算法[J]. 激光與紅外，2015, 45(10): 11-16.

[5] 黃曉麗, 楊國為, 吳少龍. 一種改進的Camshift和Kalman相結(jié)合的運動目標(biāo)跟蹤算法[J]. 工業(yè)控制計算機，2016, 29(1): 80-81.

[6] 肖軍, 朱世鵬, 黃杭, 等. 基于光流法的運動目標(biāo)檢測與跟蹤算法[J]. 東北大學(xué)學(xué)報(自然科學(xué)版)，2016, 37(6):770-774.

[7] 胡覺暉,李一民,潘曉露. 改進的光流法用于車輛識別與跟蹤[J]. 科學(xué)技術(shù)與工程，2010,10(23):5814-5817.

[8] 陳麗娟,周鑫. 基于ARM嵌入式圖像處理平臺的太陽跟蹤系統(tǒng)[J].現(xiàn)代電子技術(shù)，2012, 35(4): 71-74.

[9] 陸旭,梁光明,陳韻迪. 一種基于ARM的嵌入式圖像處理系統(tǒng)研究[J]. 數(shù)字技術(shù)與應(yīng)用, 2016, (6):129-137.

[10] 李劉生. 基于嵌入式的全景視覺移動目標(biāo)跟蹤系統(tǒng)[D]. 天津, 天津理工大學(xué)，2012.

[11] 張宜君,史智興. 嵌入式Linux下USB攝像頭單幀圖像采集系統(tǒng)的實現(xiàn)[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報, 2014, 37(2):111-114.

[12] 方華,郭靜,田敬北. 基于OpenCV的嵌入式圖像處理平臺的構(gòu)建[J].無線互聯(lián)科技, 2015, (3):53-54.

[13] Joseph Coombs, Rahul Prabhu, Greg Peake. Overcoming the challenges of porting OpenCV to Tl's embedded ARM + DSP platforms[J]. International Journal of Electrical Engineering Education, 2012, 49(3): 260-274.

[14] Hel-Or Yacov, Hel-Or Hagit, David Eyal. Matching by Tone Mapping: Photometric Invariant Template Matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 317.

[15] 賈松敏, 白聰軒, 王麗佳, 等. 多特征分塊匹配的移動機器人目標(biāo)跟蹤[J]. 電子設(shè)計工程，2016, 24(1): 23-30.

[16] 何蓮,蔡敬菊,張啟衡.多邊形近似及形狀特征匹配的二維目標(biāo)檢測[J]. 激光與紅外, 2011, 41(6):700-705.

[17] 陳寧,王勝,黃正文.基于特征匹配的集裝箱識別與定位技術(shù)研究[J]. 圖學(xué)學(xué)報,2016, 37(4): 530-536.

Label Tracking System Design Based on ARM Embedded Image Collection and Processing Platform

Duan Jialei, Gao Zhibo

(College of Electrics and Information Xi'an Polytechnic University, Shaanxi, Xi'an 7106007)

In this paper, we design a Linux embedded image acquisition and processing system for mobile robots with mobile trolleys as the experimental platform. The system uses Samsung S3C2440 development board as the core processor and adopts OV9650 camera to collect images. In this paper, the design of the image acquisition module is introduced, and two kinds of label recognition methods-pattern matching and shape feature matching are also introduced. The two methods are compared and analyzed. At the same time, the incline phenomenon of the label appearing in the recognition process is compensated. The embedded image processing system can identify the tag more quickly and accurately, and provide a better experimental platform for the design of mobile robot.

Intelligent tracking; S3C2440; Embedded image processing; Label recognition

西安工程大學(xué)基金(61401347)，西安工程大學(xué)“大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃”項目(2016105)

段佳雷(1987-)，男，富平人，碩士，助理工程師，研究方向：基于嵌入式的信號與圖像處理，機械故障診斷。 高智博(1995-)，男，西安人，本科，專業(yè)方向：電氣工程及其自動化。

1007-757X(2017)07-0033-04

TP311

A

2017.03.04)