基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)的研究*

張 琴

( 廣東技術(shù)師范學(xué)院，廣東 廣州 510665 )

基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)的研究*

張 琴

( 廣東技術(shù)師范學(xué)院，廣東 廣州 510665 )

設(shè)計(jì)了一款基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)。該系統(tǒng)通過(guò)安裝在眼鏡上的攝像頭采集人眼球瞳孔運(yùn)動(dòng)圖像，并利用硬件電路分離視頻同步信號(hào)，然后將信息傳送至S3C6410嵌入式處理器，處理器利用圖像處理算法計(jì)算出人的瞳孔運(yùn)動(dòng)軌跡，從而得到人眼瞳孔的實(shí)時(shí)定位信息。該系統(tǒng)具有較為廣泛的應(yīng)用前景，可以通過(guò)人眼睛的轉(zhuǎn)動(dòng)來(lái)實(shí)現(xiàn)對(duì)各種智能化設(shè)備的控制，能夠應(yīng)用于殘疾人智能護(hù)理、病床智能護(hù)理等實(shí)際領(lǐng)域。

瞳孔定位；視覺(jué)跟蹤；圖像處理；嵌入式系統(tǒng)

0 引言

視覺(jué)跟蹤(Visual Tracking)技術(shù)是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要問(wèn)題。所謂視覺(jué)跟蹤，就是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)、提取、識(shí)別和跟蹤，獲取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)(如位置、速度、加速度等)以及運(yùn)動(dòng)軌跡，從而進(jìn)行深入一步的處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的任務(wù)[1]。由于視覺(jué)跟蹤技術(shù)在很多領(lǐng)域有著廣泛的應(yīng)用前景，視覺(jué)跟蹤技術(shù)已經(jīng)成為人工智能領(lǐng)域一項(xiàng)熱門的研究課題。

本文設(shè)計(jì)了一款基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)。系統(tǒng)基本結(jié)構(gòu)如下：在一款普通樹(shù)脂眼鏡的右上角部位安裝微型攝像頭，用以采集眼球活動(dòng)數(shù)據(jù)，并由數(shù)據(jù)線將圖像傳輸至微處理器，再由微處理器對(duì)眼球圖像數(shù)據(jù)進(jìn)行算法計(jì)算，得出眼睛瞳孔的準(zhǔn)確運(yùn)動(dòng)方向。微處理器模塊由于機(jī)械尺寸較大，暫時(shí)無(wú)法固定在普通樹(shù)脂眼鏡之上，因此目前采用外置方式。

系統(tǒng)原理結(jié)構(gòu)圖如圖1所示。

圖1 瞳孔追蹤系統(tǒng)原理框圖

1 系統(tǒng)各功能模塊

1.1 微型攝像頭模塊

攝像頭是采集人眼球活動(dòng)數(shù)據(jù)的基本設(shè)備，它的采集精度和準(zhǔn)確性對(duì)系統(tǒng)的質(zhì)量有著關(guān)鍵的影響。經(jīng)過(guò)綜合考慮，本系統(tǒng)選擇了OV7960攝像頭模塊，該模塊尺寸較小，最大尺寸只有9 mm，具有480TVL的水平清晰度，可以滿足眼球瞳孔定位追蹤的精度要求。

1.2 視頻同步分離模塊

為了能夠?qū)Σ杉降囊曨l信號(hào)進(jìn)行數(shù)字化處理，必須首先對(duì)采集到的彩色視頻信號(hào)進(jìn)行視頻同步分離，以獲取視頻中的彩色圖像數(shù)據(jù)，這就需要視頻同步分離電路來(lái)完成。為了減少處理器的負(fù)荷，本文采用硬件方法對(duì)視頻信號(hào)進(jìn)行同步分離，電路采用專用的視頻分離芯片LM1881N完成分離功能，其電路如圖2所示。

圖2 視頻同步分離電路原理圖

1.3 微處理器模塊

本系統(tǒng)采用S3C6410嵌入式芯片作為微處理器。S3C6410 采用ARM1176JZF-S 的內(nèi)核，主頻可以達(dá)到533 MHz/667 MHz ，最大支持到8 bit 糾錯(cuò)， 實(shí)現(xiàn)了MMU、AMBA BUS 和Harvard 高速緩沖體系結(jié)構(gòu)[2]。

2 瞳孔追蹤原理及算法

系統(tǒng)通過(guò)跟蹤人瞳孔實(shí)時(shí)運(yùn)動(dòng)軌跡來(lái)實(shí)現(xiàn)視覺(jué)跟蹤的目的，需要較為復(fù)雜的圖像處理算法完成瞳孔識(shí)別與追蹤的工作。其中第一步是實(shí)現(xiàn)對(duì)視頻圖像信息的采集任務(wù)，這可以在S3C6410處理器上運(yùn)行圖像采集程序?qū)崿F(xiàn)。

圖3 圖像處理算法流程圖

在一般情況下，系統(tǒng)采集到的眼部圖像存在著背景光線干擾、光線反射變化、眼部運(yùn)動(dòng)變化等多種復(fù)雜的環(huán)境影響，因此圖像的質(zhì)量并不高，難以獲得精確的瞳孔運(yùn)動(dòng)數(shù)據(jù)。因此必須通過(guò)專業(yè)的圖像處理算法才可以提取到清晰的眼部瞳孔圖像， 系統(tǒng)采用的圖像處理算法流程圖如圖3所示。

2.1 圖像的灰度化處理

為加強(qiáng)圖像目標(biāo)區(qū)域的對(duì)比度，本文采用了一種有選擇性的灰度化方法[3]，該方法將常規(guī)的R、G、B數(shù)值映射到新的坐標(biāo)空間Rn、Gn、Bn。以Rn為例，其計(jì)算過(guò)程由式(1)、式(2)確定。

當(dāng)Rs≥128時(shí)，Rn的數(shù)值由式(1)給出：

(1)

當(dāng)Rs<128時(shí)，Rn的數(shù)值由式(2)給出：

(2)

按照以上方法得到的灰度圖像可以產(chǎn)生比傳統(tǒng)方法更好的灰度化效果，使瞳孔部分的灰度效果在背景圖像中表現(xiàn)得更加突出。

2.2 圖像的濾波處理

本系統(tǒng)選擇了模糊矢量濾波算法。當(dāng)采集到的圖像存在一定的噪聲干擾的情況下，濾波器難以區(qū)分目標(biāo)圖形的邊緣與噪聲圖像之間的界線，使得目標(biāo)圖像識(shí)別率降低，而模糊濾波理論可以解決以上問(wèn)題[4]。圖像模糊濾波算法的核心是構(gòu)造一個(gè)模糊加權(quán)均值濾波器，其計(jì)算過(guò)程由式(3)確定[5]：

(3)

(4)

而圖像像素點(diǎn)的歸一化權(quán)值wk數(shù)學(xué)形式由式(5)定義：

(5)

2.3 圖像的閾值分割

運(yùn)用圖像閾值分割技術(shù)可以從已經(jīng)濾波的圖像中提取所需的跟蹤目標(biāo)信息，常用的圖像閾值分割方法有最大類間方差法和最大熵法等[6]。本文選擇最大熵法進(jìn)行閾值分割。最大熵法的最佳閾值由式(6)確定[7]：

T*=argMax[Hf(t)+Hb(t)]

(6)

2.4 軌跡特征提取

系統(tǒng)采用選擇最小二乘法來(lái)實(shí)現(xiàn)瞳孔運(yùn)動(dòng)軌跡的直線擬合。最小二乘法的原理非常簡(jiǎn)單，可以用式(7)來(lái)實(shí)時(shí)地描述每一條運(yùn)動(dòng)軌跡：

Y=kx+b

(7)

其中，k表示直線的斜率，b表示直線的截距。只要求解出k和b的數(shù)值，就可以得到圖像的運(yùn)動(dòng)軌跡，而根據(jù)最小二乘法原理，k、b的值由式(8)、式(9)確定[8]：

(8)

(9)

按上述方法，可以把瞳孔的運(yùn)動(dòng)軌跡擬合成若干段直線的組合形式，既能夠減小處理器的計(jì)算量，同時(shí)也不影響對(duì)瞳孔運(yùn)動(dòng)方向的判斷，符合系統(tǒng)對(duì)運(yùn)動(dòng)軌跡判決精度的要求。

3 實(shí)驗(yàn)及性能分析

使用該系統(tǒng)，對(duì)人雙眼的瞳孔運(yùn)動(dòng)軌跡進(jìn)行了多次的跟蹤實(shí)驗(yàn)與判斷。實(shí)驗(yàn)過(guò)程如下：系統(tǒng)在進(jìn)行視覺(jué)追蹤時(shí)，由算法自動(dòng)設(shè)定眼球正中位置為初始位置，當(dāng)人的眼球轉(zhuǎn)動(dòng)時(shí)，瞳孔的相對(duì)位置及運(yùn)動(dòng)軌跡發(fā)生改變，通過(guò)跟蹤瞳孔的運(yùn)動(dòng)軌跡，系統(tǒng)可以判斷出瞳孔的相對(duì)位置，并給出判斷后的二進(jìn)制數(shù)值。瞳孔的位置真值表如圖4所示。

圖4 瞳孔運(yùn)動(dòng)方向真值表

對(duì)系統(tǒng)進(jìn)行了多次實(shí)驗(yàn)及測(cè)試，得到的實(shí)測(cè)數(shù)據(jù)如表1、表2所示。

表1 左眼瞳孔運(yùn)動(dòng)軌跡實(shí)測(cè)表

表2 右眼瞳孔運(yùn)動(dòng)軌跡實(shí)測(cè)表

由表1、表2數(shù)據(jù)可知，系統(tǒng)對(duì)人眼瞳孔軌跡追蹤的實(shí)時(shí)響應(yīng)時(shí)間較快，左眼平均響應(yīng)時(shí)間為23 ms，右眼平均響應(yīng)時(shí)間為23.5 ms，數(shù)據(jù)接近，可以滿足一般情況下對(duì)系統(tǒng)實(shí)時(shí)性的要求。在測(cè)試中發(fā)現(xiàn)，系統(tǒng)對(duì)于瞳孔水平方向運(yùn)動(dòng)軌跡的跟蹤準(zhǔn)確度較高，正確率達(dá)到93.13%，而對(duì)垂直方向的瞳孔運(yùn)動(dòng)追蹤準(zhǔn)確度稍低，正確率為86%。分析原因，這是因?yàn)槿梭w的眼球圖像近似于一個(gè)水平放置的橢圓，左右方向的軸距較長(zhǎng)，上下方向的軸距較短，所以在進(jìn)行軌跡追蹤時(shí)，垂直方向的瞳孔運(yùn)動(dòng)軌跡距離較短，采集到的像素點(diǎn)較少，因此系統(tǒng)容易造成誤判；而水平方向的運(yùn)動(dòng)軌跡較長(zhǎng)，采樣到的數(shù)據(jù)點(diǎn)較多，系統(tǒng)擬合出的直線軌跡較為精確，因此判決正確率較高。

4 結(jié)論

在一般應(yīng)用條件下，本文所提出的系統(tǒng)已經(jīng)可以滿足視覺(jué)跟蹤技術(shù)對(duì)于實(shí)時(shí)性和準(zhǔn)確度的要求，但在更高要求的場(chǎng)合應(yīng)用時(shí)，系統(tǒng)的性能還需要進(jìn)一步提高，這可以通過(guò)采用更高性能的硬件處理器以及設(shè)計(jì)更高效的軟件算法來(lái)實(shí)現(xiàn)，這些工作可以在下一步的研究中繼續(xù)優(yōu)化與改進(jìn)。

[1] BABU R V, PEREZ P， BOUTHEMY P. Robust tracking with motion estimation and local kernel-based color modeling[J]. Image and Vision Computing, 2007(25):1205-1216.

[2] 徐媛媛,匡斐,鐘璐遠(yuǎn)，等.基于ARM11平臺(tái)和GPRS遠(yuǎn)程無(wú)線圖像報(bào)警系統(tǒng)的研究[J].微型機(jī)與應(yīng)用,2015,34(2):38-40.

[3] 周金和，彭福堂.一種有選擇的圖像灰度化方法[J].計(jì)算機(jī)工程，2006,32(10):198-200.

[4] SHEN Y， BARNER K E. Fast adaptive optimization of weighted vector median filters[J].IEEE Transactions on Signal Processing, 2006, 54(7): 2497-2510.

[5] LUKAC R, PLATANIOTIS K N, VENETSANOPOULOS A N, et al. A statistically-switched adaptive vector median filter[J]. Journal of Intelligent and Robotic Systems: Theory and Applications,2005, 42(4): 361-391.

[6] Qi Zhengwei, You Jinyuan. Formalization of P systems by Maude [J] . Journal of Shanghai Jiaotong University (Science), 2005, 10(3):260-264.

[7] MORILLAS S, GREGORI V, PERIS-FAJARNES G, et al. A fast impulsive noise color image filter using fuzzy metrics[J]. Real-Time Imaging, 2005, 11(5-6): 417-428.

[8] GHEORGHE P. P systems with active membranes: attacking NP complete problems[J] . Journal of Automata Languages and Combinatorics, 2001(6): 75-90.

Research on the visual tracking system based on pupil positioning technology

Zhang Qin

(Guangdong Polytechnic Normal University, Guangzhou 510665, China)

A design of the visual tracking system based on pupil positioning technology is presented in this paper. The human pupil moving images can be collected through the cameras fixed on the glasses, then the video signals can be separated by the dedicated circuit. Afterwards， the video information will be transferred to the embedded processor S3C6410，which can calculate the trajectory of the human pupil through the image processing algorithms. This visual tracking system can be used to control kinds of intelligent devices depending on the eye movements analysis, and it can also be used in many practical fields, such as the disabled care ,the patient care, and so on.

pupil position; visual tracking; image processing; embedded system

廣東省自然科學(xué)基金(S2012010008437)

TP391

A

1674-7720(2016)04-0054-03

張琴．基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)的研究[J] .微型機(jī)與應(yīng)用，2016，35(4)：54-56.

2015-09-25)

張琴(1976-)，通信作者，女，碩士，工程師，主要研究方向：計(jì)算機(jī)與通信工程。E-mail：573749120@qq.com。