一種應(yīng)用于視頻眼震分析的瞳孔中心定位方法

陳學(xué)軍 楊永明 何 為 毛玉星

1（重慶大學(xué)輸配電裝備及系統(tǒng)安全與新技術(shù)國家重點實驗室，重慶 400044）2（莆田學(xué)院電子信息工程系，莆田 351100）

CHEN Xue-Jun1，2 YANG Yong-Ming1* HE Wei1 MAO Yu-Xing11

（State Key Laboratory of Power Transmission Equipment＆ System Security and New Technology，Chongqing University，Chongqing 400044，China）

2（Department of Electronic Engineering，Putian University，Putian 351100，China）

引言

眼睛是視覺的窗口，對眼睛的研究，不僅有助于了解許多心理活動規(guī)律，而且有助于眼睛臨床診斷。研究眼動的歷史非常漫長，而對于運用儀器設(shè)備對眼動進(jìn)行觀察和實驗是從中世紀(jì)才開始的，但直到1901年 Dodge和 Cline通過攝像機(jī)使用角膜反光法，記錄拍攝下反射光點運動的軌跡，即眼動軌跡［1-2］。上世紀(jì)至今，眼動技術(shù)先后經(jīng)歷了影像記錄法［1］，生物電極法［3］、電磁線圈法［4］、紅外眼電圖法［5］、視頻眼震法［6］等多種方法的演變。

這些方法在臨床都得到了實驗和應(yīng)用，傳統(tǒng)應(yīng)用較為廣泛的生物電極法，需要在患者角膜貼上生物電極，易使患者眼球感覺不適，并會受到電極安放位置的生理電位影響，導(dǎo)致檢測誤差［7］；電磁線圈法需要一個線圈作為電極來連接透鏡，但是線圈在放入眼睛時，會改變眼內(nèi)壓力，引起測量誤差［8-10］；紅外眼電圖法主要基于虹膜與鞏膜不同的反射特性，在水平方向上具有較高的檢測精度，而在垂直方向上精度偏低［11］。這些眼動分析儀器和技術(shù)方法均存在一定的缺陷。

隨著高性能攝像機(jī)和人機(jī)交互接口技術(shù)的發(fā)展，國外在應(yīng)用視頻圖像對眼震進(jìn)行研究［12-15］，并研制出了一些可應(yīng)用于臨床的視頻眼震儀，但是這些設(shè)備均存在大型、昂貴等不足，不利于在醫(yī)院推廣應(yīng)用。國內(nèi)視頻眼震研究起步較晚，在視頻眼震及其圖像分析做了相關(guān)研究［16-17］，但仍有一系列問題待以解決和完善。為了實現(xiàn)基于紅外視頻圖像進(jìn)行眼震分析，介紹一種基于形態(tài)學(xué)和區(qū)域連通標(biāo)記算法，提出了基于左上鄰域方法進(jìn)行連通圖像標(biāo)記，對圖像進(jìn)行區(qū)域分割，再進(jìn)行區(qū)域合理校驗和區(qū)域合并，最終得到瞳孔區(qū)域，通過計算獲取瞳孔中心位置坐標(biāo)，畫出瞳孔運動軌跡，并進(jìn)行了實驗分析驗證。

1 方法

1.1 眼震視頻分析系統(tǒng)的硬件結(jié)構(gòu)

圖1為眼震視頻分析系統(tǒng)的硬件結(jié)構(gòu)原理框圖。系統(tǒng)包含光學(xué)系統(tǒng)部分、采集和控制部分以及眼震分析軟件系統(tǒng)等3部分。光學(xué)系統(tǒng)部分主要由攝像頭和光源組成，并把兩者經(jīng)過工藝模型制成合適的一體化眼罩。攝像采用CMOS攝像頭來捕捉眼睛區(qū)域圖?？紤]到照明以及視網(wǎng)膜對紅外線不敏感等因素，選擇850 nm的紅外LED光源作為光源照射人的眼睛，來達(dá)到檢測瞳孔獲取灰度圖像的目的。

系統(tǒng)前端捕捉到的圖像，通過采集卡輸入到計算機(jī)眼震分析軟件，進(jìn)行眼震軌跡及相關(guān)的參數(shù)計算。而要進(jìn)行的醫(yī)學(xué)或其它領(lǐng)域的試驗項目對象，通過采集控制部分傳輸?shù)窖壅稚系娘@示屏，被實驗者雙眼跟隨項目對象進(jìn)行相應(yīng)的眼震實驗。

圖1 系統(tǒng)硬件結(jié)構(gòu)Fig.1 Hardware Structure of the system

1.2 瞳孔中心定位算法

經(jīng)臨床觀察，在眼球震顫過程中，瞳孔大部分區(qū)域不會被上下眼瞼遮掩，所以視頻眼震分析系統(tǒng)的目的是獲取瞳孔的運行軌跡，從而通過計算獲得在記錄時間內(nèi)的眼震的頻率、振幅、眼震快慢相速度和眼震方向等診斷信息。

通過系統(tǒng)前端硬件部分采集到的眼震視頻信號是一序列幀的眼睛圖像。為了去除眼睛圖像不必要的背景信息，從而獲得有用的瞳孔目標(biāo)，本研究提供的一種基于形態(tài)學(xué)和區(qū)域連通標(biāo)記算法，并提出了左上鄰域方法進(jìn)行標(biāo)記連通像素，再進(jìn)行區(qū)域合并，計算到得到瞳孔中心位置坐標(biāo)，實時把每幀圖像得到瞳孔中心坐標(biāo)通過曲線擬合出來，得到瞳孔的運動軌跡，從而獲得所期望的診斷信息。

本研究的視頻眼震圖像分析算法流程如圖2所示。系統(tǒng)獲取瞳孔原灰度圖像后，首先經(jīng)過二值化和掃描去噪，取得初步消噪后的瞳孔突顯圖像；因還存在LED影像殘余，需再經(jīng)膨脹和腐蝕除去，獲得更完整的瞳孔圖像；接著采用本文提出的左上鄰域法提取最大連通區(qū)域即為瞳孔，并計算其中心坐標(biāo)；最后，擬合出每一幀的瞳孔中心坐標(biāo)即為眼動軌跡。

圖2 瞳孔中心定位算法流程Fig.2 Algorithm flow chart of Pupil center location

1.2.1 灰度圖像二值化及掃描去噪

為便于紅外眼睛視頻圖像的進(jìn)一步處理，使圖像變得簡單，而且數(shù)據(jù)量減小，并能突顯出眼睛區(qū)域包括瞳孔的輪廓，首先對圖3所示的紅外灰度圖像進(jìn)行二值化處理。經(jīng)過多次實驗比較，眼睛戴上眼罩后，得到眼睛大致處于的區(qū)域閾值A(chǔ)；并對灰度圖像直方圖處理，從直方圖灰度統(tǒng)計特征上可以得到瞳孔區(qū)域的灰度閾值h。即可通過式（1）進(jìn)行閾值判定，把灰度圖像中符合閾值T的像素點（i，j）灰度值f設(shè)置成白色，否則設(shè)置為黑色。圖4（a）所示是二值化后的效果圖。T=f ＜ h||（i，j）∈ A（1）

圖3 原灰度圖Fig.3 Original gray image

因為采集到的紅外視頻圖在不同區(qū)域會存在不同的噪聲干擾，而且紅外光源LED在眼睛里存在影像，為此，需對整張圖像分區(qū)域進(jìn)行掃描消噪。對于圖像邊界的4個角區(qū)域采用2×2窗口進(jìn)行濾波，取角頂點為當(dāng)前點，對2×2區(qū)域值進(jìn)行兩兩比較，若當(dāng)前點的值最大，認(rèn)為是噪聲，則用鄰域較大值替換當(dāng)前點的值；同樣，若當(dāng)前點的值最小，亦認(rèn)為是噪聲，則用鄰域較小值替換當(dāng)前點的值。這樣達(dá)到對圖像4個角區(qū)域進(jìn)行濾波。而除去圖像邊界的4個角區(qū)域后的邊界，采用2×3窗口進(jìn)行濾波，同樣辦法，若當(dāng)前點的值為最大或最小值，認(rèn)為是噪聲，采用鄰域較大值或較小值進(jìn)行替換。中間區(qū)域采用3×3窗口進(jìn)行中值濾波。圖4（b）所示是消噪后的效果圖。圖中雖消除了一些噪聲，但還存在LED影像殘余，還需要做進(jìn)一步圖像處理。

圖4 二值化和消噪圖。（a）二值化；（b）消噪Fig.4 The binarization and filtered image.（a）Binarization image；（b）Filtered image

1.2.2 膨脹和腐蝕［18-21］

膨脹和腐蝕是圖像處理中數(shù)學(xué)形態(tài)學(xué)的兩個基本運算。膨脹是將與物體接觸的所有背景點合并到該物體中，使邊界向外部擴(kuò)張的過程，可以填補(bǔ)物體中的空洞，其一般意義的概念定義為式（2），即由B對X膨脹所產(chǎn)生的二值圖像D是滿足：如果B的原點平移到點（i，j），那么它與X的非空交集點（i，j）的集合即為圖像D。

針對本研究消噪后的圖像，構(gòu)建8-鄰域判斷算法，即當(dāng)前點的8-鄰域有一個點的顏色是黑色時，就把當(dāng)前點的顏色填充成黑色。這樣目標(biāo)區(qū)域增加了很多，方便進(jìn)行后繼的邊界提取，其效果圖如圖5（a）所示。但是，從圖中可以看出，同樣把不需要的區(qū)域亦增大，因而還需進(jìn)行腐蝕。

圖5 膨脹和腐蝕圖。（a）第1次膨脹；（b）第1次腐蝕；（c）第2次腐蝕；（d）第2次膨脹Fig.5 Erosions and dilations.（a）Result of the first erosion；（b）Result of the first dilation；（c）Result of the second dilation；（d）Result of the second erosion

腐蝕是一種消除邊界點，使邊界向內(nèi)部收縮的過程，可以消除小且無意義的物體，其一般意義的概念定義為公式（3），即由B對X腐蝕所產(chǎn)生的二值圖像E是滿足：如果B的原點平移到點（i，j），那么它將完全包含于X中的點（i，j）的集合。

同樣構(gòu)建8-鄰域判斷算法，與膨脹相反，即當(dāng)前點的8-鄰域有一個點的顏色是白色時，就把當(dāng)前點的顏色填充成白色。這樣目標(biāo)區(qū)域變小了很多，同時亦把不需要的區(qū)域變小，達(dá)到消噪目的，其效果圖如圖5（b）所示。

這樣先膨脹后腐蝕就是執(zhí)行了一次形態(tài)學(xué)閉合運算，為了使圖5（b）中在瞳孔旁邊的紅外LED點過濾掉，再執(zhí)行一次腐蝕，其結(jié)果如圖5（c）所示，LED點完全消去。但因其瞳孔區(qū)域執(zhí)行第二腐蝕后，區(qū)域變小了，不便于邊界提取，且比實際瞳孔區(qū)域小。為此，進(jìn)行第二膨脹，其效果如圖5（d）所示。同樣這樣先腐蝕后膨脹實現(xiàn)了圖像開啟運算。圖中得到的瞳孔跟真實的瞳孔大小接近，且不存LED影像，不會影響瞳孔中心定位。

1.2.3 瞳孔中心定位

對于圖像目標(biāo)的定位方法有很多，成熟的瞳孔搜索算法研究主要應(yīng)用于人臉檢測。為了獲取瞳孔中心坐標(biāo)，本研究提出采用左上鄰域法進(jìn)行區(qū)域連通性標(biāo)記檢測，獲得各個連通區(qū)域，再通過區(qū)域校驗及合并，最終獲得目標(biāo)瞳孔連通區(qū)域。左上鄰域如圖6所示，是指像素（i，j）左，左上，上，右上4個像素{（i，j– 1），（i– 1，j– 1），（i– 1，j），（i–1，j+1）}構(gòu)成的集合，它只需判斷相鄰的左上像素即可，而不像4-鄰域和8-鄰域還要判斷下一行相鄰像素，這樣進(jìn)行掃描連通標(biāo)記時，不會重復(fù)掃描，減少了算法時耗。

圖6 左上鄰域Fig.6 Left-up neighborhood

基于左上鄰域連通像素標(biāo)記二值化圖像獲取各個連通區(qū)域的思想是：若當(dāng)前像素的值是0，則轉(zhuǎn)向下一個像素；若當(dāng)前象素的值是1，檢查它左邊和上邊的4個近鄰象素，如果它們都是0，就給當(dāng)前象素一個新的標(biāo)記，并更改連通區(qū)域，并開始新的連通區(qū)域的像素個數(shù)計數(shù)；如果上述4個近鄰元素只有一個值為1，就把該象素的標(biāo)記賦給當(dāng)前象素，并賦予同一標(biāo)記，對該連通區(qū)域的像素個數(shù)加1；如果它們的值都為1且具有相同的標(biāo)記，就將該標(biāo)記賦給當(dāng)前象素，并對其連通區(qū)域的像素個數(shù)加1；如果它們的值都為1，但具有不同的標(biāo)記，就應(yīng)進(jìn)行合并到一個區(qū)域，同時連通區(qū)域的像素個數(shù)相加。

最終可以得到若干個連通區(qū)域，因為目標(biāo)瞳孔區(qū)域顯然有一定的連通數(shù)范圍，為此，以一個最大值和一個最小值為閾值，把連通區(qū)域限定到這兩個閾值之間，若不在這范圍之內(nèi)的連通區(qū)域進(jìn)行強(qiáng)制置0。消除不合理的連通區(qū)域后，對剩余的連通區(qū)域進(jìn)行邊界坐標(biāo)求解，并再次進(jìn)行連通區(qū)域限制，對若干通連區(qū)域進(jìn)行合并和去除，最終獲得一個連通區(qū)域。若得到一個連通區(qū)域，則表明定位成功，進(jìn)行瞳孔中心坐標(biāo)計算；若沒有得到連通區(qū)域，代表定位失敗，保持上次瞳孔中心坐標(biāo)。運用其算法獲取瞳孔中心定位，如圖7（a）所示，定位點在視頻中回放的位置，如圖7（b）所示。

圖7 瞳孔中心定位圖。（a）二值化圖瞳孔中心定位；（b）視頻圖瞳孔中心定位Fig.7 Pupil center location.（a）The binarization image of pupil center location；（b）The video image of pupil center location

2 結(jié)果與討論

實驗之前，把紅外眼動視頻瞳孔位置進(jìn)行平面坐標(biāo)轉(zhuǎn)換，在視頻平面上的瞳孔轉(zhuǎn)動分為水平方向運動和垂直方向運動。實驗對象為一位被認(rèn)為眼睛正常的志愿者進(jìn)行眼動實驗。實驗時，這位志愿者眼睛做無規(guī)律轉(zhuǎn)動，系統(tǒng)對其進(jìn)行采樣250幀眼動視頻圖像。通過VC++進(jìn)行實現(xiàn)前述算法完成瞳孔中心定位，并對提取的中心位置進(jìn)行擬合，得到眼動軌跡如圖8（a）所示。圖8（a）中上圖為水平方向的瞳孔運動曲線，下圖為垂直方向的運動曲線，二者明顯不同，與事實相符，瞳孔在運動過程中是無規(guī)律，表明在水平和垂直的幅度存在不一樣。同時，把眼動視頻中的瞳孔運動轉(zhuǎn)換到視平面投影分析，可以得到瞳孔運動在各幀圖像間的位移分布，如8（b）所示。即圖8（b）中的小圓圈代表瞳孔中心在各幀圖像間的位移分布，大圓圈代表以眼睛幾何中心為圓心且半徑為20像素的圓。經(jīng)計算，可以得到醫(yī)學(xué)上所需要的眼震分析參數(shù)，即水平方向和垂直方向的震幅分別為51像素和35像素。

通過多次實驗分析，系統(tǒng)運行良好，均能夠把每次實驗的眼動軌跡擬合出來；而且耗時短，應(yīng)用程序定位擬合250幀的眼動軌跡僅需3 s左右，平均每幀定位為10 ms左右，比經(jīng)典Hough變換快一個數(shù)量級，甚至比優(yōu)化改進(jìn)的 Hough變換快一倍［22-23］。此外，對于同一次眼震視頻幀運用文獻(xiàn)［24］的瞳孔定位擬合方法，得到眼震曲線與文中提到的方法獲取的曲線進(jìn)行相關(guān)計算，平均結(jié)果顯示為0.975。因此，文中所提到的方法能夠達(dá)到同樣的瞳孔定位精度，而且時間更快。

圖8 眼動軌跡圖。（a）瞳孔水平方向（上）和垂直方向（下）的軌跡；（b）紅外視頻中瞳孔各幀之間位移分布Fig.8 Eyemovementtrajectory.（a）Horizontal（upper）and vertical（bottom）trajectory ofeye movement；（b）Displacement distribution of pupil among frames of infrared video

3 結(jié)論

本研究提出一種應(yīng)用于眼罩式視頻眼震分析系統(tǒng)的瞳孔中心定位方法。此方法基于形態(tài)學(xué)進(jìn)行分割消噪，采用區(qū)域連通標(biāo)記檢測各連通區(qū)域進(jìn)行區(qū)域分割。其主要是基于本研究提出的左上鄰域法進(jìn)行一次全圖像掃描即可完成區(qū)域連通標(biāo)記和分割，并進(jìn)行區(qū)域合理校驗和合并，最后得到與真正瞳孔近似的圓形幾何區(qū)域，通過計算獲得瞳孔中心坐標(biāo)。應(yīng)用此方法進(jìn)行多次實驗驗證，對每次實驗的眼震視頻的每一幀圖像所獲得瞳孔中心坐標(biāo)進(jìn)行擬合瞳孔運動軌跡。

實驗結(jié)果表明，基于所提出的瞳孔中心定位方法能夠很好得到瞳孔運動軌跡。該瞳孔中心定位算法簡單，只需一次掃描圖像標(biāo)記，因而速度快。通過分析獲取的瞳孔中心坐標(biāo)數(shù)組、幀數(shù)、采集率及運行軌跡，可得到眼震分析的診斷參數(shù)，包括眼震潛伏期、持續(xù)時間、總次數(shù)、頻率、振幅、快慢相速度和眼震方向等。與傳統(tǒng)眼震電圖儀相比，具有無接觸，不損傷眼睛，不受生理電位影響等優(yōu)點。為現(xiàn)有國內(nèi)研究的視頻眼震瞳孔中心定位提供了一種可借鑒的實用方法。本研究下一步工作是應(yīng)用于眼科和心理學(xué)臨床實驗，豐富實驗眼震數(shù)據(jù)庫，為臨床診斷做準(zhǔn)備；并進(jìn)一步提高視頻采樣率，對高頻眼震信息進(jìn)行檢測，優(yōu)化瞳孔中心定位算法，進(jìn)一步提高運算速度，以便于獲得眼震的各種頻率成份信號，為眼震的臨床診斷、療效評估、藥理實驗等提供更豐富的信息依據(jù)。

［1］Dodge R，CLINE TS.The angle velocity of eye movements［J］.Psychological Review，1901，8（2）：145-157.

［2］Morimoto CH，Mimica MRM.Eye gaze tracking techniques for interactive applications［J］.Computer Vision and Image Understanding，2005，98（1）：4-24.

［3］Marg E.Development of electro-oculography［J］.The A M A Archives of Ophthalmology，1951，45：169-185.

［4］Robinson DA.A method of measuring eye movement using a scleral search coil in a magnetic field［J］.IEEE Transactions on Biomedical Engineering，1963，10：137-145.

［5］Anders S，Weiskopf N，Lule，et al.Infrared oculography validation of a new method to monitor startle eyeblink amplitudes during fMRI［J］.Neuroimage，2004，22（2）：767-770.

［6］Hermann DS，Jan Y，Tony P，et al.Assessment of ocular counterroll during head tilt using binocular video oculography［J］.Investigative Ophthalmology＆ Visual Science，2002，43（3）：662-667.

［7］Christian WH，Rene M，Otmar M.Recording of Horizontal Saccadic Eye Movements：Methodological comparison between electro-oculography and infrared reflection oculography［J］.Neuro-Ophthalmology，1986，6（3）：189-197.

［8］Tr?isk F， Bolzani R， Ygge J.A comparison between the magnetic scleral search coil and infrared reflection methods for saccadic eye movement analysis［J］.Graefe's Archive for Clinical and Experimental Ophthalmology，2005，243（8）：791-797.

［9］Collewijn H，Van der Mark F，Jansen TC.Precise recording of human eye movements［J］.Vision Research，1975，15（3）：447-450.

［10］Kenyon RV.A soft contact lens search coil for measuring eye movements［J］.Vision Research，1985，25（11）：1623-1633.

［11］Eadie AS.Improved method of measuring eye movements using limbusreflection technique［J］.Medical and Biological Engineering and Computing，1995，33（1）：107-112.

［12］Van der Geest JN，F(xiàn)rens MA.Recording eye movements with video-oculography and scleral search coils：a direct comparison of two methods［J］.Journal of Neuroscience Methods，2002，114：185-195.

［13］Luima A，Minamitani H，Ishikawa N.Image analysis of quick phase eye movements in nystagmus with high-speed video system［J］.Medical＆ Biological Engineering＆ Computing，2001，39（1）：2-7.

［14］Zu?iga A，García N，Rodríguez D，et al.Dynamic visual acuity using video-oculography［C］//Leder RS，eds.Proceedings of Annual International Conference of the IEEE Engineering in Medicine and Biology.Mexico City：IEEE Press，2003：3229-3232.

［15］Darren RG，Todd BP，Kevin SL，et al.Real-time monitoring of eye movements using in frared video-oculography during functional magnetic resonance imaging of the frontal eye fields［J］.Neuroimage，2000，11（1）：58-65.

［16］王萑，史儀凱，吳磊，等.瞳孔快速定位方法在眼震實時檢測系統(tǒng)中的應(yīng)用研究［J］.光電子·激光，2009，20（4）：540-544.

［17］鄧梁，史儀凱，袁小慶.一種基于圖像分割的視頻眼震圖記錄新方法［J］.中國生物醫(yī)學(xué)工程學(xué)報，2006，25（5）：523-526.

［18］申志強(qiáng)，陳韜，錢基業(yè)，等.基于形態(tài)學(xué)的冷軋薄板板形識別［J］.重慶大學(xué)學(xué)報，2007，30（12）：25-29.

［19］John M，Mike R，Paul D.An approach using mathematical morphology and support vector machines to detect features in pipe images［C］ //Caelli T.2008 Digital Image Computing：Techniques and Applications，Canberra：IEEE Press，2008：84-89.

［20］Isabelle B.Defining belief functions using mathematical morphology-Application to image fusion under imprecision［J］.International Journal of Approximate Reasoning，2008，48：437-465.

［21］QiDawei， LiYuanxiang， LeiYu.The application of mathematicalmorphologicaloptimization algorithm in edge detection of defected wood image［C］ //Proceedings of the IEEE International Conference on Automation and Logistics.Qingdao：IEEE Press，2008：2271-2276.

［22］秦開懷，王海潁，鄭輯濤.一種基于Hough變換的圓和矩形的快速檢測方法［J］.中國圖象圖形學(xué)報，2010，15（1）：109-115.

［23］Dobe? M，Martinek J，Skoupil D，et al.Human eye localization using the modified Hough transform［J］.Optik，2006，117（10）：468-473.

［24］Takegami T，Gotoh T，Kagei S，et al.A hough based eye direction detection algorithm without on-site calibration［C］ //Sun C，Talbot H，Ourselin S，eds.Proceedings of 12nd Digital Image Computing：Techniques and Applications.Sydney：Csiro Publishing，2003：459-468.