基于眼電的字符輸入系統(tǒng)研究

鄭敏敏 高小榕

（清華大學醫(yī)學院生物醫(yī)學工程系，北京 100084）

ZHENG Min-Min GAO Xiao-Rong*

（Biomedical Engineering Department，Tsinghua University，Beijing 100084，China）

引言

患者的肢體運動功能障礙嚴重影響其與外界的溝通能力，傳統(tǒng)的人機交互設備，如鍵盤、鼠標等無法滿足這些患者的需求，已有學者對無障礙人機交互課題進行了廣泛的研究，試圖設計出一種不依賴肢體運動的人機交互接口，并在此基礎上設計出一套便于肢體運動障礙患者使用的人機交互系統(tǒng)［1］。經(jīng)過多年研究，目前比較有應用前景的方案有：肌電控制、腦機接口控制和眼動控制等。

這幾種人機交互方式，各自都有自身的優(yōu)點和缺點，所以有相關研究者嘗試了將多種電生理信號進行綜合分析，揚長避短，以期得到一種更加高效、可靠的無障礙人機交互方法，如綜合眼電和穩(wěn)態(tài)視覺誘發(fā)電位進行目光跟蹤的方法研究［2－3］。

在上述幾種無障礙的人機交互方式中，眼動控制更易于為大部分患者所接受。大部分患有嚴重運動障礙的殘疾人仍可較自如地控制眼球運動，若將這些眼動信息有效地提取出來轉(zhuǎn)化成控制命令操縱計算機或其他輔助設備，則能更好地為殘疾人服務［4］。目前眼球運動探測的方法主要有：搜索線圈法、眼電圖技術、紅外線眼動圖法、基于計算機圖形學的方法以及影像追蹤法。

搜索線圈法是在用戶眼前佩戴一個感應線圈，同時在用戶周圍添加一個磁場，通過感應線圈中的感應電流來分析眼動情況。該方法對頭部活動限制不嚴、時空分辨率高、不受光線影響，但其價格昂貴、設備龐大、便攜性差。

紅外線眼動圖法是利用紅外線光源在眼角膜邊緣的反射差異，來檢測眼球運動狀況。該方法不需要與用戶身體接觸，但容易受可見光影響，需要相對穩(wěn)定的使用環(huán)境。

計算機圖形學的方法和影像追蹤法都存在價格昂貴的缺點，不利于大眾化。

在眼動控制的幾種方法中，眼電技術具有成本低、便于操作等優(yōu)勢。筆者研究了基于眼電信號（EOG）的人機交互系統(tǒng)，實現(xiàn)了眼球運動方向特征提取與分類，提出了在特征方向投影信號中，以眼球跳動時產(chǎn)生的眼動波形前沿的正負作為特征參數(shù)的眼動檢測方法。對8名不同受試者分別采集EOG數(shù)據(jù)，分析眼動跳視方向?qū)崿F(xiàn)字符輸入，并以正確率和信息傳輸率對該系統(tǒng)的性能做出評估，驗證了所提算法的有效性。

1 方法

1.1 系統(tǒng)描述

本系統(tǒng)主要設計目的是為有特殊要求的肢體運動障礙群體提供一種不需依賴肢體進行信息交流的人機交互系統(tǒng)，讓使用者能夠依靠控制眼球視線方向與外界進行信息交流，該系統(tǒng)的基本特征為：

a）利用眼球跳視運動實現(xiàn)人機交互，方便肢體運動障礙患者與外界進行信息交互。

b）無創(chuàng)提取眼電進行眼球運動檢測。

c）采用一種基于數(shù)學形態(tài)學的平滑濾波器對原始眼電信號進行濾波處理，可去除眼電信號中的眨眼干擾并增強信號的信噪比。

d）使用的USB接口的眼電放大器便于系統(tǒng)的實現(xiàn)與應用。

系統(tǒng)框架圖如圖1所示，主要是：a）采集用戶眼電信號的信號采集模塊，b）眼電信號處理的信號分析模塊，c）與用戶進行信息交互的應用界面。其中信號采集模塊用于采集和放大原始眼電信號。

圖1 系統(tǒng)框架圖Fig.1 System diagram

1.2 眼動交互界面設計

1.2.1 產(chǎn)生8個方向跳視眼動的方法

基于眼動的人機交互界面設計，利用8個目標從屏幕中心點到外周的往復跳躍誘導眼睛的跳視。使用者保持頭部靜止，注視選擇目標并跟隨目標的跳動移動目光，同時記錄水平和垂直眼電。

1.2.2 眼電采集方式

采集設備是清華大學神經(jīng)工程實驗室設計的多導腦電放大器，記錄受試眼電，采樣頻率為1 000Hz。本系統(tǒng)采用3個電極來采集眼電信號，如圖1所示。右眼上下側(cè)的兩個電極（B-C）負責采集EOG信號的垂直分量，以B、C兩個電極采集到的EOG信號的平均值，與右眼角的電極D采集到的EOG信號相減作為水平眼電，A為接地電極，參考電極在耳凸處。

1.3 算法描述

基于EOG的眼動信息提取與分類算法由3部分組成：EOG信號預處理、EOG信號特征提取、EOG信號分類。算法流程圖如圖2所示。

1.3.1 數(shù)學形態(tài)學

圖2 算法處理流程Fig.2 Algorithm processing flow

數(shù)學形態(tài)學（mathematical morphology）是一種圖像分析方法。它是由一組形態(tài)學的代數(shù)運算子組成，包含4個基本運算：膨脹、腐蝕、開啟和閉合。

通過選取合適的結(jié)構(gòu)元素，腐蝕可消除比結(jié)構(gòu)元素小的毛刺、小凸起和物體邊界點；膨脹可填充物體中比結(jié)構(gòu)元素小的孔洞及圖像邊緣處的小凹陷部分。

利用數(shù)學形態(tài)學主要用于平滑掉原始眼電信號中混合的肌電、系統(tǒng)干擾等高頻尖峰噪聲；去除眨眼信號，降低其對信號識別造成的干擾［5］。

假設對p維變量X=（x1，x2，…，xp）進行處理，M維的結(jié)構(gòu)元素K=（k1，k2，…，kM），膨脹定義［6］為

腐蝕定義為

在本實驗中，將K設為M維的零向量。

由于在對點xm進行膨脹和腐蝕運算時，需要用到待處理數(shù)據(jù)中xm，xm+1，…，xm+M－1共M個點的值，因此膨脹和腐蝕運算在處理當前點的時候會產(chǎn)生M個點即結(jié)構(gòu)元素長度的延遲。

開運算定義為對待處理信號先腐蝕后膨脹，與開運算相對應的閉運算定義為對待處理信號先膨脹后腐蝕，它們分別定義為

在對點xm進行開、閉運算時，會產(chǎn)生2M個點的延遲。進行數(shù)學形態(tài)學操作的最主要目的是去除眨眼干擾，而一般情況下眨眼的持續(xù)時間小于0.2 s左右，本實驗過程中數(shù)據(jù)采樣率為1 000Hz，所以M取值為200，對應時間長度為0.2 s。

本系統(tǒng)采用3個電極來采集眼電信號，分別為右眼右側(cè)的電極采集的眼電信號O1，右眼上側(cè)的電極采集的眼電信號O2，右眼下側(cè)的電極采集的眼電信號O3。數(shù)據(jù)處理過程中將X1=O1－（O2+O3）/2作為水平眼電，將X2=O2－O3作為垂直眼電。

數(shù)學形態(tài)學算法的主要步驟是將眼電的兩個信號X1和X2按式（5）進行基于數(shù)學形態(tài)學的濾波，Yi代表數(shù)學形態(tài)學處理后的信號，Xi（i=1，2）代表原始的水平眼電和垂直眼電

分解式（5），數(shù)學形態(tài)學的具體計算過程為：對Xi依次進行開操作的腐蝕運算、膨脹運算和閉操作的膨脹運算、腐蝕運算，其中，腐蝕運算是取結(jié)構(gòu)元素長度的數(shù)據(jù)中的最小值操作，膨脹運算是取結(jié)構(gòu)元素長度的數(shù)據(jù)中的最大值操作。

1.3.2 主成分分析

主成分分析是數(shù)學上對數(shù)據(jù)降維的一種方法［7］。通常數(shù)學上的處理就是將原來p個數(shù)值作線性組合，得到p個新的綜合數(shù)值［8］，其第一分量對應的特征向量可以用來構(gòu)成空域濾波器，提取能量最大的投影方向，實現(xiàn)8個眼動方向的提取增強。

在使用PCA方法時，一般使用奇異值分解（SVD）求得單位特征向量和特征值。

為獲取每個方向上的PCA主分量來構(gòu)成空間投影濾波器，首先要得到只包含單一方向眼動的訓練數(shù)據(jù)，然后對這組數(shù)據(jù)進行主分量分析，得到的主分量即為空間投影濾波器。本實驗的操作過程是使用者保持身體尤其是頭部靜止，眼球保持與系統(tǒng)界面上的“+”光標同步跳動，用來進行特征提取和分類的是眼球跳動信號中的沿的正負性質(zhì)。由于某個方向的眼球跳動信號在同一方向的特征向量中的投影中階躍幅度變化最顯著，所以可以利用跳視產(chǎn)生的階躍信號特征進行信號分類。

由于8個方向存在兩兩相反的方向，只有4個獨立的，只需要提取4個方向的投影矩陣，圖3為8個方向的眼電示意圖。

數(shù)學形態(tài)學處理后的水平眼電和垂直眼電為Yi，j（i=1，2；j=1，2，3，4），i為數(shù)據(jù)通道，分別是水平和垂直眼電，j為方向。Yi，j中包含了右、右上、上、左上四個方向的數(shù)據(jù)，從 Yi，j分離出 4組數(shù)據(jù)（Y1，1；Y2，1）、（Y1，2；Y2，2）、（Y1，3；Y2，3）、（Y1，4；Y2，4），每組數(shù)據(jù)代表一個方向的眼電信號。由于經(jīng)過數(shù)學形態(tài)學、差分處理后，在時間維度上的數(shù)據(jù)點數(shù)會減少，為了避免包含有用信息的數(shù)據(jù)的減少，所以可在每一組數(shù)據(jù)的起止位置添加一定長度的不包含有用信息的數(shù)據(jù)，在本實驗的處理過程中，分別將每組數(shù)據(jù)截取的起止位置提前2M+50、延后2M+450個點，總視窗長度2.3 s。其中起止位置的參考時間點為“+”光標在屏幕中心的時刻，延后450個點的意義是：由于受試不能嚴格保持與“+”光標同步而造成眼球回歸屏幕中心的時刻滯后，進而使有用信息出現(xiàn)的時刻滯后，為了防止該有用信息丟失，所以增加了該延遲量。

圖3 8個方向的眼電示意圖Fig.3 Schematic diagram of EOG in 8 directions

經(jīng)過式（6）的奇異值分解SVD處理后得到4個方向的特征矩陣Uj（j=1，2，3，4）。為了去除基線漂移的干擾，在進行PCA處理之前，本實驗利用IIR濾波器進行了濾波處理。

在Yi，j中包含了相應方向的多個試次的眼電數(shù)據(jù)，在獲取極性值的步驟中，為了充分利用眼電數(shù)據(jù)，同時為了避免單個試次眼電數(shù)據(jù)的偶然錯誤，所以提取了多個試次的眼電數(shù)據(jù)進行分析，假設提取出q個試次的眼電數(shù)據(jù)Yi，jk（i=1，2；j=1，2，3，4；k=1，2，…，q）。由于某一方向的眼電信號投影到同一方向的特征矩陣后，其有用信息主要包含在投影結(jié)果的第一分量中，所以為了減少計算量，可以只將眼電信號投影到特征矩陣的第一分量中。將Yi，j（i=1，2；j=1，2，3，4）投影到對應方向的特征矩陣的第一分量Pj=Uj1（j=1，2，3，4）中，投影結(jié)果為Cjk，，表示為

固定j值，統(tǒng)計出Djk（j=1，2，3，4；k=1，2，…，

q）的開始沿中上升沿和下降沿的個數(shù)：當上升沿的個數(shù)多于下降沿的個數(shù)時，則Pj不變；反之則Pj=－Pj，進行反向處理，方向矯正后的投影向量用于后續(xù)處理。

1.3.3 眼動跳視判別算法

字符輸入階段，在每個“+”光標跳動周期中分析眼動信號：假設將該周期中的原始水平眼動信號和垂直眼電信號經(jīng)數(shù)學形態(tài)學平滑處理后得到（Z1；Z2），Z1為水平眼電，Z2為垂直眼電。依次投影到4個方向的特征向量Pj（j=1，2，3，4）中，投影公式為（7），輸出為PCj（j=1，2，3，4）

并根據(jù)差分公式（8）提取出開始沿的值和沿的正負性，輸入為PCj（j=1，2，3，4），輸出為PDj（j=1，2，3，4）。

找出4個開始沿中差分絕對值最大的沿max（abs（PDj））所對應的特征矩陣，確定眼動的大致方向：如果abs（PD1）最大，則確定眼動的大致方向為上下；符號sgn（PD1）表示眼動的具體方向：如果PD1為正，則眼動的具體方向為上，如果PD1為負，則眼動的具體方向為下；當最大沿的絕對值不超過某一固定值時，判定為未發(fā)生眼動。

1.4 字符輸入系統(tǒng)設計

8名年齡20～30歲健康的眼部功能正常的志愿者（4男4女），均參與過EOG信號采集實驗，對實驗環(huán)境比較熟悉。實驗任務是：訓練階段，志愿者保持頭部不動，眼球盡量與“+”光標保持同步，光標在中間停留0.5 s，在上、下、左、右、左上、右上、左下、右下8個方向中各停留1s，且每個方向出現(xiàn)是等概率的；字符輸入階段，“+”光標在中間停留1.5 s，在8個方向停留1 s，且光標是同時出現(xiàn)在8個方向，志愿者在與“+”光標保持同步的基礎上，根據(jù)自己意愿移動眼球，完成輸入一個有意義的句子。刺激材料采用VC編寫，刺激界面如圖4所示，表1顯示了8個方向中對應的兩級菜單的內(nèi)容。

圖4 刺激界面。（a）“+”光標發(fā)散界面；（b）“+”光標集中界面Fig.4 Stimulus interface.（a）Interface of divergent“+”cursor；（b）Interface of centralized“+”cursor

表1 菜單內(nèi)容（—表示控件內(nèi)容不變，A級菜單中的←表示刪除，B級菜單中的←表示返回）Tab.1 The contents of the menu（—represents contents unchanged in controls；←represents deletion in A-level menu，return in B-level menu）

2 結(jié)果

圖5 原始訓練數(shù)據(jù)Fig.5 Original training data

圖5為在訓練階段采集到的原始水平和垂直數(shù)據(jù)。從圖中可以看到，眼電曲線較粗，同時垂直眼電有很多尖峰，這些尖峰都是由眨眼動作引起的。

圖6為經(jīng)過數(shù)學形態(tài)學平滑處理后的水平和垂直眼電波形，從圖中可以看出，眼電曲線變細，同時垂直眼電中的尖峰數(shù)明顯減少，基本上達到了數(shù)據(jù)處理的預期。

圖6 平滑后的訓練數(shù)據(jù)Fig.6 Training data after smoothing

對上述處理后的眼電信號進行主成分分析，圖7表示P2方向的眼電信號投影到相應的轉(zhuǎn)換坐標系后的結(jié)果，P1、P3和P4方向的眼電處理結(jié)果與此類似。

實驗結(jié)果用信息傳輸率來表征該系統(tǒng)的好壞，它綜合了速度和正確率，是衡量系統(tǒng)性能的標準方法。信息傳輸率為

式中，N為供選擇的目標的數(shù)量（本實驗中為9），p為識別的正確率，B為每次選擇可傳遞的比特數(shù)，單位為bits，綜合時間因素，將單位轉(zhuǎn)換成b/min，得到平均信息傳輸率ITR，（10）為轉(zhuǎn)換公式，其中selec表示字符輸入階段輸入的所有字符個數(shù)，t表示完

圖7 波形比較。（a）P2方向眼電經(jīng)PCA處理前波形；（b）P2方向眼電經(jīng)PCA處理后波形Fig.7 Waveform comparison.（a）EOG waveform before PCA processing in the direction of P2；（b）EOG waveform before PCA processing in the direction of P2

表2 實驗結(jié)果Tab.2 Experimental results

成所有字符輸入所花費的時間，單位為s。

3 討論和結(jié)論

一共8名受試參加了本實驗，實驗過程中，在受試適應本系統(tǒng)并掌握正確的眼動方法后都可以進行字符輸入操作。適應系統(tǒng)的時間因人而異，適應力強的可以一次性完成全部操作，適應力較弱的可能需要經(jīng)歷3次以上的訓練階段。

除適應階段因人而異外，系統(tǒng)具有學習功能，能夠在適應階段通過機器學習訓練出每個受試的訓練模板，從而在字符輸入階段盡可能地減少個人因素的影響。受試體驗后，均表示系統(tǒng)靈敏，未發(fā)現(xiàn)有系統(tǒng)延遲響應的問題。

但系統(tǒng)對有些受試的眨眼動作還是有誤判的情況。根據(jù)算法的思想，在對信號進行分類之前都進行了數(shù)學形態(tài)學的處理，這一步驟的目的是對波形去噪平滑，最主要是去除眨眼干擾。根據(jù)受試反映，當“+”字光標在屏幕中央有眨眼動作時，系統(tǒng)會識別出這一動作，并發(fā)生隨機的誤判；當“+”光標發(fā)散時，眨眼動作不會被系統(tǒng)識別。經(jīng)過討論，得到的建議改進措施為：在分類算法中，加入波形幅值的判斷，當幅值超過某一閾值時，判為眨眼并不對其進行分類。

本研究基于不同眼動方向產(chǎn)生的眼電信號的特征差異，通過對眼動信號的檢測、處理和識別，處理方法包括數(shù)學形態(tài)學和主成分分析，將識別結(jié)果作為字符輸入系統(tǒng)的輸入命令，實現(xiàn)了肢體障礙患者與外界進行信息交流的目的。

［1］吳湛微.從EOG掃視信號中提取人眼位置信息的研究［D］.上海：華東理工大學，2004.

［2］Bin Guangyu，Gao Xiaorong，Yan Zheng，et al.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method［J］，Journal of Neural Engineering，2009，6：046002.

［3］郭琛，高小榕.基于眼電和穩(wěn)態(tài)視覺誘發(fā)電位分析的目光跟蹤方法［J］.中國生物醫(yī)學工程，2012，31（3）：382－387.

［4］CHEN Yu-Luen.Application of tilt sensors in human－computer mouse interface for people with disabilities［J］.Neural Systems and Rehabilitation Engineering，IEEE Transactions on，2001，9：289－294.

［5］陳衛(wèi)東，李昕，劉俊，等.基于數(shù)學形態(tài)學的眼電信號識別及其應用［J］.浙江大學學報（工學報），2011，45（4）：644－649.

［6］Musa Hakan ASYALI，Seyfullah Halit OGUZ.A morphology based algorithm for baseline wander elimination in ECG records［C］. Proceedings ofthe IEEE InternationalBiomedical Engineering Days.Istanbul Turkey：IEEE，1992：160 －164.

［7］張敏，李陶深，鐘淑瑛.基于 Matlab的主成分分析方法（PCA）的實現(xiàn)［J］.廣西大學學報（自然科學報），2005，30：74－77.

［8］牟華英.用主成分分析和 Fisher準則的腦電信號分類［J］.科學技術與工程，2009，9（22）：6853 －6855.