基于眼電信號的人機(jī)交互系統(tǒng)研究進(jìn)展

徐曉英，隨力，趙彥富，李月如

上海理工大學(xué)醫(yī)療器械與食品學(xué)院，上海200093

前言

人機(jī)交互（Human-Computer Interaction,HCI）是借助電子計算機(jī)技術(shù)而發(fā)展起來的一門技術(shù)科學(xué)，同時也是人類與計算機(jī)之間相互交流與通信的一種方法。HCI的基本功能是依據(jù)可輸入、輸出的外部設(shè)備及配套設(shè)備和相應(yīng)的軟件來實(shí)現(xiàn)人類與計算機(jī)之間的交流、對話、交換信息。HCI的基本思想是通過HCI傳來相關(guān)的命令和要求來完成有關(guān)設(shè)備的執(zhí)行工作［1］。

自從HCI的概念被提出至今，HCI的理論和應(yīng)用都得到了迅速而廣泛的發(fā)展。HCI從最初的工程科學(xué)技術(shù)領(lǐng)域發(fā)展到生物醫(yī)學(xué)、康復(fù)工程領(lǐng)域等多個領(lǐng)域。其中，基于生物電信號的HCI技術(shù)作為常規(guī)HCI技術(shù)的一種補(bǔ)充，應(yīng)用于某些特殊的場景，在殘疾群體與外界環(huán)境的交互、臨床病人的檢測與監(jiān)護(hù)、特殊環(huán)境下的交流與通信、駕駛員的疲勞檢測等方面都得到了有效的應(yīng)用［2］。

眼睛是人體重要的器官，同時也是人與動物能夠獲取外界事物信息的最主要途徑，而眼球的運(yùn)動是眼睛在進(jìn)行信息處理時必不可少的一個環(huán)節(jié)［3］。眼電信號（Electrooculogram,EOG）是一種通過電極記錄下來、由眼球視網(wǎng)膜與角膜之間電勢差形成的生物電信號。EOG 由眼球的運(yùn)動引發(fā)，與大腦的思維活動密切相關(guān)，具有采集方便、容易識別、時域特征明顯的優(yōu)點(diǎn)。隨著現(xiàn)代生活質(zhì)量的提高、交通運(yùn)輸業(yè)的發(fā)展，由腦卒中、交通事故以及其他原因引起的肢體運(yùn)動控制障礙患者越來越多，嚴(yán)重威脅人類的身體健康。為了使肢體運(yùn)動控制障礙患者能夠依靠自己的意念，獨(dú)立地與外界進(jìn)行信息交流，研究人員設(shè)計出一種不需依靠肢體就可以與外界進(jìn)行信息交流的無障礙HCI系統(tǒng)，通過如頭部姿勢、眼球轉(zhuǎn)動、腦電以及肌電等生物電信號來進(jìn)行信息交流的HCI系統(tǒng)。相比于其他HCI系統(tǒng)，EOG 控制的HCI系統(tǒng)具有識別正確率高、模式相對簡單、操作方便、基本不需要進(jìn)行專門的信號采集訓(xùn)練的優(yōu)點(diǎn)［4］。更重要的是在使用過程中，用戶不需要對肢體進(jìn)行活動，該系統(tǒng)依然適用于嚴(yán)重運(yùn)動障礙患者，幫助他們重建交流和環(huán)境控制能力。因此，由EOG 控制的無障礙HCI系統(tǒng)能更好地服務(wù)于肢體運(yùn)動控制障礙患者。本研究對EOG 控制的HCI系統(tǒng)的建立、發(fā)展和應(yīng)用進(jìn)行綜述，并對未來的發(fā)展趨勢進(jìn)行展望。

1 基于EOG的HCI系統(tǒng)的建立與發(fā)展

基于EOG 的HCI系統(tǒng)的建立最早追溯到20 世紀(jì)60年代，Kris［5］最先提出利用眼電技術(shù)來跟蹤人眼球運(yùn)動狀態(tài)的想法，但是在20 世紀(jì)90年代以后，關(guān)于眼電技術(shù)領(lǐng)域才得以廣泛研究。1993年，美國波士頓大學(xué)計算機(jī)學(xué)院的Gips 等［6］研發(fā)出一款由EOG和頭部姿勢控制的HCI產(chǎn)品EagleEyes。為實(shí)現(xiàn)HCI，EagleEyes系統(tǒng)首先利用布置在人體頭部的4個電極獲取EOG，EOG 經(jīng)過一系列的處理、放大，最終投放到顯示器上，從而實(shí)現(xiàn)與用戶之間的互動交流。在此基礎(chǔ)上，Gips 等［7］于1996年開發(fā)出一系列的外圍操作軟件，使得有需求的用戶能夠獨(dú)立地通過Internet來完成信息、郵件的收發(fā)等活動。2000年，西班牙巴利阿里大學(xué)團(tuán)隊對EOG 的HCI進(jìn)行了進(jìn)一步的研究，研發(fā)出一套軟件和硬件設(shè)施，目的是通過人眼球移動來控制計算機(jī)，該系統(tǒng)通過對EOG 進(jìn)行相應(yīng)的函數(shù)計算，將人眼運(yùn)動投影成屏幕上的一個位置坐標(biāo)，使屏幕上的光標(biāo)移動，通過眼球運(yùn)動的形式與計算機(jī)進(jìn)行通訊，從而達(dá)到對計算機(jī)進(jìn)行操控的目的［8］。2008年，西班牙巴利阿里大學(xué)在先前的研究基礎(chǔ)上，研發(fā)出一套由EOG 控制的HCI系統(tǒng)，該系統(tǒng)是通過測量生物電壓值，然后通過計算將受試者眼球的移動投影成計算機(jī)屏幕上的一個光標(biāo)，進(jìn)而達(dá)到利用人眼來控制計算機(jī)的目的［9］。2010年，日本學(xué)者團(tuán)隊從EOG 的水平和垂直兩個方向來對計算機(jī)鼠標(biāo)進(jìn)行控制，實(shí)現(xiàn)了識別眼球上、下、左、右方向運(yùn)動的功能［10］。2012年，印度賈達(dá)普大學(xué)團(tuán)隊設(shè)計出一套基于單通道檢測EOG 的HCI系統(tǒng)，利用眼球的水平移動來實(shí)時控制電動小車的前進(jìn)和轉(zhuǎn)向，進(jìn)而達(dá)到利用人眼運(yùn)動來控制電動輪椅的目的［11］。2015年，Ma 等［12］提出了一種基于EOG 和EEG 的人機(jī)界面，EOG 模式識別眼球運(yùn)動、EEG 模式檢測事件相關(guān)電位，眼球運(yùn)動和事件相關(guān)電位相關(guān)補(bǔ)充，進(jìn)而達(dá)到利用這兩種方式來幫助運(yùn)動障礙患者執(zhí)行日常任務(wù)的目的。

相對國際上知名實(shí)驗(yàn)室在基于EOG 的HCI方面的研究，中國國內(nèi)的發(fā)展起步較晚。2006年，施寧等［13］提出利用支持向量機(jī)來提取二維人眼位置信息的方法，并建立相應(yīng)的模型；支持向量機(jī)是一種基于統(tǒng)計學(xué)習(xí)理論的機(jī)器學(xué)習(xí)模型，通常用來進(jìn)行模式的識別、分類以及回歸分析，采用結(jié)構(gòu)風(fēng)險最小化理論，泛化能力較強(qiáng)以及對噪聲具有較強(qiáng)的魯棒性。2009年，浙江求是高等研究院提出一種利用眼球運(yùn)動和眨眼情況來進(jìn)行外界信息交流的新型無障礙HCI系統(tǒng)，首次提出一種基于數(shù)學(xué)形態(tài)學(xué)的濾波方法，利用該算法對原始信號進(jìn)行濾波操作，信號中的噪聲干擾能夠較好地被消除，并能夠增強(qiáng)信號的信噪 比［14］。2012年，內(nèi)蒙古大學(xué)設(shè)計了一套基于LabVIEW 的眼電監(jiān)護(hù)系統(tǒng)，該系統(tǒng)通過雙通道檢測的EOG 可以識別出6 種眼球動作：眼球上、下、左、右、有意識眨眼以及無意識眨眼，并設(shè)計了相應(yīng)的使用界面，設(shè)計出一套服務(wù)呼叫系統(tǒng)，為癱瘓病人帶來了福音［15］。2013年，清華大學(xué)設(shè)計了一套使注視對象在屏幕上從中心往不同方向跳動的HCI系統(tǒng)，利用數(shù)學(xué)形態(tài)學(xué)和主成分分析相結(jié)合的方法來提取眼動方向，該方法能夠較好地消除眨眼和肌電等噪聲干擾［16］。2015年，南京航空航天大學(xué)提出一種水平方向EOG 的眨眼識別算法，該算法在抵抗前庭眼動反射噪聲方面表現(xiàn)出了較好的優(yōu)勢［17］。

早期由于技術(shù)的限制，EOG的采集只能采用直接觀察法。目前，對眼球運(yùn)動進(jìn)行探測主要有以下幾種方法：搜索線圈法［18］、紅外線眼動圖法［19］、Purkinje影像追蹤法［20］、基于計算機(jī)圖形學(xué)的方法［21］以及EOG［22］。表1對近年來探測眼球運(yùn)動的方法進(jìn)行了相關(guān)的總結(jié)歸納。由于EOG技術(shù)對人體無創(chuàng)，而且不會影響人眼部正常的生理活動，測量到的EOG相對準(zhǔn)確，相比于其他檢測方法，EOG技術(shù)的優(yōu)勢明顯。EOG技術(shù)是一種使用最普遍的眼球運(yùn)動記錄技術(shù)［23］。由于人眼轉(zhuǎn)動的靈活性，當(dāng)人眼轉(zhuǎn)動的方向或是角度不同時，產(chǎn)生的EOG也會具有不同的特征。目前，在基于EOG的HCI系統(tǒng)中，眼球運(yùn)動一般分為兩類，即眼球掃視和眨眼，掃視運(yùn)動指的是快速的或隨意的眼球運(yùn)動，當(dāng)眼球從一個視標(biāo)快速地移向另一個視標(biāo)時，掃視運(yùn)動就能把新的觀察視標(biāo)重新定位到視網(wǎng)膜中心凹上［24］。即使在同一方向上掃視的角度不同，相應(yīng)的EOG幅值也會不同。眨眼運(yùn)動是人眼球不自覺的運(yùn)動，可將不同的眨眼次數(shù)作為不用的控制命令，例如二次眨眼、三次眨眼等。

表1 幾種眼球運(yùn)動探測方法的工作原理、特點(diǎn)、優(yōu)缺點(diǎn)Tab.1 The principles,characteristics,advantages and disadvantages of the methods for detecting eye movements

2 基于EOG的HCI系統(tǒng)的應(yīng)用

有關(guān)EOG 控制的HCI系統(tǒng)開始于對無障礙HCI的研究，用于與外界進(jìn)行交流，尤其是殘障人士無需依靠肢體就能與外界進(jìn)行信息交流。有效地提取EOG 中蘊(yùn)含的信息，進(jìn)而開發(fā)出由EOG 控制的康復(fù)輔助裝置，服務(wù)于肢體運(yùn)動控制障礙患者，已成為生物醫(yī)學(xué)、人機(jī)接口、康復(fù)工程等領(lǐng)域的熱點(diǎn)研究方向。基于EOG 的HCI系統(tǒng)主要應(yīng)用于以下幾個方面：通過操控眼球的運(yùn)動來設(shè)計鼠標(biāo)控制系統(tǒng)［25-26］或控制虛擬鍵盤進(jìn)行字符輸入［27-28］；通過EOG 來控制電動輪椅的運(yùn)動狀態(tài)；控制機(jī)械手的操作［29］；控制家用電器的運(yùn)行狀態(tài)；在一些危險環(huán)境下代替人類進(jìn)行操作作業(yè)以及在醫(yī)療上對重癥病人的監(jiān)護(hù)［30］。

1998年，Tecce 等［18］將眼電技術(shù)應(yīng)用到認(rèn)知領(lǐng)域。2001年，Di Mattia 等［31］經(jīng)過對EagleEyes 系統(tǒng)進(jìn)行持續(xù)的研究與完善，該系統(tǒng)在服務(wù)肢體運(yùn)動障礙人士領(lǐng)域得到應(yīng)用，并幫助殘疾兒童完成了相關(guān)課程的學(xué)習(xí)。2002年，西班牙阿爾卡拉大學(xué)Barea等［32］研發(fā)出一款由EOG 來控制的電動輪椅，成功地利用了眼球運(yùn)動的4個方向來控制電動輪椅的運(yùn)動，該電動輪椅具有操作方便、無需專門的訓(xùn)練、靈敏度較高且提供多種控制量的優(yōu)點(diǎn)。2004年，美國凱斯西儲大學(xué)的Chen 等［33］提出基于EOG 的視控機(jī)器人系統(tǒng)的設(shè)計與實(shí)現(xiàn)，該機(jī)器人控制系統(tǒng)能夠?qū)崿F(xiàn)對用戶EOG 的采集以及模式識別，從EOG 中提取出有效的特征信息，并將提取的特征信息轉(zhuǎn)化成能夠控制機(jī)械手的執(zhí)行命令，進(jìn)而實(shí)現(xiàn)對機(jī)械手的控制。但整個系統(tǒng)僅僅停留在對機(jī)械手的簡單控制上，不能滿足對機(jī)械手的手部姿勢進(jìn)行精準(zhǔn)操作的要求，這項(xiàng)技術(shù)還有待于研究。2007年，意大利比薩大學(xué)醫(yī)學(xué)部研發(fā)出了一種可靠性強(qiáng)、操作簡單、低功耗的由眼電控制的HCI系統(tǒng)，以便于肢體運(yùn)動控制障礙患者將其作為輔助通訊工具用于控制計算機(jī)［34］。該系統(tǒng)自動識別受試者眼球轉(zhuǎn)動的上、下、左、右這4 個方向，使其控制光標(biāo)在計算機(jī)屏幕上的移動，且在300 ms 以內(nèi)眨眼兩次表示確定鍵，為肢體運(yùn)動控制障礙患者帶來福音?；贓OG 的虛擬鍵盤打字系統(tǒng)，該系統(tǒng)是在屏幕上顯示出一個虛擬鍵盤的界面，在該界面下，可以通過檢測不同眼球運(yùn)動軌跡的EOG 來判斷眼球的運(yùn)動方向，對應(yīng)編碼，從而選擇虛擬鍵盤上的字母實(shí)現(xiàn)字符輸入的功能，波士頓學(xué)院的Tecce團(tuán)隊設(shè)計了一套虛擬英文鍵盤打字系統(tǒng)、浙江大學(xué)求是高等研究員開發(fā)了基于EOG 的虛擬鍵盤打字系統(tǒng)以及我國臺北的國立中央大學(xué)蔡章仁團(tuán)隊研發(fā)了一套智能輸入系統(tǒng)，該系統(tǒng)以不同眼球運(yùn)動軌跡的EOG 為辨析信號，轉(zhuǎn)化成計算機(jī)能識別的指令，進(jìn)而實(shí)現(xiàn)與外界的交流［35］。使用EOG 進(jìn)行字符輸入的系統(tǒng)的不足之處在于：用戶輸入一個英文單詞或者是一個漢字時，需要多次控制眼球的運(yùn)動，從而進(jìn)行字符的選擇。2009年，浙江求是高等研究院研發(fā)基于EOG 的重癥病人監(jiān)護(hù)系統(tǒng)［13］。我國臺北國立中央大學(xué)余長憲等［36］進(jìn)行了深入的研究，成功地將EOG 與機(jī)械手結(jié)合起來，實(shí)現(xiàn)EOG 控制機(jī)械手的功能。2011年，馬來西亞學(xué)者Al-Haddad 等［37］把EOG 應(yīng)用于控制輪椅的行進(jìn)，該研究大大提高了眼球運(yùn)動識別的精確度，EOG 水平角度的識別分辨率達(dá)到10°。2013年東北大學(xué)呼延洪［38］利用EOG 進(jìn)行HCI系統(tǒng)的研究，分別在時域、頻域進(jìn)行信號的特征提取，并將提取的特征信息轉(zhuǎn)化成能夠控制機(jī)器人的執(zhí)行命令，進(jìn)而實(shí)現(xiàn)對服務(wù)型機(jī)器人的控制。同一年，上海交通大學(xué)蔡浩宇［39］使用獨(dú)立成分分析的方法從前額EOG 中分離出獨(dú)立的眼電分量，利用基于眼電的警覺度分析方法，設(shè)計估計警覺度的系統(tǒng)，目的是檢測駕駛員在駕駛過程中的狀況。2014年，杭州電子科技大學(xué)周婷婷［40］研發(fā)了一套基于有意眼動的電動輪椅控制系統(tǒng)。2015年，電子科技大學(xué)郜東瑞等［41］開發(fā)了一套基于EOG 的智能輸入系統(tǒng)，使用者僅通過眨眼來控制虛擬鍵盤，進(jìn)而實(shí)現(xiàn)對字符輸入的功能。中國國內(nèi)的七鑫易維公司曾推出一款眼控儀—aSee，該眼控儀的基本原理是：通過光學(xué)傳感器捕獲、提取眼球的特征信息，實(shí)時測量眼球位置的移動來控制設(shè)備，進(jìn)而實(shí)現(xiàn)與外界進(jìn)行交流的功能。2018年，電子科技大學(xué)汪潤桂［42］設(shè)計了一套基于EOG 的智能藍(lán)牙鼠標(biāo)系統(tǒng)，主要是利用向上看、向下看、向左看、向右看以及連續(xù)兩次眨眼等不同的眼部動作來控制藍(lán)牙鼠標(biāo)的操作，該系統(tǒng)給運(yùn)動障礙患者帶來了巨大的福音。2019年，Zhang等［43］提出了一種基于異步EOG 的智能家居環(huán)境控制人機(jī)界面，人機(jī)界面允許用戶通過眨眼與智能家居環(huán)境進(jìn)行交互，目的是為嚴(yán)重脊髓損傷患者提供日常輔助。

近年來，EOG 不斷地應(yīng)用于HCI領(lǐng)域，在人機(jī)界面下，可以通過檢測不同眼球運(yùn)動軌跡的EOG 來判斷眼球的運(yùn)動方向，并將EOG 中有用的特征信息轉(zhuǎn)化成能夠操作外部設(shè)備的控制指令，從而實(shí)現(xiàn)對外部設(shè)備進(jìn)行控制的功能。EOG 可應(yīng)用在不同的場景中，如利用EOG 控制的智能家居環(huán)境控制機(jī)器人、虛擬現(xiàn)實(shí)HCI系統(tǒng)以及殘障人醫(yī)療輔助系統(tǒng)。基于EOG的研究和應(yīng)用有了較大的進(jìn)展。

3 基于EOG的HCI系統(tǒng)的局限性及發(fā)展趨勢

3.1 局限性

在過去的幾十年中，基于EOG 的HCI系統(tǒng)已取得了重要的進(jìn)展，不僅可以有效改善肢體運(yùn)動控制障礙患者的生活狀況，而且對于構(gòu)建和諧社會具有極為重要的意義。但該系統(tǒng)仍有一定的局限性：在實(shí)際操作方面，EOG 的測量需要較為昂貴的設(shè)備；影響EOG 采集的外界干擾較多，采集到的EOG 包含較多的偽差，EOG 的采集以及分析過程較為復(fù)雜；現(xiàn)有的EOG 技術(shù)大多研究水平方向上眼球的運(yùn)動狀態(tài)，垂直方向上的眼球運(yùn)動狀態(tài)極易受眼瞼運(yùn)動偽差的影響，所以研究較少［44］；從采集到的EOG中提取特征信息的精確問題還有待解決。因此，盡管關(guān)于EOG的研究已取得了較大的發(fā)展，但仍需進(jìn)一步的探索和研究。

3.2 發(fā)展趨勢

就目前的發(fā)展?fàn)顩r來看，基于EOG的HCI系統(tǒng)未來的發(fā)展趨勢應(yīng)側(cè)重于以下幾個方面。（1）提高基于EOG的HCI系統(tǒng)的集成化及智能化水平。具體包括提高EOG的抗干擾能力、優(yōu)化EOG處理方法，使EOG的信號采集和數(shù)據(jù)分析更便捷和高效；最終目標(biāo)是實(shí)現(xiàn)信號采集、特征提取以及識別智能化。（2）增加眼部動作模式。例如在掃視角度以及速度等方面對掃視模式進(jìn)行更精準(zhǔn)地分類；有效區(qū)分有意眨眼和無意眨眼，避免對HCI系統(tǒng)產(chǎn)生誤控制的問題；相關(guān)眨眼動作模式可以使分類更加精細(xì)化，以便能轉(zhuǎn)化更多相應(yīng)的命令增加控制模式。（3）改善控制軟件部分的編程方法，研發(fā)交互性能更加優(yōu)越的系統(tǒng)，把基于生物電的HCI系統(tǒng)應(yīng)用到娛樂、醫(yī)學(xué)、教育、軍事等領(lǐng)域。（4）在過去，眼電技術(shù)大多數(shù)在為殘障人士服務(wù)。在追蹤技術(shù)提高的情況下，將更多以普通人為目標(biāo)用戶。在保證HCI系統(tǒng)通用性的前提下，針對特定的用戶和使用情境，系統(tǒng)應(yīng)該滿足用戶個性化的需求。

總之，基于EOG 的HCI系統(tǒng)將朝著定量、精細(xì)、定位準(zhǔn)確的方向發(fā)展，其應(yīng)用的領(lǐng)域會更多，應(yīng)用前景更廣闊。