基于眼電的智能輸入系統(tǒng)研究

郜東瑞 甘玉龍 李鵬霄 謝佳欣 堯德中 劉鐵軍

(電子科技大學生命科學與技術(shù)學院，成都 610054)

?

基于眼電的智能輸入系統(tǒng)研究

郜東瑞 甘玉龍 李鵬霄 謝佳欣 堯德中 劉鐵軍#*

(電子科技大學生命科學與技術(shù)學院，成都 610054)

為了幫助肢體運動功能障礙患者與外界交流，設(shè)計一套基于眨眼眼電的便攜式智能輸入系統(tǒng)，使用者僅通過眨眼便能控制人機交互界面上的虛擬鍵盤進行字符輸入。該系統(tǒng)中的信號采集模塊先對眼電信號經(jīng)行預處理，然后將其轉(zhuǎn)換為數(shù)字信號傳輸至微處理。微處理首先通過數(shù)字形態(tài)學方法濾除信號中的尖峰噪聲，然后通過動態(tài)閾值和歸一化、微分算法識別主動眨眼信號，并完成對虛擬鍵盤的控制，實現(xiàn)中文、英文或數(shù)字的輸入。選擇12名受試者分別在常規(guī)實驗室、電磁干擾較大的磁共振設(shè)備室和戶外的運動場進行測試。結(jié)果表明，該系統(tǒng)在上述3個不同的環(huán)境中能夠準確識別眨眼信號并實現(xiàn)中文、英文及數(shù)字的輸入，而且輸入字符的平均準確率不低于98%，中文、英文字符和數(shù)字的平均輸入速度分別為(2.8±0.3)、(6.6±0.35)、(9.7±0.38)個/min。因此，該系統(tǒng)的抗干擾能力較強，能夠幫助肢體運動功能障礙患者實現(xiàn)與外界交流。

眼電圖；人機交互；嵌入式系統(tǒng)；圖形化用戶界面

引言

一些肢體運動功能障礙患者與外界交流的能力基本喪失，他們不能正常使用傳統(tǒng)的人機交互(human-computer interaction, HCI)設(shè)備(如鍵盤、鼠標等)與外界交流。目前，國內(nèi)外已有大量關(guān)于無障礙人機交互技術(shù)的研究，也提出了一系列的無障礙人機交互的解決方案[1-2]。比較有應(yīng)用前景的方案有：基于肌電的控制系統(tǒng)、基于腦電的腦機接口(brain-computer interface, BCI)控制系統(tǒng)和基于眼動的控制系統(tǒng)等。但對于肢體障礙患者(如“漸凍癥”病人)來講，眼動控制設(shè)備最容易被接受，因為隨著此類病人的病情加重，他們的多數(shù)運動功能都將失去控制，只有眼部運動功能是最后喪失的。人們對基于眼動的交互系統(tǒng)的研究始于100多年前[3]，這種交互技術(shù)的關(guān)鍵是對眼動的記錄，并將其解析成具體的指令，以達到交互的目的。目前眼球運動的探測方法主要有：磁搜索線圈技術(shù)[4]、眼電圖技術(shù)、紅外眼動圖法[5]、視頻記錄法[6]。

磁搜索線圈法具有高的空間和時間分辨率的特點，一度被奉為記錄眼動的黃金標準，但其具有一定的侵入性，需要將微型線圈放置到眼中，使用者會感覺不舒服[7]。

紅外眼動圖法使用了紅外光源，是當前比較流行的一種測量技術(shù)。該方法通過攝像頭拍攝使用者眼部正面圖像，然后通過計算機圖形學方法對圖像進行處理，并得到瞳孔注視點[8]。紅外眼動圖法的優(yōu)點是非接觸式，無需佩戴任何儀器就能獲取眼動信號，其缺點是易受可見光影響，需要復雜的圖形處理技術(shù)，處理時間長，并且價格昂貴。

視頻記錄法不具有任何侵入性，前期準備時間大大減少，對正常的眼動實驗來說沒有任何障礙，因此也成為了磁搜索技術(shù)的替代方法，并得到廣泛的應(yīng)用。但它的空間和時間分辨率偏低，并且很難在晚上對眼動進行準確記錄。

在眼動控制的幾種方法中，眼電圖技術(shù)具有成本低、便于操作等優(yōu)勢，因此受到人們的廣泛關(guān)注，該技術(shù)在國內(nèi)也已經(jīng)取得了一些成就[1,6,9]。但這些方法大多是通過光學成像記錄眼球運動軌跡的方法實現(xiàn)對外部設(shè)備的控制，此類方法所開發(fā)的相關(guān)設(shè)備也存在一些問題：一是它們?nèi)菀资艿酵饨绛h(huán)境的干擾(如可見光過強或過弱都會影響設(shè)備的信號識別率)；二是此類設(shè)備需要使用者注意力高度集中才能準確識別眼球運動信號，它很容易使使用者產(chǎn)生疲勞；三是該類設(shè)備的成本相對較高(一般高達上萬、甚至幾十萬元)，中國大部分患者家庭很難負擔的起此類費用；四是此類設(shè)備開發(fā)相對復雜，多數(shù)功能需要在PC機上實現(xiàn)，不便于攜帶。本文作者通過調(diào)查發(fā)現(xiàn)，人類眼部眨眼信號特征比較明顯，因此設(shè)計了一款低成本(小于2 000元)、基于眨眼眼電信號的便攜式智能輸入設(shè)備。該設(shè)備僅通過兩根電極即可提取患者(如“漸凍癥”病人)眨眼眼電信號，信號經(jīng)過模擬電路的濾波處理之后，在微處理器中通過動態(tài)閾值方法識別眨眼信號，并將其作為控制命令實現(xiàn)與外界的交互。對12名不同受試者在不同的場合分別輸入中英文和數(shù)字進行測試，結(jié)果表明系統(tǒng)能正確識別用戶眨眼并進行字符輸入，滿足用戶依靠眨眼實現(xiàn)人機交互的需求。

1 方法

1.1 系統(tǒng)總體方案

整個系統(tǒng)包括模擬和數(shù)字兩大部分，原理框圖如圖1所示。模擬部分進行眼電信號的采集；數(shù)字部分以主控ARM芯片S3C6410為核心，包括人機交互界面、存儲芯片以及必要的通信接口等。電極獲取到眼電信號之后，將其傳輸至信號采集電路，實現(xiàn)對模擬信號去噪、放大以及模數(shù)轉(zhuǎn)換，然后通過SPI總線將數(shù)字信號發(fā)送給主控芯片，該芯片應(yīng)用相關(guān)算法對數(shù)據(jù)進行數(shù)字濾波、眨眼判斷，并將眨眼信號解析為命令來控制人機交互界面進行字符輸入和顯示，同時實時顯示使用者的眼電波形。

圖1 系統(tǒng)原理框圖Fig.1 System functional block diagram

1.2 系統(tǒng)硬件設(shè)計

1.2.1 眨眼眼電信號的采集

通過3個Ag/AgCl電極采集人體眼電，其中額頭中間位置的電極為右腿驅(qū)動電極，兩眼的上下兩個電極用于測量垂直眼電信號(見圖1)，垂直眼電幅度=眼上電極記錄信號幅度-眼下電極記錄信號幅度。

1.2.2 信號采集電路

為了實現(xiàn)設(shè)備的便攜，根據(jù)眨眼眼電信號幅度高、波形明顯的特點(幅度50 μV～3 mV，持續(xù)時間200～300 ms)，信號采集電路在保證性能的基礎(chǔ)上盡量簡化，并且電路采用可拆卸的模塊化設(shè)計方案。信號采集電路僅包含德州儀器(TI)公司的集成模擬前端ADS1299、2.048 MHz有源晶振以及必要的電阻電容。ADS1299屬于專用于生物電勢測量的低功耗、低噪聲、8通道、24位集成模擬前端芯片，內(nèi)置最高24倍的可編程增益放大電路和右腿驅(qū)動電路。圖2為ADS1299單通道原理。

圖2 ADS1299單通道原理Fig.2 Single channel functional diagram of ADS1299

1.2.3 主控外圍電路

S3C6410以ARM11為核心，具有豐富的外圍接口和對應(yīng)的控制器，大部分外設(shè)可直接與其相連，如UART、SPI、USB、NAND FLASH、SDRAM等。本系統(tǒng)中，S3C6410外擴了256MB的SDRAM以及1GB的NAND FLASH進行信息的存儲；串口，mini USB以及SD卡用于前期系統(tǒng)的調(diào)試和裝載；SPI接口用來與信號采集電路進行數(shù)據(jù)通信；10.1英寸LCD屏顯示人機交互界面。

1.3 系統(tǒng)軟件設(shè)計

軟件設(shè)計主要包括SPI驅(qū)動和應(yīng)用程序兩個部分。修改原始版本引導加載程序U-BOOT，對Linux2.6.38.2內(nèi)核進行裁剪和修改，制作yaffs2文件系統(tǒng)，將Qt4.7.0版本的庫文件存放在文件系統(tǒng)的對應(yīng)位置下，然后分別編譯并依次下載至NAND FLASH。

1.3.1 SPI驅(qū)動設(shè)計

設(shè)備驅(qū)動程序是一類用來驅(qū)動硬件正常工作的程序，驅(qū)動程序一般針對特定的設(shè)備進行設(shè)計，硬件只有加載了設(shè)備驅(qū)動才能正常工作，同時與該設(shè)備相關(guān)的頂層應(yīng)用程序才能正常運行。在Linux系統(tǒng)中，設(shè)備驅(qū)動一般分為字符設(shè)備、塊設(shè)備、網(wǎng)絡(luò)設(shè)備以及混雜設(shè)備四類。

本系統(tǒng)所需大部分驅(qū)動在Linux內(nèi)核中都已包含，不需要再進行設(shè)計，只需編寫S3C6410與ADS1299進行數(shù)據(jù)通信的SPI總線的驅(qū)動。SPI總線是一類同步串行外設(shè)接口，它可以作為MCU與外圍設(shè)備之間的一條數(shù)據(jù)通信鏈路。SPI總線為全雙工通信，屬于主從通信模式。通常MCU作為主機，外圍設(shè)備作為從機，通信時鐘由主機產(chǎn)生，一次傳輸8個數(shù)據(jù)位。本系統(tǒng)將SPI驅(qū)動歸類為混雜類設(shè)備驅(qū)動，在驅(qū)動程序中對SPI總線進行了初始化，并實現(xiàn)對數(shù)據(jù)的讀寫，為頂層應(yīng)用程序提供了數(shù)據(jù)讀寫的接口。圖3為SPI接口連接。

圖3 SPI接口連接Fig.3 SPI interface connection diagram

1.3.2 應(yīng)用程序設(shè)計

系統(tǒng)應(yīng)用程序主要包括眼電數(shù)據(jù)的濾波處理和閾值判斷，以及采用Qt編寫的人機交互界面設(shè)計。Qt是一款跨平臺的C++圖形用戶界面應(yīng)用程序開發(fā)軟件，對常用的圖形界面程序進行了類的封裝，并對其進行擴展和修改，大大提高了程序開發(fā)的靈活性。研究中對比3種不同濾波算法濾除噪聲的效果，選擇濾波效果最明顯的算法，將其運用到本系統(tǒng)中，然后通過動態(tài)閾值算法和歸一化算法實時檢測眨眼，并將眨眼解析為命令，控制人機交互界面進行字符輸入。

1.3.2.1 濾波算法選擇

由于眨眼信號特征比較明顯，只有測量過程中電極移動帶來的“尖峰”噪聲對其影響比較嚴重，因為該噪聲容易被誤判為眨眼信號。因此本文先對比常見的3種濾波算法對眼電信號中“尖峰”噪聲的濾波效果，即有限沖激響應(yīng)(FIR)濾波器、無限沖激響應(yīng)(IIR)濾波器以及數(shù)字形態(tài)學的濾波器，然后將濾波效果明顯的算法應(yīng)用到本系統(tǒng)。

1)有限沖激響應(yīng)(FIR)濾波器。這種濾波器是一線性系統(tǒng)，若輸入信號為x(0),x(1),…,x(n)，經(jīng)過該系統(tǒng)后的輸出信號，y(n)可表示為

(1)

該濾波器的頻率響應(yīng)為

(2)

由于FIR濾波器可以設(shè)計成在整個頻率范圍內(nèi)均可提供精確的線性相位，而且總可以與濾波系數(shù)保持BIBO溫度無關(guān)，該濾波器在很多應(yīng)用中都可以使用。

2)無限沖激響應(yīng)(IIR)濾波器。由于IIR濾波器中存在反饋回路，因此對于脈沖輸入信號的響應(yīng)是無限延續(xù)的，其傳遞函數(shù)可以表示為

(3)

利用選頻濾波器的特性可以提取有用信號的頻率分量，這類濾波器適用輸入信號中有用信號頻帶與干擾信號頻帶不同的情況。

3)數(shù)學形態(tài)學的濾波算法。數(shù)學形態(tài)學(mathematical morphology)是一種數(shù)字圖像處理方法，由一組形態(tài)學算子組成，包括膨脹、腐蝕、開操作和閉操作。

選取合適的結(jié)構(gòu)元素，通過腐蝕可消除二值圖像中不相關(guān)的部分，比如尖峰干擾；通過膨脹可將裂縫橋接起來，比如孔洞和小凹陷。利用數(shù)學形態(tài)學可對信號進行平滑處理，去掉肌電干擾、系統(tǒng)干擾等高頻尖峰噪聲。

假設(shè)對向量A進行處理，結(jié)構(gòu)元素B為k維向量，B對A腐蝕定義為

(4)

B對A膨脹定義為

(5)

從式(4)或式(5)可以看出，在對點A[m]進行腐蝕或膨脹時，需要用到待處理的A[m]，A[m+1]，…，A[m+k-1]共k個點的值，因此會有k個點的延遲。

開操作是對圖像先腐蝕后膨脹，反之，閉操作是對圖像先膨脹后腐蝕，其定義分別為

(6)

(7)

按式(5)對眼電信號進行基于數(shù)學形態(tài)學的濾波，即對A先開操作，后閉操作，有

(8)

結(jié)構(gòu)元素B[m]中的長度m是根據(jù)波形的時域特點來進行選擇的。通過統(tǒng)計分析發(fā)現(xiàn)突變噪聲點連續(xù)出現(xiàn)的個數(shù)最大為4。數(shù)學形態(tài)學算法要求，結(jié)構(gòu)元素的長度只有大于信號中最大的連續(xù)噪聲點數(shù)，才能有效去除噪聲。本系統(tǒng)將結(jié)構(gòu)元素B[m]的長度設(shè)為5，這樣不僅能夠?qū)崿F(xiàn)對噪聲的抑制，而且可以獲得最優(yōu)的時間復雜度。又由于信號中突變噪聲點的幅值相同，所以B[m]中元素初始值取0，即B[5]=(0，0，0，0，0)。

1.3.2.2 眨眼檢測

在實驗進行中，眼電信號的基線可能會因電極與皮膚接觸阻抗變大等原因發(fā)生變化，從而影響眨眼識別的正確性，因此采用固定閾值是不可行的。通過動態(tài)閾值算法可有效避免上述情況，即在每次檢測到一次眨眼動作后重取閾值。此外為了避免多次重復判斷眨眼信號的情況，也運用歸一化、微分算法去除重復判斷的信號。

1)動態(tài)閾值算法。人眨眼時會產(chǎn)生幅度特征明顯的信號(見圖4)，因此可通過設(shè)定閾值判斷眨眼，當信號幅度大于閾值時則判定為眨眼信號。

系統(tǒng)采樣率為250Hz。如圖4所示，首先在不眨眼的情況下取500個點的平均值，得到初始基線值B，進而得到眨眼信號判定閾值A(chǔ)=B+S，其中S為眨眼信號初始值，該值是被試訓練階段所測眨眼信號幅度峰值的1/6。

由于在實際的測量過程中，電極與皮膚接觸阻抗的變化、電極發(fā)生輕微移動或電極線擺動等因素都會引起信號基線B發(fā)生漂移。如果信號閾值A(chǔ)不隨基線B發(fā)生改變，則當基線B的波動幅度大于閾值A(chǔ)時，將導致對眨眼信號的錯檢、漏檢的現(xiàn)象發(fā)生。因此，需要閾值A(chǔ)隨基線B線性變化才能準確地檢測眨眼信號，即動態(tài)閾值法。具體判斷方法為：

當連續(xù)判斷30個點大于A時，則判定為一次眨眼，即圖4中D1～D2區(qū)間。接著重新計算閾值，也就是重新計算基線值。由圖4可知，D2～D3為信號波形下降區(qū)間，并不是基線處數(shù)據(jù)點，因此需要放棄這段區(qū)間的數(shù)據(jù)。通過統(tǒng)計，需要丟棄此區(qū)間不穩(wěn)定70個數(shù)據(jù)點，當波形回歸到基線水平時重新獲取40個點求平均值，由此得到新的基線B，該值和S相加后獲得新的閾值A(chǔ)，然后進行下一次的眨眼判斷。

圖4 眼電波形Fig.4 Electro-oculogram wave form diagram

2)歸一化、微分算法。在一個單獨的眨眼眼電波形中，大于閾值的數(shù)據(jù)點往往是超過60個的，當最開始大于閾值的30個點被檢測到之后，系統(tǒng)便會判斷一次眨眼，并繼續(xù)檢測同一個眼信號波形中接下來的30個點，若大于閾值，仍會判斷為一次眨眼，這就導致了一次眨眼被重復判斷。歸一化、微分算法能避免這種現(xiàn)象。

眨眼信號的判別含4個步驟。

步驟1：建立數(shù)組x[n]存儲眼電信號，依次取數(shù)組中的數(shù)據(jù)與閾值作對比；

步驟2：當出現(xiàn)首個x[i]i≤n大于閾值時，設(shè)置標示量k1=0，并繼續(xù)判斷數(shù)組中的值與閾值的關(guān)系;

步驟3：當出現(xiàn)首個x[i+m](i+m)≤n小于閾值時，設(shè)置表示量k2=m，并判斷k2-k1值；

步驟4：若(k2-k1)≥30，標記flag=1，則判定為一次眨眼信號，并進入步驟1，開始下一次判斷；若(k2-k1)<30，標記flag=0，則認為無眨眼信號，直接進入步驟1，開始新的判斷。

這樣就能有效防止眨眼被重復的判斷。

1.4 系統(tǒng)驗證方法

1.4.1 硬件性能測試

由于本系統(tǒng)屬于便攜式的醫(yī)療設(shè)備，因此參照中華人民共和國國家計量檢定規(guī)程(JJG 954—2000)的相關(guān)測量方法，測試本系統(tǒng)的共模抑制比、噪聲等參數(shù)，以便驗證該系統(tǒng)是否滿足JJG 954—2000中相關(guān)的參數(shù)要求。

測試時，ADS1299采樣率為250 Hz，內(nèi)部增益12倍，參考電壓VREF=4.5 V，系統(tǒng)供電電壓6.5 V。

1.4.2 字符輸入準確率測試

為了驗證系統(tǒng)的穩(wěn)定性，隨機挑選課題組內(nèi)的12名受試者(8名男生、4名女生)在不同場合分別進行6次打字實驗，實現(xiàn)內(nèi)容包含中文、英文和數(shù)字的輸入。首先在環(huán)境安靜、電磁輻射較小的常規(guī)實驗室內(nèi)進行測試，目的是檢測系統(tǒng)的最優(yōu)工作狀態(tài)。然后在電磁噪聲很強的磁共振設(shè)備室進行測試，目的是測試系統(tǒng)的抗干擾能力。最后在戶外運動場進行測試，因為戶外的可見光較強、環(huán)境比較噪雜，而且可以隨意的移動，以此來測試使用者受到外界干擾時，是否能夠穩(wěn)定的進行字符輸入。為了保證測試結(jié)果的一致性，使用者在進行打字輸入試驗時，電極的佩戴如圖1所示，其中活動電極佩戴至右眼眼上側(cè)，活動電極佩戴至右眼下側(cè)，右腿驅(qū)動電極放置在額頭。在進行輸入字符準確率計算之前，所有使用者都進行10 min的打字訓練，并統(tǒng)一設(shè)定光標在虛擬鍵盤的循環(huán)間隔為1.2 s。字符準確率的計算方法為

(8)

式中，M為系統(tǒng)識別到的眨眼次數(shù)，N為總的眨眼次數(shù)。

2 結(jié)果

2.1 3種濾波算法對比

分別采集3名被試的原始眨眼信號，然后應(yīng)用3種濾波方法進行濾波對比。在3種濾波器濾波時間相同的條件下，設(shè)定FIR濾波器階數(shù)為100階，IIR濾波器階數(shù)為10階，結(jié)果如圖5所示。由圖可見，基于數(shù)學形態(tài)學的濾波算法能夠很好濾除眨眼信號中的“尖峰”噪聲(見圖5(d))，而FIR濾波器和IIR濾波器不能消除這些噪聲(見圖5(b)和圖4(c))，因此本系統(tǒng)選擇數(shù)字形態(tài)學的算法濾除眼電信號中的噪聲。

圖5 3種濾波算法濾除尖峰噪聲的效果對比。(a)原始眨眼眼電時域波形；(b)FIR(100階)濾波的信號波形；(c)IIR(10階)濾波的信號波形；(d)形態(tài)學濾波的信號波形Fig.5 Comparison of three kinds of filtering algorithms to eliminate noise. (a)Time-domain waveform of the blink electro-oculogram signal; (b) The signal after being filtered by FIR (100 order); (c) The signal after being filtered by IIR (10 order); (d) The signal after being filtered by mathematical morphology

2.2 人機交互界面

通過前面的算法提取到眨眼信號之后，就可以通過主控芯片將眨眼信號所表達的信息在人機交互界面上顯示出來，如圖6所示。圖6(a)所示界面用于設(shè)置閾值和時間，其中閾值代表了眨眼信號初始值S，時間代表了虛擬鍵盤中選擇光標(簡稱“光標”)循環(huán)的時間間隔(表示為t)，使用者根據(jù)自身

的反應(yīng)速度和使用設(shè)備的熟練程度自行設(shè)定t值，t值的范圍一般為1～1.5 s。圖6(b)所示界面為打字和眨眼信號顯示界面，其中圖6(b)的上方為信號顯示界面，每一個信號尖峰代表一次眨眼；圖6(b)的左下方為九宮格形式的虛擬鍵盤，支持中文、英文和數(shù)字等3種輸入法的一鍵切換；圖6(b)的右下方為字符顯示板。

系統(tǒng)開機后進入圖6(a)的界面，當光標移動到使用者需要的數(shù)值時，主動眨眼一次即可選擇目標數(shù)字。若選擇錯誤，等待光標移動到“退格”時，主動眨眼一次，即可刪除數(shù)字。當設(shè)置完閾值和時間之后，系統(tǒng)自動切換到人機交互界面圖6(b)。光標首先在圖6(b)左下角九宮格中行循環(huán)，當綠色選擇光標移動到目標按鍵所在的行時主動眨眼一次，進入所在行的列循環(huán)。再通過主動眨眼，選擇綠色選擇光標對應(yīng)的目標按鍵，即可選擇該按鍵。最終根據(jù)光標的移動和眨眼的不斷選擇，即可實現(xiàn)類似于手機拼音打字的信息輸入。

2.3 硬件性能

對系統(tǒng)的幾個關(guān)鍵參數(shù)分別進行10次測量，并取平均值，測試結(jié)果如表1所示。從表可知，所設(shè)計系統(tǒng)的共模抑制比和輸入噪聲都滿足JJG 954—2000(國標要求：共模抑制比大于80 dB，噪聲不大于5 μV)的要求，系統(tǒng)帶寬滿足眼電信號的頻率范圍。

2.4 字符輸入準確率測試

字符輸入準確率的具體測試結(jié)果如表2～4所示，使用者的字符輸入速度如表5所示。

表2 在常規(guī)實驗室內(nèi)進行字符輸入的測試準確率(%)

Tab.2 Experimental accuracy (%) of input character for different subjects in the room

使用者使用者輸入字符內(nèi)容德州儀器電子科技大學生物醫(yī)學工程你好hello0123456789男110010098100100100男21009595100100100男393989610099100男4男5男6男7男8959810010099100999810010096100100991001009810099981001001001001001009910098100女110098100100100100女2女3女49810010098100100971001001001009910099100100100100

表3 在磁共振設(shè)備室內(nèi)進行字符輸入的測試準確率(%)

Tab.3 Experimental accuracy (%) of input character for different subjects in the equipment room of MRI

被試使用者輸入字符內(nèi)容德州儀器電子科技大學生物醫(yī)學工程你好hello0123456789男1100100100100100100男210097100100100100男3981009899100100男4男5男6男7男898981001001001001009810010099100100100100100981009998100100100100100100100100100100女110099100100100100女2女3女41009910010010010098100991001001009910010010099100

表4 在戶外運動場進行字符輸入的測試準確率(%)

Tab.4 Experimental accuracy (%) of input character for different subjects in the outdoor

使用者使用者輸入字符內(nèi)容德州儀器電子科技大學生物醫(yī)學工程你好hello0123456789男1100100100100100100男210010098100100100男3100100100100100100男4男5男6男7男89998100991001001001001001001001009910010010098100999810010099100100100100100100100女110098100100100100女2女3女410010010010010099100999910010010010010010010099100

表2～4的結(jié)果顯示，在3種不同的環(huán)境下，使用者輸入字符的平均準確率不低于98%，因此說明該系統(tǒng)的穩(wěn)定性比較強，使用者能夠使用該設(shè)備實現(xiàn)與外界的交互。表5的結(jié)果顯示，中文的平均輸入速率為2.8±0.3，英文平均輸入速率為6.6±0.35，數(shù)字平均輸入速率為9.7±0.38。從結(jié)果中可知英文和數(shù)字的輸入速度要高于中文的輸入速度。

表5 使用者輸入字符最小速率(個/min)

Tab.5 The minimum rate (character/min) of input character for different subjects

使用者中文輸入速率英文輸入速率數(shù)字輸入速率男1246292男2326698男32870100男4306494男5男6男7男824322830706464681021009896女1326090女2266892女3女426286270100100平均值28±0366±03597±038

3 討論

基于眼電圖技術(shù)所開發(fā)的一些輔助設(shè)備為肢體運動障礙患者(如“漸凍癥”病人)提供了很大的幫助。人們開發(fā)這些設(shè)備所采用的方法多是根據(jù)眼球運動方向?qū)崿F(xiàn)相關(guān)的控制，但采用該方法開發(fā)的設(shè)備成本較高，抗干擾能力較差。因此需要一種新的方法幫助肢體運動障礙患者與外界更方便的交互。本文通過研究發(fā)現(xiàn)，眨眼眼電信號的特征比較明顯且抗干擾能力較強，因此采用相關(guān)的方法提取使用者眨眼眼電信號，并以此為基礎(chǔ)實現(xiàn)人機交互的方法是可行的。

圖5的結(jié)果顯示，與FIR和IIR濾波器相比較，基于數(shù)學形態(tài)學的濾波算法能夠很好濾除眼電信號中的“尖峰”噪聲，因此本系統(tǒng)采用數(shù)字形態(tài)學的濾波方法能夠提高系統(tǒng)的穩(wěn)定性。為了進一步增加系統(tǒng)識別眼電信號的準確率，本系統(tǒng)根據(jù)不同使用者眼電幅度設(shè)定初始值(見圖5)，然后通過動態(tài)閾值的方法來識別眼電信號，這樣就能夠避免因不同使用者眼電幅度不同或測試過程中基線發(fā)生變動時，而可能出現(xiàn)錯判或誤判的現(xiàn)象。

表1為硬件系統(tǒng)測試結(jié)果，其測試過程是參考JJG 954—2000《中華人民共和國計量檢定規(guī)程》來進行的。從表1可知，除了系統(tǒng)功耗較大之外，系統(tǒng)的其他參數(shù)都滿足JJG 954—2000中的技術(shù)指標。本文為了突出演示效果，因此選用了功耗、體積較大的LCD屏(4W)，該顯示屏消耗了整個系統(tǒng)80%的能量，在接下來的工作中可以采用低功耗的LCD屏，以便將系統(tǒng)功耗降低至1W以內(nèi)。

目前常見的用于肢體運動功能障礙患者的輔助設(shè)備對環(huán)境適應(yīng)能力較差，一般只能在常規(guī)室內(nèi)或安靜的環(huán)境中使用。為了測試系統(tǒng)的性能，選擇了較為安靜的室內(nèi)、電磁干擾較大的磁共振設(shè)備室以及周邊環(huán)境較為噪雜的戶外運動場等3個不同場合進行字符輸入測試。表2～4的結(jié)果表明，6名受試者在不同的環(huán)境下均能完成指定的打字要求，而且輸入漢字的平均準確率大于98%，輸入英文和數(shù)字的準確率接近100%。因此，該系統(tǒng)抗干擾能力比較強，能夠滿足使用者的日常需求。

表5的結(jié)果表明，使用者輸入漢字的速度(2.8±0.3)要低于英文字符(6.6±0.35)和數(shù)字(9.7±0.38)的速度，主要的原因為中文輸入法是通過拼音拼寫的方法實現(xiàn)的，它需要多次選擇不同字符才能選出目標字，因此速度相對較慢。此外，從表5的結(jié)果中也可以看出，與手機打字的速度相比，字符輸入的整體速度并不是很快。但該系統(tǒng)主要的應(yīng)用對象是肢體運動功能障礙患者(如“漸凍癥”病人)，該類病人的四肢無法運動，只有眼部肌肉的運動功能是最后喪失的，因此，幫助此類病人通過眼部運動實現(xiàn)與外部的交流是目前最佳的方法，而基于眨眼眼電信號開發(fā)輔助設(shè)備易于實現(xiàn)，且使用方便。眨眼具有一定的速度限制，而且眨眼過于頻繁容易造成疲憊，信號判斷的準確率降低，因此平均1～1.5 s的眨眼頻率是比較合適的[1,9]，不過隨著熟練程度的增加，字符的輸入速度會進一步提高。但從測試結(jié)果中可以看出，系統(tǒng)在3個場合的表現(xiàn)都很穩(wěn)定，使用者都可以較為準確的實現(xiàn)字符的輸入，而且隨著熟練程度的增加，打字的準確率會進一步的提高，此外，在測試過程中發(fā)現(xiàn)，系統(tǒng)對眨眼信號反應(yīng)比較靈敏，未出現(xiàn)眨眼后由于系統(tǒng)反應(yīng)延遲而影響選擇結(jié)果的現(xiàn)象，并且波形顯示窗口能夠?qū)崟r顯示信號。

4 結(jié)論

本系統(tǒng)采用的形態(tài)學濾波算法，能夠有效去除信號中的尖峰噪聲。動態(tài)閾值和歸一化、微分算法能夠避免對眨眼眼電信號的重復判斷，提高了對眨眼信號判斷的準確率。通過實驗驗證，該系統(tǒng)能夠以高的準確率實現(xiàn)中文、英文和數(shù)字的輸入顯示，而且具有很高的穩(wěn)定性，能夠幫助四肢殘障人士與外界進行交流。

[1] 鄭敏敏, 高小榕. 基于眼電的字符輸入系統(tǒng)[J].中國生物醫(yī)學工程學報,2012,31(6): 801-806.

[2] 吳湛微.從EOG掃視信號中提取人眼位置信息的研究[D].上海:華東理工大學,2004.

[3] Jacob RJK, Kam KS. Eye tracking in human-computer interaction and usability research: Ready to deliver the promise [J]. Mind, 2003, 2: 573-605.

[4] Stahl JS, Van Alphen AM, Zeeuw CD. Acomparison of video and magnetic search coil recording of mouse eye movements [J]. Journal of Neuroscience Methods, 2000, 99(1):101-110.

[5] Kai-Uwe S, Markus HM. Comparing eye movements recorded by search coil and infrared eye tracking [J]. Journal of Clinical Monitoring and Computing, 2007, 21(1):49-53.

[6] 李衛(wèi)娜，侯文生，鄭小林.基于Electrooculogram的眼動信息識別[J].儀器儀表學報，2007,28(8):1428-1433.

[7] 李昕.基于眼電的無障礙人機交互技術(shù)研究[D]. 杭州：浙江大學，2010.

[8] 馬翔, 趙樂軍，張晴. 基于紅外位移傳感器的眼動測量系統(tǒng)[J]. 華東理工大學學報，2009,35(6):897-901.

[9] 陳衛(wèi)東，李昕，劉俊，等. 基于數(shù)學形態(tài)學的眼電信號識別及其應(yīng)用[J]. 浙江大學學報, 2011, 45(4): 644-649.

Research of Intelligent Speller System Based on EOG

Gao Dongrui GanYulong Li Pengxiao Xie Jiaxin Yao Dezhong Liu Tiejun#*

(SchoolofLifeScienceandTechnology,UniversityofElectronicScienceandTechnologyofChina,Chengdu610054,China)

A portable intelligent speller system based on blink electro-oculogram (EOG) was designed to help patients of limb movement function disorders to communicate with other people. The user can control virtual keyboard to spell characters by blinking on human-computer interaction (HCI) interface. The signal would be pre-processed by acquisition module of the system. Then the signal was converted to digital signal, and the digital signal was transmitted to microprocessor. Pike noise of the digital signal was firstly filtered by mathematical morphology. Then dynamical threshold algorithm and normalization, differential algorithm were used to detect the blink. According to the information of EOG, virtual keyboard was controlled to spell characters by microprocessor. In this paper, 12 subjects were tested the system in three occasions (routine laboratory, magnetic resonance imaging equipment room with the large electromagnetic interference, and outdoor playground). Results showed that the system could accurately identify blink signal and spell characters including Chinese, English and numbers. Besides, the mean average precision of input character was above 98%. The average input speeds of Chinese character, English character and number were 2.8±0.3, 6.6±0.35 and 9.7±0.38 (per/min), respectively. Hence the system which has higher interference rejection is appropriate for patient of limb movement function disorders.

electro-oculogram(EOG); human-computer interaction; embedded system; graphical user interface

10.3969/j.issn.0258-8021. 2015. 06.004

2015-05-14， 錄用日期:2015-08-19

國家重大科學儀器開發(fā)專項(2012YQ120046)；國家高技術(shù)研究發(fā)展計劃(863計劃)(2015AA020510)

R318

A

0258-8021(2015) 06-0662-08

# 中國生物醫(yī)學工程學會會員(Member, Chinese Society of Biomedical Engineering)

*通信作者(Corresponding author)， E-mail: liutiejun@uestc.edu.cn