用于輕度認(rèn)知障礙測試的自然交互方法

郭馨蔚，陶霖密

1. 北京科技大學(xué) 機(jī)械工程學(xué)院，北京 100083

2. 清華大學(xué) 計算機(jī)科學(xué)與技術(shù)系，北京 100084

輕度認(rèn)知障礙（MCI）是人口老齡化現(xiàn)象帶來的一個較為值得關(guān)注的人類健康問題。進(jìn)入21 世紀(jì)以來，全球人口老齡化現(xiàn)象日益嚴(yán)重。1950 年全球老年人占總?cè)丝诒壤秊?%，2000 年為10%，預(yù)計到2050 年，全球老年人（60 歲以上）人數(shù)將會超過年輕人（15 歲以下）人數(shù)，老年人占總?cè)丝诒壤龑④S升至21%。毋庸置疑，人口老齡化勢必帶來人們對醫(yī)療需求的不斷增長，而作為老齡化現(xiàn)象的重要問題的MCI 越來越受到關(guān)注。MCI 是指有輕度的記憶或認(rèn)知方面的損害,其他認(rèn)知功能相對正常，主要基本特征是記憶損害。早期往往表征細(xì)微，但會逐漸發(fā)展直至嚴(yán)重阻礙了的正常生活。因此，識別各類認(rèn)知障礙、明確其癥狀并且知曉預(yù)防與治療方案是至關(guān)重要的。

MCI 測試是診斷和評價認(rèn)知功能減退的主要方法，面向MCI 的測試方法涵蓋了認(rèn)知的各個領(lǐng)域，其中，神經(jīng)心理測驗是目前診斷和評價認(rèn)知功能減退的主要方法，也是作為腦健康診斷依據(jù)的重要手段之一。傳統(tǒng)的腦健康測試有20 多類題目[1]，診斷的方式為主試醫(yī)生與被試病人的一對一、面對面的測試。整個測試過程依托于一套完整的紙質(zhì)測試問卷，主試醫(yī)生記錄病人的回答并打分。測試過程完全依賴于主試人員的自主判斷，因此使得主試醫(yī)生的培訓(xùn)過程十分漫長。在臨床測試中，為了減少病人的測試時間，醫(yī)生往往會錄制病人回答，在測試結(jié)束后，通過回放錄音來評估。由于被試病人一般年齡較大，且身體情況各異，主試醫(yī)生需要根據(jù)被試病人的身體狀態(tài)分次進(jìn)行測試，以此來實現(xiàn)對病人記憶能力、語言能力、認(rèn)知能力以及邏輯能力的全面了解。然而，由于認(rèn)知系統(tǒng)和測試過程本身的復(fù)雜性，即使是經(jīng)驗豐富、訓(xùn)練有素的?？漆t(yī)生，也需要數(shù)小時才能完成。所以，針對腦健康測試的應(yīng)用主要面向臨床研究展開，日常門診尚未普及。

得益于信息技術(shù)的不斷發(fā)展，醫(yī)療健康技術(shù)的信息化已經(jīng)成為全球趨勢。2010 年Woodford等[2]提出了把認(rèn)知功能診斷電子化的想法，后人構(gòu)想了電子版測試的流程[3-4]。但是他們也僅僅是描繪了電子版的藍(lán)圖，并沒有真正的實現(xiàn)出這個構(gòu)想。傳統(tǒng)的蒙特利爾認(rèn)知評估量表（montreal cognitive assessment，MoCA）[5]也在其官網(wǎng)上增加了在線電子測試，并驗證了遠(yuǎn)程測試[6]的效度。其目的在于提供給個人進(jìn)行自我診斷，但由于MoCA 過于簡單，一般適用于測試阿爾茨海默病患者(Alzheimer disease，AD)。

自然交互[7-8]是指用戶可以基于已有的生活經(jīng)驗和日常行為習(xí)慣直接與計算機(jī)互動，其核心特征是用戶無需特地學(xué)習(xí)便可借助使用認(rèn)知完成任務(wù)。因此，結(jié)合上述背景，本文提出了一套基于自然交互的腦健康測試方法，目標(biāo)是實現(xiàn)腦健康診斷系統(tǒng)的智能化發(fā)展。通過自然交互的行為構(gòu)建，實現(xiàn)臨床醫(yī)生的便捷使用，同時使得MCI 患者能夠輕松操作，從而提高臨床診斷效率，為腦健康測試的智能化提供有力支撐。

1 相關(guān)工作

徐光祐等[9-11]早在本世紀(jì)初就指出，計算將無處不在，以日常生活中自然的方式與機(jī)器交互是信息社會發(fā)展的必由之路。在醫(yī)療領(lǐng)域，自然交互的應(yīng)用已有一些研究。Sun 等[12]提出了基于嘴唇運(yùn)動的移動設(shè)備交互方法，使得帕金森病人等具有手運(yùn)動障礙的人群能夠更自如地使用移動識別。Wang 等[13]提出了使用耳朵接觸觸摸屏的方法，為盲人群體提供基于觸摸屏的手機(jī)交互方法，使得盲人能夠通過耳朵和觸摸屏的接觸，在文本轉(zhuǎn)語音模塊的幫助下，實現(xiàn)和現(xiàn)代觸摸屏手機(jī)的流暢交互。Jabeen 等[14]提出基于觸摸屏的一鍵交互方法，設(shè)計并實現(xiàn)了一鍵交互移動設(shè)備，使得帕金森、中風(fēng)等手顫抖的用戶能夠順利地使用移動設(shè)備。

另外，由于認(rèn)知障礙人群在精細(xì)動作方面具有一定的行為阻礙，文字輸入等行為對于他們來說依然是低效且具有一定困難的。因此，通過交互設(shè)定來改善輸入障礙人群的輸入行為也具有一定的研究價值。Polacek 等[15]基于觸摸屏的輸入特征和特定人群的輸入問題，綜述了近年來的研究成果并基于前人研究提出了新的建議。Jabeen等[16-18]提出了一鍵式交互的中文輸入方法，并建立了一鍵式拼音輸入的效率模型，使得目標(biāo)人群可以更加便捷、高效地完成輸入任務(wù)。

在面向MCI 人群的測試方法研究中，Buzzi 等[19]、Zhuang 等[20]以 及Klimova 等[21]提 出并設(shè)計面向MCI 人群在記憶、運(yùn)動等方面輔助診斷及恢復(fù)訓(xùn)練方面的智能交互系統(tǒng)。Hill 等[22]通過實驗研究驗證了智能化認(rèn)知訓(xùn)練的可靠性，以及其對多種MCI 都具有有效的干預(yù)作用。

上述研究表明，通過交互設(shè)計的形式來改善并提升臨床領(lǐng)域的工作效率是一個重要的研究方向，智能交互技術(shù)和用戶行為的研究解決了特殊人群在人機(jī)交互中所面臨的諸多困難。但是，用于MCI 患者的自然交互方法的研究依然處于起步狀態(tài)。

2 基于自然交互的測試方法

腦健康測試是諸多MCI 診斷方法中的重要方式之一。本研究設(shè)計的用戶MCI 的測試系統(tǒng)的使用用戶分為2 類：主試醫(yī)生和被試患者。對立用戶會在同一時空中使用系統(tǒng)，為了提升測試效率，面向不同用戶的用戶界面會有區(qū)分。測試過程中，被試患者界面會載入待測試題目內(nèi)容，主試醫(yī)生在引導(dǎo)病人進(jìn)行測試時，主試醫(yī)生界面會載入其所需記錄的信息。其中，醫(yī)生記錄的信息會在每完成一類題目后保存在數(shù)據(jù)庫中，并依據(jù)測試規(guī)則載入下一測試內(nèi)容。主試醫(yī)生在負(fù)責(zé)處理測試結(jié)果和整理分析數(shù)據(jù)的過程中，可對系統(tǒng)錯誤修正或回溯。當(dāng)下的MCI 測試系統(tǒng)解決了主被試用戶間由于智力、認(rèn)知或任務(wù)的差異所造成的信息失效和數(shù)據(jù)操作等方面的挑戰(zhàn)，為交互方法的提出和實現(xiàn)奠定了基礎(chǔ)。

2.1 語音輔助交互的測試方法

人的認(rèn)知包括多種方面，在實際生活中，也表現(xiàn)出個體在各方面的能力不同。反映到認(rèn)知測試中，需要數(shù)十類的問題來全面地測試個體認(rèn)知的各個方面，且每類大題都有自己的獨特的問題和測試規(guī)則。其中，數(shù)字廣度測驗（digital span test, DST）是一種測量記憶廣度的方法，由主試報出一串?dāng)?shù)字，被試根據(jù)試題的要求以順序或倒敘復(fù)述這串?dāng)?shù)字。測試的的結(jié)果分為3 種：數(shù)字和順序都正確，得2 分；數(shù)字正確而順序不正確，得1 分；若有數(shù)字缺失或者多了沒提到的數(shù)字，為0 分。相同長度的數(shù)字串要重復(fù)測試，避免被試偶然的失誤對最終得分的影響。相應(yīng)地，主試需要掌握的規(guī)則為這3 種情況的組合，一般需要長期的學(xué)習(xí)和實踐才能在測試中熟練運(yùn)用。數(shù)字記憶測試的最終得分為“最長全對長度”和“最長得分長度”。

針對復(fù)雜規(guī)則的情況，本研究探索了基于語音輔助交互的測試方法。將主試的測試指導(dǎo)語音和測試數(shù)字串預(yù)先錄制，在測試時，根據(jù)不同的任務(wù)節(jié)點，播放對應(yīng)的音頻。其次，基于語音識別技術(shù)（automatic speech recognition，ASR)和人工輔助的方法來記錄被試的回答。根據(jù)上述交互策略，如圖1 所示，為數(shù)字廣度測驗的結(jié)果的呈現(xiàn)頁面。

圖1 數(shù)字記憶測試交互界面（測試過程截屏）

圖1 中，表格上方為測試字符串，灰色區(qū)域顯示了供選擇的數(shù)字，比正確答案的長度多出2 列是考慮到MCI 病人的回答可能會比正常數(shù)字多出幾位。黃色表示正確的答案；如果順序錯誤但數(shù)字正確，則用綠色表示用；完全錯誤則用紅色表示。根據(jù)上述規(guī)則，主試可以對被試進(jìn)行提示，因此，在交互時加入計時功能，被試在規(guī)定的時間內(nèi)沒有回答，則系統(tǒng)通過語音輔助系統(tǒng)播放語音提示，并在白色區(qū)域內(nèi)記錄語音提示的次數(shù)。

考慮到被試人員的口音、表意以及語音識別正確率等問題，在正式的DST 測試中，會引入“測試助手”協(xié)助測試。“測試助手”根據(jù)終端顯示的數(shù)字和被試的回答核對結(jié)果，如果出現(xiàn)語音識別錯誤，則需要根據(jù)聽到的實際結(jié)果人工糾錯。最后，黃色的“E”表示回答結(jié)束，“測試助手”不可再更改測試結(jié)果。

圖1 顯示了單次的數(shù)字倒序測試過程，測試初始，被試沒有理解倒序測試的要求，經(jīng)過提示完成了測試，因此系統(tǒng)顯示了2 次測試結(jié)果。第1 次用綠色的背景表示數(shù)字正確，但順序錯誤。第2 次黃色背景的數(shù)字表示回答正確。而后，系統(tǒng)根據(jù)規(guī)則自動判斷，對長度為2 的數(shù)字串進(jìn)行了重新測試。通過后進(jìn)入“長度+1”的數(shù)字串測試，回答正確后，系統(tǒng)根據(jù)規(guī)則，直接跳過長度為3 的數(shù)字串的測試，而進(jìn)入長度為4 的字符串倒序測試，最后根據(jù)測試不斷增加數(shù)字串的長度，直到回答錯誤，根據(jù)規(guī)則終止測試。

2.2 紙筆交互的測試方法

視空間與執(zhí)行功能檢驗也是常用的MCI 測試方式之一，通常是以手繪的方式操作完成測試，包括本頓視覺保持測驗(Benton visual retention test, BVRT)[23]、連線測驗（trail making test，TMT）[2]、畫鐘測試（clock drawing test, CDT）[24]等多種類型。本頓視覺保持測驗，如圖2[2]所示，測試要求被試記住圖中的簡單圖案，并在紙上畫出這個圖案。用于測試被試對于空間圖形的記憶能力、空間字符的認(rèn)知能力、常識認(rèn)知與記憶以及手眼協(xié)同的運(yùn)動認(rèn)知能力等。圖3 顯示了一種連線測試，要求被試將圖中的數(shù)字1、2、3、4、5 和甲、乙、丙、丁、戊的字符之間，用直線連接。這類測試簡單是只有數(shù)字，復(fù)雜的是數(shù)字和字符交替鏈接。圖4[24]是認(rèn)知測試中最著名的畫鐘測試，主試出一個時間，要求被試在圖中的表盤里畫上指針顯示主試所說的時間，或者不給被試圖中的表盤，要求被試自己畫出表盤和指針。

圖2 本頓視覺保持測驗

圖3 連線測驗

圖4 畫鐘測試

這些認(rèn)知測試方法的共同特點是被試需要在指定區(qū)域畫出圖案，而從系統(tǒng)研發(fā)的角度分析，最便捷的交互方法是讓被試在移動設(shè)備的觸摸屏上通過手指或觸控筆繪圖或連線。上述認(rèn)知測試可以通過系統(tǒng)中的畫布對象（canvas）、畫筆對象（paint）和顏色對象（color）來實現(xiàn)，并將畫圖結(jié)果以圖片格式保存，同時可以將用戶行為軌跡保存下來，以便后期處理和分析判斷。但是，部分神經(jīng)心理專家和MCI 老年患者都否認(rèn)了這個方案。神經(jīng)心理專家表示，在改變傳統(tǒng)的紙筆輸入的測試方式后，需要重新驗證新的測試方法的效度。而MCI 測試的被試對象一般為老年人，他們學(xué)習(xí)能力較弱，且使用手指觸控的方式在屏幕上繪制圖案或是連線的意愿較低。此外，即使升級到電容筆，電容筆與玻璃表面的摩擦感受和紙筆摩擦仍存在差異。由于電容筆沒有筆尖，屏幕落點與界面顯示像素并非直接匹配，并且在實際的使用過程中體驗也和紙筆有所不同。因此，這種需要一定學(xué)習(xí)成本的輸入方式勢必會影響測試結(jié)果的真實性與準(zhǔn)確性。

基于上述研究問題與現(xiàn)狀，本文提出了基于數(shù)碼筆和普通紙張的自然交互方法。被試可以通過普通的圓珠筆在普通紙上繪圖來答題，無意識中實現(xiàn)了基于普通紙筆的電腦交互，極大地保留了測試的真實性與可靠性。

數(shù)碼圓珠筆是一種由圓珠筆芯、藍(lán)牙、微處理器、電池、USB 接口以及配套的定位接收頭等部分組成的一種具有普通筆的書寫功能的電子設(shè)備。它既可以在普通紙上書寫，也可以配備有定位裝置，實時顯示并獲取其在普通紙上書寫時的電子軌跡。如圖5 所示，這是一種基于數(shù)碼圓珠筆的信息輸入交互裝置。在MCI 的測試過程中，被試使用數(shù)碼圓珠筆在普通紙上根據(jù)測試要求進(jìn)行連線，數(shù)碼圓珠筆的定位頭接收到數(shù)碼圓珠筆發(fā)出的信號后，通過藍(lán)牙傳輸把數(shù)碼圓珠筆相對于接收頭的位置、筆頭壓力傳感器的信息傳遞給電腦，得到(x,y,t,p)四維數(shù)據(jù)。其中，p為t時刻筆尖所受到的書寫壓力。在測試過程中，系統(tǒng)根據(jù)輸入的四維數(shù)據(jù)以及預(yù)先的標(biāo)定數(shù)據(jù)，會在屏幕中實時地重繪書寫的軌跡。這一過程是實時發(fā)生的，因此看上去就像是普通的圓珠筆在普通紙張上書寫，同時同步到了平板或個人電腦上，并獲得軌跡信息。圖5 實驗表明，紙筆的書寫和屏幕上顯示的軌跡具有一致性。

圖5 紙筆交互測試（視頻截圖）

與數(shù)字廣度測試方法一樣，本研究同樣加入了語音輔助交互的模塊，系統(tǒng)會在測試過程中，提示被試起始位置，并在連線的過程中自動檢測連線的轉(zhuǎn)折位置是否在合適的圓圈內(nèi)。如果轉(zhuǎn)折的位置不在圓圈內(nèi)，或者所選擇的圓圈錯誤，系統(tǒng)都會播放主試的提示音來提醒被試注意。此外，在“畫鐘”等畫圖測試中，交互系統(tǒng)在提示被試開始的同時，會在判斷到被試長時間停滯時，提示被試?yán)^續(xù)畫圖。如果依然沒有繼續(xù)畫圖，則會提問被試是否已經(jīng)完成畫圖。

3 可用性測試

為了測試和迭代交互方法和界面設(shè)計，本文采用可用性測試來對前文提到的兩類測試方法進(jìn)行全面的評估。在系統(tǒng)的實現(xiàn)中，語音交互和紙筆交互是兩大核心自然交互路徑，而語音輸入模塊本文采用了國內(nèi)已成熟的語音識別軟件，因此，本次可用性測試重點針對系統(tǒng)的使用對象“測試助手”來設(shè)計測試內(nèi)容，進(jìn)而實現(xiàn)對系統(tǒng)的全面評估。

測試邀請了20 位用戶，分為G1 和G2 共2 組，作為“測試助手”分別對“語音輔助交互的測試方法”和“紙筆交互的測試方法”的可用性進(jìn)行測試。其中，G1 組的用戶沒有腦健康測試的背景知識，但對人機(jī)交互和智能系統(tǒng)具有深入的了解；G2 組的用戶即沒有腦健康測試的背景知識，也沒有人機(jī)交互領(lǐng)域的知識。具體測試包含3 個步驟：1）腦健康測試的概念和系統(tǒng)講解30 min；2）作為被試使用系統(tǒng)30 min；3）作為測試助手學(xué)習(xí)使用系統(tǒng)并對系統(tǒng)進(jìn)行可用性評估。

評估從“測試助手”使用系統(tǒng)時的5 個方面展開，用戶每完成一項任務(wù)，根據(jù)任務(wù)完成的時長或操作體驗給與評分：

1）學(xué)習(xí)時間測試：學(xué)習(xí)使用系統(tǒng)的時間少于10 min，5 分；時長10～30 min，4 分；時長30～60 min，3 分，時長大于60 min，2 分；學(xué)不會或其他情況，1 分。

2）界面設(shè)計評估：界面清楚，易于理解，5 分；界面清楚，可以理解，4 分；界面含義模糊，有待改進(jìn)，2～3 分；界面不清楚，難以理解，1 分。

3）界面使用評估：界面操作方便，非常好用，5 分；界面操作方便，可以使用，4 分；界面操作困難，有待改進(jìn)，2～3 分；界面不好用，難以操作，1 分。

4）開機(jī)情況測試：開機(jī)后進(jìn)入系統(tǒng)就能使用，無需額外設(shè)置，5 分；開機(jī)后進(jìn)入系統(tǒng)就能使用，但需要簡單的設(shè)置，4 分；開機(jī)后需要多種設(shè)置或輸入?yún)?shù)才能使用，3 分；開機(jī)后需要復(fù)雜的設(shè)置才能使用，設(shè)置有一定困難，2 分；開機(jī)后未完成設(shè)置，1 分；

5）系統(tǒng)硬件測試：硬件使用方便，操作流暢，5 分；使用方便但操作有些卡頓，4 分；硬件過大，難以操作，3 分；硬件過小，看不清楚，難以操作，2 分；硬件無法使用，1 分。

測試結(jié)果（表1）顯示，學(xué)習(xí)時間的得分普遍不高，平均學(xué)習(xí)時間超過了0.5 h。由于基于數(shù)碼圓珠筆和普通紙張的智能交互畫圖系統(tǒng)對測試助手的要求十分簡單，在原型階段的測試中，被測用戶均能在數(shù)分鐘之內(nèi)學(xué)會被試使用的基于數(shù)碼圓珠筆和普通紙張的智能交互畫圖系統(tǒng)，當(dāng)前結(jié)果與原型階段的預(yù)實驗有較大的差異。因此，在實驗結(jié)束后，針對2 組的評分進(jìn)行了半結(jié)構(gòu)訪談。訪談中發(fā)現(xiàn)，不論有無經(jīng)驗，G1 和G2 組用戶均能在10 min 之內(nèi)學(xué)會使用測試系統(tǒng)，訪談反饋與原型測試的結(jié)果一致。究其根本，發(fā)現(xiàn)部分用戶將培訓(xùn)時間或被試者學(xué)習(xí)時間一同計入了學(xué)習(xí)時間，因此而造成了學(xué)習(xí)時間普遍超過0.5 h。

表1 可用性測試評分表

實驗結(jié)果還表明，“紙筆交互”的“開機(jī)情況”得分不足3 分，在半結(jié)構(gòu)訪談中知曉，部分被測用戶的藍(lán)牙沒有自動連接，需要手動連接；部分被測用戶不會使用定位標(biāo)注，尤其是對于G2 組不具備人機(jī)交互領(lǐng)域知識的用戶來說，設(shè)備的無響應(yīng)或不準(zhǔn)確，會嚴(yán)重影響用戶在使用過程的體驗。

可用性測試表明，系統(tǒng)的主要問題集中在基于紙筆交互的系統(tǒng)中，藍(lán)牙圓珠筆和系統(tǒng)的連接仍需改進(jìn)，而點位標(biāo)注對于普通人而言難以理解。針對交互問題，本研究將在后續(xù)的實驗中選取更多不同廠家和型號的設(shè)備進(jìn)行測試。針對點位標(biāo)注的問題，則在后續(xù)的系統(tǒng)改進(jìn)中，重新設(shè)計了畫圖測試，在紙上打印接收器的位置，測試助手只需要將電子圓珠筆的按照紙上的位置進(jìn)行固定即可，不再需要在每次開機(jī)后進(jìn)行定位標(biāo)注。

4 結(jié)論

MCI 測試是基于對認(rèn)知各方面數(shù)據(jù)的測評與分析，也是作為腦健康診斷依據(jù)的重要手段之一。隨著中國老齡化的進(jìn)展，腦健康的測試需求將不斷增加。本研究借助自然交互的手段，探索了將傳統(tǒng)紙質(zhì)MCI 診斷智能化的可行性方案。

1）在數(shù)字廣度測試中，基于語音識別的數(shù)字輸入，構(gòu)建了基于語音輔助交互的智能判斷系統(tǒng)。通過對被試在測試過程中響應(yīng)時長等多重變量的智能分析，來判斷被試的行為。此外，通過語音提醒，給出相應(yīng)的測試指導(dǎo)，以此實現(xiàn)數(shù)字廣度測試系統(tǒng)的構(gòu)建。

2）在視空間與執(zhí)行功能測試中，本研究提出了基于傳統(tǒng)紙筆的自然交互方法，實現(xiàn)了使用數(shù)碼圓珠筆和普通紙張的圖形交互輸入。測試過程中，基于筆的運(yùn)動軌跡、停頓位置等因素，智能分析并判斷被試的行為，實現(xiàn)了基于普通紙筆的視空間與執(zhí)行功能測試系統(tǒng)。

3）在可用性測試實驗中，驗證了基于自然交互的MCI 測試系統(tǒng)的有效性，并根據(jù)可用性問題進(jìn)一步探索交互設(shè)備的兼容性和可學(xué)習(xí)性問題。在不斷迭代的過程中，基本實現(xiàn)了基于自然交互的MCI 測試系統(tǒng)研發(fā)的目標(biāo)。

4）本研究結(jié)論依托于人機(jī)交互技術(shù)的發(fā)展與智能算法的應(yīng)用，一定程度上實現(xiàn)了傳統(tǒng)MCI 測試的智能化發(fā)展，回應(yīng)了人口老齡化過程中不斷增長的腦健康測試的需求。

基于自然交互的MCI 測試系統(tǒng)的應(yīng)用，使得腦健康測試成為一種全民可學(xué)、可用的健康測試系統(tǒng)。智能交互賦能傳統(tǒng)臨床實踐，為提高全民腦健康發(fā)展貢獻(xiàn)微薄之力的同時，提升了檢測效率與準(zhǔn)確性，緩解了醫(yī)護(hù)人員繁復(fù)性的日常工作，進(jìn)而實現(xiàn)人民生活的改善。