學(xué)齡前兒童使用有形和多點觸控界面的眼動研究

李娜，張智彬，楊陽，沙書紅，翁仲銘

學(xué)齡前兒童使用有形和多點觸控界面的眼動研究

李娜1，張智彬1，楊陽1，沙書紅2，翁仲銘3

（1.天津電子信息職業(yè)技術(shù)學(xué)院，天津 300350；2.天津大學(xué)幼兒園，天津 300350；3. 天津大學(xué) 智能與計算學(xué)部，天津 300350）

比較有形用戶界面（TUI）和多點觸控界面（MTI）對學(xué)齡前兒童學(xué)習(xí)的影響。開發(fā)“NUMBERS”學(xué)前數(shù)學(xué)游戲，通過對比實驗分析學(xué)齡前兒童使用TUI和MTI完成任務(wù)時的任務(wù)績效、眼動追蹤數(shù)據(jù)、情緒問卷和訪談結(jié)果，以比較2種界面在認(rèn)知、注意力、情緒等方面的影響。當(dāng)使用TUI版本時，參與者進行了更多的探索；使用TUI版本的參與者在操作卡片時注視時間較短；使用TUI版本的參與者的注意力主要在屏幕上的出題區(qū)域和答題區(qū)域之間轉(zhuǎn)移；參與者對TUI版本的情緒問卷評分更高。TUI相較于MTI來說，能夠激發(fā)探索欲、降低認(rèn)知負(fù)荷、促進注意力集中、提高愉悅度，進而對學(xué)齡前兒童的學(xué)習(xí)產(chǎn)生長遠(yuǎn)的積極影響。這些發(fā)現(xiàn)為TUI在學(xué)前教育中的應(yīng)用提供了理論支持，同時也為眼動追蹤法在這一領(lǐng)域的應(yīng)用提供了可能。

有形用戶界面；多點觸控界面；學(xué)前教育；有形教育游戲；眼動追蹤

作為基礎(chǔ)認(rèn)知、社會/情感技能快速增長的時期，學(xué)前期是促進兒童教育潛力發(fā)展的一個特別敏感的時期[1]。在各種早期干預(yù)措施中，教育游戲以其娛樂性提升了學(xué)習(xí)動機和參與度，在支持學(xué)齡前兒童增強其想象力和促進其智力發(fā)展方面有非常重要的作用[2]。隨著互聯(lián)網(wǎng)技術(shù)的進步和經(jīng)濟的發(fā)展，越來越多的家庭能夠負(fù)擔(dān)得起智能手機和平板電腦等移動設(shè)備，使學(xué)齡前兒童的家庭學(xué)習(xí)活動成為可能[3]。然而，已經(jīng)有很多家長和教育研究者對學(xué)齡前兒童使用移動設(shè)備進行學(xué)習(xí)表達了擔(dān)憂[4]。一方面，隨著移動早教游戲應(yīng)用的爆炸式增長，市場上的游戲同質(zhì)化問題越來越嚴(yán)重，在某種程度上限制了學(xué)齡前兒童身心的全方面發(fā)展；另一方面，基于多點觸控界面（Multi- Touch Interface，MTI）的移動教育游戲使學(xué)齡前兒童依賴電子產(chǎn)品、沉迷虛擬世界，減少了其與物理世界的互動[5]。近年來，有形用戶界面（Tangible User Interface，TUI）作為一種能夠連接物理世界和虛擬世界的新興交互形式，逐漸進入普通大眾的視野[6]。TUI允許用戶操作實際的物體，利用數(shù)字傳感器檢測這些物體的屬性并與數(shù)字信息進行交流[7]。TUI引入了物理世界的豐富感官，使抽象的內(nèi)容更容易被學(xué)齡前兒童接受，為提高他們的學(xué)習(xí)成果提供了新的機會[8]。到目前為止，已經(jīng)有很多為學(xué)齡前兒童設(shè)計的TUI教育游戲，并廣泛應(yīng)用于數(shù)學(xué)學(xué)習(xí)[3]、編程學(xué)習(xí)[9]、繪圖[10]等方面。

然而，目前仍然缺乏比較TUI和MTI對增強學(xué)齡前兒童學(xué)習(xí)潛力的定量研究。以前的認(rèn)知科學(xué)理論證明，TUI與MTI相比可能存在優(yōu)勢，但是在促進學(xué)齡前兒童學(xué)習(xí)方面是否存在優(yōu)勢以及優(yōu)勢來自于哪里，還需要更多的實驗證據(jù)。

1 有形和多點觸控界面對比研究現(xiàn)狀

從歷史上看，幼兒常通過具體的物體來學(xué)習(xí)各種技能，因此TUI似乎是一種自然的學(xué)習(xí)形式。日?；顒拥奈锢碇苯有院褪煜ば苑浅＿m合建構(gòu)主義的學(xué)習(xí)方式，不僅可以增強學(xué)習(xí)者的動力，還可以幫助他們?nèi)谌胫R、態(tài)度和行為，從而有效地學(xué)習(xí)和表現(xiàn)[5]。認(rèn)知負(fù)荷理論表明，人們的工作記憶是有限的，因此無法處理超出其處理能力的更多信息。由于較高的認(rèn)知負(fù)荷可能會阻礙學(xué)習(xí)者的信息處理過程，從而影響學(xué)習(xí)性能，所以應(yīng)設(shè)計教學(xué)應(yīng)用程序以避免學(xué)習(xí)者產(chǎn)生較高的認(rèn)知負(fù)荷[11]。

建構(gòu)主義和認(rèn)知負(fù)荷等理論表明，在性能和學(xué)習(xí)方面，TUI應(yīng)優(yōu)于MTI[11]。人機工程學(xué)領(lǐng)域的研究人員已經(jīng)提出了TUI可能存在的理論優(yōu)勢：提升空間技能、支持認(rèn)知和學(xué)習(xí)、支持記憶和理解、促進學(xué)習(xí)和合作、提高愉悅感和參與度等[5]。

2006年，Waldner等[12]描述了一種有形圖塊系統(tǒng)（Tangible Tiles），并比較了該系統(tǒng)、商業(yè)觸摸屏和真實紙張在這種交互模式下的使用情況，結(jié)果顯示有形圖塊系統(tǒng)在支持協(xié)作和自然互動方面存在潛在優(yōu)勢。2011年，Schneider等[13]提出了一種臺式學(xué)習(xí)環(huán)境，并使用MTI或TUI觀察物流學(xué)徒的任務(wù)表現(xiàn)。根據(jù)研究發(fā)現(xiàn)，TUI能夠幫助學(xué)徒更好地完成任務(wù)并獲得更高的學(xué)習(xí)收益，使用TUI的小組可以更好地協(xié)作、探索更多的替代設(shè)計，并且使用TUI解決問題的過程更加有趣。2016年，他們通過眼動追蹤法擴展了之前的研究結(jié)果，發(fā)現(xiàn)TUI可以增加關(guān)鍵節(jié)點的視覺注意力，這被認(rèn)為是參與者任務(wù)表現(xiàn)和學(xué)習(xí)成果的重要預(yù)測因素[14]。2018年，Garcia等[15]提出了一種以平板電腦為載體的協(xié)作游戲化測驗應(yīng)用程序——Quizbot，比較了TUI和MTI 2個版本在支持用戶體驗和協(xié)作質(zhì)量方面的差異，發(fā)現(xiàn)2個版本基本上都一樣有趣且易于使用，并且可以有效地支持協(xié)作。

在以往對TUI和MTI的對比研究中，使用最多的研究方法包括：通過任務(wù)績效分析任務(wù)表現(xiàn)；通過前后測成績計算學(xué)習(xí)收益；通過問卷調(diào)查和訪談等定性方法來衡量用戶的主觀情緒等。由于這些研究都集中于成人和青少年人群，研究中所使用的定性方法對認(rèn)知發(fā)展尚不成熟的學(xué)前兒童來說可能會有困難，眼動追蹤作為一種可以監(jiān)控認(rèn)知負(fù)荷的非侵入性認(rèn)知測量方法，在針對學(xué)齡前兒童的可用性研究中具有不可替代的位置[16]。利用眼動追蹤法比較TUI和MTI對學(xué)齡前兒童認(rèn)知和學(xué)習(xí)的影響，具有新穎性和可行性。

2 有形和多點觸控界面對比實驗設(shè)計

2.1 “NUMBERS”學(xué)前數(shù)學(xué)游戲的開發(fā)

本文開發(fā)了一個基于iPad的學(xué)前數(shù)學(xué)游戲“NUMBERS”，以基礎(chǔ)數(shù)學(xué)運算為主要內(nèi)容，分為TUI和MTI 2個版本。TUI版本利用OpenCV開源視覺庫的資源，實現(xiàn)了從場景中識別卡片數(shù)字的功能。為了與幼兒園的教學(xué)進度相匹配，實驗中只保留了加法和減法運算的關(guān)卡。實驗?zāi)康氖抢醚蹌幼粉櫡ū容^TUI相對于MTI在促進學(xué)齡前兒童學(xué)習(xí)方面的潛力，從而為學(xué)前教育游戲的設(shè)計者提供參考，為更有教育意義的游戲設(shè)計提供認(rèn)知和學(xué)習(xí)理論基礎(chǔ)。

如圖1所示，“出題區(qū)”“答題區(qū)”“反饋區(qū)”“卡片區(qū)”和“操作區(qū)”組成一組興趣區(qū)（Area of Interest，AOI），這些區(qū)域嵌入了參與者與系統(tǒng)進行交互的數(shù)字信息和空間信息。每次游戲開始時，問題數(shù)字會出現(xiàn)在“出題區(qū)”，玩家需要從指定區(qū)域移動2張牌，使2張牌上的數(shù)字加起來等于問題數(shù)字。如果答案正確，玩家就可以進入下一題。玩家每次只能將2張牌同時移到“操作區(qū)”，超過2張牌將不被識別。此外，對2張牌的擺放順序沒有要求。當(dāng)時間用完后，游戲結(jié)束，并顯示游戲分?jǐn)?shù)。

MTI版本和TUI版本唯一的區(qū)別就是移動卡片的過程不同。TUI版本需要將桌面上的卡片移動到能被iPad識別的區(qū)域，而MTI版本需要玩家用手指將數(shù)字卡片直接拖拽到答題框中。由于每個數(shù)字可以使用2次，為TUI版本提供了8張實體卡片，印有數(shù)字“1”“2”“4”“5”的卡片各2張；為MTI版本提供了4張?zhí)摂M數(shù)字卡片，每張卡片可以移動2次。

圖1 有形和多點觸控版本的AOI劃分

本文總結(jié)了TUI相較于MTI版本在交互過程中的2個主要特性：

1）物理操作性。TUI版本允許幼兒使用抓握、移動和放置等物理動作對實體卡片進行操作，而MTI版本需要用手指在屏幕上點擊和拖放。相比于使用MTI時所需的精細(xì)手部動作，TUI版本的物理屬性使幼兒更容易對物理實體進行直接操作，更符合幼兒的認(rèn)知特點，可能降低操作過程中的認(rèn)知負(fù)荷，從而實現(xiàn)更好的任務(wù)性能并激發(fā)更多的嘗試。

2）手眼同時操作特性。TUI版本在空間上是多路復(fù)用的，允許幼兒在查看屏幕的同時用雙手移動卡片，而不必始終盯著屏幕。這種手眼協(xié)調(diào)的操作使幼兒有機會專注于教學(xué)信息的內(nèi)容而不是操作過程，可能有助于幼兒集中注意力，從而提高工作記憶。

以往的研究結(jié)果表明，TUI在提高學(xué)習(xí)收益方面比MTI更有優(yōu)勢，具體體現(xiàn)在提升任務(wù)表現(xiàn)、降低認(rèn)知負(fù)荷、促進注意力集中和提高愉悅度等方面，因此本文根據(jù)這4個方面提出以下假設(shè)：

假設(shè)1：學(xué)齡前兒童使用TUI版本比使用MTI版本解決問題的效果更好。

假設(shè)2：學(xué)齡前兒童使用TUI版本比使用MTI版本的認(rèn)知負(fù)荷更低。

假設(shè)3：使用TUI版本能使學(xué)齡前兒童的注意力更集中于關(guān)鍵信息。

假設(shè)4：學(xué)齡前兒童使用TUI版本比使用MTI版本的愉悅度更高。

2.2 實驗對象和實驗流程

參與者是來自天津大學(xué)幼兒園的28名大班學(xué)生（14名男孩，14名女孩），該幼兒園已同意參加本次實驗。在簽署同意書之前，筆者將這項研究的目的告知了參與者及其監(jiān)護人。參與者的年齡為4～5歲（= 4.31，=0.41），所有參與者的視力正?；虺C正正常。參與者被隨機分為T組（=14）和M組（=14），2個組別的人數(shù)相同、性別均衡。每個參與者都要經(jīng)歷TUI和MTI這2種實驗條件，這樣的實驗可以檢驗出不同實驗條件下的細(xì)微區(qū)別。

采用“2分鐘紙筆符號和非符號數(shù)值比較測試”[17]作為預(yù)測試來評估參與者的基本數(shù)學(xué)能力，以保證參與者在基礎(chǔ)數(shù)學(xué)運算方面沒有顯著差異。實驗中采用順序平衡的方法，相應(yīng)地改變實驗條件出現(xiàn)的順序，以此減少順序?qū)嶒灥挠绊?。T組先用TUI版本完成任務(wù)，再用MTI版本完成任務(wù)，M組則相反。實驗任務(wù)由2個部分組成：第1部分是在“2”“3”“4”“5”4個數(shù)字中隨機選擇一個數(shù)字來產(chǎn)生問題；第2部分是在“6”“7”“8”“9”4個數(shù)字中隨機選擇一個數(shù)字來產(chǎn)生問題。每一部分的時間限定為3 min。正確和錯誤的答案數(shù)量將被記錄在游戲日志中。參與者在實驗過程中的雙眼運動數(shù)據(jù)由Tobii Pro Glasses 2穿戴式眼動儀以50 Hz的頻率進行跟蹤和收集。參與者求助的次數(shù)和每次求助時提出的問題將被記錄在一張觀察記錄表中。整個實驗過程記錄在視頻和音頻文件中。

在完成每個版本的任務(wù)后，參與者完成“K-state”表情符號量表（見圖2）?！癒-state”表情符號量表是一個由表情符號組成的七點量表，旨在測量參與者對產(chǎn)品的簡單情緒反應(yīng)[18]。根據(jù)觀察，該量表在使用2個版本的游戲后，對學(xué)齡前兒童的娛樂性評估是有效且可信的。

最后，在實驗結(jié)束后的第2周對每一個參與者進行了一次5 min的半結(jié)構(gòu)化訪談，讓參與者用自己的語言描述使用2種版本進行游戲時的真實體驗。參與者會被問及他們對每個版本的總體印象和喜好程度、每個版本的優(yōu)缺點以及使用每個版本時遇到的困難。所有訪談均被抄錄，然后由筆者進行獨立分析。以下是訪談的大綱：

圖2 “K-state”表情符號量表

1）你更喜歡哪個版本？為什么喜歡？

2）你覺得這2個版本用起來有什么困難的地方？

3）你愿意在家或者在課堂上使用哪個版本的游戲？

3 實驗數(shù)據(jù)分析

對于預(yù)測試，所有參與者都在2 min內(nèi)完成了所有符號和非符號數(shù)值的比較。對預(yù)測試的分?jǐn)?shù)進行獨立樣本T檢驗，結(jié)果顯示2組之間的前測分?jǐn)?shù)無顯著差異（=0.270>0.05）。Shapiro-Wilk正態(tài)性檢驗顯示2組的得分均正常（=0.918>0.05；=0.635>0.05），表明該檢驗滿足正態(tài)性假設(shè)。

3.1 任務(wù)表現(xiàn)數(shù)據(jù)分析

游戲日志記錄了參與者在任務(wù)中答題的正確數(shù)和錯誤數(shù)，任務(wù)分?jǐn)?shù)由兩者相減得出。探索是指參與者試圖將卡片向“答題區(qū)”移動，然后收回卡片的過程。通過解析Tobii Pro Lab記錄的視頻來統(tǒng)計探索次數(shù)。以交互方式作為因子，對任務(wù)分?jǐn)?shù)和探索次數(shù)進行多變量方差檢驗（MANOVA）。Levene方差齊性檢驗結(jié)果證明了各組因變量的誤差方差是相等的。如表1所示，MTI的任務(wù)分?jǐn)?shù)均值為19.679（=8.701），大于TUI的均值12.286（=6.468），在0.01的水平下差異顯著（<0.01）。TUI版本的探索次數(shù)均值為3.000次（=1.388），大于MTI版本的均值1.714次（=0.854），在0.001的水平下差異顯著（<0.001）。

3.2 眼動數(shù)據(jù)分析

根據(jù)以往對眼動與認(rèn)知關(guān)系的研究，較長的注視持續(xù)時間代表更多的注意力和更高的認(rèn)知負(fù)荷[19]，因此本文選擇注視這個眼動指標(biāo)來分析用戶的認(rèn)知過程。

3.2.1 AOI總注視時長（TDF）對比分析

選擇Tobii Pro Lab導(dǎo)出的“Duration of Fixations”作為每個AOI注視時長的原始數(shù)據(jù)，并將所有AOI上的注視時長記為TDF（Total Duration of Fixations on All AOIs）。以游戲交互方式為因子，使用單因素方差分析（ANOVA）檢驗TDF存在的差異。Levene方差齊性檢驗結(jié)果顯示方差齊性。在TUI版本中TDF的均值為112.862 s（=25.932），小于MTI版本的均值132.760 s（=23.715），這種差異有統(tǒng)計學(xué)意義（<0.01）。

3.2.2 AOI注視時長百分比（PDF）對比分析

熱點圖可直觀地展示出被試者在刺激材料上的注意力分布情況，紅色的區(qū)域代表目光注視時間最長、次數(shù)最多，黃色和綠色的區(qū)域代表目光注視時間較短、次數(shù)較少[20]。如圖3所示，TUI版本和MTI版本的“出題區(qū)”都顯示為紅色，是注視最集中的區(qū)域。TUI版本的注意力主要集中在“答題區(qū)”，在“卡片區(qū)”的注意力較分散。MTI版本在“答題區(qū)”和“卡片區(qū)”的注意力分布基本平均。

表1 任務(wù)表現(xiàn)的多變量方差分析結(jié)果

Tab.1 MANOVA results of the task performance

注：**表示<0.01；***表示<0.001。

圖3 眼動熱點圖

除了熱點圖之外，本文還計算了每個AOI上的注視時長占所有AOI注視時長的百分比，記為PDF（Percentage of Duration of Fixations）。以交互方式為因子，通過多變量方差分析法（MANOVA）來檢驗2個版本在每個AOI上的PDF差異（多變量方差分析結(jié)果見表2）?？梢钥吹剑?個版本在“操作區(qū)”上的PDF無顯著差異。在TUI版本中，參與者在“出題區(qū)”的PDF均值為24.682%（=9.399），在“答題區(qū)”的PDF均值為34.764%（=10.529），顯著高于MTI版本（<0.01，<0.05）。MTI版本在“反饋區(qū)”的PDF均值為3.989%（=4.171），在“卡片區(qū)”的PDF均值為36.586%（=12.687），顯著高于TUI版本的PDF（<0.05，<0.01）。

3.2.3 AOI轉(zhuǎn)移次數(shù)百分比（PTA）對比分析

除了注視時長，注視軌跡也可以揭示用戶的認(rèn)知過程。圖4顯示了2個版本中AOI之間的注視轉(zhuǎn)移情況，5個節(jié)點代表了5個AOI，節(jié)點之間連線上的數(shù)字表示2個AOI之間的轉(zhuǎn)移次數(shù)占所有AOI轉(zhuǎn)移

次數(shù)的平均百分比，記為PTA（Percentage of Transi-tions of Two AOIs）。每2個節(jié)點之間的轉(zhuǎn)移是雙向的。

以游戲版本為因子，對每個節(jié)點向外連出的4個方向上的PTA各進行一次多變量方差分析。如表3和圖4所示，在TUI版本中，從“答題區(qū)”到“出題區(qū)”的PTA最具代表性（=17.904，=5.510），從“出題區(qū)”到“答題區(qū)”的PTA次之（=14.347，=5.308），均顯著大于MTI版本的PTA（2個方向，<0.001）。

此外，TUI版本中從“卡片區(qū)”到“操作區(qū)”的PTA（=8.050，=3.410）顯著大于MTI版本（< 0.01）。在MTI版本中，“答題區(qū)”和“卡片區(qū)”2個方向的PTA分別為18.343（=7.164）和11.580（=5.192），顯著大于TUI版本的PTA（2個方向，<0.001），從“答題區(qū)”到“出題區(qū)”的PTA（=12.600，=3.670）雖然小于TUI版本中的PTA，但也發(fā)揮了重要的作用。圖4還顯示，從“反饋區(qū)”到其他AOI的PTA在2個版本中都是最小的。此外，在MTI版本中，“反饋區(qū)”和“卡片區(qū)”之間的轉(zhuǎn)移次數(shù)更多（2個方向，<0.01），從“反饋區(qū)”到“出題區(qū)”的轉(zhuǎn)移次數(shù)也更多（<0.05）。

表2 PDF（%）的多變量方差檢驗結(jié)果

Tab.2 MANOVA resultsof the PDF (%)

注：*表示<0.05；**表示<0.01。

圖4 AOI之間的轉(zhuǎn)移

表3 PTA（%）的多變量方差檢驗結(jié)果

Tab.3 MANOVA resultsof the PTA(%)

注：**表示<0.01；***表示<0.001。

3.3 參與者主觀體兩驗分析

3.3.1 “K-state”表情符號量表分?jǐn)?shù)對比分析

本文統(tǒng)計了各版本的“K-state”分?jǐn)?shù)，并以交互方式為因子對“K-state”分?jǐn)?shù)進行了單因素方差分析。結(jié)果顯示，TUI版本的“K-state”分?jǐn)?shù)均值為6.214（=0.738），顯著大于MTI版本的均值5.107（= 0.832）。

3.3.2 半結(jié)構(gòu)化訪談結(jié)果對比分析

所有16名參與者都接受了采訪。其中，9名參與者表示他們更喜歡TUI版本，5名參與者表示他們更喜歡MTI版本，2名參與者表示他們兩者都喜歡或不知道。對于TUI版本，8名參與者表示更喜歡，因為直接用雙手觸摸卡片，使用起來更方便。3名參與者表示，TUI版本識別過程有延遲，影響了提問速度。對于MTI版，大部分參與者表示使用起來沒有困難。有4位參與者表示，他們用手指拖動卡片到“答題區(qū)”有困難，因為手指需要與卡片精確對準(zhǔn)，一旦手指松開一點，卡片就會彈回“卡片區(qū)”。此外，有4名參與者表示，看到“反饋區(qū)”的正確和錯誤提示數(shù)量使他們很緊張。還有2名參與者表示MTI版本太長，玩起來很無聊。

4 對假設(shè)的討論

4.1 任務(wù)表現(xiàn)

假設(shè)1：學(xué)齡前兒童使用TUI版本比使用MTI版本解決問題的效果更好。

從任務(wù)表現(xiàn)結(jié)果來看，TUI版本的得分低于MTI版本，但兩者之間的錯誤答案數(shù)量沒有顯著差異。根據(jù)訪談結(jié)果，主要原因可能是TUI版本的操作范圍較大，識別時間延遲，導(dǎo)致答題時間較長。盡管如此，與MTI版本相比，TUI版本的探索次數(shù)更多，部分原因是參與者覺得在桌子上移動卡片更舒服，更愿意嘗試將不同的卡片移動到識別區(qū)域，而參與者在使用MTI版本移動卡片時更加謹(jǐn)慎。因此，根據(jù)上述結(jié)果，雖然TUI版本在此次實驗中沒有取得更好的任務(wù)表現(xiàn)，但可以使學(xué)齡前兒童更愿意嘗試，這對長期學(xué)習(xí)是有利的。

4.2 認(rèn)知負(fù)荷

假設(shè)2：學(xué)齡前兒童使用TUI版本比使用MTI版本的認(rèn)知負(fù)荷更低。

眼動追蹤結(jié)果顯示，與MTI版本相比，TUI版本在“出題區(qū)”和“答題區(qū)”的注視時間較長，但在“反饋區(qū)”和“卡片區(qū)”的注視時間較短，表明參與者在使用TUI版本操作卡片時的認(rèn)知負(fù)荷較低。訪談表明，MTI版本在“卡片區(qū)”的注視時間較長的原因可能是它需要更精確的操作和更多的注意力；參與者更關(guān)注“反饋區(qū)”，因為剩余的時間和錯誤答案的數(shù)量使他們感到緊張，這種壓力促使參與者加快速度以獲得更高的分?jǐn)?shù)。此外，TUI版本在所有AOI上的總注視時間明顯少于MTI版本，這意味著參與者在使用TUI版本時并沒有太大的困難。因此，學(xué)齡前兒童使用TUI版本時認(rèn)知負(fù)荷較低的假設(shè)是成立的。

4.3 注意力分布

假設(shè)3：使用TUI版本能使學(xué)齡前兒童的注意力更集中于關(guān)鍵信息。

根據(jù)TDF和PTA的結(jié)果可以看出，在TUI版本中，參與者的注意力主要在“答題區(qū)”和“出題區(qū)”之間轉(zhuǎn)移，這可以解釋為在TUI的互動過程中，參與者可以在看屏幕的同時雙手同時移動卡片。在MTI版本中，參與者的注意力主要在“答題區(qū)”“出題區(qū)”和“卡片區(qū)”之間轉(zhuǎn)移。其中，“答題區(qū)”和“卡片區(qū)”之間的轉(zhuǎn)移次數(shù)最多，這可以解釋為MTI版本的交互過程需要參與者用手指將卡片拖到“答題區(qū)”，他們的眼球運動必須始終跟隨手指運動。由于“答題區(qū)”和“出題區(qū)”是2個最重要的區(qū)域，包含了運算的關(guān)鍵數(shù)字信息，因此TUI更關(guān)注這2個區(qū)域?qū)⒂兄谔岣邔W(xué)習(xí)效果。

4.4 愉悅度

假設(shè)4：學(xué)齡前兒童使用TUI版本比使用MTI版本的愉悅度更高。

本研究的“K-state”表情符號量表結(jié)果顯示，參與者對TUI版本評分更高。從訪談中筆者了解到，喜歡TUI版本的參與者表示玩卡片很愉快，因為他們可以很容易地拿著卡片移動；而喜歡MTI版本的參與者表示，觸摸屏幕可以更快地得到正確的答案，這讓他們很開心。不喜歡TUI版本的參與者表示識別的過程不夠快，影響了他們的答題速度；而不喜歡MTI版本的參與者表示，他們對使用MTI感到緊張，因為他們需要時刻盯著卡片，“反饋區(qū)”的信息會讓他們感到緊張。結(jié)合“K-state”表情量表以及訪談結(jié)果可以看出，TUI版本更能讓幼兒感到愉悅，更受他們的青睞。

5 結(jié)語

本文為學(xué)齡前兒童設(shè)計了一款基于平板電腦的數(shù)學(xué)游戲“NUMBERS”，并通過眼動追蹤法來比較TUI和MTI版本在提高學(xué)習(xí)效果方面的潛力。結(jié)果顯示，使用TUI會帶來更多的探索、更低的認(rèn)知負(fù)荷、更多對關(guān)鍵信息的注意力以及更高的愉悅度，對學(xué)齡前兒童具有長期的積極影響。本文填補了學(xué)齡前兒童使用有形和多點觸控界面對比研究領(lǐng)域的空白，為設(shè)計用于幼兒學(xué)習(xí)的有形用戶界面游戲提供了理論基礎(chǔ)。未來，筆者或?qū)⑼ㄟ^開展長期對照試驗，比較有形用戶界面和多點觸控界面對學(xué)齡前兒童學(xué)習(xí)的影響，進一步檢驗探索、認(rèn)知負(fù)荷、注意力和愉悅性等因素對長期學(xué)習(xí)效果的中介效應(yīng)。

[1] MCCOY D C, YOSHIKAWA H, ZIOL-GUEST K M, et al. Impacts of Early Childhood Education on Medium- and Long-Term Educational Outcomes[J]. Educational Researcher, 2017, 46(8): 474-487.

[2] RAMANI G B, ROWE M L, EASON S H, et al. Math Talk during Informal Learning Activities in Head Start Families[J]. Cognitive Development, 2015, 35: 15-33.

[3] YU Jun-nan, ROQUE R. A Review of Computational Toys and Kits for Young Children[J]. International Journal of Child-Computer Interaction, 2019, 21: 17-36.

[4] SAMARAKOON U, USOOF H, HALLOLUWA T. What they can and Cannot: A Meta-Analysis of Research on Touch and Multi-Touch Gestures by Two to Seven- Year-Olds[J]. International Journal of Child-Computer Interaction, 2019, 22: 100151.

[5] BAYKAL G E, ALACA I V, YANTA? A e, et al. A Review on Complementary Natures of Tangible User Interfaces (TUIs) and Early Spatial Learning[J]. International Journal of Child-Computer Interaction, 2018, 16: 104-113.

[6] ORAN? C, KüNTAY A C. Learning from the Real and the Virtual Worlds: Educational Use of Augmented Reality in Early Childhood[J]. International Journal of Child-Computer Interaction, 2019, 21: 104-111.

[7] ISHII H, ULLMER B. Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms[C]// Pro-ceedings of the ACM SIGCHI Conference on Human factors in computing systems. Atlanta, Georgia, USA. New York: ACM, 1997: 234-241.

[8] XU D. Tangible User Interface for Children-an Overview Conference in the Department of Computing[C]. New York: ACM, 2005: 579-584.

[9] PAPAVLASOPOULOU S, SHARMA K, GIANNAKOS M N. Coding Activities for Children: Coupling Eye- Tracking with Qualitative Data to Investigate Gender Differences[J]. Computers in Human Behavior, 2020, 105: 105939.

[10] BLAGOJEVIC R, WHITELEY B, ZHEN S J, et al. TUI-geometry: A tangible user interface for geometric drawing on an interactive tabletop[C]//Proceedings of the Annual Meeting of the Australian Special Interest Group for Computer Human Interaction. Parkville VIC Australia. New York: ACM, 2015.

[11] ZUCKERMAN O, GAL Z A. To TUI or not to TUI: Evaluating Performance and Preference in Tangible Vs. Graphical User Interfaces[J]. International Journal of Human-Computer Studies, 2013, 71(7-8): 803-820.

[12] WALDNER M, HAUBER J, ZAUNER J, et al. Tangible Tiles: Design and Evaluation of a Tangible User Interface in a Collaborative Tabletop Setup[C]//Proceedings of the 18th Australia conference on Computer-Human Interaction: Design: Activities, Artefacts and Environments. New York: ACM, 2006: 151-158.

[13] SCHNEIDER B, JERMANN P, ZUFFEREY G, et al. Benefits of a Tangible Interface for Collaborative Learning and Interaction[J]. IEEE Transactions on Learning Technologies, 2011, 4(3): 222-232.

[14] SCHNEIDER B, SHARMA K, CUENDET S, et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning[J]. ACM Transactions on Computer-Human Interaction, 2016, 23(6): 39.

[15] GARCIA S F, JURDI S, JAEN J, et al. Evaluating a Tactile and a Tangible Multi-Tablet Gamified Quiz System for Collaborative Learning in Primary Education[J]. Computers & Education, 2018, 123: 65-84.

[16] KLAIB A F, ALSREHIN N O, MELHEM W Y, et al. Eye Tracking Algorithms, Techniques, Tools, and Applications with an Emphasis on Machine Learning and Internet of Things Technologies[J]. Expert Systems With Applications, 2021, 166: 114037.

[17] NOSWORTHY N, BUGDEN S, ARCHIBALD L, et al. A Two-Minute Paper-and-Pencil Test of Symbolic and Nonsymbolic Numerical Magnitude Processing Explains Variability in Primary School Children's Arithmetic Competence[J]. PLoS One, 2013, 8(7): 67918.

[18] SWANEY-STUEVE M, JEPSEN T, DEUBLER G. The Emoji Scale: A Facial Scale for the 21st Century[J]. Food Quality and Preference, 2018, 68: 183-190.

[19] KIM J E, NEMBHARD D A. Eye Movement as a Mediator of the Relationships among Time Pressure, Feedback, and Learning Performance[J]. International Journal of Industrial Ergonomics, 2019, 70: 116-123.

[20] LIAO C N, CHANG Kuo-en, HUANG Y C, et al. Electronic Storybook Design, Kindergartners' Visual Attention, and Print Awareness: An Eye-Tracking Investigation[J]. Computers & Education, 2020, 144: 103703.

An Eye-tracking Study of Preschoolers' Use of Tangible and Multi-touch Interfaces

LI Na1, ZHANG Zhi-bin1, YANG Yang1, SHA Shu-hong2, WENG Zhong-Ming3

(1.Tianjin Electronic Information College, Tianjin 300350, China; 2.The Kindergarten of Tianjin University, Tianjin 300350, China; 3.College of Intelligence and Computing, Tianjin University, Tianjin 300350, China)

This paper compares the effects of tangible user interfaces (TUI) and multi-touch interfaces (MTI) on preschoolers’ learning. A preschool educational game, "NUMBERS", is developed and the comparison experiment is used to analyze task performance, eye-tracking data, emotion questionnaires, and interview results of TUI and MTI. Therefore, the difference between these two interfaces are compared on cognition, attention and emotion. The study indicates that participants explore more using TUI. Meanwhile, the participants have fewer fixations while manipulating the playing cards and shift their attention mainly between the "question area" and "answer area" on the screen. Moreover, they have higher responses on the emotion questionnaire. Compared with MTI, the TUI can stimulate exploration, reduce cognitive load, improve concentration, and intensify pleasure, which positively impacts on the preschool learning. These findings provide theoretical support for applying TUI in preschool education and make the eye-tracking method applied in the preschoolers’ learning field possible.

tangible user interfaces; multi-touch interfaces; preschool education; tangible educational games; eye-tracking

TB472

A

1001-3563(2022)16-0101-08

10.19554/j.cnki.1001-3563.2022.16.010

2022–03–12

首批國家級職業(yè)教育教師教學(xué)創(chuàng)新團隊課題研究項目（YB2020020102）

李娜（1983—），女，碩士，講師，主要研究方向為職業(yè)教育、人工智能。

翁仲銘（1970—），男，博士，副教授，主要研究方向為人工智能。

責(zé)任編輯：馬夢遙