基于深度學(xué)習(xí)技術(shù)的注意力轉(zhuǎn)移模式的挖掘

嚴(yán)薇薇 曠小芳 肖云霞 鄭夢(mèng)雪 劉俊 楊娟

[摘 ? 要] 注意力在二語習(xí)得領(lǐng)域被認(rèn)為是將輸入轉(zhuǎn)化為吸收的充分必要條件，是影響二語學(xué)習(xí)的主要認(rèn)知因素。目前大多數(shù)研究集中在注意力分布上，很少有研究涉及二語學(xué)習(xí)者的注意力轉(zhuǎn)移模式，然而注意力轉(zhuǎn)移具有的時(shí)序特征更能準(zhǔn)確地反映二語學(xué)習(xí)者的思維過程。關(guān)于注意力模式的發(fā)現(xiàn)方法主要有描述統(tǒng)計(jì)方法和基于白盒的回歸/預(yù)測(cè)技術(shù)，前者能獲得具有統(tǒng)計(jì)學(xué)意義的結(jié)論，后者能建構(gòu)較復(fù)雜的因果關(guān)系模型，但是均無法直接從高緯度特征空間中獲取有意義的指征，因而無法建立較高準(zhǔn)確率且可解釋的模型?；诖耍狙芯渴褂蒙疃葘W(xué)習(xí)技術(shù)以及可視化技術(shù)挖掘二語（英語）學(xué)習(xí)者處理在線任務(wù)時(shí)的注意力轉(zhuǎn)移模式。正反例的關(guān)鍵特征熱度圖顯示，低齡二語學(xué)習(xí)者的線性注意力控制模式與其在線任務(wù)表現(xiàn)緊密關(guān)聯(lián)，可直觀解釋其線性注意力控制能力對(duì)在線任務(wù)完成度的影響。該模型同時(shí)具備較高回歸/預(yù)測(cè)準(zhǔn)確率。此結(jié)論對(duì)我國低齡兒童英語學(xué)習(xí)的認(rèn)知干預(yù)研究有著重要意義。

[關(guān)鍵詞] 二語習(xí)得; 注意力控制; 注意力模式; 注意力轉(zhuǎn)移; 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); 眼動(dòng)追蹤

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 嚴(yán)薇薇（1996—），女，四川德陽人。碩士研究生，主要從事基于機(jī)器學(xué)習(xí)的語言認(rèn)知模式挖掘、基于認(rèn)知干預(yù)的計(jì)算機(jī)輔助語言學(xué)習(xí)的研究。E-mail：1844241746@qq.com。

一、引 ? 言

注意力控制是影響二語習(xí)得的主要認(rèn)知因素，它包括兩種認(rèn)知模式，即注意力分配和注意力轉(zhuǎn)移?？v觀二語習(xí)得領(lǐng)域關(guān)于注意力的實(shí)證研究，不難發(fā)現(xiàn)，幾乎所有的研究都集中在注意力分配問題上，僅有少量研究涉及注意力轉(zhuǎn)移模式的發(fā)現(xiàn)。然而，注意力轉(zhuǎn)移因?yàn)榫哂袝r(shí)序性，比注意力分配更能準(zhǔn)確地反映學(xué)習(xí)者在二語習(xí)得中的思維過程。此外，傳統(tǒng)認(rèn)知模式的挖掘大都采用描述統(tǒng)計(jì)方法，雖然能揭示由具體指征（特征）帶來的具有統(tǒng)計(jì)學(xué)意義的結(jié)論，但是很難直接從高緯度特征空間中發(fā)現(xiàn)有意義的指征，因?yàn)橹刚鞯陌l(fā)現(xiàn)主要還是要依靠人工，這就難免會(huì)造成關(guān)鍵指征的缺漏，從而導(dǎo)致獲得的思維過程模型均沒有滿意的回歸/預(yù)測(cè)率。因此，使用機(jī)器學(xué)習(xí)技術(shù)挖掘二語學(xué)習(xí)者的注意力轉(zhuǎn)移模式是研究二語習(xí)得過程中認(rèn)知模式的必然選擇。

本文提出了一個(gè)使用深度學(xué)習(xí)技術(shù)（卷積神經(jīng)網(wǎng)絡(luò)）以及可視化技術(shù)（Grad-CAM）來挖掘以英語為二語（English as a Foreign Language，簡稱EFL）的低齡二語學(xué)習(xí)者在線處理二語信息任務(wù)中的注意力轉(zhuǎn)移模式的方法。該方法基于數(shù)據(jù)擬合，不僅可以獲得較高的回歸/預(yù)測(cè)準(zhǔn)確率，也具有高度可解釋性。

二、目前已有的注意力模式發(fā)現(xiàn)技術(shù)

語言學(xué)習(xí)過程中會(huì)受到多種個(gè)體認(rèn)知因素的影響，如語音感知、注意力和記憶力等，這些相關(guān)認(rèn)知因素的差異可能會(huì)導(dǎo)致不同的語言學(xué)習(xí)效果[1]。其中，注意力控制是一個(gè)很重要的組成部分，它不僅與多種高階認(rèn)知功能，如智商（IQ）[2]等緊密關(guān)聯(lián)，還是影響二語習(xí)得的主要認(rèn)知因素，被認(rèn)為是將二語輸入轉(zhuǎn)化為吸收的充分必要條件[3]。

如前所述，注意力控制模式分為注意力分配和注意力轉(zhuǎn)移兩種認(rèn)知模式。其中，注意力分配是指某一時(shí)刻的注意力關(guān)于刺激的分布，而注意力轉(zhuǎn)移則是指具有時(shí)序特征的注意力分布軌跡。但是無論哪種注意力控制模式，都可以通過眼動(dòng)數(shù)據(jù)來反映。眼動(dòng)追蹤技術(shù)是評(píng)估多媒體動(dòng)態(tài)學(xué)習(xí)場(chǎng)景以及數(shù)字化學(xué)習(xí)環(huán)境中注意力線索的重要手段，既可在短時(shí)間內(nèi)獲得大量的實(shí)時(shí)數(shù)據(jù)信息，又不會(huì)因認(rèn)知資源從主要任務(wù)執(zhí)行的轉(zhuǎn)移而影響思維過程[4]。由此可見，采用眼動(dòng)追蹤技術(shù)去測(cè)量注意力是揭示學(xué)習(xí)者認(rèn)知行為模式的有效手段。此方法也被廣泛應(yīng)用于二語習(xí)得研究中[5]。

斯蒂克勒（Stickler）等人研究二語在線學(xué)習(xí)平臺(tái)的學(xué)習(xí)效率時(shí)發(fā)現(xiàn)，在線學(xué)習(xí)中文的實(shí)驗(yàn)參與者平均會(huì)分配20%的眼動(dòng)注視在社交信息區(qū)域[5]。劉（Liu）在研究語素識(shí)別干預(yù)對(duì)詞匯學(xué)習(xí)的有效性時(shí)，使用眼動(dòng)儀對(duì)詞匯識(shí)別任務(wù)進(jìn)行了記錄，利用獨(dú)立樣本T檢驗(yàn)對(duì)比了實(shí)驗(yàn)組和對(duì)照組的平均后測(cè)成績以及兩個(gè)組在三種語素（前綴、詞根、后綴）區(qū)域里的注視時(shí)間[6]。以此證明了強(qiáng)化語素識(shí)別有助于提升學(xué)生詞匯識(shí)別的成功概率。

基于描述統(tǒng)計(jì)的方法雖然可以構(gòu)造統(tǒng)計(jì)學(xué)上有意義的因果規(guī)則，但是這種方法只能針對(duì)極少量指征進(jìn)行因果關(guān)系構(gòu)建，且這些指征由人工篩選，一旦指征篩選有誤就無法獲得有意義的結(jié)論。因此，若要在高維度空間中篩選出關(guān)鍵指征并構(gòu)造復(fù)雜因果模型，則必須借助更復(fù)雜的回歸/預(yù)測(cè)手段。例如，使用白盒回歸模型建立注意力分布因果模型[7-8]。

Dolgunsooz在研究土耳其大學(xué)生在二語（英語）閱讀過程中注意力與學(xué)習(xí)收益之間的關(guān)系時(shí)，使用線性回歸方法建立了單詞熟悉度與單詞總注視時(shí)間（Total Fixation Duration）的線性關(guān)系，從而推斷出學(xué)生對(duì)單詞越熟悉則分配在該單詞上的注意力就越少[7]。此結(jié)論也說明了學(xué)生在閱讀過程中會(huì)傾向于分配更多的注意力在不熟悉的單詞上。為了研究各個(gè)眼動(dòng)參數(shù)對(duì)單詞識(shí)別率的影響，以后測(cè)作為二分類結(jié)果，以各個(gè)眼動(dòng)參數(shù)單獨(dú)作為預(yù)測(cè)協(xié)變量，使用GEE邏輯回歸方法分別得出陌生單詞在總注視時(shí)間、首個(gè)注視時(shí)間（First Fixation Duration）、持續(xù)注視時(shí)間以及重讀次數(shù)（Re-reading Times）上的識(shí)別率，結(jié)果顯示均有統(tǒng)計(jì)學(xué)上的顯著意義。巴拉內(nèi)斯（Baranes）等人為了研究除了視覺新奇（Visual Novelty）和視覺驚喜（Visual Surprise）之外注意力與認(rèn)知好奇心（Epistemic Curiosity）的關(guān)系，采用眼動(dòng)追蹤技術(shù)重點(diǎn)記錄不同的認(rèn)知狀態(tài)（好奇、自信、驚喜）對(duì)實(shí)驗(yàn)參與者觀看答案出現(xiàn)前后三秒內(nèi)的眼球運(yùn)動(dòng)軌跡[8]。在得出越高的好奇心與越早對(duì)答案的預(yù)期關(guān)注相關(guān)，并且所產(chǎn)生的影響不同于自信（Confidence）和驚喜（Surprise）所帶來的影響的結(jié)論之后，他們又使用機(jī)器學(xué)習(xí)技術(shù)里的決策樹技術(shù)——隨機(jī)森林算法根據(jù)答案出現(xiàn)前注視位置的統(tǒng)計(jì)特征構(gòu)建了注意力與好奇心之間的預(yù)測(cè)規(guī)則，即在高好奇心狀態(tài)下，注意力集中區(qū)和答案框之間的距離范圍比低好奇心狀態(tài)下的距離范圍更大。該規(guī)則能夠從較早的注意力分布來預(yù)測(cè)讀者的好奇心程度[8]。

在注意力轉(zhuǎn)移模式研究方面，目前已有研究通過頻繁序列挖掘技術(shù)來獲得注意力的時(shí)序特征。例如，曠小芳等人在研究二語初學(xué)者對(duì)視覺刺激到二語映射的關(guān)系以及注意力控制能力與語音短時(shí)記憶能力的關(guān)系時(shí)，使用頻繁序列挖掘算法SPADE，挖掘出學(xué)生的兩種關(guān)于對(duì)象認(rèn)知到第二語言系統(tǒng)之間的映射模式，即“對(duì)象認(rèn)知→母語系統(tǒng)→第二語言系統(tǒng)”和“對(duì)象認(rèn)知”到“第二語言系統(tǒng)”[9-10]。也挖掘出不同語音短時(shí)記憶能力與注意力控制模式之間的關(guān)系，即“正?；蛄己玫恼Z音短時(shí)記憶能力的學(xué)生具有穩(wěn)定的注意力控制模式，可以保持注意力不受干擾;語音短時(shí)記憶能力差的學(xué)生注意力容易分散到不匹配的英語單詞區(qū)域以及空白區(qū)域，但是并沒有分散到母語區(qū)域”[9-10]。

綜上所述，無論是描述統(tǒng)計(jì)方法還是白盒技術(shù)，它們?cè)卺槍?duì)注意力分布和注意力轉(zhuǎn)移時(shí)，均需人工構(gòu)建關(guān)鍵指征。如果指征提取不當(dāng)，模型是無法獲得滿意準(zhǔn)確率的。黑盒技術(shù)能夠自動(dòng)進(jìn)行關(guān)鍵特征篩選，或許是構(gòu)建更準(zhǔn)確的注意力控制模式的有效方法。

三、眼動(dòng)數(shù)據(jù)預(yù)處理

（一）數(shù)據(jù)采集

1. 代表注意力的眼動(dòng)數(shù)據(jù)采集

本文中的數(shù)據(jù)來源于四川師范大學(xué)附屬小學(xué)一年級(jí)的19名學(xué)生（其中包括10名男生和9名女生，平均年齡6.42，標(biāo)準(zhǔn)差SD=0.507）。本實(shí)驗(yàn)使用Tobii T120 進(jìn)行眼動(dòng)數(shù)據(jù)采集。這些參與者在實(shí)驗(yàn)中被要求觀看一個(gè)長約4分鐘的英語朗讀視頻。視頻中的詞匯均是這些低齡二語學(xué)習(xí)者從未接觸過的，用來排除熟悉詞匯帶來的注意力干擾，以反映學(xué)習(xí)者對(duì)二語刺激的注意力控制能力。視頻播放朗讀的同時(shí)，會(huì)使用高亮方塊對(duì)學(xué)習(xí)者進(jìn)行注意力引導(dǎo)提示，要求學(xué)習(xí)者一邊收聽單詞所對(duì)應(yīng)的朗讀，一邊跟隨高亮提示進(jìn)行注意力轉(zhuǎn)移。此外，為了避免其余可能的干擾，視頻均采用白色背景、黑色字體的簡單設(shè)計(jì)，如圖1所示。視頻播放節(jié)奏適應(yīng)實(shí)驗(yàn)參與者的注意力水平，音頻速度比原始音頻速度慢15%，整個(gè)視頻大概56.65個(gè)單詞/分鐘。19名參與者按照順序輪流進(jìn)行實(shí)驗(yàn)。該實(shí)驗(yàn)共進(jìn)行了2個(gè)月，所有參與者均完成了兩輪實(shí)驗(yàn)，其中部分參與者又進(jìn)行了第三輪實(shí)驗(yàn)。

2. 眼動(dòng)數(shù)據(jù)標(biāo)記

到目前為止，僅采集到了代表注意力控制能力的眼動(dòng)軌跡數(shù)據(jù)，但是并未獲得可實(shí)現(xiàn)模式挖掘的有效標(biāo)簽。因此，本節(jié)將對(duì)參與者的注意力控制樣本進(jìn)行正例和反例標(biāo)記。因?yàn)樽⒁饬刂婆c二語學(xué)習(xí)過程中的在線任務(wù)處理密切關(guān)聯(lián)，因此，可通過即時(shí)的在線任務(wù)處理效果來對(duì)眼動(dòng)數(shù)據(jù)進(jìn)行標(biāo)記。

本實(shí)驗(yàn)在19名參與者完成了注意力控制任務(wù)后就立刻對(duì)其執(zhí)行長句復(fù)述任務(wù)。長句摘自英語繪本My Loose Tooth，如圖2所示，每句單詞數(shù)為6～7個(gè)。長句復(fù)述任務(wù)中的語速同注意力控制實(shí)驗(yàn)中一樣，即音速比原始音頻速度慢15%。本次任務(wù)中涉及的長句見表1。具體的實(shí)驗(yàn)過程：要求參與者先聆聽句子的朗讀，然后再讓他們對(duì)句子進(jìn)行復(fù)述。此過程使用電腦自帶的錄音軟件記錄參與者的長句復(fù)述情況。

（二）眼動(dòng)數(shù)據(jù)圖像化處理

本實(shí)驗(yàn)采集的原始眼動(dòng)數(shù)據(jù)包含了注視點(diǎn)坐標(biāo)、注視點(diǎn)持續(xù)時(shí)間、注視點(diǎn)先后順序等信息。對(duì)于機(jī)器學(xué)習(xí)來說，只有特征提取準(zhǔn)確，才能提高模型的模式識(shí)別性能，機(jī)器學(xué)習(xí)的效果才能達(dá)到令人滿意的精度。作為機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)新的研究方向，深度學(xué)習(xí)和傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)相比，最大的不同在于能夠從訓(xùn)練數(shù)據(jù)里自動(dòng)抽取學(xué)習(xí)特征，直接避免了人工特征抽取的時(shí)間消耗，提高了計(jì)算效率，極大地保留數(shù)據(jù)的原始特征和內(nèi)在豐富性。深度學(xué)習(xí)技術(shù)被廣泛用于語音識(shí)別、計(jì)算機(jī)視覺以及自然語言處理等領(lǐng)域，尤其在圖形圖像處理方面更是取得了巨大的成功。

基于此，首先本實(shí)驗(yàn)對(duì)原始眼動(dòng)數(shù)據(jù)進(jìn)行了預(yù)處理，將其轉(zhuǎn)換成圖片。為了能夠完整地展示眼動(dòng)軌跡，我們將注視點(diǎn)的坐標(biāo)作為圓心，注視點(diǎn)持續(xù)時(shí)間作為半徑，以此用大小不同的圓來展現(xiàn)具有不同時(shí)長的注視點(diǎn)，即凝視時(shí)間越長，則圓就越大。同時(shí)，為了展現(xiàn)注視點(diǎn)的時(shí)序特征，我們將注視點(diǎn)出現(xiàn)的先后順序映射為灰度從淺灰色到黑色的漸變過程;此外，為了便于展示每個(gè)樣本的注意力轉(zhuǎn)移特征，我們將每個(gè)樣本的24張眼動(dòng)軌跡圖按順序拼接成一張圖片，具體效果如圖3、圖4所示①。

對(duì)眼動(dòng)數(shù)據(jù)進(jìn)行圖像化處理后，接下來就要使用圖形圖像算法對(duì)注意力轉(zhuǎn)移模式進(jìn)行識(shí)別和預(yù)測(cè)。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種包含卷積且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一[11]。相比于一般的神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)能較好地適應(yīng)圖像的結(jié)構(gòu)，并且能夠同時(shí)進(jìn)行特征提取和分類，使得特征提取有助于特征分類。此外，權(quán)值共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單、適應(yīng)性更強(qiáng)[12]。因此，卷積神經(jīng)網(wǎng)絡(luò)能很好地解決計(jì)算機(jī)視覺領(lǐng)域圖像識(shí)別問題，已成為典型的圖形圖像處理算法。

近年來隨著卷積神經(jīng)網(wǎng)絡(luò)研究的深入，已經(jīng)陸續(xù)產(chǎn)生網(wǎng)絡(luò)結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)模型，其性能也有差異。在選擇卷積神經(jīng)網(wǎng)絡(luò)時(shí)，應(yīng)該針對(duì)圖片數(shù)據(jù)集本身特點(diǎn)以及應(yīng)用需求去選擇合適的卷積神經(jīng)網(wǎng)絡(luò)模型。由于本實(shí)驗(yàn)的數(shù)據(jù)量不夠巨大，不適合采用VGG（Visual Geometry Group）[13]、GoogLeNet[14]等模型來進(jìn)行數(shù)據(jù)處理。由于這些卷積神經(jīng)網(wǎng)絡(luò)模型層級(jí)較多，結(jié)構(gòu)較復(fù)雜，容易對(duì)小樣本數(shù)據(jù)產(chǎn)生過擬合。因此，本文采用的卷積神經(jīng)網(wǎng)絡(luò)模型來自于Lenet-5模型[15]。它最初是用于手寫數(shù)字識(shí)別和分類的，其網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡單，非常適合本實(shí)驗(yàn)的圖像特征的提取。由于此模型只能處理灰度圖像，并不支持彩色圖像的處理，因此，本實(shí)驗(yàn)結(jié)合使用文獻(xiàn)[16]中的技術(shù)對(duì)模型里的參數(shù)和結(jié)構(gòu)進(jìn)行了調(diào)整，使其最終能夠滿足本實(shí)驗(yàn)的數(shù)據(jù)處理需求以達(dá)到應(yīng)用目的。本文采用的模型主要包括六層網(wǎng)絡(luò)結(jié)構(gòu)：兩個(gè)卷積層，兩個(gè)下采樣層、一個(gè)全連接層和一個(gè)輸出層（如圖5所示）。其中，每個(gè)卷積層包括卷積、池化和非線性激活三部分，主要用于提取空間特征，而采樣層則是實(shí)現(xiàn)平均池化。

本實(shí)驗(yàn)圖像像素?cái)?shù)為620×620，然后逐次傳入網(wǎng)絡(luò)模型。本文中的19個(gè)被試一共有45個(gè)眼動(dòng)樣本，其中，隨機(jī)選取30個(gè)樣本作為訓(xùn)練數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，其余15個(gè)樣本作為測(cè)試數(shù)據(jù)以驗(yàn)證訓(xùn)練后卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。經(jīng)過多輪的隨機(jī)采樣訓(xùn)練，卷積神經(jīng)網(wǎng)絡(luò)的平均收斂效果如圖6所示。從圖6可以看出，卷積神經(jīng)網(wǎng)絡(luò)大約經(jīng)過30個(gè)epoch后錯(cuò)誤率收斂。并且，此網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的回歸性能大約穩(wěn)定在96%，而對(duì)測(cè)試樣本的預(yù)測(cè)性能則大概穩(wěn)定在64%。

五、利用Grad-CAM技術(shù)產(chǎn)生注意力

轉(zhuǎn)移模式的解釋模型

通過使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)眼動(dòng)圖像進(jìn)行特征識(shí)別和預(yù)測(cè)，能夠建立起注意力轉(zhuǎn)移模式與二語在線任務(wù)處理能力之間的映射關(guān)系。但是，黑盒技術(shù)的問題在于，雖然可以準(zhǔn)確地將輸入和輸出匹配起來，但是中間的非線性變換很難解釋或說明什么輸入要素如何對(duì)結(jié)果產(chǎn)生何種影響。因此，還需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)添加一個(gè)可解釋模塊，以找出卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像識(shí)別作出決策的關(guān)鍵特征。

本文采用熱度圖可視化方法，即通過熱度圖來反映識(shí)別這個(gè)物體的關(guān)鍵特征。梯度加權(quán)的類激活映射（Grad-CAM）[17]作為一種熱度圖可視化方法，可以對(duì)分類結(jié)果的決策依據(jù)進(jìn)行解釋，直觀地對(duì)眼動(dòng)圖像識(shí)別中的關(guān)鍵特征進(jìn)行可視化表達(dá)。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，經(jīng)過多次的卷積和池化后，網(wǎng)絡(luò)最后一層的卷積層包含了最豐富的空間和語義信息。Grad-CAM取經(jīng)過最后一層卷積操作后的關(guān)鍵特征圖，然后將該特征中的每個(gè)通道與該通道相關(guān)類的梯度進(jìn)行加權(quán)。

如圖所示，可視化關(guān)鍵特征眼動(dòng)圖使用亮度來表示圖像分類特征的重要程度。其中，白色表示圖像分類最重要的特征，而黑色代表最不重要的特征。因此，從兩張圖中可看出，在長句復(fù)述任務(wù)中的表現(xiàn)方面，這些低齡二語（英語）學(xué)習(xí)者均沒有在某個(gè)時(shí)刻呈現(xiàn)出判斷的關(guān)鍵特征（白色標(biāo)記的部分），反而是亮色點(diǎn)均勻地分布在時(shí)間線上（約4分鐘）。并且，越是具有較好長句復(fù)述表現(xiàn)的學(xué)習(xí)者，其線性注意力控制也越均勻，不會(huì)出現(xiàn)凝視點(diǎn)丟失的情況。在不規(guī)則區(qū)域（線框內(nèi)區(qū)域）內(nèi)部，反例比正例中代表凝視點(diǎn)的關(guān)鍵特征則少了很多，而且正例關(guān)鍵特征圖中偏白的亮色點(diǎn)比反例關(guān)鍵特征圖中的多。如前所述，圖7和圖8是將所有眼動(dòng)圖按時(shí)序聯(lián)合在一起的關(guān)鍵特征眼動(dòng)圖，所識(shí)別的原始圖不僅帶有時(shí)序（由不同顏色標(biāo)記時(shí)序）標(biāo)記，還帶有凝視時(shí)長（圓圈的半徑）標(biāo)記。也就是說，反例中無法形成統(tǒng)一特征的原因是沒有滿足同步的凝視時(shí)長，且沒有相似的注意力移動(dòng)序列。而正例中的樣本則在這兩個(gè)指征上完成統(tǒng)一度較高。基于此，可得出以下解釋（預(yù)測(cè)）：

低齡二語學(xué)習(xí)者若具有較好的注意控制能力，即能夠按照注意力控制要求在收聽到二語刺激的同時(shí)，可以跟隨視覺提示進(jìn)行即時(shí)的注意力轉(zhuǎn)移，這些學(xué)習(xí)者的即時(shí)長句復(fù)述表現(xiàn)會(huì)有64%的概率是優(yōu)于平均表現(xiàn)的;反之，則可能以相同的概率差于平均表現(xiàn)。

到目前為止，由卷積神經(jīng)網(wǎng)絡(luò)和Grad-CAM技術(shù)所呈現(xiàn)的二語（英語）學(xué)習(xí)者注意力控制模式對(duì)于有標(biāo)記指征的均構(gòu)建了較高準(zhǔn)確率的預(yù)測(cè)。但是，雖然已知對(duì)注意力控制不好的學(xué)習(xí)者無法較好地完成長句復(fù)述任務(wù)，我們?nèi)匀徊恢⒁饬刂撇缓玫绞裁闯潭葧?huì)使得一個(gè)學(xué)習(xí)者無法復(fù)述出平均句長。從圖8的不規(guī)則標(biāo)記區(qū)域可看出，具有較差注意力控制的學(xué)習(xí)者在前4張素材上的注意力表現(xiàn)還基本與注意力控制較好的學(xué)習(xí)者保持一致，但是第5～7張素材的注意力控制表現(xiàn)則顯示出了控制差異，然而8～9張素材又呈現(xiàn)了同步的注意力控制特征，第10～18張素材再次呈現(xiàn)了差異，且差異范圍擴(kuò)大。而第19～20張素材又呈現(xiàn)了保持一致的注意力控制模式，第21～24素材的注意力控制再次分散。這就為二語學(xué)習(xí)者對(duì)二語視聽刺激的注意力控制模式提供了更為深入的解釋：完成即時(shí)在線任務(wù)較好的學(xué)習(xí)者在注意力控制上具有較為一致的趨勢(shì)，可以保持視聽注意力的同步。然而完成即時(shí)在線任務(wù)較差的學(xué)習(xí)者雖然努力控制注意力，但仍然會(huì)產(chǎn)生視聽注意力控制異步的情況。他們基本只能對(duì)前4張素材保持較好的注意力控制，注意力分散后，再次集中注意力可維持2張素材的控制模式。

六、研究結(jié)論與未來工作

在本文中，提出了一個(gè)使用深度學(xué)習(xí)技術(shù)以及可視化技術(shù)來挖掘低齡二語（英語）學(xué)習(xí)者對(duì)二語視聽信息的注意力控制模式的方法。該方法是基于數(shù)據(jù)擬合的，不僅可以獲得較高的回歸/預(yù)測(cè)準(zhǔn)確率，同時(shí)在標(biāo)記和未標(biāo)記指征上均具有高度可解釋性，因?yàn)樵摲椒赏瑫r(shí)獲取時(shí)序和時(shí)刻的特征信息。在標(biāo)記指征上，解釋了凝視時(shí)長與和凝視序列所構(gòu)成的注意力控制模式;在未標(biāo)記指征上，則獲得了更細(xì)致的可影響在線任務(wù)整合表現(xiàn)的注意力控制模式。整合了標(biāo)記指征和未標(biāo)記指征的解釋，我們可獲得如下關(guān)于低齡二語學(xué)習(xí)者對(duì)二語視聽刺激的注意力控制預(yù)測(cè)模型：

低齡二語（英語）學(xué)習(xí)者若具有較好的注意控制能力，即能夠按照注意力控制要求在收聽到二語刺激的同時(shí)，可以跟隨視覺提示進(jìn)行即時(shí)的注意力轉(zhuǎn)移，并且在注意力控制上可持續(xù)維持（約4分鐘），那么這些學(xué)習(xí)者的即時(shí)長句復(fù)述表現(xiàn)會(huì)有64%的概率是優(yōu)于平均表現(xiàn)的;反之，若學(xué)習(xí)者在較長時(shí)間段內(nèi)對(duì)二語刺激的注意力維持能力平均只能達(dá)到2張干預(yù)素材（約13秒）的上限，那么就有可能以相同的概率差于平均表現(xiàn)。

這種注意力控制模式上的巨大差異是傳統(tǒng)手段和白盒機(jī)器學(xué)習(xí)技術(shù)無法獲得的，不僅如此，這個(gè)結(jié)論對(duì)低齡二語學(xué)習(xí)者的認(rèn)知干預(yù)研究有著重大意義。因?yàn)檫@個(gè)結(jié)論意味著學(xué)習(xí)者如果沒有辦法對(duì)二語特征的刺激做出正確的注意力控制響應(yīng)，可能會(huì)對(duì)學(xué)習(xí)效果和效率造成災(zāi)難性的影響。而我國二語學(xué)習(xí)者所處的二語匱乏環(huán)境則會(huì)加劇學(xué)習(xí)者對(duì)二語刺激的感知力退化。隨著第一語言習(xí)得的發(fā)展，二語學(xué)習(xí)過程中對(duì)注意力控制的要求會(huì)更高。因此，必須對(duì)低齡二語學(xué)習(xí)者開展有針對(duì)性的二語特征感知訓(xùn)練或干預(yù)，才能提升其對(duì)二語特征的注意力控制能力，進(jìn)而提升對(duì)二語特征的整體感知能力。目前，我們的研究團(tuán)隊(duì)正在針對(duì)同一實(shí)驗(yàn)對(duì)象開展以影響學(xué)習(xí)者注意力分配為基礎(chǔ)的二語特征感知和習(xí)得的干預(yù)實(shí)驗(yàn)。

[參考文獻(xiàn)]

[1] DORNYEI Z.The psychology of the language learner：individual differences in second language acquisition[M].New York：Routledge， 2005.

[2] UNSWORTH N，ENGLE R W.On the division of short-term and working memory：an examination of simple and complex span and their relation to higher order abilities [J].Psychological bulletin，2007，133（6）：1038-1066.

[3] SCHMIDT R W.The role of consciousness in second language learning [J].Applied linguistics，1990，11（2）：129-158.

[4] 張琪，武法提.學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動(dòng)與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究，2016，37（9）：76-81，109.

[5] STICKLER U，SHI L.Eyetracking methodology in SCMC：a tool for empowering learning and teaching [J]. ReCALL，2017，29（2）：160-177.

[6] LIU P L. Using eye tracking to understand the responses of learners to vocabulary learning strategy instruction and use [J].Computer assisted language learning，2014，27（4）：330-343.

[7] DOLGUNSOOZ E. Measuring attention in second language reading using eye-tracking： the case of the noticing hypothesis [J]. Journal of eye movement research，2015，8（5）：1-18.

[8] BARANES A，OUDEYER P Y，GOTTLIEB J.Eye movements reveal epistemic curiosity in human observers[J].Vision research， 2015，117：81-90.

[9] YANG J，QI X F，YAN W W， et al. Attention allocation and transferring pattern mining in Chinese students invoking English [C]// The 19th International CALL Research Conference.Bruges：University of Antwerp，2018：372-376.

[10] 曠小芳，嚴(yán)薇薇，陳玉婷，王青娥，楊娟.小學(xué)生二語認(rèn)知模式發(fā)現(xiàn)及認(rèn)知能力提升研究[J].現(xiàn)代教育技術(shù)，2019，29（2）：72-79.

[11] GU J，WANG Z，KUEN J，et al. Recent advances in convolutional neural networks [J]. Pattern recognition，2018，77（5）：354-377.

[12] 常亮，鄧小明，周明全，等. 圖像理解中的卷積神經(jīng)網(wǎng)絡(luò) [J].自動(dòng)化學(xué)報(bào)，2016，42（9）：1300-1312.

[13] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].（2015-04-10）[2019-05-15]. https：//arxiv.org/abs/1409.1556.

[14] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]//The 2015 IEEE Conference on Computer Vision and Pattern Recognition CVPR2015.Boston： IEEE，2015.

[15] LECUN Y，BENGIO Y.Convolutional networks for images， speech， and time series[M].USA： MIT Press Cambridge，1998.

[16] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[17] SELVARAJU R R，COGSWELL M，DAS A， et al. Grad-CAM： Visual explanations from deep networks via gradient-based localization [C]//The IEEE International Conference on Computer Vision. Italy：Venice，2017：618-626.

[Abstract] Attention in second language acquisition is claimed to be the necessary and sufficient condition for conversing input to intake， and it is one of the main cognitive factors affecting L2 learning. Currently， most studies focus on attention allocation， and few work on the attention transfer pattern of L2 learners. However， the temporal features of attention transfer can reflect the thinking process of L2 learners more accurately. At present， methods used for discovering attention patterns include descriptive statistical methods and white-box-based regression/prediction techniques. Although the former can obtain statistically significant conclusions and the latter can construct causal relationship models， neither method can directly obtain meaningful indicators from high-latitude feature space. Therefore， it is impossible to establish an explainable model with high accuracy. Based on this， this study uses deep learning technology and visualization techniques to explore the attention transfer pattern of second language（English） learners when they are dealing with online tasks. The heat maps of the positive and negative examples show that the linear attention-control patterns of young second language learners is closely related to their online task performance， which can intuitively explain the influence of their linear attention control on online task completion. The model also has high regression/prediction accuracy.This conclusion is of great significance to the cognitive intervention research on English learning of young children in China.

[Keywords] Second Language Acquisition; Attention Control; Attention Pattern; Attention Transfer; Deep Learning; Convolution Neural Network; Eye-tracking