基于聽力認知屬性的動態(tài)評估干預模式初探①

孟亞茹 劉 丹 晏藝赫 馬曉梅 周澤瑩

(1. 西安交通大學外國語學院，陜西西安；2. 文瀾未來科技城學校，浙江杭州；3. 西部機場集團有限公司，陜西西安；4.西北大學外國語學院)

1. 引言

Vygotsky(1998: 205)指出真正臨床上的診斷應該根植于“對各種數(shù)據(jù)的仔細解讀和評判，提供解釋、預測和可操作的處方”。同理，外語聽力能力的診斷一方面要根據(jù)不同證據(jù)來評估學習者的強弱項，另一方面還要針對弱點進行干預指導，而不是坐觀成敗，不施予援手。Vandergrift(2007)指出基于傳統(tǒng)測評理論的“聽力測試只能展示結(jié)果，卻無法揭示過程，無法知道學生是如何正確作答或為什么會出現(xiàn)問題的”。而診斷性評估因更緊密聯(lián)系教和學成為新的關(guān)注點，其核心是“發(fā)現(xiàn)學習者語言和交際能力強弱項，并提供具體診斷反饋和補救學習的過程”(Lee，2015:1)，達到“診斷-反饋-補救/干預一體”的目標。

目前診斷評估的最新發(fā)展是認知診斷評估(CDA)和動態(tài)評估(DA)，前者把教育測量與認知心理學結(jié)合，通過被試在題項上的作答反應而推知其不可觀察的知識狀態(tài)、加工技能或認知過程(Leighton & Gierl, 2007)，據(jù)此生成細顆粒度的反饋；后者在Vy g o ts k y社會文化理論(Sociocultural Theory, SCT)的最近發(fā)展區(qū)(Zone of Proximal Development, ZPD)基礎(chǔ)上通過干預促進學生能力的微觀發(fā)生(microgenisis)和發(fā)展，核心是教學(干預)與評估的一體化。兩者基于完全不同的理論視角，而本研究揚長避短，結(jié)合前者在題項與屬性相關(guān)聯(lián)的優(yōu)勢和后者在干預操作性上的長處，探索基于聽力認知屬性的干預模式(Attribute-based Mediation Model, AMM)，并初步檢驗其有效性。

2. 相關(guān)理論和文獻

2.1 英語聽力評估

外語聽力認知加工過程具有特殊的復雜性(Vandergrift, 2007)，致使我們?nèi)匀鄙僭u估該能力發(fā)展的理論(Alderson，2005)，無法完全理解重要的聽力微技能，因此聽力診斷評估相對較少(Buck, 2003)。盡管如此，學界的探索從來沒有力，還包括策略(決策)能力。但這些技能要落實到聽力任務上，則需要以被試能夠完成的任務為基礎(chǔ)進行描述。鄒申(2011)結(jié)合Richards(1983)對聽力微技能的描述將其分為三層次：微語言意義理解(辨別音素、識別單詞、辨別句法結(jié)構(gòu)、語法概念)、直接意義理解(領(lǐng)會大意、主要信息，態(tài)度或觀點)和間接意義理解(演繹和推斷)。這些探索有效地指導了診斷測試聽力任務的設(shè)計，便于有針對性地把診斷、反饋和干預相融合，突破三者各自孤立的現(xiàn)狀(Alderson等，1995；Poehner等， 2015)。而目前，英語聽力已成為我國大學生的學習瓶頸，如徐錦芬和聶睿(2016)對重點大學新生的研究發(fā)現(xiàn)聽力的得分最低，由此可推知一般大學的現(xiàn)狀。因此針對英語學習者開展診斷性評估與指導十分必要。

2. 2 聽力認知診斷評估

2.2.1 認知診斷評估(CDA)

認知診斷評估指對個體知識結(jié)構(gòu)、加工技能或認知過程的診斷評估(Leighton & Gierl, 2007)。認知屬性(Attribute，以下簡稱為屬性)是正確完成任務所需要的一系列技巧、知識點、思維過程、認知策略等(Buck & Tatsuoka, 1998)。屬性的確定應廣泛參考相關(guān)領(lǐng)域的理論、(專家)

題項內(nèi)容分析和(被試)口頭報告等(Buck &Tatsuoka, 1998； Leighton & Gierl, 2007)。Q矩陣是屬性和題項之間映射關(guān)系的二維矩陣表，它直接關(guān)系到診斷的準確性(丁樹良等，2012)。因此可以說，CDA在效度上超越了經(jīng)典測量理論和項目反應理論，使準確診斷和針對性反饋有了前提和保證。

2.2.2 聽力認知診斷相關(guān)研究

近二十年來基于CDA的二語評估研究逐步升溫。從關(guān)注的技能來看，閱讀居多，且多用翻新法，即從非診斷試題上提取認知診斷信息。聽力方面國外較早的研究有Buck和Tatsuoka(1998)利用規(guī)則空間模型研究TOEFL聽力，但僅涉及簡答題，且該模型為非補償模型，對屬性的層次和順序要求嚴格，不適合語言領(lǐng)域(張啟睿 邊玉芳，2011)。Lee和 Sawaki(2009)對TOEFL iBT聽力進行研究，屬性有理解主旨大義、理解文本結(jié)構(gòu)和說話者的意圖、連接信息，但顆粒度偏粗、樣本較小(N=374)(見表1)。

表1 聽力認知診斷文獻

國內(nèi)聽力研究屈指可數(shù)，孟亞茹(2013)運用CDA方法編制試題，確定了7個屬性(語音特征、詞匯與表達、句法結(jié)構(gòu)、事實與細節(jié)、主旨大意、推理、策略，是本研究的屬性依據(jù))，但該研究的干預僅限于對應的試題強化訓練。肖云南和羅娟(2019)對大學分級聽力測試進行研究，其屬性與孟亞茹(2013)相比缺少了語音，而把策略中的做筆記和選擇性注意分成兩個，研究發(fā)現(xiàn)學生對初級語言知識的掌握高于策略技能。閔尚超和熊笠地(2019)的校本測試屬性的不同是將以上詞匯和句法結(jié)構(gòu)合二為一，也不涉及策略。該研究驗證了聽力理解的互補機制，而技能屬性補償性更強，低水平學生該方面較差，與肖云南和羅娟(2019)的發(fā)現(xiàn)吻合。以上研究的屬性選取較為接近，但除孟亞茹(2013)外均為翻新法，此方法在內(nèi)容、難度和編制原理上存在“瓶頸”(張啟睿邊玉芳，2011)，另外，所得反饋并不能被有效用于干預和發(fā)展。

2.3 聽力動態(tài)評估

2.3.1 動態(tài)評估概念和模式

Lidz(2003: 337)把動態(tài)評估(下面統(tǒng)稱DA)定義為有經(jīng)驗的評價者(干預者)和學生在評估活動中進行互動，幫助探索和發(fā)現(xiàn)學生潛在發(fā)展能力的一系列方式；Lantolf 和Poehner (2011)視其為教學與評價為統(tǒng)一體的詮釋框架。DA的核心思想是Vygotsky社會文化理論的最近發(fā)展區(qū)(ZPD)，主要方式是通過提供對學習者ZPD敏感的干預，觸發(fā)其在較短時間內(nèi)心理加工的微發(fā)生和發(fā)展過程。

動態(tài)評估模式分為兩類：互動式DA和介入式DA。前者以干預者與學習者之間的開放式互動對話為手段，關(guān)注學習者對干預的反應并做出相應的改變(Ableeva，2010)，對ZPD敏感度更高，便于揭示潛在困難并有助于開發(fā)干預步驟和過程(Poehner等，2015)。后者(也稱為干預式DA)采用循序漸進標準化提示流程，依據(jù)干預的明示程度分配權(quán)重，易獲得干預的數(shù)量和種類，預測未來測試表現(xiàn)(Davin，2013)。Davin (2013)將介入式和互動式結(jié)合，即通過預先準備的干預菜單，對學生詞匯與語法錯誤進行干預，口頭互動干預針對菜單沒有涉及的錯誤，充分發(fā)揮兩者的優(yōu)勢，對本研究提供一定借鑒。

2.3.2 相關(guān)聽力DA研究

較早的外語聽力研究有Ableeva的系列研究(Ableeva, 2010； Ableeva & Lanotolf, 2011)，他們發(fā)現(xiàn)聽力問題有詞匯、語法、語音和文化背景等，并根據(jù)學習者對干預的反應總結(jié)出有效的干預框架。但該研究的互動干預隨機性大，缺乏與問題相關(guān)屬性的客觀驗證。Poehner和Lantolf(2013)以及Poehner等(2015)基于計算機化動態(tài)評估(C-DA)的聽力研究采用標準化多選題，涉及到語音、詞匯、語法、語篇和文化屬性。針對每道題目提供暗示到明示漸進式的干預，據(jù)此獲得學習者所需提示的數(shù)量，雖然其干預“盡可能接近該題所測試的某一構(gòu)念(屬性)”(Poehner &Lantolf, 2013: 330)，但與題項之間的相關(guān)性缺乏證據(jù)，診斷和干預的有效性也會受到質(zhì)疑。國內(nèi)聽力DA的研究屈指可數(shù)，韓艷麗(2015)把聽前預備、聽中策略培訓及聽后討論相結(jié)合，進行同伴互助式的群體干預性實踐；郝文娟(2018)采用PETS聽力對中學生的課堂DA評估強調(diào)了能力的發(fā)展和遷移，以上兩個研究的干預主要來自聽力問卷，其能力遷移的歸因關(guān)系也有待商榷。

從以上梳理發(fā)現(xiàn)，英語聽力診斷性評估研究相對薄弱，DA實證研究較少，干預步驟、干預任務和屬性的相關(guān)性鮮有涉及。而認知屬性的精細化能確保診斷和反饋的有效性，與動態(tài)評估的干預結(jié)合，有望構(gòu)建一個從認知診斷到動態(tài)評估的英語聽力干預模式。基于此，具體研究問題如下：1)英語聽力認知屬性Q矩陣是什么？準確性如何？2)這些屬性能構(gòu)建什么樣的動態(tài)評估干預模式？3)該模式在多大程度上有效？

3. 研究設(shè)計

研究過程分為試題和屬性Q矩陣的確定、干預模式構(gòu)建和實證驗證三部分(見圖1)。

圖1 研究思路和步驟

第一階段 確定聽力認知診斷試題和屬性CDA方法的主要流程包括：1)確定認知屬性；2)建立Q矩陣；3)編制試題并收集測試數(shù)據(jù)；4)分析數(shù)據(jù)及驗證Q矩陣模型的擬合；5)生成診斷報告。如果從已有的試題進行翻新，就省去第3步(Lee & Sawaki, 2009)。本研究干預所用的屬性和部分試題參考了孟亞茹(2013)，①該試題基于“個性化英語學習診斷與指導系統(tǒng)”(PELDiaG)，系國家社科基金項目“基于認知診斷評估的個性化英語學習在線診斷模式構(gòu)建及系統(tǒng)研發(fā)”(12BYY055) 的成果之一。部分屬性借鑒Buck(2003)和鄒申(2011)，共涵蓋7類聽力屬性A1—A7(見以上文獻和下表3)；試題基于認知診斷的方法構(gòu)建(題項數(shù)I=24)，在此基礎(chǔ)上根據(jù)屬性的需要進行題目選編、修正和驗證，先初步通過項目分析選定新試題(I=29)；8位專家獨立對試題的屬性進行標注，討論修訂后獲得最終矩陣(晏藝赫，2018)；然后結(jié)合6所不同類別大學1099學生的作答進行基于飽和模型(補償型)G-DINA的認知診斷分析，確定了試題和Q矩陣(I=22)，據(jù)此確定了每個題項所需干預的主、次屬性；12名學生進行即時追溯性口頭報告，具體方法參考張妍華和孟亞茹(2018)，以修訂Q矩陣。最終版試題包括短對話(1—11)、長對話(12—16)和短文(17—22)三部分，且均為單項選擇題，每題五選項。具體過程見圖1左側(cè)和表2。

第二階段 構(gòu)建干預模式在借鑒前人干預框架基礎(chǔ)上初步設(shè)計了基于聽力屬性的漸進式干預框架。隨后進行個案實證研究(N=5)，干預者與被試進行一對一互動式DA干預。根據(jù)被試在各個題目上對干預的反應及建議進一步修訂，形成干預模式。

第三階段 進一步實證研究將構(gòu)建的干預模式作為模板，預先準備好每道題項的固定化干步驟，8名學生參加進一步的實證研究驗證，并通過半結(jié)構(gòu)式訪談了解被試對干預模式的態(tài)度和看法。

表2 試題和參與人員

4. 結(jié)果

4.1 聽力認知診斷試題Q矩陣

題項分析學生對試題(I=29, N=1099)作答之后用BILOG進行IRT項目分析，整套試題的平均難度適中(0.43)，區(qū)分度和猜測度分別為1.55和0.28，各題目參數(shù)均在可接受值范圍內(nèi)。

專家標注8位專家先獨立對試題按主次屬性順序標注，F(xiàn)leiss Kappa一致性平均指數(shù)居中(0.541)，之后經(jīng)討論，個別歧義較大的做了相應調(diào)整。根據(jù)IRT的結(jié)果和7個屬性分布需要確定了22個題項的Q矩陣。

認知診斷分析為了檢驗Q矩陣中題項與屬性的對應關(guān)系及據(jù)此推論的有效性，確定模型與被試作答數(shù)據(jù)的擬合至關(guān)重要(Chen等，2013)。從R軟件(V3.5.2)中的飽和模型G-DINA獲得該Q矩陣的絕對擬合值，其中max X2值為22.50(p＞0)，其他指標越接近0表明擬合越好，MADcor為0.0273，遠低于Jang (2005)等建議的擬合值，SRMSR(0.0360)和MADQ3(0.0361)低于0.5，也表明該矩陣和學生作答擬合較好。

表3 聽力認知診斷試題Q矩陣

根據(jù)Q矩陣確定最終的干預屬性，具體見下表3，標記1的為該題目考察的第一屬性，2、3依次為第二和第三屬性。

干預主、次屬性驗證題項掌握概率即在掌握某些屬性時正確回答該題項的概率。如果答對概率跟所測屬性相關(guān)，則表明該題項的確測量了該屬性，這也是效度的本質(zhì)(Cronbach, 1990)。比如下表題項3考察A1和A2兩個屬性，其掌握模式為“11”，答對概率為95%，表示兩個屬性都掌握時，正確回答該題的概率為95%。專家標注將A2標為第一屬性，即主屬性。以此類推，每題主屬性見下表4黑體列，即干預主屬性。

表4 屬性掌握模式與題項掌握概率

學生口頭報告驗證12名學生每做完一個題項，立即進行即時追溯性口頭報告，以此驗證實際作答過程中是否涉及到Q矩陣中的屬性。以“推理”屬性為例，依據(jù)專家標注和認知診斷分析結(jié)果，第10題考察推理能力。參考被試口頭報告將其細化為“基于背景和文化的推理”，主屬性確定為A6。但口頭報告反應關(guān)鍵詞和短語也有助于正確回答該題，因此將A2作為次屬性。據(jù)此獲得獲得干預試題的Q矩陣。

4.2 結(jié)合屬性的干預模式構(gòu)建

本研究依據(jù)前期研究從暗示到明示的逐步干預框架構(gòu)建方法(Aljaafreh & Lantolf， 1994；Poehner， 2005)，并結(jié)合Q矩陣，初步設(shè)計了干預框架(見表5)，其中1—5步(隱性干預)和11—14步(明示干預)適合所有屬性。隱形干預通過提示促使學生自主修改，其中第1步是構(gòu)建雙方合作的身份關(guān)系(Aljaafreh & Lantolf, 1994)，2—4給機會重新嘗試，5指出錯誤位置；基于屬性的干(6—10步)因?qū)傩远?，是本研究的重點；明示干預針對錯誤或答案進行解釋，適合前兩類干預不奏效的學生。

表5 初始干預框架(改自晏藝赫(2018))

為了將以上初步框架落實到具體屬性上，研究者為每一道題目預先準備好基于主、次屬性的介入式干預步驟，之后將其應用到對5名學生的互動式和介入式結(jié)合的個案干預中。對所有干預步驟的頻次統(tǒng)計發(fā)現(xiàn)，最高的是第8步“檢查對該屬性的概念性理解”，其次是第9步“提供元語言線索”，次高頻率的有第5、10、7和6步。表6以第4題為例，發(fā)現(xiàn)6—10步是高頻干預。

個案分析結(jié)果還表明，表5初始框架中部分干預相關(guān)性強，如類似表6第6、7步干預功能都是確定考查的屬性，因此可以合并。另外還發(fā)現(xiàn)當涉及屬性A4到A7時給出元語言類策略性建議(比如預讀選項、捕捉關(guān)鍵詞、選擇性地注意等)非常有用。據(jù)此提出了基于屬性的干預模式(AMM)(見下圖2)。

圖2 基于屬性的干預模式AMM(參考晏藝赫，2018)

4.3 干預模式的有效性驗證

本研究基于以上干預模式(表5和圖2)對另外8名學生進行了一對一介入式和互動式相結(jié)合的干預實證研究，進一步驗證該模式。圖3仍然以第4題為例進行說明。

學生1(S1)雖然初次作答正確，但是干預者(Mediator，M)詢問發(fā)現(xiàn)S1有可能猜測。據(jù)此，干預者首先從最隱含的干預開始(重播)，然后再將S1的注意力引導到考察的屬性上。以下圖3例子展示了干預者在被試作答正確的情況下如何利用預先設(shè)計的AMM模式結(jié)合互動DA進行診斷和干預。此外，干預也揭示出得分相同的被試的不同知識結(jié)構(gòu)和加工過程，表明僅基于主屬性的干預不一定完全有效。

干預結(jié)束后的半結(jié)構(gòu)化訪談結(jié)果顯示5個被采訪者(interviewee，I)持積極態(tài)度，認為該干預方式能幫他們注意到目標信息、正確回答問題。如I4說“……，現(xiàn)在能將注意力引導到重點信息，而不再是漫無目的了……”；另一個學生I3說“推理題的干預幫助較大，做推理時有了思路”?？梢娺@種干預也有利于有針對性地運用良好的聽力策略，增強自我反思和自我監(jiān)控的意識。從實驗結(jié)果也發(fā)現(xiàn)干預效果最為明顯的屬性是A3(句法結(jié)構(gòu)類)，該能力提升在后續(xù)聽力中得到驗證。

圖3 結(jié)合屬性的干預個案1

5. 討論

本研究結(jié)合認知診斷和動態(tài)評估的優(yōu)勢，構(gòu)建了基于屬性的聽力動態(tài)干預模型AMM，通過個案初步對其有效性進行了驗證，證明其在診斷問題、全面解讀能力和干預效率方面的作用，也得到學生的初步認可。

首先，本研究通過CDA方法確定屬性、構(gòu)建試題和Q矩陣、能獲得被試認知過程與技能的掌握概率，有助于對學習問題的診斷以及動態(tài)評估等(陳瑾等，2009)。其中Q矩陣保證了測試任務跟屬性的對應關(guān)系，且與教學目標密切結(jié)合；技術(shù)層面上，CDA的多屬性處理方法能分析題項跟多個屬性的對應關(guān)系，超越了傳統(tǒng)的分析方法，也符合多種屬性補償?shù)奶攸c，與現(xiàn)有研究結(jié)果吻合(Buck & Tatsuoka, 1998；閔尚超 熊笠地，2019)。該過程突破了現(xiàn)有“翻新法”從非認知診斷試題提取診斷信息的瓶頸(張啟睿 邊玉芳，2011)，不僅能達到標準測試下的效度，還能確保題項層面的微觀效度。

其次，AMM模式的漸進式能捕捉學生的微發(fā)生過程。考慮到外語聽力短期記憶負荷很重，最隱性的干預(M1)是重聽音頻，其有效性在Ableeva(2010)和Ableeva和Lantolf(2011)基礎(chǔ)上得到再次確認。M2“檢查被試對屬性相關(guān)概念的理解”需要調(diào)用音與形各自的記憶儲存系統(tǒng)(桂詩春，1992)，如干預片段1，學生較難將兩者瞬間相匹配(Vandergrift & Baker, 2015)。另外，在學生正確作答后仍需核對相關(guān)屬性的掌握(M2)，一方面是為了檢查猜測因素，另一方面為探尋被試的ZPD。比如上例中的兩個屬性可能介于S1掌握和未掌握的ZPD敏感地帶，如果干預觸發(fā)到這兩點，產(chǎn)生了微觀發(fā)生，則會促進之后的發(fā)展，有望拓展S1的ZPD。S1本人也提到“下次再遇到類似或者更難的題目，可以不靠猜測”。從這一點上，該干預是恰當?shù)?、及時的，有益于未來發(fā)展，這正是動態(tài)評估的宗旨。M3“給出(元)語言線索和例子”需要根據(jù)屬性特點進行調(diào)整，如上例中主要針對微語言意義理解(A1-A3)，通過范例講解較為有效。但針對直接語義理解的A4-A5和間接意義理解的A6，如果再來額外的記憶和心理加工負擔。針對這一點，研究者發(fā)現(xiàn)進行策略指導非常有效，這一點通過訪談也得到驗證。比如他們多次表示實際聽力中常忘記采用預讀和做筆記，干預者的適時提醒會讓他們養(yǎng)成良好習慣，與Vandergrift(2007)對培養(yǎng)策略意識的觀點一致，而對聽力弱的學生配以培訓更有效。

最后討論AMM的適切性。Poehner(2008)提醒干預者避免高估或低估學生的能力，應該確定問題的范圍和根源。而基于傳統(tǒng)教學很難在轉(zhuǎn)瞬即逝的聽力活動中更好地捕捉到聽力障礙和能力的變化(韓艷麗，2015)。本研究構(gòu)建的AMM模式以介入式為主，針對每個題項的屬性提前預備可能的干預步驟，能減少對干預者專業(yè)需求的壓力，做到快速判斷學生的聽力問題所在、有的放矢，提高效率、促進干預的準確性，有望發(fā)展成計算機化的干預模式。同時，AMM模式也融合了互動式DA，干預者針對每個被試的不同問題可以隨機應對，提供有差異的、開放式的幫助，這樣能顧及到群體和個體認知能力變化的差異。兩者結(jié)合，有利于探索學生的最近發(fā)展區(qū)(Davin,2013)。

6. 結(jié)語

外語聽力的復雜性需要利用深入的定性方法才能認識學習者的解讀過程(Vandergrift, 2007)。本研究的干預步驟來源于一線教師和學生的真實心理加工過程，可靠性好；試題和屬性Q矩陣通過IRT項目分析和認知診斷分析驗證，具有很好的心理測量學屬性，外推性好；有效性驗證通過一對一的介入式和互動式結(jié)合的方式，初步獲得學習認可。但該結(jié)果尚屬試探性的，還需進一步驗證。后續(xù)研究可以從歷時角度結(jié)合更復雜的任務干預來聚焦單項聽力微技能發(fā)展，也可以驗證本模型在能力遷移和提高方面的作用，進一步關(guān)注動態(tài)干預效度，為計算機化聽力動態(tài)評估提供更好的理論支撐。