基于認知診斷的高職學生學習測評研究

田麗紅 牛彥敏

(重慶師范大學,重慶 401331)

2021年10 月,國家對職業(yè)教育提出了新要求,強調(diào)“職業(yè)教育是國民教育體系和人力資源開發(fā)的重要組成部分”[1],推動了現(xiàn)代職業(yè)教育的高質(zhì)量發(fā)展。高職階段的公共基礎(chǔ)課程是高職院校落實人才培養(yǎng)目標、保證人才培養(yǎng)質(zhì)量的重要支撐和保障[2]。如何對高職階段的公共基礎(chǔ)課程學習效果進行數(shù)據(jù)測評分析并評價成為現(xiàn)代職業(yè)教育的重要研究課題。目前使用的測評方法,如以經(jīng)典測量理論為指導的傳統(tǒng)測驗的焦點是分數(shù)的高低,測驗結(jié)果局限在對考生宏觀層面的能力評價[3]。學生的認知、技能及心理加工過程容易被忽視,這不利于學生提升自我認知及教師了解學生具體知識點掌握情況。而以認知心理學和心理測量學為理論基礎(chǔ)的認知診斷,把學生的測驗結(jié)果作為診斷數(shù)據(jù),從中挖掘?qū)W生的認知結(jié)構(gòu),對學生的認知變化進行分析與評價。同時,認知診斷作為學習數(shù)據(jù)測評的一種有效實施方法,能夠?qū)σ詼y輔學的教學機制[4]給予可視化的教學診斷和評價反饋。本研究以高職學生公共基礎(chǔ)課程“計算機基礎(chǔ)”為例,使用認知診斷來測評高職學生的學習效果,進而幫助教師精準掌握學生學習情況并評價學生的認知水平,從而為高職教育測評提供新思路。

一、認知診斷

在教育心理測量學中,人們通常把對個體認知過程、加工技能或知識結(jié)構(gòu)診斷評估統(tǒng)稱為認知診斷[5]。Leighton 等[6]指出,認知診斷用于測量個體特定的知識結(jié)構(gòu)和加工技能。不同于以往授課老師在上課過程中的主觀感知來了解學生對知識或技能的學習情況的方法,認知診斷通過觀察學生在一組試題中反應(yīng)的作答數(shù)據(jù),使用認知診斷模型對作答數(shù)據(jù)進行認知結(jié)構(gòu)分析,探討被試學生經(jīng)過作答過程反應(yīng)出來的潛在知識結(jié)構(gòu),進一步客觀了解學生對題目的屬性掌握情況,分析學生對當前知識的理解程度。更不同于傳統(tǒng)標準測驗理論會出現(xiàn)學生的分數(shù)結(jié)果相同或相似的情況而無法挖掘隱藏在分數(shù)里更深層次的信息,認知診斷模型可以挖掘影響分數(shù)的潛在客觀因素,如掌握情況、技能水平等。通過這些潛在客觀因素進行查漏補缺,能為教師在整個教學過程的知識追蹤提供精準、詳盡的個性化教學指導。通過文獻總結(jié),認知診斷模型可分為離散型和連續(xù)型兩種類型,其中最具代表性的分別是項目反應(yīng)理論(IRT)模型[7]和決定性輸入噪音與門模型(DINA)模型[8]。IRT 模型主要作用是宏觀上將學生的潛在特質(zhì)和認知狀態(tài)描述成離散的能力值;章滬超[9]以此方法劃分層級屬性,根據(jù)學生作答試卷的反饋,進行綜合分析評價。王欣瑜[10]采用IRT 垂直等值方法對小學階段進行數(shù)學能力的認知診斷分析,為制定整體補救教學方案提供參考。而DINA 模型是適合處理0-1 評分數(shù)據(jù),并結(jié)合Q 矩陣理論使用一組涉及多維知識點的向量來描述學生實體[11],輔助教師提高教學效率。陳雁莊等[12]分解生物學“減數(shù)分裂”認知屬性,運用DINA 模型和Q 矩陣理論來診斷學生對各認知屬性的掌握情況,從而給予教師采取針對性的補救措施建議。

二、基于認知診斷的學習測評設(shè)計

本研究以職業(yè)教育中高職學生的學習作為測評的數(shù)據(jù)來源。按照認知診斷步驟和職業(yè)教育教學目標來劃分認知屬性與關(guān)系,并通過Q 矩陣理論建立屬性與測試題目關(guān)系的各矩陣,從而編制相應(yīng)的學習測評試卷。

(一)測評知識屬性分類及關(guān)系劃分

在教育知識系統(tǒng)中,大多數(shù)知識點不是單一存在的,而是依托于一定的分布規(guī)律、邏輯順序或?qū)蛹夑P(guān)系來展現(xiàn)的知識脈絡(luò),知識可以通過認知屬性的方式劃分。通過這種表現(xiàn)形式,采用屬性層級模型(AHM)[13]反應(yīng)屬性之間的關(guān)系。本文以教育部頒布的《高等職業(yè)教育?？菩畔⒓夹g(shù)課程標準(2021 版)》和《高職高專教育專業(yè)人才培養(yǎng)目標及規(guī)格》作為藍本,選取高等教育出版社出版的《信息技術(shù)基礎(chǔ)》教材中第一章第二節(jié)“數(shù)制及其轉(zhuǎn)換”知識點。該部分主要包括各進制的表示以及進制之間的相互轉(zhuǎn)換,對于理解計算機如何計算和存儲數(shù)據(jù)等知識點至關(guān)重要,幫助學生形成正確的計算機理論概念,是幫助學生提升信息技術(shù)能力的重要一步,也是幫助學生邁向信息素養(yǎng)的關(guān)鍵一步,是推動高職教育信息化的重要環(huán)節(jié)。以此為知識點,邀請相關(guān)學科專家和三位一線教師,根據(jù)以往學生對計算機基礎(chǔ)知識的了解情況和知識的重要程度來進行篩選,從而確定“數(shù)制及其轉(zhuǎn)換”的認知屬性及其層級關(guān)系,最終確立了7 個認知屬性,具體劃分描述如表1所示。

表1 “數(shù)制及其轉(zhuǎn)換”的認知屬性及具體知識點

為了進一步檢測層級劃分的合理性和可行性,檢驗教學的可行性,本文同時采用了口語報告法,讓學生口頭表述解題思路,根據(jù)學生的解題思路作相應(yīng)的記錄,與之前各位老師確立的屬性及層級關(guān)系進行比較,兩者是具有一致性的,僅A2屬性有爭議,其他關(guān)系都是兩者相互印證的。這說明“數(shù)制及其轉(zhuǎn)換”屬性劃分是合理的,經(jīng)過反復研討后得到的“數(shù)制及其轉(zhuǎn)換”的認知屬性關(guān)系如圖1所示。

圖1 “數(shù)制及其轉(zhuǎn)換”的認知屬性關(guān)系

(二)構(gòu)建Q 矩陣

Q 矩陣[14]對于教學中測試編制、學習測評和認知診斷分析具有重要意義,是描述測驗項目與屬性間關(guān)系的矩陣,可將課堂中不可觀察的認知屬性轉(zhuǎn)化成可觀察的項目反應(yīng)的模式,從而捕獲題目與作答情況和屬性的對應(yīng)關(guān)系[15]。其確定需要經(jīng)過以下四個步驟的演化。

第一,從可以反映知識點認知屬性和屬性層級的關(guān)系中找到可以反映屬性間直接關(guān)系的鄰接矩陣(A 矩陣),即在確定Q 矩陣之前,要根據(jù)圖1“數(shù)制及其轉(zhuǎn)換”的認知屬性的直接關(guān)系確定相應(yīng)的A 矩陣(見圖2左)。以圖1為例,A1 是A2與A3 的先決屬性,A2 是A4、A5 與A6 的先決條件,A3 是A6 與A7 的先決條件,他們之間具有直接關(guān)系,其余均無直接關(guān)系。

第二,在A 矩陣的基礎(chǔ)上,再去判斷屬性間的直接關(guān)系、間接關(guān)系和自身關(guān)系,從而得到能夠反應(yīng)各個屬性關(guān)系的可達矩陣即R 矩陣(見圖2右)。以圖2為例,“數(shù)制及其轉(zhuǎn)換”知識點構(gòu)建的A 矩陣和R 矩陣,其中,“0”表示屬性間不存在關(guān)系,反之“1”則為存在關(guān)系。

圖2 “數(shù)制及其轉(zhuǎn)換”知識點的A 矩陣和R 矩陣

第三,羅列符合知識點相關(guān)邏輯的所有的理想掌握模式IRP?！皵?shù)制及其轉(zhuǎn)換”知識點共有7 個屬性,則被試所有可能的掌握模式種類共27=128種,作為確定Q 矩陣的途徑和指導認知診斷測驗的編制,而且還應(yīng)遵循以下原則:確保診斷每個認知屬性;確保多次觀察、測量每個認知屬性[16],避免偶然。

第四,根據(jù)計算機學科的知識邏輯體系和學科規(guī)律,考慮測量屬性與測試項目之間的關(guān)系,刪減去全0 模式且確保每一個屬性至少測量3 次。在經(jīng)過上述步驟后,得到了符合要求的22 種考核模式的“數(shù)制及其轉(zhuǎn)換”的認知診斷Q 矩陣,如表2所示。通過認知診斷Q 矩陣,能夠有效地獲得測量參數(shù)并能更好地區(qū)分和診斷每個屬性的層級。

表2 “數(shù)制及其轉(zhuǎn)換”的Q 矩陣

(三)測評試卷的編制

試卷是教師考核學生是否掌握教學內(nèi)容以及達到教學任務(wù)的重要標準。在認知診斷測驗編制理論指導下,試卷遵循已確定的認知屬性、層級關(guān)系和Q 矩陣劃分的認知屬性分類,實現(xiàn)測試內(nèi)容到知識點屬性的對應(yīng)。由3 位教師反復修改、測試和審閱,確定測試卷題型均為選擇題,題目數(shù)量為22 道。

三、基于認知診斷的學習測評實施

在教學考試環(huán)節(jié)中應(yīng)用認知診斷開展學習測試,學生完成相關(guān)試題后,根據(jù)測評的實證數(shù)據(jù)驗證知識劃分的合理性并檢驗測評試卷的質(zhì)量。最終選擇恰當?shù)恼J知診斷模型實現(xiàn)學習測評數(shù)據(jù)的有效解釋。

(一)測評對象

測評對象為某市某高職一年級的184 名學生,經(jīng)過兩個課時的“數(shù)制及其轉(zhuǎn)換”知識點的學習后,第三個課時統(tǒng)一讓學生進行測試,測試時間為30 分鐘。本測試卷采用0-1 計分的方式,答對記1,答錯或未答記0,發(fā)放紙質(zhì)試卷為184 份,收回有效試卷184 份。

(二)測評知識層級關(guān)系的檢驗

試卷采用層級一致性指標(Hierarchy Consistency Index,HCI)[17]進行層級關(guān)系的實測數(shù)據(jù)的驗證,檢驗統(tǒng)計表達式為:

其中HCI取值區(qū)間一般在[-1,+1],其值越趨于+1,則表明擬合的程度越好;反之,值越趨于-1,則表明擬合的效果越差。根據(jù)HCI的參考指標,HCI值在0.60 以上表示模型對數(shù)據(jù)的擬合較好。根據(jù)一致性指標公式,計算得出本測試卷的HCI平均值為0.689,說明“數(shù)制及其轉(zhuǎn)換”知識點的屬性及劃分的7 個層級關(guān)系基本合理。

(三)測評試卷質(zhì)量分析

測試作為教學評價的重要方式之一,試卷質(zhì)量分析也是度量試題質(zhì)量優(yōu)劣的重要途徑。使用SPSS 平臺對信度(α)、難度(P)、區(qū)分度(D)三個試卷質(zhì)量分析指標進行數(shù)據(jù)統(tǒng)計與分析。

信度[18]指標直接揭示了試卷的可靠性,是評判試卷是否可行和可信的重要依據(jù)。信度的系數(shù)分布在0 到1 之間,對于測驗理論與能力的試卷,其信度應(yīng)在0.70 以上較為合適。本試卷的信度結(jié)果是采用Cui 等人提出的基于認知診斷的信度分析方法,得到的屬性平均信度數(shù)值均大于0.7,說明試卷具有可靠性。信度分布如表3所示。

表3 Cui 等人信度分布表

難度系數(shù)是判定試卷出題難度是否合適的指標,評判試卷是否具有可用性,對區(qū)分度指標有直接的影響。試卷難度一般范圍控制在0.3～0.7,本試卷求得的平均難度為0.693,基本符合難度指標。

區(qū)分度指標反應(yīng)題目對不同屬性掌握模式的被試的區(qū)分能力[19]。根據(jù)CTT 標準,區(qū)分度一般在0.4 左右較好,本試卷的平均區(qū)分度為0.397,各題區(qū)分度具體數(shù)值如表4所示。

表4 各題區(qū)分度

結(jié)果顯示,本次試卷的平均信度、平均難度和平均區(qū)分度基本符合指標,說明本試卷是具有較高的穩(wěn)定性和可信度,這對后續(xù)的模型擬合、選擇和分析奠定了基礎(chǔ)。

(四)選擇測評模型

常見的三種認知診斷模型分別是DINA 模型、G-DINA 模型和DINO 模型。本文通過使用R語言中的CDM 包對測驗結(jié)果數(shù)據(jù)進行三種模型擬合。三種模型的擬合信息準則指標如表5所示。通過綜合偏差、AIC 值、BIC 三值可以發(fā)現(xiàn),相較三種模型,擬合結(jié)果數(shù)據(jù)顯示最優(yōu)的是DINA模型。因此,選擇DINA 模型對“數(shù)制及其轉(zhuǎn)換”知識點進行認知診斷分析更適合。

表5 三種模型的擬合信息準則指標

DINA 模型[20]的數(shù)學表達式為:

其中有兩個重要的參數(shù):失誤參數(shù)sj和猜測參數(shù)gj。前者是表示由于粗心失分的概率;后者是猜對得分的概率。通常,兩參數(shù)值均小于0.4可判定為有效診斷。將學生成績、Q 矩陣作為輸入數(shù)據(jù),使用R 語言CDM 包中的DINA 模型對輸入數(shù)據(jù)進行擬合,得到猜測參數(shù)、失誤參數(shù)和代表模型擬合指標RMSEA。當RMSEA 小于0.06 時擬合效果較好。通過計算得出猜測參數(shù)和失誤參數(shù)基本都小于0.4,且RMSEA 均值為0.064,進一步驗證本文所選模型的有效性,且通過該模型實現(xiàn)后期的認知分析,為精準反饋評價提供一定參考。

四、學習測評診斷結(jié)果分析

通過認知診斷的實施得到的測評數(shù)據(jù)、診斷結(jié)果揭示學生在學習測評中反映出來的認知掌握模式、個人掌握概率雷達、學生認知屬性掌握概率等信息,并以多樣化的方式進行認知分析和評價反饋。

(一)測評個體結(jié)果分析

在以往教學測試中,一般是通過分數(shù)來判定學生的學習情況,但大多數(shù)時候,學生呈現(xiàn)一種“同分異學”現(xiàn)象,即相同或相近的測驗分數(shù),但學習效果和學習情況截然不同。本測試隨機選取了部分被試學生的認知掌握模式,如表6所示。其中,作答反應(yīng)模式反映了測驗的作答結(jié)果(1 為答對,0 為答錯);掌握模式反映了試卷中題目相應(yīng)認知屬性的掌握情況(1 為掌握該屬性,0 為未掌握)。

表6 部分學生的認知掌握模式

以3 號和5 號學生為例,他們的測驗成績相同且都為14 分,但3 號學生的認知屬性模式為1110011,未掌握A4、A6 屬性;5 號學生模式為1110110,未掌握A4 和A7 屬性;而2 號未答對全部試題,17 題和20 題答錯,卻掌握了全部屬性。再如1 號和7 號的認知屬性模式均為1110110,但1 號的分數(shù)為12 分,7 號的分數(shù)為17 分,兩者相差5 分。在實際高職教學課堂中,教師時常面臨知識點多、學生多且基礎(chǔ)不一等復雜的情況;此外,知識點的學習并非一蹴而就,連續(xù)的知識輸入容易造成知識堵塞。高職學生的學習主動性和自律能力略顯欠缺,根據(jù)此類情況,教師可以通過該表認知診斷的數(shù)據(jù)進行后續(xù)的個性化追蹤教學,幫助高職教學的進一步發(fā)展。

每個學生都是獨立個體,學生對于信息接受、加工處理的能力也有差異。從被試學生中選取了2 名學生(編號1 和53),根據(jù)學生作答情況和認知診斷劃分的屬性,形成掌握概率雷達圖,如圖3和圖4所示,經(jīng)對比發(fā)現(xiàn),2 名學生對屬性的掌握程度各不相同。圖3同學對于屬性2 的概念知識掌握情況不佳;相反,圖4同學對屬性1 的概念沒有理解到位。由于兩位被試同學對于知識點的基本概念掌握有所區(qū)別,導致其他相關(guān)應(yīng)用分析的緊后屬性的掌握情況也有所不同。從學生學習和做題情況反饋來看,學生對進制的邏輯算法和算術(shù)運算的概念區(qū)分有一些混淆,需要教師在教學時注重兩者在概念上的區(qū)別,加強學生的學習理解能力。

圖3 被試1 掌握概率雷達圖

圖4 被試53 掌握概率雷達圖

(二)測評整體結(jié)果分析

對于整體的教學測評分析,使DINA 模型的被試alpha 選擇最大后驗概率估計(MAP)方法來對學生的認知掌握模式進行歸類。若得到的掌握屬性的概率大于0.6,判定為已掌握該屬性;若概率小于0.4,判定為未掌握該屬性[21];若掌握該屬性的概率在0.4 到0.6 之間,需要做進一步判定。通過計算結(jié)果顯示,97.36%的掌握模式實現(xiàn)歸入,只有一個掌握模式為0111011 學生的掌握模式未歸入,說明知識點的屬性結(jié)構(gòu)關(guān)系與學生學習路線一致,再次驗證屬性結(jié)構(gòu)關(guān)系的可信。

學生主要的認知屬性掌握模式所占比例如表7所示,其中學生主要集中在1110110、1100100、1101100 這三種模式上,其中模式1110110 最多,為25.82%,1101100 次之,說明大部分的學生都能掌握A1、A2、A3、A5 這幾個概念性的屬性。但對于1111111 模式的掌握情況只有6.51%,說明學生掌握認知屬性結(jié)構(gòu)單一,在實際學習情況中,不僅包含了數(shù)制的概念知識,還需要學生對數(shù)制轉(zhuǎn)換規(guī)則進行深度理解,這使得學生要有綜合運用知識點的能力。

表7 學生認知掌握模式比例

如圖5所示,在整體被試學生對于“數(shù)制及其轉(zhuǎn)換”知識點的認知屬性掌握概率中,A1 的掌握概率高達0.9,A2、A3、A5 的掌握概率均大于0.6,說明大部分學生知識掌握情況屬于中上水平。其余3 個屬性均低于0.5,A4 是對于二進制相關(guān)運算的屬性,掌握概率也僅有0.4,說明學生對于二進制中或、與、非邏輯運算的相關(guān)概念掌握不夠充分,教師需加強對于邏輯運算和算數(shù)運算兩者的異同點進行著重講解。其中,屬性A7 掌握情況最差,關(guān)聯(lián)屬性A6 也掌握較低。A6 和A7是二進制與其他進制之間的應(yīng)用轉(zhuǎn)換,需要學生在了解理論的基礎(chǔ)上,進行內(nèi)化和吸收。這也反映了在高職教學中需充分考察學生綜合運用能力和知識遷移的能力。

圖5 學生認知屬性掌握概率

綜上所述,基于認知診斷展開學習測評,選用DINA 模型實現(xiàn)的“數(shù)制及其轉(zhuǎn)換”認知診斷測試結(jié)果分析,不僅可以幫助教師從宏觀上整體把握整個高職教學課堂情況,充分了解學生總體的認知掌握模式比例情況,突破教學重難點,及時調(diào)整教學計劃,促進學生內(nèi)化知識的結(jié)構(gòu),輔助高職教學的結(jié)構(gòu)化,進一步推進計算機基礎(chǔ)知識向信息素養(yǎng)轉(zhuǎn)化,而且還為教師對學生個性化補救、追蹤教學提供參考。除此之外,學生也可通過診斷結(jié)果清楚自身認知結(jié)構(gòu)水平并進行自我反思,尋求幫助并及時調(diào)整。這些診斷分析和評價使得學生學習和教師教學得到及時反饋,從而推動以評促學、以評促教。

(三)反饋評價

如今的學習評價理論發(fā)生著改變,在以知識為核心的認知診斷理論指導下,逐漸用精準的個性化反饋評價替代以往的單純檢測成績來決定知識掌握情況的局面,并且認知診斷可幫助教師和學生得到個性化反饋報告,充分發(fā)揮精準評價的作用。同時,反饋評價是教學過程中的必要環(huán)節(jié),也是實現(xiàn)學生教學行為改變和教師教學計劃調(diào)整的前提條件。為更好實現(xiàn)對學生的個性化反饋評價,本文根據(jù)認知診斷數(shù)據(jù)生成學生測評反饋報告,包括基本信息、知識點技能定義、作答情況、掌握情況和分析評價及學習建議5 個部分。第1 部分是學生與班級學號基本信息;第2 部分是對知識點分解出來的認知進行技能定義,從理解、記憶、分析、應(yīng)用技能目標中選擇適合認知的技能;第3 部分提供了該學生對于本次測試的作答情況,包括每一測試題目對應(yīng)的分值、得分、考察屬性、答對率、總分和平均分;第4 部分根據(jù)學生作答數(shù)據(jù)的診斷結(jié)果形成掌握概率雷達圖,可以清楚看出該生的目前技能掌握及差距;第5 部分對被試學生已掌握的屬性給予了鼓勵或者贊賞的評價,并針對未掌握的屬性提供了改進提高建議。

在認知診斷的幫助下,根據(jù)已掌握的學習測評數(shù)據(jù)精準分析學習狀態(tài)、知識技能掌握程度和認知能力水平,并生成學生測評反饋報告,有效記錄學生的學習過程。不僅可以多元化地呈現(xiàn)測評數(shù)據(jù)、信息包括知識,通過恰當?shù)厥褂帽砀?、雷達圖和柱狀圖等可視化方式進行直觀、精準地反饋,更好地幫助學生分析存在的學習誤區(qū)和盲點,而且也可以幫助教師客觀有效地進行個性化評價。

五、結(jié)語

科學且客觀的學習測評有助于高職教育的人才培養(yǎng)。新一代認知診斷通過挖掘教學過程中測評數(shù)據(jù)的價值,實現(xiàn)數(shù)據(jù)—信息的轉(zhuǎn)換,解釋學習者的學習認知狀態(tài),幫助教師發(fā)揮引導者的教學角色并及時調(diào)整教學。本研究以“數(shù)制及其轉(zhuǎn)換”知識點為測評內(nèi)容,劃分符合學生的認知加工過程的層級屬性;構(gòu)建恰當充分的Q 矩陣,編制測試并實施應(yīng)用認知診斷DINA 模型分析掌握模式的情況來觀測學生的學習情況,比以往單純用分數(shù)來衡量學生理解知識的方法具有客觀意義。這種學習評價與測量方法能更準確地觀察出學生的學習效果,反饋學生學習情況,從而促進教師進行教學反思和改進,從宏觀上提升整體教學效果。此外,針對高職教育中存在的“同分異學”現(xiàn)象的學生進行個性化的跟蹤教學,根據(jù)知識屬性掌握情況,輔助學生吸收并消化薄弱的知識點,有效采取個性化的精準教學和指導措施,幫助實現(xiàn)個性化教學與反饋評價。進而推進高職計算機課程教學與學生信息素養(yǎng)的充分融合,提高職業(yè)教育中公共基礎(chǔ)課程地位,助力職業(yè)教育理論體系的養(yǎng)成并不斷加強個性化教學的發(fā)展。