基于認知診斷的高考考生能力掌握模式研究

李金波 朱玉玲

1 前言

目前，我國高考還只是報告一個分數(shù)（或等級）來籠統(tǒng)地反映考生的知識（能力）水平。至于考生究竟掌握了哪些知識（能力），未掌握哪些知識（能力），還無法做出進一步的分析與解釋。對具有相同得分考生之間的知識（能力）差異更是無從得知。隨著我國新一輪課程改革尤其是課程評價改革的推進，改變傳統(tǒng)的高考評價模式，探索有效的知識（能力）考查和知識（能力）考查程度評估的方法，已為當前之急需。

近年來，心理與教育測量理論逐漸與認知心理學結合，形成了以認知診斷為核心的新一代測評理論。認知診斷理論使學生的知識（能力）診斷成為可能，國內外學者也進行了不少的研究。例如，Tatsuoka（1983）最早提出的規(guī)則空間模型就是基于對中小學數(shù)學加減法的分析；通過對172個被試在40道帶正負號的加減法題目上的作答反應的分析，發(fā)現(xiàn)了30種錯誤規(guī)則。Dogan，Tatsuoka（2008）運用規(guī)則空間模型分析土耳其學生在TIMSS-R數(shù)學測試中的成績，并將結果與美國同類學生比較，發(fā)現(xiàn)土耳其學生在代數(shù)和概率統(tǒng)計學、代數(shù)中的規(guī)則運用、解答開放性問題等方面比美國學生弱。Lee，Sawaki（2009）運用一般診斷模型、融合模型和潛在分類模型三種認知診斷模型對英語作為第二語言的學生聽力和閱讀理解能力進行評估診斷研究。Chen（2011）對臺灣城鄉(xiāng)學生間數(shù)學成績進行認知診斷，發(fā)現(xiàn)城市學校的學生對高層次的數(shù)學內容（幾何和代數(shù)）和抽象思維能力的表現(xiàn)優(yōu)于農村學校的學生。而且城市學生大多被歸類為掌握較多知識屬性的模式，農村學生大多被歸入掌握較少屬性的知識狀態(tài)。在大陸，余嘉元（1995）運用規(guī)則空間模型對初中二年級學生在解不等式中存在的認知錯誤進行識別，確定了學生解不等式18種典型錯誤反應模式，并把86%的被試歸入這18種典型認知錯誤反應模式。戴海崎和張青華（2004）應用認知診斷中的規(guī)則空間模型對299名被試進行診斷，判斷他們在統(tǒng)計學習中的屬性掌握模式。劉啟亮（2008）運用規(guī)則空間模型對初三學生化學化合物有關知識掌握情況進行了診斷，將91.46%被試的實際作答模式判歸為21種理想屬性反應模式，從而實現(xiàn)了對被試的屬性掌握情況的診斷，并根據(jù)診斷的結果就如何補救進行了探討，從班級和個體兩個層面在理論上提出了一些補救設計方案。劉芳（2011）運用規(guī)則空間模型通過對3～4年級漢語閱讀障礙兒童之快速命名及工作記憶缺陷的認知診斷性測驗研究，成功地將95%的被試歸類到典型掌握模式中，探討其結構內容和屬性掌握模型，為其診斷提供理論和實踐依據(jù)。

綜合來看，認知診斷理論在知識技能診斷中已經得到了一些成功的運用，但這些應用研究大都是基于某一具體的學科知識（能力），集中在屬性層級簡單的小規(guī)模的研究與應用領域，在更具價值和影響力的大規(guī)模測驗（如高考）中至今還未見令人興奮的實際應用?；诖?，本研究以高考為研究對象，開展高考考生能力掌握模式的認知診斷研究，嘗試認知診斷技術在大規(guī)模考試中的推廣應用。

2 研究方法

2.1 被試

從參加某省2011年高考理科數(shù)學考試的全體考生中隨機抽取10 000名考生作為考生整體能力掌握模式診斷樣本。另外，從全體考生中隨機抽取男生和女生各5 000名作為男女生差異研究樣本，城市和農村（按戶口所在地劃分）考生各5 000名作為城鄉(xiāng)考生差異研究樣本。

2.2 測驗工具

以該省2011年高考理科數(shù)學試卷作為測驗工具，測驗共22個項目（試題）。

2.3 研究程序

運用規(guī)則空間模型對考生在測驗所考查的能力屬性上的掌握模式進行診斷。

第一步，確定能力屬性及能力層級關系。根據(jù)高考考試大綱（說明）要求以及已有的研究，確定高考理科數(shù)學所考查的學科能力包括運算求解能力（B1）、數(shù)據(jù)處理能力（B2）、空間想象能力（B3）、推理論證能力（B4）、抽象概括能力（B5）、應用意識（B6）和創(chuàng)新意識（B7）共7種。組織學科專家組對能力之間的層級關系進行集中分析和討論，最終確定它們之間的層級關系見圖1。

第二步，由學科專家組對項目所考查的學科能力進行集中討論，確定每個項目所考查的主要能力結構（見表1）。

圖1 能力屬性的層級關系

表1 項目能力屬性表

第三步，確定鄰接矩陣、可達矩陣、事件矩陣、縮減事件矩陣和典型屬性矩陣。根據(jù)表1和圖1標定的7個屬性之間的層級關系，可以得到各能力屬性的鄰接矩陣和可達矩陣。根據(jù)所考查的能力屬性數(shù)量和排列組合原理，可得知考查7種能力屬性的所有可能的項目類型（事件矩陣Q）有27-1=127種?？紤]7種屬性之間存在的層級關系，可以得到7×70的縮減事件矩陣。對縮減事件矩陣進行轉置，得到典型能力屬性矩陣（見表2，1表示考生掌握了該能力屬性，0表示考生沒有掌握該能力屬性；加上考生屬性掌握全為0的情形，共有71種典型的考生能力掌握模式）。

表2 考生典型能力屬性矩陣

第四步，確定理想項目反應模式。測驗包括客觀題（共17題）和主觀題（共5題）兩部分，可以分別確定其理想項目反應模式?？陀^題部分，根據(jù)考生所有可能的典型屬性掌握模式和項目屬性可得到與其相對應的在沒有失誤情況下的71種理想項目反應模式。主觀題部分為多級評分。根據(jù)羅歡,丁樹良（2009）關于屬性不等權重時的屬性分數(shù)權重的計算方法，同樣可以確定多級評分的期望項目反應模式。將兩部分理想反應模式進行合并，最后可得測驗完整的理想項目反應模式矩陣（見表3，第1～17列為客觀題反應模式，第18～22列為主觀題反應模式）。

表3 理想項目反應模式

第五步，規(guī)則空間構建和模式識別。關于認知診斷的模式識別方法，傳統(tǒng)多通過計算馬氏距離，根據(jù)馬氏距離的大小將考生的掌握模式進行歸類。近年來國內外在此基礎上也開發(fā)了其他一些分類方法。例如，Gierl和Cui等人（2007）應用多層感知器神經網絡進行認知診斷分類，即將期望項目反應模式和對應的典型屬性掌握模式分別作為輸入項和輸出項，建立神經網絡模型，再利用模型對實際反應模式進行分類識別。在國內，曹慧媛，丁樹良（2009）則使用其他人工神經網絡（BP網絡、Hamming網絡以及PNN網絡）進行認知診斷分類，通過對0-1評分的AHM模式分類仿真實驗表明，與AHM中以往的模式分類方法相比，人工神經網絡方法不僅具有較高的歸準率而且更具有自適應性和魯棒性?；诖?，本研究運用MATLAB軟件自編程序，建立BP神經網絡模型，對高考考生的能力掌握模式進行識別。

首先，輸入/輸出項設計。由于共考查7種能力，因而輸出項神經元個數(shù)設置為7個。輸入項為理想項目反應模式，包括22個反應項目，因而輸入項神經元個數(shù)設定為22個。

其次，網絡結構設計。網絡采用單隱含層結構。根據(jù)實際訓練結果確定隱含層神經元個數(shù)為47個。隱含層的傳遞函數(shù)采用S型的正切函數(shù)（tansig）；輸出層傳遞函數(shù)采用S型的對數(shù)函數(shù)（logsig）；學習函數(shù)為Learngdm；學習速率為0.1；期望收斂精度選擇1×10-8；訓練函數(shù)選擇trainlm算法。

第三，網絡訓練與仿真。本研究共獲得有效測試樣本為71個，將其作為訓練樣本。設計的網絡經過34次訓練后，其性能就達到了要求。

基于訓練好的神經網絡，就可以對考生的能力屬性掌握模式進行識別。

3 研究結果

3.1 考生整體的能力掌握模式診斷

基于已訓練的BP神經網絡模型對樣本考生的典型能力屬性掌握模式進行識別，結果見表4（只取考生比例較大的部分典型能力掌握模式）。

表4 高考考生的能力屬性掌握模式

表4顯示，在所有的10 000個考生樣本中，成功將考生進行能力屬性歸類的有9 651個，比率為96.51%。這個比例大于一般認為的90%成功分類比例的標準，意味著神經網絡技術在能力模式識別得到了成功的運用。

從表4可以看出，考生的能力屬性模式比例較高的有第11、33、51、56、66種等屬性模式。這幾種模式對應的屬性模式分別為（1101000）、（1101001）、（1111001）、（1101101）、（1111101）。也就是說，屬于第11種典型能力模式的考生掌握了運算求解能力、數(shù)據(jù)處理能力和推理論證能力，但抽象概括能力、應用意識和創(chuàng)新意識掌握欠缺。其他模式可以依此類推。

如果按考生在各項能力屬性的掌握情況進行統(tǒng)計，可以得出如表5所示的各個屬性的平均掌握情況。

表5顯示，考生在7項能力屬性上的掌握比例從96.58%到30.77%不等。

3.2 不同考生群體的能力掌握模式比較

3.2.1 城鄉(xiāng)考生能力掌握模式的差異

對城市和農村考生樣本分別進行能力掌握模式診斷，結果見表6。

表6顯示，城市、農村考生成功歸類的比例比較接近，分別為97.32%和96.72%，均達到較高的水平。再對比各種典型能力屬性的考生數(shù)和比例，無論是城市考生還是農村考生，考生的能力屬性模式比例較高的均為第11、33、51、56、66、71種等屬性模式。但城市考生與農村考生在具體能力屬性上的人數(shù)和比例還是存在一定的差異。

分別對城鄉(xiāng)考生在各項能力屬性上的平均掌握情況進行統(tǒng)計，結果見表7。

表7顯示，無論是城鎮(zhèn)考生還是農村考生，掌握比例較高的有運算求解能力、數(shù)據(jù)處理能力和推理論證能力，但應用意識的掌握比例最低。在7種能力中，城市考生在所有能力上的掌握比例均高于農村考生。

表5 考生在各項能力屬性的平均掌握情況

表6 城鄉(xiāng)考生的能力掌握模式比較

3.2.2 男女考生能力掌握模式的差異

對男女生樣本分別進行能力掌握模式診斷，結果見表8。

表8顯示，男女考生成功歸類的比例比較接近，分別為96.64%和96.24%，均達到較高的水平。再對比各種典型能力屬性的考生數(shù)和比例，無論是男生還是女生，考生的能力掌握屬性模式比例較高的也均為第11、33、51、56、66種等屬性模式。但男生與女生在具體能力屬性模式上還是存在一定的差異。

分別對男女考生在各項能力屬性上的平均掌握情況進行統(tǒng)計，結果見表9。

表9顯示，無論是男生還是女生，掌握比例較高的還是運算求解能力、數(shù)據(jù)處理能力和推理論證能力，但應用意識的掌握比例最低。在7種能力中，男生在所有能力上的掌握比例均高于女生。

表7 城鄉(xiāng)考生在各項能力屬性上的平均掌握情況

表8 男女考生的能力掌握模式比較

表9 男女考生在各項能力屬性上的平均掌握情況

4 分析與討論

綜合上述分析結果，可以發(fā)現(xiàn)以下一些特征：

首先，考生對各項能力屬性的掌握程度差異明顯。考生的典型能力掌握模式共有71種，96%以上的考生可以歸屬于相應的典型能力掌握模式，并且不同典型能力掌握模式的人數(shù)比例從0到9.8%不等（見表4）。其中，比例最高的是第33種典型能力掌握模式，達到9.81%。該部分考生對運算求解能力、數(shù)據(jù)處理能力和推理論證能力掌握比較好，也具有較好的創(chuàng)新意識，但在空間想象能力、抽象概括能力和應用意識方面比較弱。第71種典型能力掌握模式的考生比例為6.37%，即全面掌握各項能力的考生人數(shù)占6%以上。從整體來看，考生掌握程度較高的有運算求解能力、數(shù)據(jù)處理能力和推理論證能力（均在90%以上），掌握程度較低的有應用意識、空間想象能力和抽象概括能力，尤其是應用意識的掌握比例最低（不到31%）。

其次，不同考生群體的能力掌握模式存在不同程度的差異。選取城鄉(xiāng)和男女兩個不同考生群體進行能力掌握模式差異的分析。發(fā)現(xiàn)城鄉(xiāng)考生在不同典型能力掌握模式上的考生數(shù)和比例存在差異?？傮w而言，在低端能力掌握模式上農村考生的比例要高于城市考生，而在高端能力掌握模式上則相反。在第71種典型模式上，城市考生的比例要高于農村考生，即全面掌握各項能力的考生人數(shù)城市多于農村。在各項能力的平均掌握比例上也是城市考生高于農村考生。

男生與女生在具體能力掌握模式上也存在一定的差異。例如，在全面掌握各項能力（第71種典型模式）的比例上，男生要高于女生（分別為7.28%和4.90%）。從各項能力的平均掌握比例來看，也是男生均要高于女生。其中，差異尤為明顯的有空間想象能力和抽象概括能力。

5 結論

（1）基于神經網絡建模技術可以對高考考生的能力掌握模式進行有效的識別，可以進行推廣應用。

（2）根據(jù)2011年某省高考測試卷對考生能力掌握模式進行分析，顯示考生之間的能力掌握模式不同，不同的典型能力掌握模式的考生比例也不同?？忌鷮\算求解能力、數(shù)據(jù)處理能力和推理論證能力的掌握程度較高，對應用意識、空間想象能力和抽象概括能力的掌握程度較低，尤其以應用意識的掌握程度最低。

（3）不同考生群體的能力掌握模式存在明顯差異。城市考生在各項具體能力上的平均掌握率高于農村考生；在高端能力掌握模式上的比例高于農村考生，在低端能力掌握模式則相反。男考生對各項能力的平均掌握率要高于女考生，差異較為明顯的有空間想象能力和抽象概括能力。

（4）研究結果將考生的能力掌握模式劃歸到71種典型的能力掌握模式中，考生可以根據(jù)自己的能力掌握模式了解自己能力的具體掌握情況，教師可以根據(jù)能力掌握情況進行有針對性的補救教學，從而提高教學以及學習效率。

[1] 曹慧媛，丁樹良.人工神經網絡在認知診斷中的應用研究[D].南昌：江西師范大學，2009.

[2] 戴海崎,張青華.規(guī)則空間模型在描述統(tǒng)計學習模式識別中的應用研究[J].心理科學,2004(04):949-951.

[3] 劉芳.3～4年級漢語閱讀障礙認知診斷測驗初編:基于RSM的兒童快速命名和工作記憶缺陷的診斷研究[D].長沙：湖南師范大學,2011.

[4] 羅歡,丁樹良.認知診斷中屬性權重的研究——以多級評分AHM為例[D].南昌：江西師范大學，2009.

[5] 劉啟亮.規(guī)則空間模型在初中生化學知識學習診斷與補救中的應用研究[D].南昌：江西師范大學，2008.

[6] 余嘉元.運用規(guī)則空間模型識別解題中的認知錯誤[J].心理學報，1995（2）：196-204.

[7] Chen,Y.H.Cognitive Diagnosis of Mathematics Performance between Rural and Urban Students in Taiwan[J].Assessment in Education:Principles,Policy&Practice,2011(10):1-17.

[8] Dogan,E.,&Tatsuoka,K.K..An International Comparison Using a Diagnostic Testing Model:Turkish Students’Profile of Mathematical Skills on TIMSS-R[J].Educational Studies in Mathematics,2008(3):263-272.

[9] Gierl,M.J.,Cui,Y.,&Hunka,S.Using Connectionist Models to Evaluate Examinees’Response Pattern on Test:An Application of the Attribute Hierarchy Method to Assessment Engineering[C].Paper Presented at the Annual Meeting of the National Council On Measurement in Education.Chicago,USA,2007.

[10] Lee,Y.W.,&Sawaki,Y.Application of Three Cognitive Diagnosis Models to ESL Reading and Listening Assessments[J].Language Assessment Quarterly,2009(6):239-263.

[11] Tatsuoka,K.K.Rule space:an approach for dealing with misconceptions based on item response theory[J].Journal of Education Measurement,1983(4):345-354.