高考生知識掌握水平的診斷研究

李金波 朱玉玲

高考生知識掌握水平的診斷研究

李金波 朱玉玲

運用認知診斷技術(shù)，對高考生在理科數(shù)學知識上的掌握狀況進行診斷。發(fā)現(xiàn)考生在函數(shù)、概率統(tǒng)計、不等式和數(shù)列等知識上掌握較好，導數(shù)掌握最差；女生在函數(shù)、導數(shù)、三角函數(shù)和不等式上的掌握情況優(yōu)于男生，男生在立體幾何、解析幾何、概率統(tǒng)計、數(shù)列和其他知識上的掌握情況優(yōu)于女生；城鎮(zhèn)考生在各項知識上的掌握情況均優(yōu)于農(nóng)村考生；省會城市所在地考生的知識掌握情況優(yōu)于地市所在地考生，地市所在地考生優(yōu)于鄉(xiāng)鎮(zhèn)考生。

知識；高考；認知診斷；規(guī)則空間模型；診斷

目前對學生知識掌握水平的評估主要還是通過考試的方式。而考試往往只是提供一個分數(shù)（或分數(shù)等級）來反映學生的知識水平；從中很難看出學生掌握了哪些知識，還未掌握哪些知識，他們的知識掌握究竟達到了何種水平。如果能在分數(shù)的基礎(chǔ)上對學生的知識掌握狀況作進一步的診斷，則可以為學生、教師和學校提供更多的反饋信息，促進學生學習和教師教學質(zhì)量的提高。另外，新課改首次將評價改革列為改革目標之一，希望建立評價學生全面發(fā)展的指標體系。如果能在考試的基礎(chǔ)上對學生的知識結(jié)構(gòu)進行診斷，則無疑對“改變課程評價過分強調(diào)甄別與選拔的功能，發(fā)揮評價促進學生發(fā)展、教師提高和改進教學實踐的功能”具有重要的促進作用。

為了對學生進行更全面、客觀、深入的評價，考察隱藏在分數(shù)背后的內(nèi)部認知過程，在傳統(tǒng)測量理論的基礎(chǔ)上，人們將認知科學與教育測量理論相結(jié)合，開發(fā)出許多認知診斷模型。通過這些模型，將認知變量直接融合進測量模型之中，對學生在解題過程中的認知加工過程進行研究，診斷出學生實際掌握了哪些知識技能，推測學生的各種具體知識技能達到了何種水平，還存在哪些認知缺陷，從而可以為學生提供更為有效的診斷和評價。目前，認知診斷模型在一些領(lǐng)域已經(jīng)得到了成功的運用。在國外，學者們將認知診斷模型運用于數(shù)學、醫(yī)學、建筑學和語言學等學科的認知錯誤診斷及計算機自適應測驗。例如，Birenbaum等（1993）應用規(guī)則空間模型診斷學生在帶指數(shù)的數(shù)的乘除方面的知識狀態(tài)，將學生歸入了25種屬性掌握模式，為學生提供了很多診斷信息[1]。Tatsuoka等（2004）探索了規(guī)則空間模型在TIMSS-R中的應用，比較了20多個國家的8年級學生參加TIMSS-R數(shù)學考試的情況，為學生作出診斷性評價，發(fā)現(xiàn)不同國家的學生在技能掌握和認知方面存在很大差異[2]。在國內(nèi)，余嘉元（1995）運用規(guī)則空間模型對初中學生在解不等式中存在的認知錯誤進行識別，確定了學生解不等式18種典型錯誤反應模式，證實了學生在解不等式中所犯的認知錯誤[3]。戴海琦，張青華（2004）運用規(guī)則空間模型對文科大學生統(tǒng)計學學習的掌握模式進行診斷，分析其在哪些知識點上掌握的比較好，哪些知識點上掌握的不夠好，并對學生和教師提出了補救意見[4]。劉啟亮（2008）運用規(guī)則空間模型對學生初三化學化合物有關(guān)知識掌握情況進行了診斷[5]。但綜觀國內(nèi)外已有的關(guān)于認知診斷應用的研究，大多還是集中在屬性層級簡單的小規(guī)模應用領(lǐng)域。在我國的大規(guī)模教育考試（如中考、高考）中，還未見認知診斷應用的相關(guān)報道?；诖?，本研究以高考為研究對象，選取某省高考理科數(shù)學試卷和部分數(shù)據(jù)，利用認知診斷中的規(guī)則空間模型，對高考生在數(shù)學知識上的掌握狀況進行診斷，以推廣認知診斷技術(shù)在大規(guī)模考試中的應用。

1 高考生整體的知識掌握模式診斷

1.1 確定試卷考查的知識屬性及屬性間層級關(guān)系

組織學科專家組對試卷所考查的知識屬性進行分類，確定立體幾何、解析幾何、函數(shù)初步、統(tǒng)計與概率、導數(shù)、三角函數(shù)、不等式、數(shù)列和其他知識共9項知識屬性，其中其他知識項包括集合、簡易邏輯、記數(shù)原理、復數(shù)、算法初步、向量等知識。并對這9項知識屬性間的關(guān)系進行邏輯分析，確定它們之間的層級關(guān)系（見圖1）。

圖1 知識屬性的層級關(guān)系

由學科專家組對試卷每道試題（項目）所考查的知識屬性進行分析，結(jié)果見表1。

表1 項目知識屬性

由表1可知，第1題主要考查不等式和集合等其他知識，第22題主要考查函數(shù)初步、導數(shù)、數(shù)列等知識。

1.2 確定鄰接矩陣、可達矩陣

根據(jù)表1和圖1標定的9項知識屬性之間的層級關(guān)系，可以得到各項知識屬性的鄰接矩陣（見表2）和可達矩陣（見表3）。

表2 各項知識屬性之間的鄰接矩陣

表3 各項知識屬性之間的可達矩陣

1.3 確定事件矩陣、縮減事件矩陣、典型屬性模式

知識屬性共9項，屬性組合的可能項目集（即事件矩陣Q）的項目類型數(shù)應有29-1種（由于數(shù)目較大，不在此列出），但由于這些屬性之間存在一定的層級關(guān)系，所以根據(jù)屬性間的層級關(guān)系，可獲得9×271的縮減事件矩陣（見表4，其中1表示該項目含有該屬性，0表示該項目不含有該屬性）。

表4 縮減事件矩陣

對縮減事件矩陣進行轉(zhuǎn)置可以得到典型屬性矩陣（見表5），加上考生知識屬性掌握全為0的情況，共272種可能的考生典型知識屬性掌握模式。

表5 典型知識屬性掌握模式矩陣

1.4 確定理想項目反應模式

1.4.1 客觀題的理想項目反應模式

根據(jù)考生所有可能的典型知識屬性掌握模式和項目的知識屬性可得到與其相對應的在沒有失誤情況下17道客觀題的理想項目反應模式（見表6）。

1.4.2 主觀題的期望項目反應模式

數(shù)學試卷的主觀題部分（第18至22題）為多級評分試題。對多級評分的認知診斷研究，參考羅歡,丁樹良（2009）關(guān)于屬性不等權(quán)重時的屬性分數(shù)權(quán)重的計算方法[6]?？蛇M一步確定多級評分的期望項目反應模式（見表7）。

表6 客觀題理想項目反應模式

表7 主觀題期望項目反應模式

1.5 規(guī)則空間構(gòu)建和模式識別

關(guān)于認知診斷的分類方法，傳統(tǒng)多通過計算馬氏距離，根據(jù)馬氏距離的大小來將考生的知識掌握模式進行歸類。近年來國內(nèi)外在此基礎(chǔ)上也開發(fā)了其它一些分類方法。例如，曹慧媛，丁樹良（2009）使用神經(jīng)網(wǎng)絡進行認知診斷分類，通過仿真實驗表明，與以往的模式分類方法相比，神經(jīng)網(wǎng)絡方法不僅具有較高的歸準率而且更具有自適應性和魯棒性[7]。因此，本研究隨機抽取10 000名考生作為樣本，利用BP神經(jīng)網(wǎng)絡建模方法對樣本考生的知識掌握模式進行識別，其中，典型屬性掌握模式人數(shù)（比例）較大（取比例大于1.5%）的見表8。

由表8可見，在所有的10 000個考生樣本中，成功將考生進行掌握模式歸類的有9 643名，比率為96.43%。這個比例大于一般認為的90%成功分類比例的標準，意味著神經(jīng)網(wǎng)絡技術(shù)在模式識別中得到了成功的運用。

從表中可以看出，考生的知識屬性掌握模式比例較高的有第209、245、267種等屬性模式。這幾種模式對應的知識屬性分別為（101100111）、（111100111）、（111110111）。也就是說，屬于第209種典型模式的考生較好掌握了立體幾何、函數(shù)初步、概率統(tǒng)計、三角函數(shù)、不等式和數(shù)列，但解析幾何、導數(shù)和其他知識掌握不理想。其他模式可以以此類推。其中，比例最高的是第267種屬性模式，該部分考生除對導數(shù)部分掌握不夠理想外，對其他部分知識屬性掌握均比較好。

表8 高考生的知識屬性掌握模式

表9 考生在各項知識屬性的平均掌握情況

如果對考生的各項知識屬性的平均掌握情況進行統(tǒng)計，結(jié)果見表9。從表9可以看出，考生在9項知識屬性上的掌握比例從93.47%到9.34%不等。其中，掌握程度最高的是函數(shù)初步，掌握程度最低的是導數(shù)部分，其他7種屬性在56%～78%。

2 不同高考生群體的知識掌握模式比較

按照相同的診斷方法，可對不同考生群體的知識掌握模式進行比較分析。

2.1 城鄉(xiāng)考生知識掌握模式的差異

隨機抽取城鎮(zhèn)和農(nóng)村（按戶口所在地劃分）考生各5 000名，分析其知識掌握模式，其與整體相對應的部分結(jié)果見表10。

由表10可見，城鎮(zhèn)、農(nóng)村考生成功歸類的比例比較接近，分別為96.8%和96.6%。均達到較高的水平。再對比各種典型知識屬性的考生比例，無論是城鎮(zhèn)考生還是農(nóng)村考生，考生的知識屬性掌握模式比例較高的均為第209、245、267種等屬性模式。但城鎮(zhèn)考生與農(nóng)村考生在具體知識屬性掌握上還是存在一定的差異。例如，在第272種典型模式（111111111）上，城鎮(zhèn)考生的比例要高于農(nóng)村考生（分別為2.6%和1.6%），即掌握所有知識的考生人數(shù)城鎮(zhèn)多于農(nóng)村；而在第99種典型模式（001100011）上，則是農(nóng)村考生人數(shù)多于城鎮(zhèn)考生（分別為2.2%和2.3%），即農(nóng)村考生中掌握函數(shù)初步、概率統(tǒng)計、不等式和數(shù)列理想人數(shù)多于非城鎮(zhèn)考生，而在立體幾何、解析幾何、導數(shù)、三角函數(shù)和其他知識上掌握不理想的人數(shù)要高于城鎮(zhèn)考生。即在低端知識掌握屬性，農(nóng)村考生的比例要高于城鎮(zhèn)考生。

如果對城鄉(xiāng)考生的各項知識屬性平均掌握情況進行統(tǒng)計，結(jié)果見表11。

從表11可以看出，無論是城鎮(zhèn)考生還是農(nóng)村考生，掌握比例最高的是函數(shù)初步，而導數(shù)部分的掌握比例最低。在9種知識屬性中，城鎮(zhèn)考生在所有知識屬性上的掌握比例均高于農(nóng)村考生。

表10 城鄉(xiāng)考生的知識掌握模式比較

表11 城鄉(xiāng)考生在各項知識屬性上的平均掌握情況

2.2 不同地域考生知識掌握模式上的差異

隨機抽取省會所在地、地市所在地和鄉(xiāng)鎮(zhèn)所在地考生各5 000名，分析其知識掌握模式，結(jié)果見表12。

由表12可見，不同地域考生成功歸類的比例總體上比較接近，省會所在地考生的歸類率稍高于地市所在地和鄉(xiāng)鎮(zhèn)所在地考生。再對比各種典型知識屬性的考生比例，無論是城鎮(zhèn)考生還是農(nóng)村考生，考生的知識屬性模式比例較高的同樣是第209、245、267種等屬性模式。但不同地域考生在具體知識屬性上還是存在一定的差異。例如，在第272種典型模式（111111111）上，省會所在地考生的比例要高于地市所在地和鄉(xiāng)鎮(zhèn)考生（分別為2.8%、2.0%和2.0%），即掌握所有知識的考生人數(shù)省會所在地考生比例最高，地市所在考生和鄉(xiāng)鎮(zhèn)考生較低。而在低端掌握模式，如第99種典型模式（001100011）上，則是地市所在地考生和鄉(xiāng)鎮(zhèn)考生人數(shù)比例較高。

如果對不同地域考生的各項知識屬性平均掌握情況進行統(tǒng)計，結(jié)果見表13。

從表13可以看出，無論是省會所在地考生還是鄉(xiāng)鎮(zhèn)考生，掌握比例最高的同樣是函數(shù)初步，而導數(shù)的掌握比例最低。省會所在地考生在各項知識屬性上的掌握比例均高于地市所在地和鄉(xiāng)鎮(zhèn)考生，而地市所在地考生則高于鄉(xiāng)鎮(zhèn)考生。

2.3 男女考生知識掌握模式的差異

分別抽取男生和女生各5 000名，分析其知識掌握模式，結(jié)果見表14。

由表14可見，男女考生成功歸類的比例比較接近，分別為96.02%和97.40%。均達到較高的水平。再對比各種典型知識屬性的考生比例，無論是男生還是女生，考生的知識屬性模式比例較高的均為第209、245、267種等屬性模式。但男生與女生在具體知識屬性上還是存在一定的差異。例如，在第272種典型模式（111111111）上，男生的比例要高于女生（分別為2.4%和1.7%），即掌握所有知識屬性的考生人數(shù)男生多于女生；而在第99種典型模式（001100011）上，則是女生人數(shù)多于男生。

表12 不同地域考生的知識掌握模式比較

表13 不同地域考生各項知識屬性的平均掌握情況

如果對男女考生的各項知識屬性平均掌握情況進行統(tǒng)計，結(jié)果見表15。

從表15可以看出，無論是男生還是女生，掌握比例最高的還是函數(shù)初步，最低的是導數(shù)。在9項知識屬性中，男生在立體幾何、解析幾何、概率統(tǒng)計、數(shù)列和其他知識上的掌握比例高于女生，而在函數(shù)初步、導數(shù)、三角函數(shù)、不等式上則是女生高于男生。

3 結(jié)論

通過建立規(guī)則空間模型，對高考生整體及不同高考生群體的知識掌握模式進行診斷，可得到以下一些初步的結(jié)果。

3.1 高考生對各項知識屬性的掌握程度差異明顯

考生的典型知識掌握模式共有272種，96%以上的高考生可以歸屬于相應的典型知識掌握模式，并且不同典型知識掌握模式的人數(shù)比例從0到16%不等。從整體來看，考生掌握程度最高的是函數(shù)初步部分（93%以上），掌握程度最低的是導數(shù)部分（不到10%），其他7項知識屬性的掌握率在56%～78%。全面掌握各項知識的考生比例約為1.7%。分析導數(shù)部分掌握情況較低的原因，可能與導數(shù)所考查的最后22題有一定的關(guān)系。

3.2 不同高考生群體的知識掌握模式存在不同程度的差異

城鎮(zhèn)考生在高端知識掌握模式（如掌握所有知識）上的比例高于農(nóng)村考生，而在低端知識掌握模式上則是農(nóng)村考生的比例高于城鎮(zhèn)考生；并且在所有9項知識屬性中，城鎮(zhèn)考生的掌握比例均高于農(nóng)村考生。

省會所在地考生在高端知識掌握模式（如掌握所有知識）的比例要高于地市所在地考生和鄉(xiāng)鎮(zhèn)考生，而在低端知識掌握模式，則是地市所在地考生和鄉(xiāng)鎮(zhèn)考生人數(shù)比例較高；省會所在地考生在各項知識屬性上的掌握比例均高于地市所在地和鄉(xiāng)鎮(zhèn)考生，而地市所在地考生則高于鄉(xiāng)鎮(zhèn)考生。

表14 男女考生的知識掌握模式比較

表15 男女考生在各項知識屬性上的平均掌握情況

男生掌握所有知識屬性的人數(shù)比例多于女生；在9項知識屬性中，男生在立體幾何、解析幾何、概率統(tǒng)計、數(shù)列和其他知識上的掌握比例高于女生，而在函數(shù)、導數(shù)、三角函數(shù)、不等式上則是女生高于男生。

總之，根據(jù)高考生知識掌握模式的分析結(jié)果，我們可以了解高考生掌握的和未掌握的知識屬性。據(jù)此可以幫助考生認識到自己的學習情況，可為學生填報高考志愿和高校錄取新生提供有效的參考。

[1]Birenbaum M,Kelly A E&Tatsuoka K K.Applying an IRT-based cognitive diagnostic model to diagnose students’knowledge states in multiplication and division with exponents.Applied Measure?ment in Education.1993,4:328-342.

[2]Tatsuoka K K,Comer J E&Tatsuoka C.Patterns of diagnosed mathematical content and process skill in TIMSS-R across a sam?ple of 20 countries.American Educational Research Journal.2004,4:901-926.

[3]余嘉元.運用規(guī)則空間模型識別解題中的認知錯誤[J].心理學報，1995（2）:196-203.

[4]戴海崎,張青華.規(guī)則空間模型在描述統(tǒng)計學習模式識別中的應用研究[J].心理科學,2004，27（4）:949-951.

[5]劉啟亮.規(guī)則空間模型在初中生化學知識學習診斷與補救中的應用研究[碩士論文][D].南昌：江西師范大學,2008.

[6]羅歡,丁樹良.認知診斷中屬性權(quán)重的研究——以多級評分AHM為例[碩士論文][D].南昌：江西師范大學,2009.

[7]曹慧媛，丁樹良.人工神經(jīng)網(wǎng)絡在認知診斷中的應用研究[碩士論文][D].南昌:江西師范大學,2009.

The Research of Diagnosing High School Candidates’Knowledge-mastery Level

LI Jinbo and ZHU Yuling

Using cognitive diagnosis technology to diagnose high school candidates’mastery situations on science mathematics knowledge.And find that the candidates are better at function,probability statistics,inequality,series,etc.among them derivative come the worst.Female candidates do better than male candidates on function,derivative,triangle function and inequality,while male candidates do better than female candidates on solid geometry,analytic geometry,probability statistics,series and other intellectual.The grasp of knowledge attributes of the town candidates are superior to the rural students.Candidates who come from capital cities do better than those from district cities,and candidates who come from district cities do better than those from townships.

Knowledge；College Entrance Examination；Cognitive Diagnosis；Rule Space Model；Diagnosis

G405

A

1005-8427(2012)02-0014-8

本文為全國教育考試“十一五”科研規(guī)劃重點課題（編號：2009JKS2070）部分成果。

浙江省教育考試院
杭州師范大學