混合式教學(xué)形成性評價(jià)研究

張小娟 張 睿 杜 娟

(1同濟(jì)大學(xué)物理科學(xué)與工程學(xué)院，上海 200092； 2上海市光明中學(xué),上海 200092)

混合式教學(xué)作為一種新興的教學(xué)模式，它將兩種或多種不同的訓(xùn)練方法相結(jié)合，從而達(dá)到最優(yōu)的教學(xué)效果，例如它把傳統(tǒng)教學(xué)和在線教學(xué)充分結(jié)合起來，利用網(wǎng)絡(luò)教學(xué)和課堂教學(xué)的優(yōu)勢互補(bǔ)來提高學(xué)生的學(xué)習(xí)效果[1]。在混合式教學(xué)過程中，教師通常會通過在線測試或課堂應(yīng)答系統(tǒng)來檢驗(yàn)學(xué)生對知識點(diǎn)的掌握程度，并根據(jù)答題效果，及時(shí)調(diào)整課堂教學(xué)內(nèi)容，實(shí)現(xiàn)教學(xué)過程的精準(zhǔn)化和合理化。在形成性評價(jià)中，測試題目的質(zhì)量好壞決定了測試結(jié)果的準(zhǔn)確性，因此，選擇合適的方法來對測試題目質(zhì)量進(jìn)行評估，對于考察學(xué)生的學(xué)習(xí)效果具有重要的意義。

題目的難度和區(qū)分度是衡量題目質(zhì)量的重要指標(biāo)，在混合式教學(xué)中，不同的教學(xué)環(huán)節(jié)對測試題的難度和區(qū)分度的要求也有所不同，這就需要運(yùn)用合理的方法來對題目進(jìn)行篩選。傳統(tǒng)的方法通過題目的失分率確定難度系數(shù)，這樣的方法由于樣本的限制，往往產(chǎn)生較大的誤差，不利于對學(xué)生的學(xué)習(xí)效果做出準(zhǔn)確的評價(jià)。而隨著大數(shù)據(jù)時(shí)代的到來，基于教育大數(shù)據(jù)的個(gè)性化教育也受到廣泛的關(guān)注，對教育數(shù)據(jù)的有效挖掘，對提高教育管理效率和學(xué)習(xí)效率具有重要的意義[2]?；陧?xiàng)目反應(yīng)理論的二參數(shù)邏輯斯蒂模型中包含了能力參數(shù)、難度和區(qū)分度多個(gè)指標(biāo)，既能預(yù)測學(xué)生的答題概率也能判斷學(xué)生的能力等級，能夠滿足對學(xué)生的個(gè)性化評價(jià)，為混合式教學(xué)的順利開展提供有力的支持。

1 測試題指標(biāo)計(jì)算方法分析

1.1 二參數(shù)邏輯斯蒂模型

項(xiàng)目反應(yīng)理論將學(xué)習(xí)者對測試項(xiàng)目的反應(yīng)(應(yīng)答)以表示測試項(xiàng)目特性的項(xiàng)目參數(shù)和表示被測試者能力的能力參數(shù)及其組合的統(tǒng)計(jì)概率模型所表示。單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型都是典型的項(xiàng)目反應(yīng)理論模型[3]。

二參數(shù)邏輯斯蒂模型如公式(1)所示。

(1)

在二參數(shù)邏輯斯蒂模型公式中，P(θ)表示被測試者正答的概率；D為量表因子，其值固定取1.7；θ表示被測試者的能力參數(shù)；b表示難度參數(shù)，a表示區(qū)分度參數(shù)[3]。

1.2 數(shù)據(jù)選取

1) 樣本來源

文章以上海市光明中學(xué)2017級267名高一學(xué)生第一學(xué)期物理期末考試成績和同濟(jì)大學(xué)2017級446名大一新生第一學(xué)期物理期末考試成績?yōu)槔槍W(xué)生題目的答題情況來進(jìn)行數(shù)據(jù)分析。

2) 試卷效度、信度分析

由于試卷題目的效度一般在0.4～0.7為最佳[5]，為保證計(jì)算結(jié)果的可靠性，筆者分別將兩套試卷中近似值在0.3以下的題目刪掉。

3) 能力等級劃分

本文嘗試?yán)脙煞N方法來劃分學(xué)生的能力等級。

方法1是按照學(xué)生的標(biāo)準(zhǔn)分來進(jìn)行劃分，高一新生共劃分為由高到低A、B、C、D 4個(gè)等級，對應(yīng)能力參數(shù)為0.853、0.701、0.557、0.421；大一新生共劃分為由高到低A、B、C、D、E 5個(gè)等級，對應(yīng)能力參數(shù)為0.894，0.767，0.615，0.46，0.289。

方法2是按照每10分為一個(gè)等級來劃分，共劃分為A、B、C、D、E、F、G這7個(gè)等級，每個(gè)等級對應(yīng)的學(xué)生的能力參數(shù)θ分別為0.9、0.8、0.7、0.6、0.5、0.4、0.3。

根據(jù)每個(gè)等級學(xué)生題目的正確答題人數(shù)與該等級內(nèi)總?cè)藬?shù)的比值來確定每個(gè)等級的答對率P(θ)，然后通過邏輯斯蒂回歸求出難度b和區(qū)分度a。

為了比較兩種方法算出來的a、b值哪個(gè)更可靠，分別將方法1與方法2求得的a、b值代入方法2的7個(gè)等級中求出預(yù)測的答對率。計(jì)算并比較兩種方法預(yù)測的答對率與實(shí)際的答對率的殘差平方和。經(jīng)過比較兩套試卷的結(jié)果發(fā)現(xiàn)，大部分題目使用方法2計(jì)算得到的殘差平方和小于方法1。故本文將學(xué)生的能力等級按方法2劃分為7個(gè)等級。

4) 指標(biāo)參數(shù)相關(guān)性分析

而單參數(shù)邏輯斯蒂模型則是二參數(shù)邏輯斯蒂模型的簡化，其區(qū)別在于單參數(shù)邏輯斯蒂模型的區(qū)分度a的值恒為1。

本文中為了進(jìn)一步驗(yàn)證二參數(shù)邏輯斯蒂模型計(jì)算出的a、b值的可靠性，筆者嘗試采用單參數(shù)邏輯斯蒂模型和傳統(tǒng)方法來計(jì)算a、b值，并對3種方法計(jì)算出的a、b值做相關(guān)性分析。結(jié)果如表1、表2所示。

表1 難度相關(guān)性分析表

表2 區(qū)分度相關(guān)性分析表

從表1中可以發(fā)現(xiàn)，傳統(tǒng)方法、單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型三者在0.01水平(雙側(cè))均顯著相關(guān)，且具有強(qiáng)相關(guān)性，所以，相對來說，3種方法預(yù)測出來的難度參數(shù)的分布是高度一致的。

由于單參數(shù)邏輯斯蒂模型的區(qū)分度均為1，所以無法做相關(guān)性分析，這里僅對傳統(tǒng)計(jì)算與二參數(shù)邏輯斯蒂模型做相關(guān)性分析，從表2中可以看出同濟(jì)大學(xué)的區(qū)分度兩者顯著相關(guān)，但相關(guān)系數(shù)不夠高，而光明中學(xué)則沒有顯著性。

5) 殘差分析

通過難度、區(qū)分度相關(guān)性分析，3種方法的預(yù)測結(jié)果在難度上相對來說是比較一致的，那么3種方法預(yù)測出來的正確率哪個(gè)更加接近真實(shí)值呢？

圖1、圖2為用3種方法計(jì)算出來的殘差平方和的平均值以及標(biāo)準(zhǔn)差的比較圖，從圖中可以直觀地看出二參數(shù)邏輯斯蒂模型的殘差平方和的標(biāo)準(zhǔn)差以及平均值明顯小于其他兩種方法，因此，使用二參數(shù)邏輯斯蒂模型計(jì)算出來的P(θ)更接近于原始的P(θ)值，也就是說二參數(shù)邏輯斯蒂模型估測的區(qū)分度和難度值更加可靠，所以依據(jù)二參

圖1 殘差平方和標(biāo)準(zhǔn)差比較圖

圖2 殘差平方和平均值比較圖

數(shù)邏輯斯蒂模型來計(jì)算測試題的難度和區(qū)分度還是比較合理的。

2 形成性評價(jià)在混合式教學(xué)中的應(yīng)用

混合式教學(xué)一般分為課前、課中、課后3個(gè)環(huán)節(jié)。課前環(huán)節(jié)，學(xué)生根據(jù)學(xué)習(xí)任務(wù)的需要在網(wǎng)絡(luò)學(xué)習(xí)平臺上通過相關(guān)的視頻、課件資源進(jìn)行學(xué)習(xí)，起到一個(gè)課前預(yù)習(xí)的效果。課中環(huán)節(jié)，教師組織線下授課，進(jìn)行課堂講解、答疑和討論。課后環(huán)節(jié)，學(xué)生可在網(wǎng)絡(luò)平臺上進(jìn)行作業(yè)練習(xí)、在線討論、評論總結(jié)等[7]。具體流程如圖3所示。

圖3 混合式教學(xué)流程圖

在混合式教學(xué)中，往往會通過測試題來對學(xué)生進(jìn)行形成性評價(jià)，在進(jìn)行教學(xué)設(shè)計(jì)時(shí)，可根據(jù)布魯姆的教育目標(biāo)分類理論，結(jié)合線上和線下教學(xué)的特點(diǎn)，針對學(xué)習(xí)目標(biāo)，根據(jù)不同教學(xué)環(huán)節(jié)教學(xué)需要設(shè)置不同難度、區(qū)分度的題目。

以大一試卷為例，根據(jù)學(xué)生的答對率對題目作聚類分析，聚類情況如表3、表4、表5所示。

上述表格中，表3的答對率在0.8～0.95之間，表4的答對率在0.54～0.75之間，表5的答對率在0.30～0.48之間，從表格數(shù)據(jù)中可以發(fā)現(xiàn)難度、區(qū)分度的不同均會影響答題的正確率。

表3 大一試題題目答對率聚類1

表4 大一試題題目答對率聚類2

表5 大一試題題目答對率聚類3

通過二參數(shù)邏輯斯蒂模型的計(jì)算公式也可以得知，當(dāng)θ=b時(shí)，被測試者的正確概率為0.5，可以以這個(gè)0.5為基準(zhǔn)，當(dāng)區(qū)分度和被測試者能力一定的情況下，b越小，超過0.5的正確概率的人數(shù)就越多[3]。就可以根據(jù)學(xué)習(xí)任務(wù)的需求，在區(qū)分度一定的情況下，根據(jù)正確概率要求和被測試者的能力來挑選難度適宜的題目。在難度一定的情況下，區(qū)分度越大的題目，越能區(qū)分被測試者的能力。

在不同的教學(xué)環(huán)節(jié)中，又該如何應(yīng)用難度、區(qū)分度這兩個(gè)指標(biāo)來設(shè)定測試題目，實(shí)現(xiàn)對學(xué)生的形成性評價(jià)呢？

2.1 通過課堂討論環(huán)節(jié)進(jìn)行形成性評價(jià)

在課堂討論的環(huán)節(jié)中，學(xué)生的參與度是討論題目質(zhì)量好壞的重要評價(jià)標(biāo)準(zhǔn)，討論題目的難度太大，會讓學(xué)生失去課堂討論的信心，討論題目的難度太小，又會失去課堂討論的價(jià)值，在對課堂討論題目進(jìn)行選取時(shí)就應(yīng)該選擇難度系數(shù)居中、區(qū)分度大一點(diǎn)的題目。對于表3、表4、表5中給出的題目，表4對應(yīng)的題目難度系數(shù)居中，更適合用于課堂討論。

2.2 通過線上作業(yè)環(huán)節(jié)進(jìn)行形成性評價(jià)。

在課后的線上作業(yè)環(huán)節(jié)，主要是判斷學(xué)生對知識的掌握情況，題目的設(shè)置要有兼顧性和層次性。通過設(shè)置不同難度的題目可以了解學(xué)生對所學(xué)知識的掌握情況。但是就目前的大多數(shù)學(xué)習(xí)平臺來說，線上作業(yè)的題目設(shè)置并不能實(shí)現(xiàn)個(gè)性化學(xué)習(xí)的需要，即對不同能力等級的學(xué)生很難做到個(gè)性化的題目設(shè)置。因此，要滿足學(xué)生個(gè)性化學(xué)習(xí)的需要，未來學(xué)習(xí)平臺的線上作業(yè)環(huán)節(jié)的題目的設(shè)置需要有不同的難度系數(shù)、區(qū)分度，然后按照最近發(fā)展區(qū)理論，對不同能力等級的學(xué)生設(shè)置與學(xué)生能力等級相近或者比學(xué)生能力等級稍微高一點(diǎn)的題目，從而實(shí)現(xiàn)學(xué)生的個(gè)性化發(fā)展。

2.3 利用形成性評價(jià)進(jìn)行學(xué)習(xí)預(yù)警

學(xué)習(xí)預(yù)警指按照一定的標(biāo)準(zhǔn)綜合評估學(xué)生的背景信息、學(xué)習(xí)行為、考試成績等因素，按照評估結(jié)果向?qū)W生、教師等發(fā)出提示信號，并及時(shí)提供有效且針對性強(qiáng)的干預(yù)建議[8]。長期以來，預(yù)測學(xué)生的學(xué)習(xí)成績一直是許多學(xué)科的重要研究課題[9]。通過預(yù)測學(xué)習(xí)成績實(shí)現(xiàn)學(xué)習(xí)預(yù)警對于學(xué)生的形成性評價(jià)具有重要的意義。

在混合式教學(xué)中，學(xué)生會在學(xué)習(xí)的過程中產(chǎn)生大量的實(shí)時(shí)動態(tài)數(shù)據(jù)，例如在線討論情況、視頻觀看時(shí)長頻率、各教學(xué)環(huán)節(jié)答題情況等。針對答題情況，未來可以使用二參數(shù)邏輯斯蒂模型根據(jù)學(xué)生在前半學(xué)期教學(xué)環(huán)節(jié)中的題目答對率來預(yù)測學(xué)生期末成績的及格率，然后對不及格的學(xué)生進(jìn)行及時(shí)預(yù)警。

此外，教師還可以通過測試相同能力水平的學(xué)生在相同難度和區(qū)分度的題目時(shí)的正確率，通過正確率來判斷學(xué)生某一段時(shí)間的學(xué)習(xí)努力程度是否上升或者下降。對于同一個(gè)學(xué)生來講，也可以通過選取相同難度和區(qū)分度的題目來記錄學(xué)生的正答概率，通過一段時(shí)間的記錄，來預(yù)測學(xué)生的能力是否發(fā)生變化。在學(xué)習(xí)預(yù)警中選擇的題目區(qū)分度要盡量大一些，能夠區(qū)分出高低能力等級的學(xué)生。

3 結(jié)語

混合式教學(xué)作為一種線上學(xué)習(xí)與線下學(xué)習(xí)相結(jié)合的教學(xué)形式，這種教學(xué)形式要求通過形成性評價(jià)及時(shí)了解學(xué)情，調(diào)整教學(xué)策略。本文通過對傳統(tǒng)方法、單參數(shù)邏輯斯蒂模型和二參數(shù)邏輯斯蒂模型的比較分析，發(fā)現(xiàn)二參數(shù)邏輯斯蒂模型在預(yù)測題目難度和區(qū)分度方面具有明顯的優(yōu)勢，并且使用二參數(shù)邏輯斯蒂模型來進(jìn)行測試題指標(biāo)的計(jì)算，并根據(jù)教學(xué)要求給出混合式教學(xué)中不同環(huán)節(jié)的測試題選擇方法，也為混合式的形成性評價(jià)提供有益參考。