大學(xué)生在線訓(xùn)練的過程控制與評價體系

摘 要：圍繞復(fù)雜工程問題培養(yǎng)學(xué)生能力是當(dāng)前專業(yè)建設(shè)的著力點。針對能力培養(yǎng)中的過程控制與評價方面的問題，本文以計算機(jī)專業(yè)在線訓(xùn)練為基礎(chǔ)，描述了一種多回路多周期的過程控制模型和多維度多層次的評價指標(biāo)體系，旨在服務(wù)于以可控方式達(dá)成能力培養(yǎng)目標(biāo)。本文介紹的技術(shù)途徑對計算機(jī)大類專業(yè)具有一定普適性。

關(guān)鍵詞：一流專業(yè);在線訓(xùn)練;能力培養(yǎng);過程控制;評價體系

我國高等教育當(dāng)前正處于從以規(guī)模擴(kuò)張為主的外延式發(fā)展轉(zhuǎn)向以質(zhì)量提高為主的內(nèi)涵式發(fā)展的轉(zhuǎn)型中，為進(jìn)一步加快建設(shè)高水平本科教育，教育部于2019年4月啟動了一流專業(yè)建設(shè)工作[1]。在專業(yè)建設(shè)和人才培養(yǎng)的方法學(xué)上，工程教育專業(yè)認(rèn)證（以下簡稱“專業(yè)認(rèn)證”）發(fā)揮了重要作用。特別是新版《工程教育認(rèn)證標(biāo)準(zhǔn)》對于如何培養(yǎng)學(xué)生能力制定了細(xì)致規(guī)范[2]：

首先通過定義7個外部特征及其具備要求來界定了復(fù)雜工程問題，然后又在12條畢業(yè)要求明確了8條畢業(yè)要求與解決復(fù)雜工程問題強(qiáng)相關(guān)?？梢姡瑢I(yè)認(rèn)證明確強(qiáng)調(diào)“本科工程教育的基本定位是培養(yǎng)學(xué)生解決復(fù)雜工程問題的能力”[3]。顯然，任何一個專業(yè)的任務(wù)都是培養(yǎng)出合格的學(xué)生，因此一流專業(yè)所培養(yǎng)的學(xué)生應(yīng)該具備更強(qiáng)的解決復(fù)雜工程問題的能力。

但從已知范圍來看，基于復(fù)雜工程問題培養(yǎng)學(xué)生能力尚未在教學(xué)中取得普遍成效。從課程教學(xué)體系的角度來看，目前絕大多數(shù)課程建設(shè)主要聚焦在知識體系和實驗體系上，而過程控制與評價體系建設(shè)則是普遍性短板。這兩者的缺失使得很多課程未能在教學(xué)過程中建立起健全的形成性培養(yǎng)體系[4]，這不僅導(dǎo)致能力培養(yǎng)目標(biāo)難以實現(xiàn)，還使得教師難以合理解釋教學(xué)設(shè)計、學(xué)習(xí)行為、能力形成三者間的作用關(guān)系，進(jìn)而難以科學(xué)合理地進(jìn)行教學(xué)設(shè)計迭代與

優(yōu)化。

隨著在線教學(xué)的發(fā)展與應(yīng)用，近年來越來越多的計算機(jī)類專業(yè)逐步將課程訓(xùn)練體系（如作業(yè)、實驗等）從線下遷移到線上。除具有7x24小時實踐學(xué)習(xí)服務(wù)、豐富的學(xué)習(xí)資料與及時的教學(xué)指導(dǎo)等傳統(tǒng)線下訓(xùn)練模式難以具備的優(yōu)勢外，在線訓(xùn)練（如在線作業(yè)、在線實驗等）還使得更精細(xì)的過程控制與更精確的量化評價成為可能，為以可控方式達(dá)成能力培養(yǎng)目標(biāo)奠定了基礎(chǔ)。本文介紹了基于在線訓(xùn)練開展能力培養(yǎng)的過程控制模型和評價指標(biāo)體系，并以相關(guān)課程為案例簡要說明實施成效。

一、能力培養(yǎng)中的問題

為了培養(yǎng)學(xué)生能力，教師必須在理論教學(xué)外安排足夠體量和難度的實踐訓(xùn)練。由于復(fù)雜工程問題的固有特性，因此從培養(yǎng)學(xué)生解決復(fù)雜工程問題能力的角度出發(fā)，目前大量專業(yè)已經(jīng)呈現(xiàn)出從單一大作業(yè)模式向系列化訓(xùn)練體系轉(zhuǎn)變的趨勢。良好設(shè)計與有效實施的訓(xùn)練體系不僅有助于形成性培養(yǎng)，而且有助于改善形成性評價。傳統(tǒng)上，學(xué)生在線下以作業(yè)或?qū)嶒灋閱卧瓿捎?xùn)練，這就帶來了如下問題。

1.能力培養(yǎng)過程的精確控制問題

學(xué)生在訓(xùn)練過程中必然存在大量問題，包括知識的理解、工具的使用、學(xué)習(xí)的材料、實施的操作、交流的熱點、投入的時間等。理想狀態(tài)下，這些信息均應(yīng)及時反饋給教師，以便教師及時做出相關(guān)響應(yīng)。

由于學(xué)生在線下完成訓(xùn)練，這使得教師難以參與訓(xùn)練過程。從過程控制角度，受控對象的顆粒度相對過大。顯然，教師僅通過分析作業(yè)和實驗成績是難以發(fā)現(xiàn)上述過程中的具體問題，也就難以實施針對性的指導(dǎo)。

2.能力培養(yǎng)效果的量化分析問題

由于學(xué)生能力形成效果分析僅依賴于各訓(xùn)練單元的少量終結(jié)性的結(jié)果數(shù)據(jù)而缺乏大量細(xì)粒度的過程數(shù)據(jù)（例如學(xué)習(xí)時長、提交頻次等），必然意味著相應(yīng)的數(shù)據(jù)不足以對學(xué)生的能力形成效果進(jìn)行客觀而細(xì)致的評價。

這進(jìn)而使得教師在解釋教學(xué)設(shè)計、學(xué)習(xí)行為與能力形成三者間的作用關(guān)系時缺乏科學(xué)可信的證據(jù)，易導(dǎo)致評價結(jié)論出現(xiàn)偏差甚至錯誤。特別是在教師提高教學(xué)要求與加大學(xué)習(xí)壓力時，還容易引發(fā)大量師生矛盾。

3.能力培養(yǎng)體系的迭代改進(jìn)問題

任何一個訓(xùn)練體系都必然經(jīng)歷從不完善到完善、從不合理到合理、從舊內(nèi)容到新內(nèi)容的改進(jìn)過程。這一過程原本應(yīng)該成為專業(yè)認(rèn)證核心理念“持續(xù)改進(jìn)”的最佳實踐。

但因缺乏細(xì)粒度的過程控制和過程數(shù)據(jù)，學(xué)生能力形成性評價相對粗糙，教師難以及時準(zhǔn)確地發(fā)現(xiàn)問題，從而導(dǎo)致教學(xué)設(shè)計改進(jìn)不僅過于依賴主觀經(jīng)驗而且迭代周期過長。這在很大程度上制約了教學(xué)設(shè)計的創(chuàng)新與優(yōu)化，有時會導(dǎo)致做出的教學(xué)設(shè)計是不合理甚至失敗的。

二、工作基礎(chǔ)

繼2007年提出并實施“系統(tǒng)能力”培養(yǎng)后[5]，

北京航空航天大學(xué)計算機(jī)科學(xué)與技術(shù)專業(yè)（以下簡稱“本專業(yè)”）后續(xù)又配套進(jìn)行了實踐教學(xué)體系改革，制訂了“任何人在任何時間、任何地點均能開展實驗學(xué)習(xí)”工作目標(biāo)，確立了“在線實驗平臺、在線實驗體系、在線實驗指標(biāo)體系、在線實驗過程控制”四位一體建設(shè)思路，歷時近10年建設(shè)了虛實融合的軟硬件綜合在線實驗平臺及較為完善的專業(yè)必修課在線實驗體系，依托在線實驗開展培養(yǎng)學(xué)生解決復(fù)雜工程問題能力的大量工作，部分成果已應(yīng)用到國內(nèi)100余所高校。該項工作基本歷程如圖1所示。

利用在線實驗平臺，全周期細(xì)粒度的學(xué)生訓(xùn)練全過程數(shù)據(jù)被記錄下來，師生與生生間交互方式變得更豐富與及時，教師不再僅限于對訓(xùn)練過程的宏觀組織與管理，而是可以對訓(xùn)練過程實施細(xì)粒度的階段劃分、組織與管理。由于訓(xùn)練過程被劃分為多個更細(xì)粒度的階段，自然就能針對這些訓(xùn)練階段制訂更精細(xì)的評價指標(biāo)。學(xué)生的訓(xùn)練過程產(chǎn)生了豐富的過程性數(shù)據(jù)。通過運(yùn)用數(shù)據(jù)挖掘、大數(shù)據(jù)分析等方法，教師能夠?qū)ωS富的過程數(shù)據(jù)進(jìn)行科學(xué)計算，從而就能更合理地量化評價能力形成效果，并將前階段的量化評估結(jié)果反饋至下階段，能力的形成性培養(yǎng)與評價也因此就具有了機(jī)制保障。

為更好滿足能力形成性培養(yǎng)要求，本專業(yè)經(jīng)過多年建設(shè)，逐步建設(shè)了相關(guān)課程的層次化實驗體系、多回路多周期的過程控制機(jī)制與多維度層次化的評價指標(biāo)體系，從而為精確量化評價與可控方式達(dá)成能力培養(yǎng)目標(biāo)奠定了堅實基礎(chǔ)。

三、多回路多周期過程控制機(jī)制

能力培養(yǎng)過程控制的關(guān)鍵在于將能力形成效果作為反饋，對課程教學(xué)活動進(jìn)行控制優(yōu)化。本文基于控制理論提出了一種多回路、多周期的能力培養(yǎng)過程控制模型，包括課程輸入、教學(xué)活動過程、行為觀測與能力形成分析、控制與決策、多回路反饋5部分，如圖2所示。

圖2 能力培養(yǎng)的過程控制模型

教學(xué)大綱與訓(xùn)練計劃等內(nèi)容是模型的基礎(chǔ)輸入。教師必須在課程開始前確定訓(xùn)練體系的內(nèi)容、次序、要求、期望等具體信息。該部分內(nèi)容不僅制導(dǎo)后續(xù)一系列教學(xué)活動的展開，同時也作為期望值與課程反饋相比較。

教學(xué)活動過程是本控制模型的受控對象，其由授課活動、發(fā)布作業(yè)訓(xùn)練、開展訓(xùn)練、作業(yè)評測和作業(yè)結(jié)果分析這5個前后銜接的周期性教學(xué)活動組成。

行為觀測與能力形成分析包括學(xué)習(xí)行為狀態(tài)觀測和能力形成分析兩部分。前者基于教學(xué)活動提供的觀測點來收集學(xué)習(xí)行為數(shù)據(jù)，后者應(yīng)用量化分析方法計算能力形成效果。

控制與決策是教學(xué)改進(jìn)優(yōu)化的中樞，其綜合利用能力訓(xùn)練的期望值、學(xué)習(xí)過程行為數(shù)據(jù)、能力形成效果等決定對何種教學(xué)活動進(jìn)行何種調(diào)整優(yōu)化，從而實現(xiàn)對各教學(xué)活動進(jìn)行及時的調(diào)節(jié)與控制。同時，結(jié)合數(shù)據(jù)挖掘、預(yù)測分析等技術(shù)，對教學(xué)大綱、課程間銜接等給出調(diào)整和修訂建議，實現(xiàn)對整個教學(xué)過程的多層次全過程控制。

該過程控制模型包含3個反饋回路。其中，課程內(nèi)反饋回路為該課程訓(xùn)練體系各任務(wù)間提供反饋通道，使得教師能夠在本輪教學(xué)周期內(nèi)及時調(diào)整任務(wù)。課程輪次反饋回路為同一門課程的不同教學(xué)輪次之間提供反饋通道，使得教師能夠以學(xué)期為顆粒度優(yōu)化后續(xù)授課輪次。課程間反饋回路為不同課程間提供反饋通道，使得相關(guān)課程教師能夠從課程群角度優(yōu)化銜接與支撐。

四、多維度層次化評價指標(biāo)體系

為從微觀角度量化評價能力訓(xùn)練效果，本文結(jié)合在線訓(xùn)練的不同階段特點與需求制訂了一個較為通用的評價指標(biāo)體系，如圖3所示。該指標(biāo)體系包含訓(xùn)練參與度、訓(xùn)練完成度和完成質(zhì)量3個一級指標(biāo)，且各一級指標(biāo)又包含若干二級指標(biāo)。

（1）訓(xùn)練參與度。該指標(biāo)主要用于度量學(xué)生參與訓(xùn)練的程度，包括系統(tǒng)訪問次數(shù)、指導(dǎo)材料學(xué)習(xí)情況、預(yù)習(xí)情況、小測驗完成情況、討論參與等二級指標(biāo)。

（2）訓(xùn)練完成度。該指標(biāo)主要用于度量學(xué)生完成訓(xùn)練內(nèi)容的程度，包括提交物的有效性、技術(shù)要求完成度和報告完成度等二級指標(biāo)。

（3）完成質(zhì)量。該指標(biāo)主要用于考查學(xué)生在訓(xùn)練體系各層次的完成質(zhì)量，其二級指標(biāo)一般因課程而異。一般來說，學(xué)生必須完成基礎(chǔ)性任務(wù)后才被認(rèn)為達(dá)到合格線。

由于不同課程訓(xùn)練內(nèi)容、方式及要求有所差別，因此不同課程的二級指標(biāo)的數(shù)量及含義也會有所不同。以訓(xùn)練參與度指標(biāo)下的系統(tǒng)訪問次數(shù)指標(biāo)為例，該二級指標(biāo)在計算機(jī)網(wǎng)絡(luò)在線實驗中體現(xiàn)為預(yù)約設(shè)備次數(shù)，而在操作系統(tǒng)在線實驗中則體現(xiàn)為對模板文件的訪問次數(shù)。

五、課程案例

本文工作成果已應(yīng)用于多門專業(yè)必修課的教學(xué)實踐，取得較好效果。下面以“面向?qū)ο笤O(shè)計與構(gòu)造”課程為例，概要介紹本文方法應(yīng)用成效。該課程面向大二學(xué)生，開課時間為春季學(xué)期，共64個學(xué)時，每年上課人數(shù)達(dá)300余人。

1.訓(xùn)練體系

該課程教學(xué)設(shè)計與國內(nèi)多數(shù)大學(xué)相關(guān)課程具有顯著區(qū)別，強(qiáng)調(diào)通過系統(tǒng)性的訓(xùn)練來達(dá)成復(fù)雜軟件能力培養(yǎng)的教學(xué)目標(biāo)[6]。訓(xùn)練體系包括4個單元，相應(yīng)主題分別為層次化設(shè)計、線程安全設(shè)計、規(guī)格化設(shè)計和模型化設(shè)計。每個單元由3次迭代式的項目作業(yè)、2次小型作業(yè)、2次研討和1次單元總結(jié)作業(yè)構(gòu)成。表1為2019年的具體訓(xùn)練體系。

每單元的3次項目作業(yè)圍繞實際工程問題或應(yīng)用主題，形成增量式迭代訓(xùn)練，強(qiáng)化正確性、安全性、魯棒性、平衡性、可維護(hù)性等設(shè)計思想。學(xué)生在每次項目作業(yè)中均要完成需求理解、架構(gòu)設(shè)計、代碼設(shè)計、代碼測試、bug修復(fù)任務(wù)。小型作業(yè)是項目作業(yè)的技術(shù)臺階，一方面幫助學(xué)生理解知識點和方法，另一方面通過補(bǔ)全代碼、在給定代碼中找bug等小型訓(xùn)練鞏固項目作業(yè)所需用到的重要技術(shù)。這種設(shè)計使得項目作業(yè)的訓(xùn)練目標(biāo)與效果更為聚焦，也使得學(xué)生們能清晰理解項目作業(yè)的技術(shù)路徑。

本課程非常重視測試技術(shù)的學(xué)習(xí)與實踐，構(gòu)建了4種進(jìn)階式評測模式。弱測定位于最基本的程序功能測試;中測增加了一些邊界和異常相關(guān)測試;強(qiáng)測進(jìn)一步考慮復(fù)雜功能場景和性能要求，其結(jié)果決定能否進(jìn)入互測?；y以匿名方式將多名學(xué)生構(gòu)成一個互測組，每位同學(xué)分別測試組內(nèi)所有其他人的代碼。上述工作均在自主開發(fā)的分布式可調(diào)度自動化評測系統(tǒng)支撐下開展。

從表1可以看出，訓(xùn)練體系的代碼規(guī)模從300行開始在迭代中穩(wěn)步增長，直至課程結(jié)束時具備一周內(nèi)完成2000行左右的高質(zhì)量代碼的能力。在每次項目作業(yè)迭代中，同學(xué)們需要對上一次項目迭代中發(fā)現(xiàn)的bug進(jìn)行修復(fù)，從而盡可能確保本次迭代的質(zhì)量。

2.作業(yè)級過程控制

為確保訓(xùn)練任務(wù)完成度和完成質(zhì)量，本課程對圖2中的訓(xùn)練過程控制機(jī)制進(jìn)行了針對性的細(xì)化，建立了如圖4所示的作業(yè)級過程控制模型。

在線平臺自動實施的控制主要包括：截止時間控制，即超過規(guī)定時限關(guān)閉提交通道;抄襲控制，即對所有學(xué)生的代碼進(jìn)行全組合相似性檢查，并由人工進(jìn)行復(fù)查;有效性檢測要求在可編譯、可運(yùn)行和基本功能正確三方面確認(rèn)作業(yè)的有效性，無效作業(yè)不能進(jìn)入下一環(huán)節(jié);平衡性控制根據(jù)強(qiáng)測分?jǐn)?shù)按三個級別自動將能力相仿的同學(xué)放在同一級別，并進(jìn)行隨機(jī)分組;測試控制通過雙盲機(jī)制以及必要的公共測試以防止惡意測試并確?；y的有序性和公平性，引導(dǎo)學(xué)生關(guān)注代碼質(zhì)量本身;在提交修復(fù)bug的代碼后，系統(tǒng)會自動對代碼進(jìn)行差異分析并選擇相應(yīng)的測試用例來重新進(jìn)行測試，確保修復(fù)的有效性。

上述流程化、規(guī)范化的過程控制機(jī)制把傳統(tǒng)黑箱式的訓(xùn)練過程改造為若干可控制且可觀測的細(xì)分階段，教師從而可以及時了解作業(yè)各階段的完成情況（如耗時和問題等）。

3.評價指標(biāo)體系與量化分析

過程控制的反饋與控制均需要及時而有效的學(xué)生學(xué)習(xí)行為數(shù)據(jù)為基礎(chǔ)。在線教學(xué)平臺收集了豐富的、多維度的包括學(xué)生學(xué)習(xí)行為在內(nèi)的學(xué)習(xí)過程數(shù)據(jù)，如表2所示。不難發(fā)現(xiàn)，這些數(shù)據(jù)之間具有緊密的關(guān)聯(lián)關(guān)系，同時這些數(shù)據(jù)可以直接追溯到作業(yè)的訓(xùn)練任務(wù)的具體要求（如需要實現(xiàn)的功能數(shù)、設(shè)計要求、性能要求、覆蓋的知識點數(shù)量等）。

教學(xué)團(tuán)隊通過量化分析上述細(xì)粒度學(xué)生學(xué)習(xí)過程數(shù)據(jù)，重點研究了：持續(xù)追蹤學(xué)生的能力形成過程[7]，從而獲得能力形成的規(guī)律性認(rèn)識;對不同類別學(xué)生的能力形成效果和學(xué)習(xí)行為進(jìn)行差異分析，基于二者之間的關(guān)聯(lián)關(guān)系來預(yù)測能力形成效果[8]。

4.可追溯的復(fù)雜軟件能力評價

學(xué)生的總成績評定由以下4類細(xì)分成績綜合而來。① 項目作業(yè)成績：按照強(qiáng)測、互測、bug修復(fù)三種任務(wù)的得分進(jìn)行綜合得到成績。② 小

型作業(yè)成績：按照完成度和完成質(zhì)量綜合評分得到成績。③ 博客成績：每個單元結(jié)束后對所學(xué)所練的心得體會的博客作業(yè)，人工考核內(nèi)容總結(jié)完成情況、總結(jié)細(xì)致程度、總結(jié)深度和博客排版質(zhì)量等。④ 研討成績：每個單元中包含2次學(xué)生總結(jié)與經(jīng)驗分享的研討課，考核點包括分享報告的次數(shù)、質(zhì)量、所提問題等。

將學(xué)生在相應(yīng)類別的累次成績進(jìn)行累計后就得到了該類別的成績，再進(jìn)行各類別的綜合就得到了該學(xué)生的課程總成績。不難看出，課程成績評定的本質(zhì)就是能力形成效果的評價。

以系統(tǒng)性的訓(xùn)練體系為基礎(chǔ)，利用在線平臺構(gòu)建了細(xì)粒度的訓(xùn)練過程控制機(jī)制和量化評價體系，教師能夠即時獲得學(xué)生訓(xùn)練完成情況和質(zhì)量數(shù)據(jù)并據(jù)此及時采取控制措施，學(xué)生能夠即時獲得反饋并據(jù)此實施自主性的質(zhì)量控制。這就是一種可追溯的綜合評價方法，即以可量化、可追溯、可優(yōu)化的方式來觀察和評價能力培養(yǎng)目標(biāo)完成狀況。

參考文獻(xiàn)：

[1]教育部. 教育部辦公廳關(guān)于實施一流本科專業(yè)建設(shè)“雙萬計劃”的通知[Z]. 2019.

[2]中國工程教育認(rèn)證協(xié)會. 工程教育認(rèn)證標(biāo)準(zhǔn)[Z]. 2017.

[3]蔣宗禮. 本科工程教育：聚焦學(xué)生解決復(fù)雜工程問題能力的培養(yǎng)[J]. 中國大學(xué)教學(xué)，2016（11）：27-30，84.

[4]王昕紅. 美國工程教育專業(yè)認(rèn)證研究[M]. 西安：西安交通大學(xué)出版社，2011.

[5]高小鵬. 計算機(jī)專業(yè)系統(tǒng)能力培養(yǎng)的技術(shù)途徑[J]. 中國大學(xué)教學(xué)，2014（8）：53-57，34.

[6]吳際，孫青，榮文戈，等. 能力培養(yǎng)目標(biāo)驅(qū)動的軟件開發(fā)類課程實踐教學(xué)方法研究[J].中國大學(xué)教學(xué)，2018（10）：37-43.

[7] SUN QING， WU JI， LIU KAIQI. How Are Students Programming Skills Developed： An Empirical Study in an Object-Oriented Course[J]. Proceedings of 2019 ACM Turing Celebration Conference – China， 2019.

[8] SUN QING， WU JI， RONG WENGE， et al. Formative Assessment of Programming Language Learning Based on Peer Code Review： Implementation and Experience Report[J]. Tsinghua Science and Technology， Vol.24， No.4， 2019.

[責(zé)任編輯：余大品]