DEA法對材料化學專業(yè)課程教學效果評價的研究

趙靜，侯靜云，馮輝

(1.淮南師范學院化學與材料工程學院，安徽 淮南 232000；2.淮南師范學院計算機學院，安徽 淮南 232000)

0 引言

材料化學是一門高等教育應用型本科專業(yè)，其人才培養(yǎng)方案以化學和材料科學兩大基礎學科為支撐，旨在為社會輸送綜合性和專業(yè)性的高質(zhì)量技術(shù)人才。其主要課程涵蓋各類理工科課程，如高等數(shù)學、大學物理、無機化學、有機化學、數(shù)據(jù)分析、儀器分析等，具有內(nèi)容涉及范圍廣、知識點更新速度快、課程交叉性強、前沿科技含量高等特點。對材料化學專業(yè)學生的授課過程的要求，不僅包含對專業(yè)內(nèi)課程的熟練掌握，也細化到對具體材料化學性質(zhì)的表征、功能材料的合成和制備、特殊材料的物理性能的分析。這一過程需要學生在專業(yè)課程的學習基礎上，具備交叉學科知識儲備、實驗設計動手能力以及解決問題實踐能力；需要教師能夠靈活、迅速、直觀地對授課效果進行分析和掌握。目前，教學工作者主要通過收集各界(學生、同行、學校等)反饋意見、整合教學成果(諸如考試成績、發(fā)表論文、學科競賽)等方法對課程教學效果進行評價，但由于各指標的評價標準不同，難以獲得統(tǒng)一的、客觀的整體性評價。因此，材料化學專業(yè)教學過程中，在對學生全方面、全方位的知識傳授和實踐指導的同時，需要找到一種基于各項反饋信息、科學的課程教學效果可視化評價辦法[1]。

本論文以科學高效評價材料化學專業(yè)課程為研究目標，依托淮南師范學院大學生就業(yè)平臺進行研究背景調(diào)查，向2018—2022屆全體材料化學專業(yè)畢業(yè)生發(fā)放專業(yè)課程評價調(diào)查問卷，收集數(shù)據(jù)并進行統(tǒng)計分析，整理其中部分代表性數(shù)據(jù)，如圖1所示。統(tǒng)計結(jié)果表明，材料化學往屆畢業(yè)生對專業(yè)課程教學方法、教學效果的滿意度均較高，均已超過75%；對專業(yè)知識系統(tǒng)學習后自身評價，諸如知識掌握以及運用知識解決實際問題的能力自我評價“優(yōu)秀”的占比較小，尤其是對自身應用能力較差的評價高達69.76%，同時認為自身較好的掌握了專業(yè)知識的僅占比3.21%。以上分析表明往屆材料化學專業(yè)畢業(yè)生對專業(yè)課程的開設、課程安排、教授方法均較為滿意，但同時認為實際知識掌握情況不好，在實踐動手能力、知識拓展運用、與其他學科的交叉分析等方面存在缺陷和不足。問卷調(diào)查數(shù)據(jù)體現(xiàn)出課堂教學、理論實踐、專業(yè)應用等方面共同發(fā)展不足、存在短板現(xiàn)象，極大限制了教育教學效果的提高。

圖1 問卷調(diào)查結(jié)果

綜上所述，需要一種對教學成果定量分析，并對短板部位定量考察的教學效果評價方法，并在此基礎上進一步發(fā)現(xiàn)問題、解決問題。論文以材料物理導論課程為評價對象，進行教學效果的評價研究。該課程是一門材料化學專業(yè)課程，介于基礎物理學、微觀量子力學、材料加工技術(shù)、儀器分析和檢測技術(shù)之間，在理論授課之外還包含實踐課程指導，即實驗操作和論文寫作指導。因此滿足課程在理論教學、實踐操作、拓展應用方面的多維度評價需求。本研究選用數(shù)據(jù)包絡分析(data envelopment analysis，DEA)對材料物理導論課程進行教學效果分析。

1 教學評價方法介紹

1.1 分析原理

DEA是一種成熟的非量綱效率分析方法，于1978年由運籌學家A.Charnes，W.W.Cooper和E.Rhodes三位學者共同提出[2]，由于其對效率的評教采用相對效率的概念，因此不需要考慮影響因素間量綱的差異，是一種非參數(shù)的對決策單元進行評價的高效方法。此后在進一步總結(jié)規(guī)律后三位學者用各自名字的首字母創(chuàng)建了第一個DEA模型，命名為CCR，即規(guī)模報酬不變CRS(constant returns to scale)模型[3]。DEA的優(yōu)勢在于其評價效率的依據(jù)的是決策單元的數(shù)據(jù)輸入/輸出，即評價單元間的相對有效性。DEA模型只需設計投入與產(chǎn)出，不需要對指標進行無量綱化處理，可以直接進行技術(shù)效率與規(guī)模效率評價，而無需再定義一個具體的表達函數(shù)。同時，不需要大量的樣本，無需任何權(quán)重假設，且以決策單元輸入、輸出的實際數(shù)據(jù)求得優(yōu)先權(quán)重，排除了很多主觀因素，具有較強的客觀性。DEA方法假定每個輸入都關(guān)聯(lián)到一個或者多個輸出，且輸入輸出之間確實存在某種聯(lián)系，但不必確定這種關(guān)系的顯示表達式。

在使用DEA進行效率分析時，首先需要選定模型的技術(shù)效率。技術(shù)效率是指某個生產(chǎn)單元在生產(chǎn)過程中可以實現(xiàn)的在該技術(shù)領(lǐng)域的水平程度，需要根據(jù)研究對象進行具體設計。一般來說，技術(shù)效率從投入既定和產(chǎn)出既定兩個角度衡量，前者旨在使產(chǎn)出最大化，后者旨在使投入最小化[4]。諸如本研究中，投入既定產(chǎn)出最大化指導評價課程的教學效果，擬選取成績的優(yōu)秀率作為其中一項考核指標。技術(shù)效率的選擇可以極大的體現(xiàn)生產(chǎn)單元的技術(shù)水平情況，因此在選定過程中需要注意生產(chǎn)單元和技術(shù)效率之間確切存在內(nèi)在聯(lián)系。其次，DEA需要選取標定測度對象效率的決策單元(decision making unit，DMU)，DMU可以是任何可數(shù)據(jù)化表征的投入(輸入)、產(chǎn)出(輸出)的研究對象，在數(shù)據(jù)準備階段需要注意必須對DMU原始數(shù)據(jù)進行命名且不允許有缺失值。最后是輸入數(shù)據(jù)和輸出數(shù)據(jù)的確定。

課程評價過程中，教學基礎條件一致，因此研究使用以產(chǎn)出為向?qū)?output-oriented)的基于規(guī)模報酬不變的CCR模型。在不考慮生產(chǎn)規(guī)模影響的前提下，技術(shù)效率可通過產(chǎn)出/投入的比值來定量的測量。假設要測量一組共N個DMU的技術(shù)效率，記為DMUj(j=1, 2…,N)；每個DMU有m種投入，記為xi(i=1, 2…,m)，投入的權(quán)重表示為vi(i=1, 2…,m)；q種產(chǎn)出，記為yr(r=1, 2…,q)，產(chǎn)出的權(quán)重表示為ur(r=1, 2…,q)。將待測DMU記為DMUk，其產(chǎn)出投入比為

將效率值限定在[0, 1]的區(qū)間內(nèi)，在所有DMU的效率值都不超過1的條件下令被評價DMU的效率值最大化。確定模型的權(quán)重u和v，將各單元的產(chǎn)出/投入比值除以其中的最大比值，就可以將產(chǎn)出/投入比值標準化成0～1之間的數(shù)值，實現(xiàn)被評價單元與最優(yōu)單元之間技術(shù)效率差距的評價。

1.2 準備數(shù)據(jù)

輸入數(shù)據(jù)指決策單元在某種活動中需要消耗的某些信息量，輸出數(shù)據(jù)指決策單元經(jīng)過一定的輸入之后產(chǎn)生的表明該活動成效的某些信息量。通過上述分析，在經(jīng)過2021—2022第二學期和2022—2023年第一學期的理論教學、實踐操作、拓展應用方面的教學后，本研究以淮南師范學院化學與材料工程學院材料化學專業(yè)學科評價指標(如表1所示)，結(jié)合材料物理導論課程教學目標(如表2所示)，考慮到具體指標的量化情況，對投入和產(chǎn)出進行DEA方法設計。為了對教學方法三個方面的效果分別評價，決策單元設計為理論教學、實踐操作、拓展應用，將學科評價指標中的具體項目劃分為以上三個決策單元的投入變量和產(chǎn)出變量。合并決策單元間一致的運算數(shù)據(jù)，如工作基本條件和學術(shù)隊伍情況，由于授課使用指定教材、授課隊伍組成情況一致，設計時不做體現(xiàn)?？紤]課程授課學期不包含畢業(yè)年級，不考察優(yōu)秀畢業(yè)論文等相關(guān)目標。最后，在學科評價指標的選擇上，鑒于本研究向教學效果受眾傾斜，產(chǎn)出變量的選擇以本科生可以實現(xiàn)的目標為考量基礎?？紤]課程教學拓展應用的高質(zhì)量要求，增加發(fā)表科研論文、大學生創(chuàng)新創(chuàng)業(yè)類項目立項數(shù)量的考核。此外，由于教學效果是師生雙向協(xié)同的共同結(jié)果，研究將參與學生人數(shù)納入投入變量的選擇范圍。

表1 學科評價指標

2 評價效果分析

2.1 規(guī)劃模型

分析使用MaxDEA 8軟件，從理論教學、實踐操作、拓展應用三個方面考察材料物理導論課程的教學效果，并將其設置為決策單元，選擇CCR模型，以產(chǎn)出為導向，旨在使技術(shù)效率實現(xiàn)產(chǎn)出最大化。投入變量設計為授課人數(shù)、參與人數(shù)和實驗平臺，產(chǎn)出變量課程期末考試成績優(yōu)秀人數(shù)(簡稱“考試成績”)，大學生創(chuàng)新創(chuàng)業(yè)、大學生創(chuàng)新科研項目、大學生挑戰(zhàn)杯等科學技術(shù)競賽(簡稱“立項數(shù)目”)、各類賽事三等獎以上獲獎數(shù)目(簡稱“獲獎數(shù)目”)、各類本科學報以上公開刊物發(fā)表的論文數(shù)量(簡稱“論文數(shù)量”)。其規(guī)劃模型的基本方法是，對考察樣本的投入及產(chǎn)出數(shù)據(jù)的分析確定有效生產(chǎn)前沿面，并根據(jù)DMU與生產(chǎn)前沿面的距離情況，確定DMU是否為DEA有效。課程教學效果DEA分析的輸入/輸出(Input/Output)數(shù)據(jù)，如表3所示。

表3 輸入數(shù)據(jù)

2.2 運行結(jié)果

建立MaxDEA支持的Access數(shù)據(jù)，選擇Envelopment Mode，對包絡模型的基本選項諸如模型距離、導向、規(guī)模報酬和前沿類型等基礎選項進行設計后，運行上述模型。得到DMU數(shù)量、投入/產(chǎn)出數(shù)量、距離函數(shù)類型、模型導向和規(guī)模報酬等信息。需要注意，為了避免DEA模型在松弛變量產(chǎn)生不完全計算，導致結(jié)果中計算出的投影值處于無效/低效狀態(tài)，研究采用兩階段法(Two Stage)對模型進行求解[5]，運算結(jié)果包括數(shù)據(jù)效率值(Score)、參考標桿(Benchmark and Lambda)比例改進值(Proportionate Movement)、松弛改進值(Slack Movement)和目標值/投影值(Projection)。表4中列出了部分關(guān)鍵數(shù)據(jù)的運行結(jié)果，其中Score體現(xiàn)了模型的有效性，等于1為弱有效，如果同時滿足松弛兩邊均為0，則為強有效。Slack Movement本身為正值，在輸出結(jié)果中通過添加“±”號表示投入產(chǎn)出松弛變化的方向，定義為正值表示增加方向、負值表示減弱方向。Projection是原始值、比例改進值和松弛改進值的代數(shù)和。

表4 運行結(jié)果

2.3 結(jié)果討論

理論分析表明，模型有效的基本條件是需要至少有一項產(chǎn)出的松弛變量為0，如果產(chǎn)出的松弛變量都不等于0，說明模型設計的不合理仍然需要等比例調(diào)整，或者參數(shù)選擇不具有代表性，無法獲得最優(yōu)解。對本例結(jié)果進行分析，在產(chǎn)出導向模型中，理論教學和拓展應用的松弛變量均為0，即在材料物理導論課程的教學過程中這兩個方面的教學效果達到了課程的授課基本目標，是合理的；而實踐操作的松弛變量存在不為0情況，且數(shù)值為正，表明需要正向提高的改進。

上述模型運行結(jié)果表明，理論教學和拓展應用DMU的效率值均為1，并且這所有投入(A、B、C)和產(chǎn)出(D、E、F、G)的松弛變量均為0，說明這2個DMU均為強有效，即在材料物理導論課程的教學中理論教學和實踐拓展的教學效果為強有效。而實踐操作方面的教學效果并未到達最優(yōu)，其中Slak Movements在產(chǎn)出松弛變量(D、E、F、G)的運行數(shù)據(jù)均為正值，表明實踐操作在考試成績、立項數(shù)目、獲獎數(shù)目和論文數(shù)目方面均需加強，結(jié)合Projection的運行結(jié)果，模型分析給出了投入松弛變量改進的方法。

3 結(jié)語

本文在淮南師范學院材料化學專業(yè)人才培養(yǎng)方案的基礎上，以材料物理導論為分析案例，結(jié)合其課程教學大綱，采用數(shù)據(jù)分析包絡法設計以產(chǎn)出為導向的規(guī)模報酬不變模型，從理論教學、實踐操作和拓展應用方面對課程教學效果進行了評價。模型運行結(jié)果表明，課程教學效果總體顯著，理論教學和拓展應用的效率值均為強有效，實踐操作的效率值需要提高，可以通過增加授課人數(shù)、擴大授課基數(shù)和建設實驗平臺的方法進行改進。