開放在線課程質(zhì)量評(píng)價(jià)CMM模型應(yīng)用研究

摘 ? 要：為了評(píng)價(jià)開放在線課程質(zhì)量，文章利用能力成熟度模型（CMM）的動(dòng)態(tài)管理評(píng)測優(yōu)勢，對(duì)開放在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系進(jìn)行標(biāo)準(zhǔn)定義，并采用層次分析法進(jìn)行指標(biāo)權(quán)重賦值，確定課程質(zhì)量能力成熟度綜合評(píng)分值，由此評(píng)測出課程質(zhì)量當(dāng)前管理水平，尋找限制發(fā)展的因素，有針對(duì)性地提出改進(jìn)措施，保障課程質(zhì)量可持續(xù)發(fā)展。

關(guān)鍵詞：開放在線課程;質(zhì)量評(píng)價(jià);能力成熟度模型

中圖分類號(hào)：G724.82;G423.04 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2020）03-0048-04

一、引言

開放在線課程質(zhì)量評(píng)價(jià)是指開放大學(xué)為達(dá)到特定的教學(xué)目的、教學(xué)任務(wù)，利用網(wǎng)絡(luò)技術(shù)、計(jì)算機(jī)技術(shù)和多媒體技術(shù)等信息化手段進(jìn)行教學(xué)課程的質(zhì)量評(píng)價(jià)，它是現(xiàn)代遠(yuǎn)程教育試點(diǎn)多年以來面臨的最大挑戰(zhàn)，也是高校課程質(zhì)量診斷的重要組成內(nèi)容之一。因此，針對(duì)開放在線課程這類網(wǎng)絡(luò)課程質(zhì)量評(píng)價(jià)方法的研究日益增多，主要的評(píng)價(jià)方法包括分析評(píng)價(jià)法、指標(biāo)體系評(píng)價(jià)法、觀察評(píng)價(jià)法和實(shí)驗(yàn)評(píng)價(jià)法，其中指標(biāo)體系法由于其高可操作性、高科學(xué)性成為最常用的一種評(píng)價(jià)方法?；陂_放在線課程教學(xué)能力評(píng)測的目的，嚴(yán)格把控開放在線課程質(zhì)量，以全面質(zhì)量控制的理論為出發(fā)點(diǎn)，針對(duì)開放在線課程教學(xué)質(zhì)量評(píng)價(jià)的模糊性和動(dòng)態(tài)性特征，提出基于能力成熟度模型（CMM）構(gòu)建開放在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系以及應(yīng)用模型，本文擬利用實(shí)例來研究該模型在開放在線課程質(zhì)量評(píng)價(jià)中的應(yīng)用成效。

二、數(shù)據(jù)來源與研究思路

1.數(shù)據(jù)來源

本文研究所涉及的課程相關(guān)數(shù)據(jù)來源于南京開放大學(xué)教務(wù)部門，以2017年春、秋以及2018春、秋季四個(gè)學(xué)期的《建筑測量》和2018秋季《計(jì)算機(jī)繪圖》、《土木工程CAD》為例，進(jìn)行橫向和縱向比較;層次分析法（AHP法）確定權(quán)重時(shí)的調(diào)查問卷數(shù)據(jù)來源于課程項(xiàng)目組對(duì)相關(guān)人員的現(xiàn)場問卷和郵箱問卷。

2.研究思路

以本課題階段性成果開放在線課程質(zhì)量能力成熟度模型評(píng)價(jià)指標(biāo)（管理級(jí)）體系為基礎(chǔ)，采用層次分析法確定各個(gè)評(píng)價(jià)指標(biāo)的權(quán)重，將各個(gè)加權(quán)后的指標(biāo)值相加即為該門課程在某學(xué)期的綜合得分即能力成熟度值，用以判斷該門課程在此學(xué)期的教學(xué)質(zhì)量總體水平、發(fā)展趨勢以及課程質(zhì)量薄弱點(diǎn)，從教學(xué)組織層面上提供提高教學(xué)質(zhì)量的方法和途徑。

三、開放在線課程質(zhì)量評(píng)價(jià)CMM模型應(yīng)用

1.評(píng)價(jià)指標(biāo)體系的確定

綜合評(píng)價(jià)是在確定評(píng)價(jià)目的的前提下，對(duì)評(píng)價(jià)對(duì)象性質(zhì)分析并將其價(jià)值化的過程;確定評(píng)價(jià)指標(biāo)體系是在充分解析評(píng)價(jià)對(duì)象屬性和內(nèi)在規(guī)律基礎(chǔ)上，以一定的方式方法歸納出來的屬性體系。

開放在線課程屬于遠(yuǎn)程網(wǎng)絡(luò)教育范疇，對(duì)此類課程質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)已有基礎(chǔ)，我國遠(yuǎn)程網(wǎng)絡(luò)教育相關(guān)課程質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)有中國信息技術(shù)標(biāo)準(zhǔn)化委員會(huì)《網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范CELTS-22.1》和教育部《國家網(wǎng)絡(luò)教育精品課程評(píng)價(jià)標(biāo)準(zhǔn)》等，國外較成熟的網(wǎng)絡(luò)課程評(píng)價(jià)標(biāo)準(zhǔn)有英國Wales-Bangor大學(xué)《A Framework for Pedagogical Evaluation of Virtual Learning》、美國培訓(xùn)與發(fā)展協(xié)會(huì)（ASTD）《在線學(xué)習(xí)的認(rèn)證標(biāo)準(zhǔn)》、加拿大皇家大學(xué)《網(wǎng)絡(luò)課程質(zhì)量框架》等。同時(shí)開放在線課程又區(qū)別于普通的網(wǎng)絡(luò)課程，因此為確定評(píng)價(jià)指標(biāo)體系，在已有評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上，并在中國知網(wǎng)上通過設(shè)定關(guān)鍵詞搜索相關(guān)資訊，本文分析出開放在線課程質(zhì)量評(píng)價(jià)所應(yīng)包含的評(píng)價(jià)對(duì)象特性——網(wǎng)絡(luò)傳輸技術(shù)、教學(xué)系統(tǒng)、信息化手段及資源、遠(yuǎn)程學(xué)習(xí)及課程評(píng)測等。

為克服以往為了評(píng)價(jià)而評(píng)價(jià)、注重評(píng)價(jià)結(jié)果的缺點(diǎn)，本研究采用了側(cè)重過程評(píng)測、從組織層面評(píng)測的能力成熟度模型（CMM）。在充分理解CMM模型管理級(jí)的過程域和目標(biāo)的基礎(chǔ)上，結(jié)合開放在線課程網(wǎng)絡(luò)傳輸技術(shù)、教學(xué)系統(tǒng)、信息化手段及資源、遠(yuǎn)程學(xué)習(xí)及課程評(píng)測等特性，將其轉(zhuǎn)化為評(píng)價(jià)指標(biāo)體系的一級(jí)指標(biāo)（準(zhǔn)則層）需求管理、課程教學(xué)計(jì)劃、課程教學(xué)跟蹤和監(jiān)控、課程教學(xué)配置管理、課程教學(xué)質(zhì)量保障和課程教學(xué)過程定義6個(gè)指標(biāo)，同時(shí)展開設(shè)置二級(jí)指標(biāo)（方案層）16個(gè)、三級(jí)指標(biāo)（實(shí)施層）45個(gè)，構(gòu)建開放在線課程質(zhì)量評(píng)價(jià)CMM模型（管理級(jí)）評(píng)價(jià)指標(biāo)體系。通過調(diào)查問卷效度和信度檢測及專家咨詢，確定最終的評(píng)價(jià)指標(biāo)，即一級(jí)指標(biāo)6個(gè)、二級(jí)指標(biāo)16個(gè)，三級(jí)指標(biāo)43個(gè)。（見表2）

2.評(píng)價(jià)指標(biāo)權(quán)重的確定

層次分析法（AHP法）借鑒專家的經(jīng)驗(yàn)對(duì)每層次的各個(gè)因素進(jìn)行相對(duì)客觀的對(duì)比判斷，給出定量，通過該數(shù)學(xué)模型得出的權(quán)重進(jìn)行一致性驗(yàn)證，以保證其結(jié)果的科學(xué)性和可靠性。因此，AHP法確定權(quán)重既兼顧了定性分析的經(jīng)驗(yàn)性和預(yù)見性，克服了其非客觀性的缺點(diǎn)，又兼顧了定量分析的科學(xué)性。

在本案例中，通過設(shè)計(jì)問卷調(diào)查表得到被問卷調(diào)查者對(duì)指標(biāo)重要性的初步評(píng)分值，該評(píng)分值為服從離散型概率分布的隨機(jī)變量，（見表1）以數(shù)學(xué)期望值作為最終指標(biāo)重要性評(píng)分值;（見公式1）以此為判斷評(píng)價(jià)指標(biāo)間相互重要性的依據(jù)，根據(jù)Satty的評(píng)分表依次對(duì)評(píng)價(jià)指標(biāo)進(jìn)行賦值，構(gòu)造判斷矩陣、計(jì)算判斷矩陣和進(jìn)行一致性檢驗(yàn)，對(duì)評(píng)價(jià)體系的各個(gè)指標(biāo)進(jìn)行賦值。（見表2）

其中，pi為權(quán)重初步評(píng)分值？孜i=i的概率;ni為？孜i=i的人數(shù);N為參與問卷調(diào)查的人數(shù)。

數(shù)學(xué)期望值是反映不同人對(duì)同一個(gè)問題做出評(píng)分的整體情況，計(jì)算公式為：

3.評(píng)價(jià)模型算法的確定

開放在線課程質(zhì)量評(píng)價(jià)指標(biāo)體系分為一級(jí)指標(biāo)、二級(jí)指標(biāo)和三級(jí)指標(biāo)，分別對(duì)應(yīng)準(zhǔn)則層、方案層和實(shí)施層，在可操作性、科學(xué)性原則的基礎(chǔ)上，根據(jù)課程特點(diǎn)、授課經(jīng)驗(yàn)，以及相關(guān)標(biāo)準(zhǔn)、政策等對(duì)評(píng)價(jià)指標(biāo)進(jìn)行詳細(xì)的定義，具體如表3（因篇幅原因，附部分）所示。對(duì)照評(píng)價(jià)指標(biāo)定義，對(duì)相應(yīng)課程各個(gè)評(píng)價(jià)指標(biāo)進(jìn)行賦值，符合評(píng)價(jià)指標(biāo)定義的賦值1，不符合賦值0，計(jì)算公式：

式中Aijk、Aij、Ai為三級(jí)、二級(jí)、一級(jí)指標(biāo)第k個(gè)評(píng)價(jià)指標(biāo)值;

wijk、wij、wi為三級(jí)、二級(jí)、一級(jí)指標(biāo)第k個(gè)評(píng)價(jià)指標(biāo)權(quán)重;

Cijk為三級(jí)指標(biāo)第k個(gè)評(píng)價(jià)指標(biāo)賦值。

4.綜合評(píng)分的確定

由公式（2）至（4）計(jì)算得到準(zhǔn)則層即一級(jí)評(píng)價(jià)指標(biāo)的綜合能力成熟度評(píng)分值，由此可以進(jìn)行綜合以及各個(gè)單項(xiàng)指標(biāo)成熟度的分析。課程的綜合能力成熟度評(píng)分值由公式（5）計(jì)算所得。根據(jù)能力成熟度模型判定準(zhǔn)則和文獻(xiàn)資料所示，能力成熟度評(píng)分值≥0.8，則判定該課程能力成熟度符合該層次要求，在本案例中若綜合評(píng)分值≥0.8，則判定該課程能力成熟度達(dá)到管理級(jí)。

由以上規(guī)定及公式，得到本案例針對(duì)開放在線課程《建筑測量》四個(gè)學(xué)期課程質(zhì)量的能力成熟度評(píng)分值，如表4所示;同時(shí)對(duì)2018年秋的《建筑測量》、《計(jì)算機(jī)繪圖》和《土木工程CAD》進(jìn)行橫向課程質(zhì)量比較，如表5所示。

四、分析與討論

1.課程質(zhì)量評(píng)價(jià)縱向比較

（1）總體評(píng)價(jià)

從《建筑測量》課程四個(gè)學(xué)期的綜合能力成熟度評(píng)價(jià)值看，2017學(xué)年及2018年春三個(gè)學(xué)期的課程質(zhì)量評(píng)分值≤0.8，未能滿足能力成熟度管理級(jí)的要求，即該課程管理未能優(yōu)化，教學(xué)質(zhì)量不能穩(wěn)定，對(duì)于不同教師的教學(xué)能力和管理能力依賴性較大。從圖1中可以看出，該課程的需求管理、教學(xué)跟蹤和監(jiān)控、課程教學(xué)質(zhì)量保障兩項(xiàng)得分≤0.8，嚴(yán)重影響了課程質(zhì)量成熟度。因此，為提高該課程的教學(xué)質(zhì)量，應(yīng)該加強(qiáng)課程需求管理，做好課程規(guī)劃、調(diào)研，健全課程保障制度和標(biāo)準(zhǔn)，做好過程質(zhì)量跟蹤和各方面對(duì)課程的監(jiān)管工作。而該課程2018年秋這一學(xué)期的評(píng)分值相對(duì)于前三個(gè)學(xué)期有大幅度上升（評(píng)分值0.898），達(dá)到能力成熟度管理等級(jí)的要求。原因在于，該學(xué)期的課程教學(xué)質(zhì)量保障、課程教學(xué)跟蹤和監(jiān)控兩個(gè)指標(biāo)對(duì)總評(píng)分值的貢獻(xiàn)率很高，增幅很大。

（2）課程質(zhì)量單項(xiàng)指標(biāo)評(píng)價(jià)

從圖1中可以看出，該課程的A5、A4、A3、A2評(píng)價(jià)指標(biāo)在四個(gè)學(xué)期是不同的。A5課程教學(xué)質(zhì)量保障中，2018學(xué)年評(píng)價(jià)值較其它兩個(gè)學(xué)期高，通過三級(jí)評(píng)價(jià)指標(biāo)（實(shí)施指標(biāo)）的賦值情況來分析，原因在于該學(xué)期課程教師在教學(xué)方法手段規(guī)劃上做了變動(dòng)，針對(duì)教學(xué)內(nèi)容和學(xué)生的學(xué)情采取了更合理的教學(xué)方法，尤其是2018年秋教師在教學(xué)過程中增加了師生互動(dòng)次數(shù)，由于該指標(biāo)權(quán)重較大即對(duì)課程質(zhì)量影響較大，對(duì)課程質(zhì)量評(píng)分值貢獻(xiàn)率較大;A4課程教學(xué)配置管理中，2017年秋及2018學(xué)年由于多媒體資源更豐富、授課課件呈現(xiàn)方式更多元化，在一定程度上提高了課程質(zhì)量的成熟度;A3課程教學(xué)跟蹤和監(jiān)控指標(biāo)中2018年秋的評(píng)分值有顯著上升，分析三級(jí)指標(biāo)及實(shí)施層發(fā)現(xiàn)，由于引進(jìn)了課程教學(xué)質(zhì)量評(píng)價(jià)方法，對(duì)教學(xué)質(zhì)量進(jìn)行有效跟蹤和監(jiān)控，對(duì)提高課程質(zhì)量有著顯著影響。

2.課程質(zhì)量評(píng)價(jià)橫向比較

由表5評(píng)價(jià)結(jié)果可知，《建筑測量》和《土木工程CAD》課程質(zhì)量已達(dá)到能力成熟度管理級(jí)要求，《計(jì)算機(jī)繪圖》未達(dá)到。

從圖2分析，三門課程A6課程教學(xué)過程定義、A4課程教學(xué)配置管理和A2課程教學(xué)計(jì)劃三個(gè)指標(biāo)的能力成熟度評(píng)價(jià)值均在0.8以上，表明這三門課在這三方面組織能力較強(qiáng)，課程標(biāo)準(zhǔn)、課程教學(xué)設(shè)計(jì)方案、設(shè)備設(shè)施配置、人力資源配置、多媒體資源、教學(xué)實(shí)施方案、不同學(xué)習(xí)方式協(xié)作（自主學(xué)習(xí)、協(xié)作學(xué)習(xí)、在線學(xué)習(xí)）、考核說明等管理到位。

課程質(zhì)量評(píng)分值主要差距體現(xiàn)在A5和A3指標(biāo)上?！督ㄖy量》和《土木工程CAD》在A5課程教學(xué)質(zhì)量保障這個(gè)指標(biāo)上評(píng)分遠(yuǎn)超《計(jì)算機(jī)繪圖》評(píng)分，由三級(jí)指標(biāo)（實(shí)施指標(biāo)）評(píng)測結(jié)果分析可知是由于前兩門課程增加了師生互動(dòng)次數(shù)導(dǎo)致評(píng)分值增加，且由于該指標(biāo)權(quán)重較大，評(píng)分值增幅較大;《建筑測量》的A3課程教學(xué)跟蹤和監(jiān)控指標(biāo)評(píng)分遠(yuǎn)超其它兩門課程，從實(shí)施指標(biāo)層分析是其引進(jìn)了有效的課程質(zhì)量評(píng)價(jià)方法。三門課程在課程需求管理方面都有所欠缺，對(duì)課程的需求和規(guī)劃不夠重視，未能對(duì)課程進(jìn)行人才培養(yǎng)方案的有效調(diào)研，課程的制定缺乏科學(xué)依據(jù)，在今后應(yīng)加強(qiáng)這方面的建設(shè)。

3.總結(jié)

課程質(zhì)量能力成熟度評(píng)分值越高，說明該課程質(zhì)量在組織管理、教學(xué)安排、教學(xué)效果等方面越成熟，課程教學(xué)活動(dòng)越能順利展開。通過提高權(quán)重比較高的指標(biāo)值，能有效提高課程質(zhì)量能力成熟度評(píng)分值。在具體實(shí)施過程中，體現(xiàn)為盡量滿足權(quán)重較大、對(duì)課程質(zhì)量影響程度高的三級(jí)評(píng)價(jià)指標(biāo)（實(shí)施層指標(biāo)）條件，如在課程教學(xué)管理過程中增大師生互動(dòng)頻率、引進(jìn)課程教學(xué)質(zhì)量評(píng)價(jià)方法、改革傳統(tǒng)教學(xué)方法和制作精良的多媒體教學(xué)資源等，對(duì)開放在線課程質(zhì)量的提高有著重要意義。

參考文獻(xiàn)：

[1]金賢.開放在線課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系研究——以南京開放大學(xué)為例[J].江蘇科技信息，2019（10）：56-58，74.

[2]張潤芝，張進(jìn)寶，陳庚.網(wǎng)絡(luò)課程質(zhì)量評(píng)價(jià)實(shí)踐及學(xué)術(shù)研究評(píng)述[J].開放教育研究，2011（4）：60-65.

[3]胡水星.基于模糊理論的網(wǎng)絡(luò)課程評(píng)價(jià)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電化教育研究，2006（6）.

[4]王璐，趙呈領(lǐng)，萬力勇.基于扎根理論的在線開放課程質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建研究——以國家精品資源共享課為例[J].中國遠(yuǎn)程教育，2017（11）：70-76.

[5]教育部教育信息化技術(shù)標(biāo)準(zhǔn)委員會(huì).網(wǎng)絡(luò)課程評(píng)價(jià)規(guī)范（CELTS-22.1）[S].

[6]周瑩，劉佳.數(shù)字圖書館知識(shí)服務(wù)能力成熟度評(píng)價(jià)模型研究[J].情報(bào)科學(xué)，2016（6）：63-66，86.

[7]羅雙玲，夏昊翔.基于能力成熟度視角對(duì)智慧城市評(píng)價(jià)的思考[J].科研管理，2018（S1）：278-283.

（編輯：王天鵬）