基于“閉環(huán)”質(zhì)量監(jiān)控的碩士論文量化評(píng)價(jià)模型

韓 楠，喬少杰，李艾鮮，陳權(quán)亮，黃 萍

（1.成都信息工程大學(xué) 管理學(xué)院，四川 成都 610103；2.成都信息工程大學(xué) 軟件工程學(xué)院，四川 成都 610225；3.成都信息工程大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院，四川 成都 610225；4.成都信息工程大學(xué) 研究生處，四川 成都 610225）

1 概述

培養(yǎng)研究生的重要環(huán)節(jié)之一是碩士生學(xué)位論文的撰寫[1]。在學(xué)位論文質(zhì)量評(píng)價(jià)過程中，許多高等院校在進(jìn)行專業(yè)型碩士生學(xué)位論文評(píng)價(jià)時(shí)仍沿用學(xué)術(shù)型研究生的方法和模式。這導(dǎo)致了以下幾個(gè)問題：①不同類型碩士生培養(yǎng)方式和方向不明確；②碩士生學(xué)位論文評(píng)價(jià)標(biāo)準(zhǔn)側(cè)重于理論研究而輕視實(shí)踐應(yīng)用和操作；③碩士生具備的技能不符合當(dāng)前行業(yè)的要求。文獻(xiàn)[2]中的調(diào)查研究表明，當(dāng)前碩士研究生的科研學(xué)術(shù)動(dòng)力隨年級(jí)升高而呈現(xiàn)下降趨勢(shì)，這說明碩士研究生在科研期間缺乏正確的引導(dǎo)進(jìn)而導(dǎo)致科研學(xué)術(shù)動(dòng)力下降。文獻(xiàn)[3]中提到計(jì)算機(jī)專業(yè)學(xué)術(shù)型碩士生的培養(yǎng)存在培養(yǎng)目標(biāo)模糊、培養(yǎng)環(huán)境相對(duì)封閉、導(dǎo)師重學(xué)術(shù)而輕實(shí)踐等問題；學(xué)位論文選題以各類算法的理論研究和改進(jìn)為主，鮮有工程應(yīng)用或理論研究應(yīng)用的課題等諸多問題。文獻(xiàn)[4]中指出研究生學(xué)位論文在創(chuàng)新方面上存在沒有新觀點(diǎn)、新見解，沒有取得實(shí)際成果等問題。此外，碩士研究生學(xué)位論文還缺少對(duì)當(dāng)前新興研究成果的學(xué)術(shù)性見解和對(duì)各種前沿技術(shù)方法的理論性分析[5]。文獻(xiàn)[6]中研究發(fā)現(xiàn)我國(guó)碩士研究生培養(yǎng)過程中實(shí)行雙導(dǎo)師制度的比例較低，這可能導(dǎo)致科研與實(shí)踐的脫節(jié)。

在碩士生培養(yǎng)過程中相關(guān)課程的設(shè)置和教學(xué)培養(yǎng)是碩士生教育的研究重點(diǎn)[7]。在碩士生的教學(xué)和實(shí)踐環(huán)節(jié)中，實(shí)踐教學(xué)研究是目前較為熱門的研究點(diǎn)[8-9]。課程設(shè)置的研究主要集中在兩點(diǎn)：①如何更好地設(shè)計(jì)碩士研究生的相關(guān)課程，讓碩士研究生能夠緊跟社會(huì)發(fā)展需求打下堅(jiān)實(shí)的基礎(chǔ)；②學(xué)術(shù)型碩士生與專業(yè)型碩士生課程設(shè)置之間的異同及培養(yǎng)方式的不同。

1.1 專業(yè)型與學(xué)術(shù)型碩士

碩士研究生有兩種不同的培養(yǎng)類型，一種是學(xué)術(shù)型碩士（academic master’s degree），一種是專業(yè)型碩士（professional master’s degree）。專業(yè)型碩士研究生的培養(yǎng)目標(biāo)是培養(yǎng)具有較強(qiáng)專業(yè)能力并能夠根據(jù)社會(huì)特定領(lǐng)域的不同需要進(jìn)行專業(yè)領(lǐng)域?qū)嵺`工作的高水平專業(yè)人員。學(xué)術(shù)型碩士生是我國(guó)過去很長(zhǎng)時(shí)間內(nèi)培養(yǎng)的主要類型的碩士生，一般是指被授予者在其研究領(lǐng)域已經(jīng)達(dá)到一定的學(xué)術(shù)水平，掌握系統(tǒng)的理論知識(shí)，具有獨(dú)立科研能力等，在培養(yǎng)過程中側(cè)重于培養(yǎng)基礎(chǔ)知識(shí)及理論和科學(xué)研究素養(yǎng)。

1.2 專業(yè)碩士與學(xué)術(shù)碩士培養(yǎng)對(duì)比分析

目前國(guó)內(nèi)對(duì)于兩種類型的碩士研究生培養(yǎng)采取“同等對(duì)待”，無論是學(xué)校、學(xué)院還是導(dǎo)師，多采取“無差別培養(yǎng)”的培養(yǎng)模式。文獻(xiàn)[10]中通過問卷調(diào)查的方式發(fā)現(xiàn)部分教師對(duì)不同類型研究生培養(yǎng)目標(biāo)和規(guī)格不了解，對(duì)專業(yè)和學(xué)術(shù)碩士培養(yǎng)不加區(qū)別。通過研究發(fā)現(xiàn)實(shí)踐是專業(yè)型碩士學(xué)位培養(yǎng)的主要特征，也是國(guó)家發(fā)展專業(yè)型研究生教育的主要目的。文獻(xiàn)[11]中建議學(xué)校、導(dǎo)師和公司企業(yè)共同建立專業(yè)型碩士生實(shí)踐教學(xué)基地，同時(shí)，通過上述措施開設(shè)多學(xué)科課程，進(jìn)而有效地改革專業(yè)型碩士生的培養(yǎng)模式。

2 計(jì)算機(jī)類碩士生學(xué)位論文質(zhì)量體系

圖1 學(xué)術(shù)型和專業(yè)型碩士學(xué)位論文撰寫各階段任務(wù)

學(xué)位論文撰寫是一項(xiàng)系統(tǒng)性的工作，學(xué)術(shù)型和專業(yè)型碩士各階段任務(wù)如圖1 所示。

研究生學(xué)位論文像紐帶一樣連接起理論基礎(chǔ)和實(shí)踐應(yīng)用[12]。創(chuàng)新是科學(xué)研究的靈魂和最基本的需求。學(xué)位論文是研究生科研水平的主要表現(xiàn)方式，是學(xué)習(xí)生涯中研究成果的總結(jié)和凝練。研究生的學(xué)位論文在創(chuàng)新性上，存在著缺乏新見解、缺乏實(shí)際意義、缺乏研究成果、沒有緊跟前沿科學(xué)技術(shù)等問題。此外，還存在研究生教育教學(xué)工作的支撐環(huán)節(jié)不足、部分研究生的學(xué)位論文缺乏原創(chuàng)力等問題[13]。同時(shí)，研究生在讀期間找不到自己的定位和研究方向，無法適應(yīng)學(xué)術(shù)研究者的角色，也不敢挑戰(zhàn)權(quán)威，因此學(xué)位論文質(zhì)量也會(huì)受到影響[14]。

學(xué)位論文評(píng)價(jià)模式包括論文函評(píng)加論文答辯的方式，這樣的評(píng)價(jià)模式存在著明顯的局限性。現(xiàn)有的論文函評(píng)或者網(wǎng)絡(luò)評(píng)審方法分為盲審和明審。研究表明，明審的專家評(píng)價(jià)普遍高于盲審。從論文質(zhì)量的角度來看，盲審的評(píng)審效果要明顯優(yōu)于明審[15]。

當(dāng)前學(xué)位論文質(zhì)量評(píng)價(jià)存在以下幾方面問題：①在定性評(píng)價(jià)方面，由于評(píng)審專家個(gè)人的研究方向、評(píng)審標(biāo)準(zhǔn)和評(píng)審寬嚴(yán)程度不同，同一篇學(xué)位論文會(huì)出現(xiàn)評(píng)價(jià)不一致的情況，因此導(dǎo)致論文的質(zhì)量無法分辨，甚至優(yōu)秀研究生的論文與一篇基本合格的研究生論文相比，我們很難從評(píng)審意見上看出文章的水平高低。評(píng)審專家的學(xué)位論文評(píng)閱意見以及答辯決議部分存在表述重復(fù)、刻意拔高或者貶低的問題[16]。②針對(duì)定量的打分評(píng)價(jià)法，通常采用數(shù)學(xué)統(tǒng)計(jì)方法[16]，結(jié)果缺乏客觀性和可靠性。③學(xué)位論文評(píng)價(jià)中還存在學(xué)科差異的問題，僅僅采用傳統(tǒng)的評(píng)閱方法和計(jì)分法進(jìn)行評(píng)價(jià)，結(jié)果是不好進(jìn)行橫向比較的。④在學(xué)位論文答辯過程中，存在著答辯過程管理不規(guī)范、教管部門監(jiān)督不力、人際關(guān)系等因素，答辯過程的不公平有礙于碩士生學(xué)位論文的有效評(píng)估。

3 碩士生培養(yǎng)模式和學(xué)位論文評(píng)價(jià)

在碩士研究生學(xué)位論文評(píng)價(jià)模型中，制訂科學(xué)合理的評(píng)價(jià)指標(biāo)是至關(guān)重要的第一步，本文設(shè)計(jì)了全新的碩士生學(xué)位論文評(píng)價(jià)指標(biāo)，并對(duì)其進(jìn)行影響力分析。此外，需要在實(shí)踐過程中注重學(xué)術(shù)型碩士生和專業(yè)型碩士生的區(qū)別培養(yǎng)，學(xué)位論文的評(píng)價(jià)過程也應(yīng)加以區(qū)別。碩士生學(xué)位論文是其科研水平、實(shí)踐能力的綜合體現(xiàn)，高質(zhì)量的學(xué)位論文離不開科學(xué)的培養(yǎng)方法和培養(yǎng)模式。

符合碩士生培養(yǎng)的“閉環(huán)”質(zhì)量監(jiān)控法將碩士研究生培養(yǎng)與學(xué)位論文連接成線，成為一個(gè)連貫閉合的過程，形成良好的培養(yǎng)模式，進(jìn)而保證高質(zhì)量碩士生學(xué)位論文的產(chǎn)出。在學(xué)位論文評(píng)審中，通過第三方外審機(jī)制評(píng)價(jià)碩士生學(xué)位論文質(zhì)量。實(shí)踐結(jié)果表明，外審機(jī)制對(duì)于客觀評(píng)價(jià)論文質(zhì)量具有顯著提升作用。

3.1 基于閉環(huán)質(zhì)量監(jiān)控的研究生培養(yǎng)模式

研究生培養(yǎng)是一個(gè)閉環(huán)過程，如圖2 所示。圖中研究生導(dǎo)師在教學(xué)儲(chǔ)備階段，需要充分了解研究生的專業(yè)特長(zhǎng)，發(fā)掘其興趣點(diǎn)。在教學(xué)儲(chǔ)備階段，以提升學(xué)生知識(shí)面、增強(qiáng)動(dòng)手能力、培養(yǎng)創(chuàng)新思維為目的，采用基礎(chǔ)知識(shí)學(xué)習(xí)與實(shí)踐動(dòng)手能力相結(jié)合的辦法，同時(shí)注重因材施教。

傳統(tǒng)的研究生培養(yǎng)模式往往是單向的，忽視學(xué)生自己的學(xué)習(xí)意愿和個(gè)人特性，缺乏科學(xué)合理的評(píng)價(jià)機(jī)制和評(píng)價(jià)指標(biāo)。在教學(xué)反饋階段，注重接收學(xué)生的學(xué)習(xí)反饋，并采用新型評(píng)價(jià)指標(biāo)和綜合性的考核機(jī)制；導(dǎo)師根據(jù)學(xué)生和教學(xué)過程中的反饋結(jié)果在教學(xué)儲(chǔ)備階段對(duì)教學(xué)內(nèi)容進(jìn)行改進(jìn)和提升。

圖2 基于“閉環(huán)”質(zhì)量監(jiān)控的碩士生培養(yǎng)模式

當(dāng)前研究生教育的癥結(jié)是用單一的碩士學(xué)位論文的質(zhì)量?jī)?yōu)劣來評(píng)判碩士生培養(yǎng)的過程。通過在長(zhǎng)期的教學(xué)實(shí)踐中總結(jié)研究生教育培養(yǎng)過程存在的問題，提出改進(jìn)方案并將方案運(yùn)用到教學(xué)中改進(jìn)教學(xué)方法。結(jié)合已有的教育學(xué)研究和實(shí)踐經(jīng)驗(yàn)，我們?cè)O(shè)計(jì)出如圖2 所示的適合我國(guó)碩士研究教學(xué)的“閉環(huán)”培養(yǎng)和質(zhì)量監(jiān)控模式。在教學(xué)階段，教師應(yīng)對(duì)學(xué)生的想法、知識(shí)和能力基礎(chǔ)進(jìn)行深入了解，然后根據(jù)學(xué)生的學(xué)習(xí)水平和基礎(chǔ)設(shè)計(jì)科學(xué)合理的教學(xué)計(jì)劃。在教學(xué)過程中，采用啟發(fā)和激勵(lì)式教學(xué)方法，激發(fā)學(xué)生學(xué)習(xí)熱情；然后堅(jiān)持對(duì)教學(xué)情況進(jìn)行總結(jié)和反思，培養(yǎng)學(xué)生專業(yè)技能，挖掘?qū)W生研究興趣點(diǎn)。圖2 中教學(xué)評(píng)價(jià)部分是“閉環(huán)”培養(yǎng)模型的關(guān)鍵環(huán)節(jié)，科學(xué)的量化評(píng)價(jià)指標(biāo)可以減輕導(dǎo)師的評(píng)價(jià)負(fù)擔(dān)，更有利于讓研究生清晰認(rèn)識(shí)到學(xué)習(xí)過程中存在的盲區(qū)?！伴]環(huán)”式質(zhì)量監(jiān)控法使教學(xué)過程良性循環(huán)?！伴]環(huán)”教學(xué)模式以興趣為導(dǎo)向，激發(fā)學(xué)生學(xué)習(xí)熱情，使其獲得高于書本的知識(shí)，培養(yǎng)學(xué)生的綜合能力，讓學(xué)生不受限于單一的教學(xué)，主觀能動(dòng)地驅(qū)動(dòng)自己去發(fā)現(xiàn)、去學(xué)習(xí)。

科學(xué)的培養(yǎng)模式促進(jìn)優(yōu)質(zhì)碩士研究生學(xué)位論文的產(chǎn)生，同時(shí)，高質(zhì)量學(xué)位論文離不開正確的指導(dǎo)，二者相輔相成。

3.2 碩士生學(xué)位論文質(zhì)量評(píng)價(jià)指標(biāo)

研究生創(chuàng)新能力的培養(yǎng)對(duì)于學(xué)位論文來說至關(guān)重要，需要綜合考慮創(chuàng)新性、實(shí)用性、可操作性等多方面因素，并建立合理的評(píng)價(jià)指標(biāo)。結(jié)合成都信息工程大學(xué)2016—2018 年的碩士研究生學(xué)位論文外審打分和答辯評(píng)價(jià)標(biāo)準(zhǔn)，建立評(píng)價(jià)指標(biāo)體系，見表1。

表1 評(píng)價(jià)指標(biāo)及量化權(quán)重

（續(xù)）表1

通過測(cè)算碩士研究生學(xué)位論文質(zhì)量評(píng)價(jià)體系的權(quán)重系數(shù)，計(jì)算其一致性比例CR(consistency ratio)＜0.1，認(rèn)為該判斷符合邏輯一致性，證明碩士生論文評(píng)價(jià)指標(biāo)系統(tǒng)可以科學(xué)地指導(dǎo)學(xué)生提升其學(xué)位論文的質(zhì)量。

3.3 碩士生學(xué)位論文評(píng)價(jià)模式改革措施

針對(duì)評(píng)價(jià)模式中存在的虛高評(píng)價(jià)問題，逐步采取盲審的方式，以成都信息工程大學(xué)網(wǎng)絡(luò)空間安全學(xué)院2016 屆畢業(yè)生為例，隨機(jī)選取40%（外審占比率逐年遞增20%～100%）交送外校專家進(jìn)行盲審，避免評(píng)審老師打“人情分”的問題。通過引入第三方的機(jī)制，更加客觀地評(píng)價(jià)碩士生學(xué)位論文的創(chuàng)新性。

以成都信息工程大學(xué)為試點(diǎn)，在學(xué)位論文評(píng)價(jià)過程中，應(yīng)用基于“閉環(huán)”質(zhì)量監(jiān)控模式。在實(shí)際監(jiān)管過程中，發(fā)現(xiàn)學(xué)位論文的獨(dú)創(chuàng)性。學(xué)術(shù)創(chuàng)新可分為思想創(chuàng)新、研究方法創(chuàng)新等，如果是研究方法上的創(chuàng)新，則應(yīng)關(guān)注該研究使用的方法是否被其他人采用過，該方法的試驗(yàn)效果是否良好。監(jiān)管過程包括開題擬定、中期檢查等，定期對(duì)學(xué)位論文的進(jìn)度進(jìn)行跟進(jìn)并對(duì)內(nèi)容進(jìn)行評(píng)價(jià)和反饋，這樣可以及時(shí)督促研究生完成學(xué)位論文撰寫工作。針對(duì)專業(yè)型碩士，考慮到碩士生培養(yǎng)的連貫性，在評(píng)價(jià)過程中要求專業(yè)實(shí)踐與畢業(yè)設(shè)計(jì)方向一致，避免學(xué)生在學(xué)習(xí)過程中出現(xiàn)研究不連貫的問題。

通過對(duì)2016—2018 屆91 名畢業(yè)生進(jìn)行問卷調(diào)查，得到如圖3 所示的結(jié)果。圖3（a）是統(tǒng)計(jì)采用本文所提方法進(jìn)行碩士研究生學(xué)位論文評(píng)價(jià)模式改革的滿意度調(diào)查結(jié)果；圖3（b）是統(tǒng)計(jì)基于“閉環(huán)”質(zhì)量監(jiān)控的研究生培養(yǎng)模式滿意度調(diào)查結(jié)果。從學(xué)生匿名評(píng)價(jià)得到的反饋結(jié)果和碩士生學(xué)位論文質(zhì)量的提升來看，基于“閉環(huán)”質(zhì)量監(jiān)控的碩士論文量化評(píng)價(jià)模型是一種讓研究生滿意且切實(shí)有效的新型碩士生培養(yǎng)方法。

圖3 問卷調(diào)查結(jié)果分析

4 結(jié)語

學(xué)術(shù)型和專業(yè)型碩士生的培養(yǎng)和評(píng)價(jià)在我國(guó)尚處于一個(gè)模糊的階段。大多數(shù)學(xué)校是將專業(yè)型研究生與學(xué)術(shù)型研究生同等培養(yǎng)，以一樣的指標(biāo)來評(píng)價(jià)，這是不科學(xué)和不合理的。根據(jù)研究生性質(zhì)的不同、培養(yǎng)方式的差異，評(píng)價(jià)指標(biāo)也應(yīng)該因人而異。

成都信息工程大學(xué)自2003 年獲得碩士學(xué)位授予權(quán)后，全日制研究生招生人數(shù)逐年增加。學(xué)校響應(yīng)《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010—2020 年）》指導(dǎo)，以培養(yǎng)計(jì)算機(jī)類研究生應(yīng)用實(shí)踐能力和提升創(chuàng)新能力為目的，以項(xiàng)目驅(qū)動(dòng)的方式引入企業(yè)實(shí)戰(zhàn)案例，建立“成創(chuàng)空間”為學(xué)生創(chuàng)業(yè)創(chuàng)新助力，形成獨(dú)具特色的復(fù)合型專業(yè)碩士研究生培養(yǎng)新模式。

從教學(xué)實(shí)踐上看，研究生的培養(yǎng)和學(xué)位論文評(píng)價(jià)模式的改革是非常必要的?；凇伴]環(huán)”質(zhì)量監(jiān)控的研究生培養(yǎng)模式和碩士研究生學(xué)位論文量化評(píng)價(jià)模型，在研究生培養(yǎng)及畢業(yè)論文質(zhì)量監(jiān)控上取得了較好的效果。針對(duì)不同類型的研究生，設(shè)計(jì)合理的評(píng)價(jià)模型和方法，明確不同類型研究生培養(yǎng)的目標(biāo)，是今后研究生學(xué)位論文評(píng)價(jià)模式研究的新方向。