碩士研究生學習成果評價的實證研究—基于IEO模型的分析結果

汪雅霜　康　敏（.南京大學，江蘇南京0093；.廈門大學，福建廈門36005）

?

碩士研究生學習成果評價的實證研究—基于IEO模型的分析結果

汪雅霜1康敏2
（1.南京大學，江蘇南京210093；2.廈門大學，福建廈門361005）

摘要：開展學習成果評價已成為國際研究生教育質量保障的最新發(fā)展趨勢。對某研究型大學三年級學術型碩士研究生開展學習成果評價調查，以IEO模型為理論框架來對數據進行分析發(fā)現(xiàn)：碩士研究生有較高的學習成果評價；碩士研究生學習成果評價存在學科差異；本科學習經歷影響碩士研究生學習成果評價；院校支持力度對碩士研究生學習成果評價的影響較大。為此，應構建研究生學習成果導向的教育評價機制、關注碩士研究生培養(yǎng)過程中共性與個性問題、加大碩士研究生培養(yǎng)過程中課程與教學支持力度。

關鍵詞：碩士研究生；學習成果評價；科研能力；通用能力；IEO模型

伴隨著我國研究生招生規(guī)模的不斷擴大，研究生教育質量問題也引起了政府的高度重視和社會的廣泛關注。轉型期研究生教育的發(fā)展與質量的提升必然要站在國際的高度來了解國際研究生教育評價的最新動態(tài)?？v觀近年來國外研究生教育質量保障體系的建設情況，關注研究生的學習與發(fā)展、開展研究生學習成果評價（Learning Outcomes Assessment）已經成為新的發(fā)展趨勢。[1]學生學習成果評價因其“注重學生學習增值、強調教育成效證據”而備受世界各國關注。因此，本研究在借鑒國內外已有研究成果的基礎上，專門針對碩士研究生的學習成果來開展研究，嘗試建立碩士研究生學習成果影響因素模型，為碩士研究生教育質量評價提供新的視角和方法參考。

一、文獻回顧

（一）國外研究

發(fā)達國家對研究生學習成果評價主要通過科研體驗調查的方式來開展。澳大利亞于1999年開始實施研究生科研體驗調查。澳大利亞科研體驗調查問卷主要包括七個方面：導師指導、科研氛圍、能力發(fā)展、科研條件、論文評審、目標和期望、整體滿意度情況等方面。[2]英國在2007年正式啟動研究生科研體驗調查。英國研究生科研體驗調查主要包括導師指導、學習資源、科研氛圍、學業(yè)成就與評價、學術責任、科研能力、職業(yè)發(fā)展以及整體經歷評價等幾個方面。[3]通過對英、澳兩國科研調查結果進行分析發(fā)現(xiàn)兩國研究生對導師指導有較高的評價，但對科研氛圍的評價相對較低。加拿大研究生科研體驗調查開始于2007年，調查內容包括整體評價、整體滿意度、教學質量、發(fā)表機會、科研訓練、論文指導、院校資源等方面。2013年調查結果表明65.7%的研究生認為自己有非常好的科研體驗。[4]明尼蘇達大學于2014年領銜開發(fā)的美國研究型大學研究生科研體驗調查包括社會化發(fā)展、學習氛圍、教學經歷、導師指導、其他院校支持、職業(yè)規(guī)劃與變化、學位論文進展、科研經歷、財務資助、學業(yè)困難、學位完成情況、能力發(fā)展以及整體滿意度等方面。2014年預調查結果表明研究生修讀年限與其滿意度成反比。[5]

（二）國內研究

我國雖然沒有直接以“研究生科研體驗”或“研究生學習成果評價”命名的調查，但學者就博士生培養(yǎng)質量、研究生創(chuàng)新能力和科研能力以及研究生教育滿意度等方面進行了相關研究。北京大學等高校的學者對博士生、研究生教育負責人以及博士生導師開展了大規(guī)模博士生培養(yǎng)質量調查。結果表明：80%以上的博士生導師和研究生負責人認為近年來博士培養(yǎng)質量的總體發(fā)展趨勢是“持平”或“提高”的。[6]清華大學的學者基于三次研究生教育質量調查數據對我國研究生創(chuàng)新能力進行了分析，發(fā)現(xiàn)我國研究生參與創(chuàng)新研究機會少、創(chuàng)新意識有待提升、有影響的創(chuàng)新成果少。[7]中國礦業(yè)大學的學者運用多元線性回歸來分析研究生科研能力的影響因素，認為學生的嚴謹性人格、主動性人格、師徒指導關系、導師的學術地位對研究生科研能力有顯著影響。[8]北京理工大學等高校的學者從2012年開始對研究生教育滿意度進行追蹤調查。2015年調查結果顯示研究生對研究生教育的總體滿意率達到了71.7%，比2014年提高了5.3個百分點。[9]

通過對國內外相關研究進行分析可知，研究生學習成果主要由能力發(fā)展、滿意度等指標來進行評價。調查在關注研究生學習成果的同時，還對學習成果的影響因素（比如導師指導、課程教學、科研環(huán)境等）進行了分析。但目前國內學者對研究生學習成果的評價主要側重于科研能力，對通用能力的關注較少，對影響因素的分析缺少相應的理論基礎和分析框架。本研究以亞歷山大·阿斯汀的“輸入—環(huán)境—產出”模型（以下簡稱IEO模型）為分析框架，來對碩士研究學習成果的現(xiàn)狀以及影響因素進行評價，并提出相關的政策建議。

二、研究設計

（一）核心概念

埃利奧特·W·艾斯納最早對學習成果進行定義，指出學習成果是以某種形式參與之后獲得的有意或無意的結果。[10]在國外眾多關于“學習成果”的定義中以亞歷山大·阿斯汀的定義最具代表性。阿斯汀認為高等教育的學習成果按類型可以劃分為認知性成果和情感性成果，其中認知性學習成果包括通識教育的知識和技能、專業(yè)教育的知識和技能。情感性成果包括學生滿意度等指標。[11]在借鑒該定義的基礎上，本研究中的學習成果主要指認知性成果，包括科研能力（專業(yè)教育學習成果）和通用能力（通識教育學習成果）。

（二）分析框架

根據阿斯汀建構的IEO模型可知，學生個體特征及入學前經歷是影響學生學習成果的“輸入”變量；[12]院校組織特征、培養(yǎng)計劃、政策、文化等院校內部環(huán)境和學生投入度構成重要的“環(huán)境”變量，共同影響學生的學習成果。[13]本研究選擇體現(xiàn)個體特征的性別和學科變量，體現(xiàn)入學前經歷的本科院校類型變量，作為影響碩士研究生學習成果的“輸入”變量?！碍h(huán)境”變量為影響研究生學習成果的院校內部環(huán)境，稱為院校支持力度，包括學習環(huán)境支持力度和課程與教學支持力度。學習環(huán)境支持力度包括圖書資料豐富度、自習室和實驗室等實踐條件、科研機會、獎學金及評優(yōu)制度等。課程與教學支持力度包括教師教學方式、教師教學內容、學校課程設置、教學評價方式以及導師指導等方面。整體研究框架見圖1。

（三）測量工具

國際研究生學習成果評價主要使用調查問卷來收集數據。相比于標準化評價工具，自陳式調查問卷易于開發(fā)和管理、所需經費較少，是研究生學習成果評價中使用最廣泛的一種方式。因此，本研究也主要使用問卷調查的方式來對研究生學習成果進行評價。

圖1　碩士研究生學習成果評價研究框架

《研究生學習成果評價調查問卷》采用李克特7點計分法。調查問卷的結構效度使用探索性因子來對其進行檢驗。通過因子分析可知，KMO值為0.930，Bartlett's球形檢驗卡方值為3846.532，p＜.001，達到顯著，認為數據適合進行因子分析。因子提取采用主成分分析法，旋轉因子負荷矩陣使用極大方差法（Varimax）求出。因子的提取標準為特征值大于1，項目的選取標準為因子負荷大于0.45。

因子分析結果表明（見表1）可提取兩個因子，累積貢獻率為67%，方差解釋率較高，兩因子分別為科研能力（F1）和通用能力（F2）?？蒲心芰σ蜃泳唧w包括文獻查找能力、文獻研究能力、撰寫學術論文能力、問題發(fā)現(xiàn)能力、實踐操作能力、研究設計能力以及統(tǒng)計分析能力等方面。通用能力因子具體包括換位思考能力、抗挫折能力、做事情的耐力、獨立完成任務能力、求真務實能力、團隊合作能力等方面。

因子分析結束后，使用內部一致性系數（Cronbach's α系數）來考察各因子的信度。調查問卷的Cronbach's α系數值為0.954，其中科研能力因子和通用能力因子的Cronbach's α的系數值分別為0.916和0.913，說明問卷具有較好的信度。

（四）研究數據

以N研究型大學三年級學術型碩士研究生為調查對象，問卷共發(fā)放405份，回收問卷391份，有效問卷388份，有效回收率為95.80%。其中，女生占46%，男生占54%；文科研究生占40.5%，理科研究生占24.5%，工科研究生占35.1%；本科院校來源于“985工程”院校的研究生占37.6%，來源于“211工程”院校的研究生占22.7%，來源于普通院校的研究生占39.7%。

表1　因子負荷旋轉矩陣

三、實證分析

（一）碩士研究生學習成果現(xiàn)狀評價

表2　碩士研究生學習成果評價總體情況

通過表2可以看出，碩士研究生對通用能力的評價較高，對科研能力的評價相對較低。碩士研究生學習成果評價總體得分為4.95，轉化為同意度百分比為66%。對碩士研究生學習成果評價總體得分進行聚類分析可知，碩士研究生可以分為三組，第一組為學習成果評價較高組，占46.4%；第二組為學習成果評價中等組，占37.1%；第三組為學習成果評價較低組，占16.5%。

表3　碩士研究生學習成果評價具體分析

通過表3可以看出，在科研能力這一因子上，碩士研究生對文獻查找能力和問題發(fā)現(xiàn)能力的評價較高，但對研究設計能力和統(tǒng)計分析能力的評價相對較低。在通用能力這一因子上，碩士研究生對換位思考能力和抗挫折能力的評價較高，但對獨立完成任務和團隊合作這兩項能力的評價相對較低。

（二）碩士研究生學習成果影響因素評價

分別將碩士研究生學習成果評價中的科研能力和通用能力作為因變量，碩士研究生個體特征、入學前經歷、院校支持力度作為自變量進行多元線性回歸分析。通過表4可以看出，自變量對碩士研究生科研能力的解釋率為24.4%，對碩士研究生通用能力的解釋率為23.2%，說明學生個體特征、入學前經歷以及院校層面的因素對碩士生學習成果評價有較大影響。

通過表4可知，碩士研究生學習成果評價不存在性別差異，但存在學科差異。與文科碩士研究生相比，工科碩士研究生有較高的科研能力評價。較之理科碩士研究生，工科學生有較高的通用能力評價。

入學前學習經歷影響碩士研究生學習成果評價。與本科畢業(yè)于“211工程”院校和普通院校碩士研究生相比，本科畢業(yè)于“985工程”院校的碩士研究生有較高的學習成果評價。

院校支持力度對碩士研究生學習成果評價有正向影響。學習環(huán)境和課程教學的支持力度越大，碩士研究生對學習成果的評價也會越高。

四、研究結論與建議

（一）研究結論

1.碩士研究生有較高的學習成果評價

通過對碩士研究生學習成果的總體評價進行聚類分析發(fā)現(xiàn)，有近五成的學生屬于學習成果評價較高組，三成多學生屬于學習成果評價中等組，僅有一成多學生屬于學習成果評價較低組，這說明碩士研究生有著較高的學習成果評價。不過，實證分析結果還表明碩士研究生對通用能力的評價高于對科研能力的評價，說明碩士研究生的科研能力還有進一步提升的空間，特別是碩士研究生的研究設計能力和統(tǒng)計分析能力。

表4　碩士研究生學習成果影響因素分析

2.碩士研究生學習成果評價存在學科差異

雖然碩士研究生學習成果評價不存在顯著的性別差異，但卻存在學科差異，工科碩士研究生有較高的學習成果評價。這可能與不同學科的培養(yǎng)目標、知識基礎、教學方式以及科研形式不盡相同有關。工科更側重培養(yǎng)學生扎實的數理統(tǒng)計基礎，注重實踐教學，更強調“團隊式”、“項目制”的科研運作機制。因此，與文科研究生相比，工科碩士研究生在研究設計、實踐操作、統(tǒng)計分析等方面的科研能力評價更高。與理科研究生相比，工科碩士研究生在團隊合作、求真務實等方面的通用能力評價更高。

3.本科學習經歷影響碩士研究生學習成果評價

“985工程”院校代表著我國高等教育發(fā)展的最高水平。相關調查研究表明：與其他類型院校相比，“985工程”院校學生感知到更高的院校支持力度和更高的學習滿意度。由于本科畢業(yè)于“985工程”院校的學生有著豐富的本科學習經歷，這也直接影響了其在研究生學習階段的學習成果。研究結果也驗證了阿斯汀的IEO模型在研究生學習階段的適應性。同時，本科畢業(yè)于“985工程”院校的碩士研究生有較高的學習成果評價，從某種程度上也反映出我國“985工程”院校有著較高的本科人才培養(yǎng)質量。

4.院校支持力度對碩士研究生學習成果評價的影響較大

通過比較標準化回歸系數可知，學習環(huán)境支持力度和課程與教學支持力度對碩士研究生學習成果評價的影響較大。圖書館、自習室和實驗室等學習平臺、科研機會、科研激勵等組織制度都是研究生培養(yǎng)過程中重要的硬件和軟件環(huán)境，都對碩士研究生學習成果評價產生影響。同時，本研究通過實證數據還發(fā)現(xiàn)課程與教學支持力度對碩士研究生學習成果評價產生較大影響。但以往的研究生培養(yǎng)中存在重科研訓練輕課程學習的現(xiàn)象，使得課程與教學在研究生培養(yǎng)中并沒有得到足夠的重視。這也意味著我們需要重新審視課程與教學在研究生培養(yǎng)中的地位，凸顯課程與教學的獨特價值。

（二）研究建議

1.構建研究生學習成果導向的教育評價機制

首先，樹立“以研究生發(fā)展為中心”的評價理念。目前，我國研究生教育質量評價制度主要包括四個方面：學位授權審核、學位授權點定期評估、學位論文抽查和教育質量約談。[14]這四方面的評價都以院校為中心，是一種自上而下的評價機制。學生學習成果導向的研究生教育評價機制強調學生的參與，重視傾聽學生的聲音，學生在評價中有充分的話語權，是一種自下而上的評價機制。其次，培育基于證據的評價文化。研究生教育評價包括測量和價值判斷兩方面，但傳統(tǒng)的研究生教育評價是一種基于經驗的評價，過于強調對評價對象的價值判斷，而較少關注測量這一環(huán)節(jié)。學生學習成果導向的研究生教育評價機制建立在豐富的數據基礎之上，注重教育測量在評價中的作用，著力培育基于證據的質量文化。

2.關注碩士研究生培養(yǎng)過程中共性與個性問題

首先，關注碩士研究生培養(yǎng)過程中的共性問題。研究表明碩士研究生對科研能力的評價相對較低，特別是研究設計能力和統(tǒng)計分析能力還有待提高。這是碩士研究生培養(yǎng)過程中所面臨的共性問題，需要引起學校的重視。建議高?？砷_設相關的研究方法課程來提升研究生這兩方面的能力。其次，關注碩士研究生培養(yǎng)過程中的學科差異性。研究發(fā)現(xiàn)較之工科研究生，文科研究生的科研能力、理科研究生的通用能力還有一定的提升空間。建議學校開設相關的跨學科課程或設立相關的跨學科研究課題，鼓勵不同學科的研究生在一起共同進行課程學習或開展課題研究，互相取長補短，共同進步。最后，關注碩士研究生培養(yǎng)過程中的個體差異性。研究表明本科來源于非“985工程”院校學生的學習成果評價相對較低，這就要求高校在研究生培養(yǎng)過程中采取相關措施來對這些學生給予更多的關心和指導。

3.加大碩士研究生培養(yǎng)過程中課程與教學支持力度

目前，學界對于課程與教學在研究生培養(yǎng)過程中的地位存在兩種觀點：一種觀點認為研究生培養(yǎng)主要是通過科研訓練，課程與教學處于次要地位；另一種觀點則認為課程與教學是研究生培養(yǎng)過程中的重要環(huán)節(jié)，對研究生的學習與發(fā)展有較大影響。本研究通過實證數據發(fā)現(xiàn)課程與教學支持力度對碩士研究生學習成果評價有著較大的促進作用，是碩士研究生培養(yǎng)過程中的重要影響因素。這也進一步說明“課程學習是學術學位研究生特別是碩士研究生培養(yǎng)的必經階段和重要途徑，是知識、能力和素質培養(yǎng)的重要手段，在研究生成長成才中具有全面、綜合和基礎性作用”。[15]因此，高校要充分重視課程與教學工作，進一步加強研究生課程體系建設，加大碩士研究生培養(yǎng)過程中對課程與教學的支持力度。

參考文獻：

[1]趙琳，王傳毅.以“學”為中心：研究生教育質量評價與保障的新趨勢[J].學位與研究生教育，2015，（3）：11-14.

[2] Graduate Careers Australia. Postgraduate Research Experience Questionnaire [EB/OL]. http: //www.graduatecareers.com.au/research/start/ agsoverview/ctags/preqo/, 2015-11-05.

[3] Higher Education Academy. Postgraduate Research Experience Survey ( PRES) 2015 [EB/ OL]. https://www.heacademy.ac.uk/sites/default/files/ downloads/pres -2015 -questionnaire.pdf, 2015 -11-05.

[4] Canadian Graduate and Professional Student Survey. 2013 Summary Report [EB/OL]. http:// www.uregina.ca/orp/assets/surveys/cgpss -2013 -national-report.pdf, 2015-11-6.

[5] Ron Huesman. Grad SERU: Utilization and Results [EB/OL]. http://www.cshe.berkeley. edu/sites/default/files/u102/Grad%20SERU%20UC% 20Berkeley% 202015% 20FINAL% 20v2% 20with% 20positive%20comments.pdf，2015-11-05.

[6]袁本濤，延建林.我國研究生創(chuàng)新能力現(xiàn)狀及其影響因素分析—基于三次研究生教育質量調查的結果[J].北京大學教育評論，2009，（2）：12-20.

[7]鞏亮等.研究生科研能力影響因素實證研究[J].學位與研究生教育，2014，（12）：50-57.

[8]中國博士質量分析課題組.中國博士質量報告[M].北京：北京大學出版社，2010.

[9]周文輝，王戰(zhàn)軍等. 2015年我國研究生滿意度調查[J].學位與研究生教育，2015，（10）：14-19.

[10] E.W.EISNER.The Educational Imagination [M]. New York：Macmillan, 1979:103

[11] [12] A. W. Astin. Assessment for Excellence: the philosophy and Practical of Assessment and Evaluation in Higher Education [M]. New York: American Council on Education and Macmillan Publishing Company, 1991: 45, 18.

[13]王紓.研究型大學生學習性投入對學習收獲的影響機制研究—基于2009年“中國大學生學情調查”的數據分析[J].清華大學教育研究，2011，32（4）：24-32.

[14]王戰(zhàn)軍，喬偉峰.中國高等教育質量保障的新理念和新制度[J].清華大學教育研究，2014，35（3）：29-34.

[15]汪霞.世界一流大學研究生培養(yǎng)模式和課程體系研究[M].南京：南京大學出版社，2015.

（責任編輯田曉苗）

A Study on Learning Outcomes Assessment of Postgraduate-Based on IEO Analysis Results of the Model

Wang Yashuang Kang Min

Abstract:Assessing learning outcomes of postgraduate is the newest trend in the international higher education quality assurance. An empirical research on the learning outcomes includes 388 postgraduates in a research university in China. The results based on the IEO model indicate that the overall condition of the postgraduate learning outcomes is high, the postgraduate learning outcomes differ from disciplines, undergraduate learning experience has a direct influence on the outcomes and the campus supportive environment has a great influence on the learning outcomes. Some suggestions are brought out: constructing an outcomes-oriented postgraduate education assessment system, paying more attention to the generality and individuality problems of the postgraduate, and providing more curriculum and instruction support for postgraduate.

Key words:postgraduate; learning outcomes assessment; scientific research ability; generic ability; IEO model

作者簡介：汪雅霜，男，南京大學教育研究院助理研究員，主要從事院校影響力與學生發(fā)展研究；康敏，女，廈門大學教育研究院碩士研究生，主要從事教育政策與管理研究。

基金項目：江蘇省教育科學“十二五”規(guī)劃2015年重點資助課題（B-a/2015/01/002）

收稿日期：2015-12-15

中圖分類號：G643

文獻標識碼：A

文章編號：1672－4038（2016）03－0076－07