綜合集成法在高校教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用

周 劍，孫力娟，韓 崇，郭 劍，肖 甫

（南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210023）

0 引 言

高校是我國培養(yǎng)人才的重要部門，高校教學(xué)質(zhì)量的提高對(duì)于高校自身發(fā)展和國家綜合競爭力提升有著重要意義。教育部頒布的《關(guān)于加強(qiáng)高等學(xué)校本科教學(xué)工作提高教學(xué)質(zhì)量的若干意見》要求“把提高教學(xué)質(zhì)量放在更加突出的重要位置”。

教學(xué)質(zhì)量評(píng)價(jià)是提高高校教學(xué)質(zhì)量的一種常用手段，對(duì)教師、學(xué)生以及高校管理者都有非常重要的作用。如何科學(xué)、合理地進(jìn)行高校教學(xué)質(zhì)量評(píng)價(jià)既是理論問題，也是實(shí)踐問題，已有不少學(xué)者對(duì)其進(jìn)行了研究[1-3]。然而由于高校教學(xué)系統(tǒng)具有開放性、復(fù)雜性、層次性、涌現(xiàn)性、巨大性等特征，是一個(gè)復(fù)雜巨系統(tǒng)，一般的方法無法解析。從方法論的角度，研究方法應(yīng)該適合于研究對(duì)象；對(duì)研究對(duì)象（高校教學(xué)系統(tǒng)）的認(rèn)識(shí)和對(duì)復(fù)雜科學(xué)、復(fù)雜思維的理解，我們認(rèn)為，有必要用復(fù)雜的思維方式研究高校教學(xué)活動(dòng)[4-5]。

復(fù)雜科學(xué)是一門方興未艾的交叉學(xué)科，其發(fā)展為研究復(fù)雜的高校教學(xué)系統(tǒng)提供了新的思維方式[6]。錢學(xué)森院士提出的綜合集成法是我國知識(shí)界對(duì)復(fù)雜系統(tǒng)研究的一個(gè)重要貢獻(xiàn)，是解決復(fù)雜系統(tǒng)問題的有效方法。

1 高校教學(xué)質(zhì)量評(píng)價(jià)問題是一個(gè)復(fù)雜巨系統(tǒng)問題

我國科學(xué)家錢學(xué)森在對(duì)系統(tǒng)論深入研究的基礎(chǔ)上，提出了“開放的復(fù)雜巨系統(tǒng)[7]（Open Complex Giant Systems，OCGS）”的概念，認(rèn)為開放的復(fù)雜巨系統(tǒng)具有開放性、復(fù)雜性、層次性、涌現(xiàn)性、巨大性等特征[8]。事實(shí)上，高校教學(xué)系統(tǒng)是一個(gè)開放的復(fù)雜巨系統(tǒng)，高校教學(xué)質(zhì)量評(píng)價(jià)問題是一個(gè)復(fù)雜巨系統(tǒng)問題。具體體現(xiàn)在：

（1）高校教學(xué)系統(tǒng)具有開放性。一方面，高校與社會(huì)之間有著普遍聯(lián)系，表現(xiàn)在高校向社會(huì)輸出知識(shí)、人才和文化等，社會(huì)向高校輸入各種資源，包括財(cái)政資源、人力資源、物質(zhì)資源、文化信息資源等；另一方面，高校學(xué)生、教師自身都存在社會(huì)性，與社會(huì)存在復(fù)雜的動(dòng)態(tài)聯(lián)系，這種聯(lián)系受到學(xué)生、教師經(jīng)歷與高校內(nèi)外環(huán)境等的影響。

（2）高校教學(xué)系統(tǒng)具有復(fù)雜性。高校教學(xué)要素之間存在非線性關(guān)系，且要素本身具有不確定性，由此造成高校教學(xué)質(zhì)量評(píng)價(jià)的復(fù)雜性。首先，高校教學(xué)的實(shí)施者與對(duì)象都是人，教學(xué)內(nèi)容也是由人創(chuàng)定；人所具有的可變性、多樣性等特征造成了教學(xué)的實(shí)施者與對(duì)象所具有的不確定性。其次，高校學(xué)生與教師的流動(dòng)性、能動(dòng)性等特征，以及他們對(duì)于教學(xué)的理解不一致性等造成了教學(xué)結(jié)果與教學(xué)過程的不確定性。

（3）高校教學(xué)系統(tǒng)具有層次性。高校教師隸屬于各個(gè)學(xué)院的各個(gè)系；同樣，高校學(xué)生分屬于各個(gè)學(xué)院，在學(xué)院中又分屬于各個(gè)系、各個(gè)年級(jí)、各個(gè)班級(jí)。高校課程分為基礎(chǔ)課程、專業(yè)課程，或者分為選修課程、必修課程。高校不同學(xué)院不同系的教師開設(shè)各種課程，由各個(gè)學(xué)院、各個(gè)系的學(xué)生選修或必修開設(shè)的課程，因此，高校中教師—課程—學(xué)生間具有復(fù)雜的層次關(guān)系。

（4）高校教學(xué)系統(tǒng)具有涌現(xiàn)性。首先，高校學(xué)生組成學(xué)生集體，教師組成教師集體，學(xué)生之間、教師之間不斷交換信息、物質(zhì)與能量，產(chǎn)生相互作用。其次，高校中教學(xué)過程是學(xué)生與教師的雙邊活動(dòng)過程，不可能還原成“學(xué)”與“教”的單邊行為，學(xué)生與教師之間產(chǎn)生很強(qiáng)的相互作用。最后，學(xué)生的發(fā)展是通過各個(gè)學(xué)科的教師共同促進(jìn)、作用的，不能將學(xué)生的整體發(fā)展還原為單一方面的發(fā)展，也不能認(rèn)為是某一學(xué)科教師的貢獻(xiàn)，所以高校教學(xué)系統(tǒng)中各要素產(chǎn)生復(fù)雜的相互作用，產(chǎn)生了系統(tǒng)原本沒有的特性，該特性又反作用于系統(tǒng)，因此造成系統(tǒng)不斷涌現(xiàn)出新特性。

（5）高校教學(xué)系統(tǒng)具有巨大性。以南京郵電大學(xué)為例，該?，F(xiàn)有22個(gè)學(xué)院，每個(gè)學(xué)院有學(xué)生千名左右，教師百名左右；而國內(nèi)，2015年高校專職教師150多萬，在校學(xué)生3 500多萬，所以高校教學(xué)系統(tǒng)具有巨大性特征。

綜上所述，高校教學(xué)系統(tǒng)不僅是一個(gè)與社會(huì)大系統(tǒng)不斷進(jìn)行物質(zhì)與能量交換，受社會(huì)大系統(tǒng)影響的開放系統(tǒng)，還是一個(gè)各系統(tǒng)要素彼此相互作用又緊密聯(lián)系，具有開放性、復(fù)雜性、層次性、涌現(xiàn)性、巨大性的復(fù)雜巨系統(tǒng)。因此，該系統(tǒng)的質(zhì)量評(píng)價(jià)是一個(gè)復(fù)雜巨系統(tǒng)問題[5]。錢學(xué)森在提出OCGS概念的同時(shí)，還給出了處理這類問題的方法論——綜合集成法。

2 處理復(fù)雜巨系統(tǒng)問題的方法論——綜合集成法

錢學(xué)森等于1990年在系統(tǒng)工程的種種實(shí)踐基礎(chǔ)上，進(jìn)一步提高、概括出開放的復(fù)雜巨系統(tǒng)及處理開放的復(fù)雜巨系統(tǒng)的方法論[7]，即從定性到定量的綜合集成法。綜合集成法的實(shí)質(zhì)是將專家群體、數(shù)據(jù)和各種信息與計(jì)算機(jī)技術(shù)有機(jī)地結(jié)合起來，把各種學(xué)科的科學(xué)理論和人的知識(shí)結(jié)合起來，這三者構(gòu)成系統(tǒng)。這個(gè)方法的成功應(yīng)用就在于發(fā)揮這個(gè)系統(tǒng)的整體優(yōu)勢(shì)和綜合優(yōu)勢(shì)。綜合集成法要求發(fā)揮人的性智和機(jī)器的量智在問題求解中的重要作用，建立模型，反復(fù)修改，最終深化對(duì)問題的認(rèn)識(shí)。綜合集成法概括起來，具有如下特點(diǎn)：

（1）運(yùn)用“整體—分解—綜合”的研究路線。通過綜合集成法解決問題時(shí)，需要將系統(tǒng)整體進(jìn)行分解，在對(duì)分解后的子系統(tǒng)進(jìn)行研究的基礎(chǔ)上，再綜合集成到整體，實(shí)現(xiàn)1+1＞2 的飛躍，達(dá)到從整體上研究和解決問題的目的[9]。

（2）采取定性與定量相結(jié)合，人機(jī)結(jié)合的研究方法。綜合集成法要求充分發(fā)揮人的性智和機(jī)器的量智在問題求解中的重要作用。

（3）注重子系統(tǒng)之間的相互作用。綜合集成法是針對(duì)復(fù)雜巨系統(tǒng)問題提出的，它注重復(fù)雜巨系統(tǒng)內(nèi)部各子系統(tǒng)之間的相互作用。

（4）強(qiáng)調(diào)多學(xué)科、多方法、多數(shù)據(jù)結(jié)合。綜合集成法強(qiáng)調(diào)不同領(lǐng)域的科學(xué)理論和經(jīng)驗(yàn)知識(shí)綜合集成，從不同層次、不同方面、不同角度去研究同一個(gè)復(fù)雜問題。

（5）重視反饋。綜合集成法通過反復(fù)比較、逐次逼近，深化對(duì)問題的認(rèn)識(shí)，重視反饋對(duì)復(fù)雜問題求解的作用。

目前，綜合集成法已經(jīng)在工程系統(tǒng)、社會(huì)經(jīng)濟(jì)系統(tǒng)、軍事系統(tǒng)等諸多領(lǐng)域得到了廣泛應(yīng)用[9-11]。早在20世紀(jì)90年代就有學(xué)者提出將綜合集成法應(yīng)用于教學(xué)系統(tǒng)[12]，然而受時(shí)代與技術(shù)的約束，還沒形成具體的應(yīng)用措施。

3 綜合集成法在高校教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用

綜合集成法運(yùn)用于高校教學(xué)質(zhì)量評(píng)價(jià)過程，可以設(shè)計(jì)出如圖1所示的基于綜合集成法的高校教學(xué)質(zhì)量評(píng)價(jià)框架。

其中，知識(shí)體系、專家體系、機(jī)器體系相互作用，機(jī)器體系通過知識(shí)體系中多種知識(shí)給專家體系中教師、學(xué)生、管理者提供幫助，專家體系中教師、學(xué)生、管理者共同在機(jī)器體系提供的信息存儲(chǔ)、信息傳輸、信息分析與技術(shù)、信息挖掘與推理等功能幫助下，實(shí)現(xiàn)多方法結(jié)合、人機(jī)結(jié)合的高效教學(xué)質(zhì)量評(píng)價(jià)過程。

圖1 基于綜合集成法的高校教學(xué)質(zhì)量評(píng)價(jià)框架

綜合集成法在高校教學(xué)質(zhì)量評(píng)價(jià)中的實(shí)踐措施如下：

1）運(yùn)用“整體—分解—綜合”的研究思路。

綜合集成法采用了先從上而下，后由下而上的研究思路。首先從整體到部分，然后再由部分到整體，這樣可以把宏觀和微觀結(jié)合起來，以達(dá)到從整體上研究和解決問題的目的。運(yùn)用綜合集成法中這種“整體—分解—綜合”的研究思路，將高校教學(xué)系統(tǒng)進(jìn)行分解，得到若干子系統(tǒng)，如學(xué)生子系統(tǒng)、教師子系統(tǒng)、管理者子系統(tǒng)。從各個(gè)子系統(tǒng)出發(fā)，評(píng)價(jià)教學(xué)質(zhì)量。最后將各子系統(tǒng)的評(píng)價(jià)相綜合，得到相對(duì)客觀的高校教學(xué)質(zhì)量評(píng)價(jià)。

高校學(xué)生是教學(xué)的對(duì)象，在評(píng)價(jià)高校教學(xué)質(zhì)量方面最有發(fā)言權(quán)。高校也一般要求學(xué)生對(duì)課程或教師給出評(píng)價(jià)。然而對(duì)于學(xué)生評(píng)價(jià)，其評(píng)價(jià)的客觀性存在一定問題：一方面，學(xué)生評(píng)價(jià)受一些主觀因素影響，比如評(píng)價(jià)動(dòng)機(jī)和情感等；另一方面，不同年級(jí)、不同學(xué)院的學(xué)生對(duì)同一課程或教師的評(píng)價(jià)也存在差異；此外，學(xué)生對(duì)教師教學(xué)進(jìn)行評(píng)價(jià)的能力，也備受質(zhì)疑。

高校教師是教學(xué)的實(shí)施者，教師全程參與教學(xué)過程，在高校教學(xué)上投入大量的精力，對(duì)高校教學(xué)質(zhì)量有著最直接的感受。教師對(duì)高校教學(xué)質(zhì)量的反思，有利于發(fā)現(xiàn)自己教學(xué)的優(yōu)缺點(diǎn)，對(duì)教學(xué)質(zhì)量進(jìn)行改進(jìn)。教師自我評(píng)價(jià)作為高校教學(xué)質(zhì)量評(píng)價(jià)的重要環(huán)節(jié)，其重要性近年來得到廣泛關(guān)注。在美國與英國的教學(xué)質(zhì)量評(píng)價(jià)體系中，均有教師自我評(píng)價(jià)環(huán)節(jié)。高校中同事之間對(duì)于相關(guān)課程的熟悉度最高，因此將同事作為評(píng)價(jià)主體的一部分，有利于信息的全面收集，但自我評(píng)價(jià)、同事評(píng)價(jià)也不可避免地帶有個(gè)人偏見。

高校管理者又分為學(xué)校教學(xué)督導(dǎo)、學(xué)院管理者。學(xué)校教學(xué)督導(dǎo)一般是資深教師，他們具有豐富的評(píng)價(jià)經(jīng)驗(yàn)和深厚的教學(xué)經(jīng)驗(yàn)，學(xué)校教學(xué)督導(dǎo)的評(píng)價(jià)參照是其教學(xué)實(shí)踐和相關(guān)優(yōu)秀教師，因此，他們的評(píng)價(jià)被認(rèn)為最有權(quán)威性。學(xué)院管理者與學(xué)生相比，對(duì)高校教學(xué)質(zhì)量的評(píng)價(jià)側(cè)重點(diǎn)不同，這樣有利于做出更全面、客觀的評(píng)價(jià)。然而因?yàn)橘Y源的限制，高校教學(xué)督導(dǎo)、學(xué)院管理者只能短時(shí)間參與教師的教學(xué)過程，有限地感知教師教學(xué)，因此具有片面性；其次，高校教學(xué)督導(dǎo)、學(xué)院管理者之間經(jīng)歷、知識(shí)與學(xué)科背景有很大差異，因此存在評(píng)判標(biāo)準(zhǔn)不一致的情況，會(huì)造成爭議的評(píng)價(jià)結(jié)果。

在進(jìn)行高校教學(xué)質(zhì)量評(píng)價(jià)時(shí)，高校應(yīng)從各子系統(tǒng)出發(fā)，進(jìn)行多主體評(píng)價(jià)。每個(gè)主體進(jìn)行評(píng)價(jià)時(shí)，要建立科學(xué)合理的評(píng)價(jià)指標(biāo)體系，即每個(gè)子系統(tǒng)在進(jìn)行評(píng)價(jià)時(shí)又分解為多個(gè)方面，如學(xué)生從教師教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果等多方面進(jìn)行教學(xué)質(zhì)量評(píng)價(jià)；同事從課程組織、課程內(nèi)容、學(xué)生學(xué)習(xí)、課程目標(biāo)、教學(xué)方法等多方面進(jìn)行教學(xué)質(zhì)量評(píng)價(jià)。每個(gè)方面再分解為多個(gè)指標(biāo)。得到每個(gè)指標(biāo)的評(píng)價(jià)后，再逐層綜合，得到相對(duì)完整、客觀的高校教學(xué)質(zhì)量評(píng)價(jià)。

2）采取定性與定量相結(jié)合、人機(jī)結(jié)合的評(píng)價(jià)方法。

目前，高校教學(xué)質(zhì)量評(píng)價(jià)以定量評(píng)價(jià)為主。評(píng)價(jià)指標(biāo)中，如學(xué)生成績、出勤率等指標(biāo)易于定量評(píng)價(jià)；而如班級(jí)學(xué)風(fēng)、課堂氛圍等更多的指標(biāo)，只能通過評(píng)價(jià)者的感受給出一個(gè)定性評(píng)價(jià)。注重定性評(píng)價(jià)已成為高校教學(xué)質(zhì)量評(píng)價(jià)的重要趨勢(shì)。英國的高校教學(xué)質(zhì)量評(píng)價(jià)主要依靠高校發(fā)布的教學(xué)質(zhì)量報(bào)告、高校自述，高校也越來越傾向于提供定性評(píng)價(jià)資料。在美國中北部認(rèn)證協(xié)會(huì)公布的認(rèn)證標(biāo)準(zhǔn)中，評(píng)價(jià)指標(biāo)體系也以定性評(píng)價(jià)為主。因此，高校在建立評(píng)價(jià)指標(biāo)體系時(shí)，應(yīng)更注重定性評(píng)價(jià)，定性與定量相結(jié)合的完成高校教學(xué)質(zhì)量評(píng)價(jià)。

信息技術(shù)的發(fā)展與普及，使得利用計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)成為高校教師質(zhì)量評(píng)價(jià)的趨勢(shì)。利用信息技術(shù)進(jìn)行教學(xué)質(zhì)量評(píng)價(jià)，具有高效、保密等眾多優(yōu)勢(shì)，因此得到廣泛認(rèn)可。高校應(yīng)推廣信息技術(shù)在教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用，不但利用計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)信息的收集，還可以進(jìn)行評(píng)價(jià)信息的分析。利用數(shù)據(jù)挖掘技術(shù)，剔除無效信息，提高評(píng)價(jià)信息質(zhì)量，建立評(píng)價(jià)數(shù)據(jù)庫和知識(shí)庫，并利用已有算法工具進(jìn)行評(píng)價(jià)信息分析，把教學(xué)信息和評(píng)價(jià)工作有機(jī)結(jié)合起來，實(shí)現(xiàn)評(píng)價(jià)的自動(dòng)、半自動(dòng)化，以減少人的工作量。高校應(yīng)充分發(fā)揮信息技術(shù)的實(shí)時(shí)性、準(zhǔn)確性、高效性等優(yōu)勢(shì)，人機(jī)結(jié)合，降低評(píng)價(jià)成本，提高高校教學(xué)質(zhì)量評(píng)價(jià)效率。

3）注重各子系統(tǒng)的相互作用。

高校教學(xué)質(zhì)量的提高不僅僅是教師單方面教的作用，而是教師教、學(xué)生學(xué)、管理者管等多方面的作用。目前的高校教學(xué)質(zhì)量評(píng)價(jià)多局限于單方面，如教師教，忽視了高校教學(xué)系統(tǒng)中各子系統(tǒng)對(duì)教學(xué)質(zhì)量形成的協(xié)同效應(yīng)，以及他們之間的相互作用。

高校一方面應(yīng)當(dāng)提高教師的教學(xué)質(zhì)量，另一方面也應(yīng)當(dāng)提高學(xué)生的學(xué)習(xí)質(zhì)量。“教”與“學(xué)”是高校教學(xué)系統(tǒng)中的兩個(gè)主要因素，其中任何一個(gè)因素的減弱都會(huì)使整個(gè)教學(xué)效果變差，因此，高校教學(xué)質(zhì)量評(píng)價(jià)應(yīng)將評(píng)“教”與評(píng)“學(xué)”相結(jié)合。

高校中管理者對(duì)教師的管理，對(duì)學(xué)生的管理也會(huì)顯著影響教學(xué)質(zhì)量。如學(xué)生輔導(dǎo)員對(duì)學(xué)生的心理輔導(dǎo)，對(duì)學(xué)生的日常生活管理等均會(huì)影響學(xué)生的學(xué)習(xí)狀態(tài)，因此，高校教學(xué)質(zhì)量評(píng)價(jià)也必須評(píng)價(jià)“管”。在進(jìn)行高校教學(xué)質(zhì)量評(píng)價(jià)時(shí)，應(yīng)注重高校教學(xué)系統(tǒng)中各子系統(tǒng)的相互作用，將評(píng)價(jià)教師“教”，與評(píng)價(jià)學(xué)生“學(xué)”和評(píng)價(jià)管理者“管”相結(jié)合。

4）強(qiáng)調(diào)多學(xué)科、多方法、多數(shù)據(jù)結(jié)合。

目前，在進(jìn)行高校教學(xué)質(zhì)量評(píng)價(jià)時(shí)，評(píng)價(jià)手段主要以問卷調(diào)查為主，評(píng)價(jià)方法主要采用統(tǒng)計(jì)加權(quán)法。為了減小高校教學(xué)質(zhì)量評(píng)價(jià)的不確定性、隨機(jī)性，根據(jù)綜合集成法“多學(xué)科、多方法、多數(shù)據(jù)結(jié)合”的思想，我們認(rèn)為在評(píng)價(jià)手段上應(yīng)多種方式相結(jié)合，如將問卷、訪談、聽課、測(cè)驗(yàn)等方式相結(jié)合；在評(píng)價(jià)方法上也應(yīng)該多種方法相結(jié)合，比如將層次分析法、模糊綜合分析法、數(shù)據(jù)包絡(luò)分析法等相結(jié)合。每種評(píng)價(jià)手段，每種評(píng)價(jià)方法各有優(yōu)缺點(diǎn)，分別能突出高校教學(xué)質(zhì)量的某一方面。將多種手段、多種方法相結(jié)合后，能夠獲得更加全面、準(zhǔn)確的評(píng)價(jià)。在具體實(shí)施時(shí)，我們也應(yīng)注意多種數(shù)據(jù)相結(jié)合，學(xué)生、教師、管理者的多主體評(píng)價(jià)相結(jié)合；不同學(xué)生、不同教師、不同管理者的多數(shù)據(jù)源相結(jié)合，從而減小評(píng)價(jià)的隨機(jī)性。

5）重視反饋。

高校教學(xué)質(zhì)量評(píng)價(jià)的根本目的是為了提高教學(xué)質(zhì)量，因此，將評(píng)價(jià)結(jié)果進(jìn)行反饋，以促進(jìn)教師更好的教、學(xué)生更好的學(xué)、管理者更好的管，顯得尤為重要。目前，評(píng)價(jià)結(jié)果反饋往往是將評(píng)價(jià)結(jié)果簡單的告知被評(píng)價(jià)者，如將學(xué)生給教師的打分告知教師。缺少幫助被評(píng)價(jià)者具體的分析評(píng)價(jià)結(jié)果，改進(jìn)教學(xué)措施的手段、方法。高校應(yīng)加強(qiáng)對(duì)評(píng)價(jià)結(jié)果信息的分析：一方面，幫助被評(píng)價(jià)者分析在評(píng)價(jià)指標(biāo)體系中，哪一項(xiàng)或者哪幾項(xiàng)較差，造成這幾項(xiàng)評(píng)價(jià)較差的原因可能是哪些，改進(jìn)措施可以有哪些；另一方面，將評(píng)價(jià)結(jié)果與被評(píng)價(jià)者往年結(jié)果相比較，與其他同條件被評(píng)價(jià)者的評(píng)價(jià)結(jié)果相比較，通過橫向與縱向比較使被評(píng)價(jià)者對(duì)評(píng)價(jià)結(jié)果有更客觀、更深刻的認(rèn)識(shí)。對(duì)于管理者而言，不僅要對(duì)“管”的評(píng)價(jià)進(jìn)行分析，還要分析教師“教”的評(píng)價(jià)以及學(xué)生“學(xué)”的評(píng)價(jià)，找出普遍存在的問題，以提高高校教學(xué)的整體質(zhì)量。

[1]鐘秉林, 周海濤. 國際高等教育質(zhì)量評(píng)估發(fā)展的新特點(diǎn)、影響及啟示[J]. 高等教育研究, 2009(1): 1-5.

[2]李玉芳. 復(fù)雜思維視野下的課題教學(xué)評(píng)價(jià)[J]. 當(dāng)代教育科學(xué), 2008 (2):13-19.

[3]張倩, 岳昌君. 高等教育質(zhì)量評(píng)價(jià)與學(xué)生滿意度[J]. 中國高教研究, 2009(11):40-43.

[4]李偉勝. 用復(fù)雜的思維方式研究學(xué)校教育活動(dòng)[J]. 教育理論與實(shí)踐, 2002, 22(12):9-13.

[5]周劍, 郭劍, 汪云云, 等. 復(fù)雜科學(xué)在教學(xué)質(zhì)量評(píng)價(jià)中的應(yīng)用[J]. 時(shí)代教育, 2014(9): 17-18.

[6]周志平. 復(fù)雜科學(xué)與教育組織管理研究[J]. 教育研究, 2004(2): 52-58.

[7]錢學(xué)森, 于景元, 戴汝為. 一個(gè)科學(xué)的新領(lǐng)域: 開放的復(fù)雜巨系統(tǒng)及其方法論[J].自然雜志, 1990(1): 3-10.

[8]錢學(xué)森. 再談開放的復(fù)雜巨系統(tǒng)[J]. 模式識(shí)別與人工智能, 1991(1): 1-4.

[9]于景元, 涂元季. 從定性到定量綜合集成方法: 案例研究[J]. 系統(tǒng)工程理論與實(shí)踐, 2002(5): 1-7.

[10]顧基發(fā), 王浣塵, 唐錫晉. 綜合集成方法體系與系統(tǒng)學(xué)研究[M]. 北京: 科學(xué)出版社, 2007.

[11]周劍, 朱耀琴, 唐衛(wèi)清. 基于綜合集成研討廳的武器裝備系統(tǒng)綜合[J]. 系統(tǒng)工程理論與實(shí)踐, 2010(8): 1492-1495.

[12]陳國先, 謝躍美. 教育研究方法的新探索: 從定性到定量的綜合集成法[J]. 高等教育研究, 1998(2): 31-37.