基于可視化方法的教育信息化評估元研究*

□李青 周艷

基于可視化方法的教育信息化評估元研究*

□李青 周艷

文獻計量法利用數(shù)學(xué)和統(tǒng)計學(xué)方法，定量地分析知識載體，有助于對研究對象本身以及關(guān)于其對象的研究進行反思，發(fā)現(xiàn)研究問題，預(yù)測發(fā)展趨勢。利用Bicomb書目共現(xiàn)分析系統(tǒng)、Ucinet社會網(wǎng)分析軟件和SPSS統(tǒng)計軟件三種文獻計量工具，對教育信息化評估研究進行可視化分析發(fā)現(xiàn)：國內(nèi)教育信息化評估研究主要集中在教育信息化評估的實踐、評估模型與方法，以及指標(biāo)體系構(gòu)建三方面。其中，評估指標(biāo)體系在研究中處于核心地位，實踐研究處于邊緣地位。另外，在研究領(lǐng)域方面，研究者比較關(guān)注高等教育領(lǐng)域信息化評估，而對學(xué)前教育、職業(yè)教育、特殊教育等領(lǐng)域的評估較為忽視。通過網(wǎng)絡(luò)文獻和新聞報道相印證發(fā)現(xiàn)，地方教育行政主管部門和各級學(xué)校已經(jīng)逐漸開展教育信息化的評估研究和實施工作，且卓有成效。教育信息化評估研究未來應(yīng)注重均衡評估涉及的領(lǐng)域，關(guān)注實踐，關(guān)注新思路、新方法、新工具的應(yīng)用，發(fā)展和完善各類評價指標(biāo)體系以及評價工具。

教育信息化；信息化評估；可視化分析；文獻計量法；元研究

一、引言

經(jīng)過十多年的發(fā)展，教育信息化已經(jīng)成為教育發(fā)展和教育改革的關(guān)鍵點之一。國家和教育部先后實施了“農(nóng)遠工程”、“現(xiàn)代遠程教育扶貧示范工程”、“三通兩平臺”等多個全國性的教育信息化項目，取得了顯著成效。教育信息化建設(shè)費用逐年增加、投資巨大。在基礎(chǔ)設(shè)施、資源建設(shè)、人才隊伍建設(shè)從無到有、逐漸完善的同時，如何評價建設(shè)效果，并總結(jié)經(jīng)驗教訓(xùn)尤為重要。研究人員開始關(guān)注教育信息化建設(shè)的效益和實際效果，教育信息化評估成為一個研究熱點。

教育信息化評估是依據(jù)一定的評價標(biāo)準(zhǔn)，在全面、系統(tǒng)、科學(xué)地搜集、整理、處理和分析教育信息化各要素的基礎(chǔ)上，對教育信息化中各構(gòu)成要素的價值做出綜合判斷的動態(tài)過程，其目的在于充分優(yōu)化教育信息化過程，提高教育質(zhì)量（張晨婧仔等，2015）。目前，國內(nèi)外對教育信息化評估模型及評估指標(biāo)體系的研究已經(jīng)取得了較多成果。各個國家與地區(qū)根據(jù)自身發(fā)展特點與目標(biāo)，建立了相應(yīng)的評估指標(biāo)體系，比較具有代表性與影響力的有：美國的StaR評估量表、英國的SRF評估指標(biāo)、歐洲信息技術(shù)教育應(yīng)用評估體系、聯(lián)合國教科文組織亞太地區(qū)的教育信息化評估體系等。在國內(nèi)，這個方面的研究也有較多的論文發(fā)表并開發(fā)了相應(yīng)的指標(biāo)體系，但由于不同地區(qū)發(fā)展水平的差異，呈現(xiàn)出多樣化的特點。

教育信息化評估不是一蹴而就的事情，而是一項長遠而動態(tài)的任務(wù)，伴隨教育信息化發(fā)展的始終；同時，教育信息化評估也是一項重要而復(fù)雜的任務(wù)，為教育信息化有序發(fā)展建立正確的導(dǎo)向。因此，在研究教育信息化評估時對其本身的研究也有一定的意義，這是一種元研究。它是對研究對象本身以及關(guān)于其對象的研究進行反思，以期進一步修正和重建（焦建利，2004）。本文進行的教育信息化評估元研究將采用可視化的分析方法對教育信息化評估研究的相關(guān)內(nèi)容進行反思，分析已有研究現(xiàn)狀，發(fā)現(xiàn)問題，為今后的評估研究提供參考和借鑒。

二、研究現(xiàn)狀

為了解國內(nèi)教育信息化評估研究的現(xiàn)狀和發(fā)展過程，筆者對教育信息化評估研究文獻進行了整理。目前國內(nèi)已經(jīng)有一些學(xué)者對教育信息化評估研究進行了歸納和總結(jié)，如楊曉宏等人從年度分布、研究領(lǐng)域和研究切入點等角度，對國內(nèi)基礎(chǔ)教育信息化績效評估研究文獻進行了梳理與分析（楊曉宏等，2015）；陳愛娟等人對我國高等教育信息化測度研究進行了分類，進而對已有的教育信息化和高等教育信息化評價指標(biāo)體系進行比較研究，分析各指標(biāo)體系的優(yōu)點和不足（陳愛娟等，2006）；還有研究者分析了教育信息化評價的內(nèi)涵與研究現(xiàn)狀，對比了國內(nèi)外教育信息化評價政策與戰(zhàn)略，揭示了教育信息化評價的國際發(fā)展趨勢（張晨婧仔等，2015）。

但是，目前對教育信息化評估的元研究仍舊存在較多的不足。從研究涉及的教育類型看，已有研究涵蓋了基礎(chǔ)教育、高等教育以及國內(nèi)外教育信息化發(fā)展?fàn)顩r，而學(xué)前教育、職業(yè)教育、特殊教育領(lǐng)域則存在空白。這與教育信息化建設(shè)的現(xiàn)狀有很大關(guān)系，高等教育和基礎(chǔ)教育是教育信息化發(fā)展較成熟的領(lǐng)域。從研究方法看，已有研究大都在綜述文獻的基礎(chǔ)上對該領(lǐng)域的研究主題做主觀判斷和分析，較少使用科學(xué)計量方法對資料進行綜合分析，研究結(jié)論容易受主觀因素的影響。另一方面，從數(shù)據(jù)處理工具看，出現(xiàn)了一些新技術(shù)、新工具的應(yīng)用，如楊曉宏等人使用在線文字云圖工具Tagxedo繪制了高頻關(guān)鍵詞文字云圖（楊曉宏等，2015）。但大多研究者停留在利用Excel工具處理簡單文獻數(shù)據(jù)階段，甚至有些研究沒有數(shù)據(jù)的支持，為定性的研究。另外，數(shù)據(jù)來源主要以期刊文獻為主，未有結(jié)合網(wǎng)絡(luò)上的相關(guān)新聞、報道和消息等相印證。而這部分文獻從另一個角度也可以反映教育信息化評估工作的現(xiàn)狀，更多涉及評估的實施和推進，需要將其包括在研究范圍內(nèi)。針對以上問題，對教育信息化評估的元研究要在文獻來源上盡可能全面；同時在研究方法上采用定量分析、定性解讀的方法和流行的數(shù)據(jù)處理工具。以上也是本課題研究的起點。

三、研究方法和研究過程

1.研究方法和工具

本研究采用“詞頻分析法”和“共詞分析法”作為對文獻內(nèi)容的計量分析方法。詞頻分析法是根據(jù)某一研究領(lǐng)域的文獻中能夠揭示或表達文獻核心內(nèi)容的關(guān)鍵詞或主題詞出現(xiàn)頻次高低來確定該領(lǐng)域研究熱點和發(fā)展動向的文獻計量方法（李軍，2010）。共詞分析法則利用文獻集中專業(yè)術(shù)語共同出現(xiàn)的情況確定該文獻集所代表學(xué)科中各主題之間的關(guān)系（葉愛敏等，2015）。這兩種計量方法都基于對論文關(guān)鍵詞的分析。關(guān)鍵詞是對文章內(nèi)容的濃縮和提煉，可以反映文章的主題內(nèi)容；通過對某一研究領(lǐng)域中的文獻進行詞頻分析和共詞分析，可以揭示該領(lǐng)域的研究熱點，以及各研究主題間的關(guān)聯(lián)關(guān)系。

本文采用Bicomb書目共現(xiàn)分析系統(tǒng)、Ucinet社會網(wǎng)分析軟件和SPSS統(tǒng)計軟件三種文獻計量工具。Bicomb書目共現(xiàn)分析系統(tǒng)由中國醫(yī)科大學(xué)開發(fā)，可提取文獻數(shù)據(jù)庫中的關(guān)鍵詞、作者、來源期刊等題錄信息，并通過歸類、存儲、統(tǒng)計，生成題錄數(shù)據(jù)的高頻詞、詞篇矩陣、共現(xiàn)矩陣等，為進一步研究提供全面、準(zhǔn)確、權(quán)威的基礎(chǔ)數(shù)據(jù)（崔雷等，2008）。Ucinet是利用社會網(wǎng)絡(luò)分析法挖掘數(shù)據(jù)之間深層次關(guān)系的可視化工具，可用于挖掘關(guān)鍵詞之間的深層關(guān)系，發(fā)現(xiàn)研究中心點（熊華軍等，2016）。SPSS是目前非常流行的統(tǒng)計軟件，具有自動統(tǒng)計繪圖、數(shù)據(jù)深入分析、預(yù)測分析和決策分析等功能，在數(shù)據(jù)的統(tǒng)計分析領(lǐng)域得到廣泛應(yīng)用。本文主要使用SPSS進行關(guān)鍵詞的聚類分析和多維尺度分析。

2.研究思路

本課題的研究過程主要包含5個步驟：（1）通過文獻數(shù)據(jù)庫收集和“教育信息化評估”相關(guān)的文獻信息作為數(shù)據(jù)源。（2）使用Bicomb軟件從上述收集的文獻題錄信息中提取關(guān)鍵詞及來源期刊，并生成高頻關(guān)鍵詞詞篇矩陣、共現(xiàn)矩陣。詞篇矩陣記錄關(guān)鍵詞在某篇文獻中是否出現(xiàn)，出現(xiàn)則記為1，否則記為0。（3）將生成的共現(xiàn)矩陣導(dǎo)入Ucinet中，獲取高頻關(guān)鍵詞的網(wǎng)絡(luò)圖譜。（4）將生成的詞篇矩陣導(dǎo)入SPSS中進行系統(tǒng)聚類，獲取高頻關(guān)鍵詞的相似矩陣和聚類樹狀圖。然后，將相似矩陣轉(zhuǎn)換成相異矩陣，并在SPSS中對相異矩陣進行多維尺度分析（ALSCAL），獲取Euclidean距離模型散點圖。Euclidean距離模型散點圖把關(guān)鍵詞集中展示在一個二維的空間中，以更直觀地方式展示關(guān)鍵詞之間的關(guān)系。并結(jié)合聚類分析結(jié)果，繪制出教育信息化評估研究熱點的知識圖譜。（5）通過網(wǎng)絡(luò)搜索引擎檢索教育信息化相關(guān)的新聞、報道和博客等文獻，進行內(nèi)容分析并與期刊文獻比較。整個研究過程如圖1所示。

圖1 研究思路及工具

3.數(shù)據(jù)來源

對于期刊文獻，本研究以中國知網(wǎng)（CNKI）學(xué)術(shù)期刊全文數(shù)據(jù)庫為數(shù)據(jù)源，以“主題”為檢索項，選擇“教育信息化”和“評價/評估”共同作為檢索詞，共得到836條結(jié)果，檢索時間為2016年3月6日。由于“主題”檢索會同時在題名、關(guān)鍵詞、摘要三個字段中檢索，因而結(jié)果會更加全面，但準(zhǔn)確性會下降，因此需要進一步進行人工篩選。筆者通過逐篇閱讀論文摘要和瀏覽全文去除了會議、訪談、通知等非學(xué)術(shù)論文。同時，由于本研究主要關(guān)注對教育信息化評估整體層面的研究，因而有關(guān)教育信息化下屬局部領(lǐng)域的文獻，如教育信息化隊伍建設(shè)的評估、教學(xué)資源庫評估、教育信息化設(shè)施評價等主題的論文也被剔除，最終得到符合研究主題的文獻共136篇，按照發(fā)表的年度，統(tǒng)計如表1所示。

對于網(wǎng)絡(luò)相關(guān)權(quán)威文章、新聞報道等，本研究分別以“教育信息化”加“評估”或“評價”為檢索詞在百度中進行搜索，選取搜索結(jié)果的前10頁，共200條記錄。此后，筆者在谷歌檢索引擎上檢索，所獲結(jié)果更少，而且與百度上的檢索結(jié)果重復(fù)較多。在合并檢索結(jié)果，剔除百度文庫、百度學(xué)術(shù)以及博客轉(zhuǎn)載的期刊文章后，研究小組根據(jù)經(jīng)驗篩選出43篇相關(guān)文章，以此為樣本進一步分析。

表1 教育信息化評估研究文獻年度分布表

四、期刊文獻研究數(shù)據(jù)可視化分析

1.載文期刊分布

筆者使用Bicomb軟件提取研究樣本的來源期刊后，共得到72種不同的來源期刊。其中載文量3篇及以上的期刊有13種，繪制來源期刊分布圖如圖2所示。

圖2 文獻來源期刊分布圖（單位：篇）

載文量排名前13的期刊共發(fā)表文獻70篇，占總量的51%。可見，這些期刊是教育信息化評估研究領(lǐng)域影響力較大的期刊，其中以《中國電化教育》、《中國教育信息化》和《電化教育研究》載文數(shù)量最多，影響力最大。該主題的研究論文刊載在教育技術(shù)核心期刊的比重較高，反映出目前教育信息化評估是一個受到學(xué)者較多關(guān)注的興趣點。

2.高頻關(guān)鍵詞詞頻統(tǒng)計及分析

某一領(lǐng)域內(nèi)，論文的高頻關(guān)鍵詞在一定程度上可集中反映該領(lǐng)域的研究熱點（尹相旭等，2009；陳巧云等，2013）。我們使用Bicomb軟件提取了所有研究樣本的關(guān)鍵詞，共得到238個不同關(guān)鍵詞，總頻次為503次。有些關(guān)鍵詞表達的含義基本相同，如“評價指標(biāo)體系”和“評估指標(biāo)體系、“DEA分析”和“數(shù)據(jù)包絡(luò)分析”等。對這些相近關(guān)鍵詞進行合并、清洗后，得到頻次大于3的關(guān)鍵詞共26個（見表2）。這26個關(guān)鍵詞占總頻次的65%，具有較高的代表性。由于結(jié)果中的“教育信息化”、“評價”和“信息化”等高頻詞對本研究無意義，所以予以舍棄。

表2 高頻關(guān)鍵詞排序

表2中的高頻詞既有表達研究對象所處的教育領(lǐng)域的，也有和研究方法、研究內(nèi)容相關(guān)的關(guān)鍵詞。根據(jù)關(guān)鍵詞出現(xiàn)的頻次，可以大致推斷目前教育信息化評估研究涉及的領(lǐng)域中高等教育（21次）、基礎(chǔ)教育（14次）和區(qū)域教育（8次）得到較好的關(guān)注。其中高等教育領(lǐng)域重視程度最高，而學(xué)前教育、特殊教育、成人教育和職業(yè)教育領(lǐng)域則少有研究涉及，這很大程度上是由于高校在信息化建設(shè)上有天然的優(yōu)勢，普及程度較為完善。但從“基礎(chǔ)教育”近6年出現(xiàn)的頻次看，較前一個周期有了明顯上升，說明隨著教育信息化在基礎(chǔ)教育領(lǐng)域逐步推進，其評估研究也逐漸開始引起研究者的重視。

從研究內(nèi)容看，“指標(biāo)體系”位居高頻關(guān)鍵詞的榜首，為51次；“評估模型”為19次，位居第四。評價指標(biāo)體系的設(shè)計以及評價模型的構(gòu)建是本領(lǐng)域的研究熱點，尤以評價指標(biāo)體系的設(shè)計為甚，這和信息化評估的實踐需要是一致的；另外在指標(biāo)體系的制定中，研究者也開始關(guān)注指標(biāo)項的“權(quán)重計算”。在評價方法方面，以層次分析法（7次）、模糊綜合評價（6次）、數(shù)據(jù)包絡(luò)分析（5次）為主，近幾年，回歸分析（3次）方法也開始在教育信息化評估中得以重視。從評估方式來看，當(dāng)前的教育信息化評估正由原來的“水平評價”（5次）逐漸過渡到“績效評價”（27次），說明當(dāng)前教育信息化評估已經(jīng)從關(guān)注某個時點、某個數(shù)值的評價轉(zhuǎn)向綜合性的、較長時間內(nèi)的績效評價。

3.高頻關(guān)鍵詞社會網(wǎng)絡(luò)分析

為了更加直觀地揭示上述關(guān)鍵詞之間的關(guān)系，觀察關(guān)鍵詞在研究領(lǐng)域中的地位，筆者從Bicomb中導(dǎo)出了高頻關(guān)鍵詞共現(xiàn)矩陣，通過Ucinet軟件繪制了高頻關(guān)鍵詞的共現(xiàn)網(wǎng)絡(luò)圖譜，如圖3所示。

圖3 高頻關(guān)鍵詞共現(xiàn)網(wǎng)絡(luò)圖譜

圖譜中的節(jié)點代表關(guān)鍵詞，節(jié)點的大小表示關(guān)鍵詞出現(xiàn)頻次高低；節(jié)點間的連線代表關(guān)鍵詞在同一篇文獻中的共現(xiàn)關(guān)系（熊華軍等，2016）。從圖3中可以看出，“指標(biāo)體系”、“評估模型”兩個節(jié)點最大，而且處于圖的中心位置，說明它們是近年來我國教育信息化評估研究的中心，其他關(guān)鍵詞大多和這兩個關(guān)鍵詞有直接聯(lián)系，這與上文中的高頻關(guān)鍵詞分析結(jié)果一致。另外，從節(jié)點間的連線進一步可以看出，“灰色區(qū)間”、“因子分析法”等關(guān)鍵詞處于研究的邊緣地帶，屬于較少涉及的方法和內(nèi)容。

4.關(guān)鍵詞聚類分析

關(guān)鍵詞聚類可以直觀地展示關(guān)鍵詞之間的親疏關(guān)系，判斷他們的關(guān)聯(lián)程度，從而進一步揭示本領(lǐng)域的研究熱點（郭文斌等，2012）。關(guān)鍵詞聚類分析以關(guān)鍵詞在同一篇文獻中出現(xiàn)的頻次為分析對象（即詞篇矩陣），把關(guān)系密切的關(guān)鍵詞聚成一個類團。一般而言，關(guān)鍵詞間的距離越近表示相似程度越高，而距離較遠的關(guān)鍵詞往往是該核心概念的相關(guān)（應(yīng)用或影響）因素（薛調(diào)等，2014）。在前面的步驟中，我們利用Bicomb軟件生成了26個高頻關(guān)鍵詞詞篇矩陣，剔除“教育信息化”、“信息化”和“評價”三個無意義的核心關(guān)鍵詞后，將剩下的23個高頻關(guān)鍵詞的詞篇矩陣導(dǎo)入到SPSS中進行系統(tǒng)聚類分析，見圖4。

圖4 教育信息化評估高頻關(guān)鍵詞聚類樹狀圖

根據(jù)聚類結(jié)果可以看出：教育信息化評估的高頻關(guān)鍵詞可分為三個類團，結(jié)合各類團中關(guān)鍵詞的具體含義，我們可以將學(xué)術(shù)界對教育信息化評估的研究分為三大熱點領(lǐng)域：第一，教育信息化發(fā)展?fàn)顩r分析與評估實踐研究，包含5個關(guān)鍵詞；第二，基礎(chǔ)教育信息化評估以及對評估方法、評估模型的研究，涉及7個關(guān)鍵詞；第三，教育信息化指標(biāo)體系以及評價工具，這個類團最大，有關(guān)鍵詞11個。每個熱點領(lǐng)域下還有一些小的聚類，譬如圖4領(lǐng)域三中就至少存在兩個小類團。需要注意的是，關(guān)鍵詞聚類分析的結(jié)果不總是有意義，還需要結(jié)合研究者自身的經(jīng)驗進一步加以解釋。

5.高頻關(guān)鍵詞多維尺度分析

多維尺度分析（Multidimensional Scaling，MDS）是利用關(guān)鍵詞之間的相似性或相異性數(shù)據(jù)，將其以點的形式分布到空間中的特定位置，直觀地展示各關(guān)鍵詞之間的關(guān)系；不同關(guān)鍵詞在空間中的距離遠近顯示了其相似性的高低，高度相似的關(guān)鍵詞聚集在一起，形成學(xué)科研究的熱點（郭文斌等，2012）。通常，第一象限的主題聯(lián)系密切，并在研究網(wǎng)絡(luò)中處于中心地位；第二象限的主題結(jié)構(gòu)較松散，有進一步發(fā)展的空間，具有潛在發(fā)展趨勢；第三象限的研究主題內(nèi)部連接緊密，有外圍研究團隊的加入，但是在整個研究網(wǎng)絡(luò)中處于邊緣；第四象限是整個領(lǐng)域內(nèi)的邊緣主題，重要性較?。T璐等，2006）。研究將表2中高頻關(guān)鍵詞的詞篇矩陣導(dǎo)入SPSS中，然后轉(zhuǎn)化為共詞相似矩陣，再采用“相異矩陣=1-相似矩陣”的方式生成相異矩陣（王炳成，2011；郭文斌等，2014），最后使用SPSS中的多維尺度分析功能，結(jié)合上述的聚類分析結(jié)果，繪制教育信息化評估研究熱點的知識圖譜，如圖5。這個知識圖譜將在下節(jié)和前面聚類分析得到的三個領(lǐng)域一起進行分析和解讀。

圖5 教育信息化評估研究熱點知識圖譜

五、我國教育信息化評估的研究熱點

綜合高頻關(guān)鍵詞聚類分析和多維尺度分析的結(jié)果，我們可以將現(xiàn)階段國內(nèi)教育信息化評估的研究熱點概括為三個主要的領(lǐng)域。下面將分別對這三個領(lǐng)域內(nèi)的研究現(xiàn)狀進行更加深入的分析，同時輔以網(wǎng)絡(luò)文獻的檢索結(jié)果進行對比。

1.教育信息化發(fā)展?fàn)顩r分析與評估實踐研究

該領(lǐng)域的研究主要是借助已有的研究方法和工具，對某一地區(qū)、學(xué)校信息技術(shù)在教育中應(yīng)用的發(fā)展?fàn)顩r進行調(diào)查，收集相關(guān)資料，檢驗研究方法的有效性，并評估該地區(qū)、學(xué)校的教育信息化發(fā)展?fàn)顩r。該領(lǐng)域涉及了分析與評估、發(fā)展?fàn)顩r、區(qū)域教育、信息技術(shù)以及效益評估5個關(guān)鍵詞。它們集中在知識圖譜的第三象限，根據(jù)多維尺度分析中對于各象限劃分的含義，說明該研究領(lǐng)域內(nèi)部聯(lián)系緊密，已經(jīng)開始引起相關(guān)機構(gòu)的關(guān)注，但目前仍處于研究的邊緣地帶，并非普遍討論的話題。

受到信息化建設(shè)水平和經(jīng)驗的限制，教育信息化評估的實踐研究在初始的幾年關(guān)注度不高（王洪梁，2009），這也是目前該研究領(lǐng)域仍處于邊緣地帶的原因。其后，隨著教育信息化建設(shè)的發(fā)展，加之理論基礎(chǔ)與評估框架的完善，為實踐研究提供了前提條件，研究者開始針對學(xué)?；虻貐^(qū)的教育信息化評估開展實踐研究。這些研究多采用調(diào)查法、訪談法和實地觀察法等方式收集教育信息化數(shù)據(jù)，發(fā)現(xiàn)當(dāng)前信息化發(fā)展中的問題，并提出解決方法或建議。典型的研究有張新剛等采用問卷調(diào)查、訪談等方法，分析了河南省高等教育信息化建設(shè)與應(yīng)用現(xiàn)狀，指出當(dāng)前存在的問題，并提出發(fā)展對策（張新剛等，2013）；胡超等通過問卷調(diào)查法、訪談法、實地調(diào)查法，調(diào)研了湖南省保靖、鳳凰兩縣學(xué)校信息化發(fā)展?fàn)顩r，發(fā)現(xiàn)少數(shù)民族地區(qū)義務(wù)教育信息化建設(shè)中的問題，并提出提升其建設(shè)和應(yīng)用水平的建議（胡超等，2013）。

2.基礎(chǔ)教育信息化評估以及對評估方法、評估模型的研究

教育信息化評估研究的第二個大研究方向是評估方法和評估模型的研究，共聚集了7個高頻關(guān)鍵詞。根據(jù)關(guān)鍵詞聚類的結(jié)果，該領(lǐng)域的研究可進一步分為兩小類。第一類為教育信息化評價方法的研究，包括績效評價、數(shù)據(jù)包絡(luò)分析和回歸分析3個關(guān)鍵詞；第二類為基礎(chǔ)教育信息化評估模型的構(gòu)建，涉及4個關(guān)鍵詞：農(nóng)村、基礎(chǔ)教育、評估模型、構(gòu)建。從圖5中可以看出，該領(lǐng)域處于第二象限，因此內(nèi)部結(jié)構(gòu)還比較松散，有進一步發(fā)展的空間。這一領(lǐng)域未來在教育信息化評估中具有較重要價值，可以持續(xù)和深入地關(guān)注。

對信息化評估評價方法的研究有助于保證評估的科學(xué)性和合理性。研究者越來越多地在評估中使用數(shù)學(xué)分析方法或基于統(tǒng)計學(xué)的分析方法構(gòu)建數(shù)學(xué)模型。例如，焦寶聰?shù)忍岢隽艘粋€基于數(shù)據(jù)包絡(luò)分析的教育信息化評估模型，具有科學(xué)合理、可操作性強的特點（焦寶聰?shù)龋?007）。還有學(xué)者構(gòu)建了因子分析評價模型對高校的教育信息化水平進行評價，并運用聚類分析方法比較各高校的信息化程度，揭示因子分析方法在教育信息化評價中的科學(xué)性和有效性（李思寰，2009）。選用合適的數(shù)學(xué)評價方法，可以減弱主觀因素的影響，使評價結(jié)果更加客觀、合理和科學(xué)。

基礎(chǔ)教育信息化評估模型是研究的另一熱點，這和基礎(chǔ)教育在整個教育領(lǐng)域內(nèi)的地位是分不開的。楊斌等借鑒StaR的評估思路和SRF的評估結(jié)構(gòu)，構(gòu)建了一個包含橫向影響因素和縱向發(fā)展階段的農(nóng)村基礎(chǔ)教育信息化二維績效評估模型（張曉卉等，2013）；杜娟等立足生態(tài)學(xué)視角，構(gòu)建以物質(zhì)流、能量流、信息流為主的三維評價模型，推動基礎(chǔ)教育信息化的可持續(xù)發(fā)展（杜娟等，2014）。在這些研究中“評估模型”是信息化評估實施的理論基礎(chǔ)，為評估的實施提供指導(dǎo)。但通過對文獻的分析發(fā)現(xiàn)，目前研究者對該主題的研究多停留在理論建構(gòu)階段，缺少對實踐的深入探討，其可操作性和有效性有待證實。

3.教育信息化指標(biāo)體系以及評價工具

這一領(lǐng)域的文獻主題包含評價系統(tǒng)、水平評價、指標(biāo)體系、權(quán)重計算、層次分析法、模糊綜合評價等11個高頻關(guān)鍵詞，結(jié)合文獻的具體內(nèi)容，我們認(rèn)為該領(lǐng)域的研究主要分為信息化指標(biāo)體系研究以及評價工具的設(shè)計和開發(fā)兩個小類。需要注意的是，在這些關(guān)鍵詞中，有一些是關(guān)于數(shù)據(jù)分析方法的，主要用于評價指標(biāo)體系中的權(quán)重計算，而非直接用于信息化評估，因此和領(lǐng)域二中的評估方法有一定的差異。

如圖5所示，該領(lǐng)域的主體橫跨第一、四兩個象限。第一象限的“指標(biāo)體系”和“高等教育”兩個熱點處于研究的中心地位，相應(yīng)的研究文獻較多。而根據(jù)表2中的詞頻數(shù)據(jù)，“評價指標(biāo)”出現(xiàn)了51次，“高等教育”出現(xiàn)了21次，這兩者相互印證。評價指標(biāo)體系一直以來都是研究者關(guān)注的重點，它是教育信息化評估工作的前提和基礎(chǔ)?？茖W(xué)的指標(biāo)體系是評估實施的有效保障。自2003年開始，已有多位教育技術(shù)專家對教育信息化評價指標(biāo)體系進行了系統(tǒng)地研究，這些研究在評價領(lǐng)域、研究方法、指標(biāo)設(shè)置等方面均不盡相同。各文獻中關(guān)于評價指標(biāo)體系的研究總結(jié)如表3。

表3 信息化評價指標(biāo)研究內(nèi)容

指標(biāo)體系研究的文獻數(shù)量較多、種類豐富，研究視角和研究方法各有不同。研究者針對不同的評價內(nèi)容，構(gòu)建了豐富多樣的教育信息化評價工具，為以后的實證研究提供了理論基礎(chǔ)、分析框架和實用工具。但從具體內(nèi)容看，這些研究在內(nèi)部的關(guān)聯(lián)性、系統(tǒng)性方面有所欠缺，處于“眾說紛紜”的狀態(tài)，權(quán)威的評價指標(biāo)體系仍未建立。

第四象限的“評價系統(tǒng)”主要是評估工具和評估軟件的設(shè)計和開發(fā)，目前尚處于研究的邊緣地帶，相應(yīng)的研究成果較少。典型的研究有田小勇等基于模糊綜合評判模型，設(shè)計與實現(xiàn)了高等教育信息化網(wǎng)上評價系統(tǒng)，并得到成功應(yīng)用（田小勇等，2008）。還有學(xué)者采用層次分析法與灰色理論相結(jié)合的方法，對教育信息化進行綜合評估，并開發(fā)出相應(yīng)的教育信息化綜合評價管理系統(tǒng)，以期提高評價的效率和可操作性（王有遠等，2008）。作為一種教育信息化評價工具，評估系統(tǒng)使用互聯(lián)網(wǎng)技術(shù)、數(shù)據(jù)分析技術(shù)，甚至是人工智能技術(shù)提高評估工作的效度和效率，也是未來研究應(yīng)該關(guān)注的方向。

4.與網(wǎng)絡(luò)文獻的分析及對比

筆者分析了前面檢索到的43篇網(wǎng)絡(luò)文獻，按照內(nèi)容分析法，根據(jù)文章標(biāo)題中出現(xiàn)頻率較高的詞匯進行分類，將其歸為以下幾種，見表4。

表4 網(wǎng)絡(luò)文章內(nèi)容分類

“新聞報道”類的文獻有14篇，約占樣本總數(shù)的33%，說明教育信息化評估工作成為政府和學(xué)校的重大事項，并且引起社會的關(guān)注。這些新聞主要來源于各縣市教育行政主管部門的官方網(wǎng)站，內(nèi)容以地方教育信息化評估工作的報道為主。其次，“評估細則”數(shù)量也有14篇，這與期刊文獻中的“指標(biāo)體系”的熱點地位是一致的?？梢?，在教育信息化評估領(lǐng)域中，評估標(biāo)準(zhǔn)的重要性不言而喻。再次，關(guān)于“評估方案”和“評估報告”的文獻也占一定比重，這反映出工作人員切實將方案落實到了實踐中，并有相應(yīng)的產(chǎn)出，而不是空喊口號。

從網(wǎng)絡(luò)文獻涉及的教育層次看，有17篇明確以中小學(xué)校為評估對象，發(fā)起者一般為地方教育局，可見教育信息化評估工作已經(jīng)在基層得以開展，且更受重視。這與期刊文獻中高等教育研究數(shù)量高于基礎(chǔ)教育的結(jié)論恰恰相反。其原因與兩部分內(nèi)容的發(fā)起者有很大關(guān)系。期刊文獻作者多為高校研究人員，更容易從身邊開展研究工作；而網(wǎng)絡(luò)文獻多來源于地方教育機構(gòu)或?qū)W校，出于工作需要，評估對象必定是中小學(xué)。因此，應(yīng)該加強研究機構(gòu)與基層組織的合作，將理論研究真正落實到實踐。

從涉及內(nèi)容來看，期刊文獻與網(wǎng)絡(luò)文獻所討論的主題大同小異，主要集中在硬件建設(shè)、資源建設(shè)、教師教育技術(shù)應(yīng)用能力、保障機制等。但是，網(wǎng)絡(luò)文獻中的教育信息化評估細則較期刊文獻中的指標(biāo)體系更加細化具體，因為其直接應(yīng)用到評估工作中。

從評估方法看，相較進行實踐研究的期刊文獻，網(wǎng)絡(luò)文獻中介紹的評估方法更加多樣，有聽取匯報、查閱資料、實地查看、課堂觀察、個別談話、召開座談會、問卷調(diào)查等多種不同方式，而進行實踐研究的文獻主要是調(diào)查法、訪談法和實地觀察法三種。這可能是地方教育局直接對其管轄的地方學(xué)校進行評估工作更加方便的原因。

六、教育信息化評估的研究趨勢

教育信息化評估的研究和實踐是教育信息化領(lǐng)域需要關(guān)注的重點內(nèi)容，既需要研究者立足國內(nèi)教育信息化發(fā)展的目標(biāo)和要求，客觀地分析目前信息化評估工作中的問題，促進評估工作實施的有效性、客觀性、準(zhǔn)確性；同時也要參考國外已有研究成果和先進經(jīng)驗，探究符合我國國情的評估方法。結(jié)合本文對研究文獻的整理和分析，未來一段時間國內(nèi)教育信息化評估應(yīng)重點關(guān)注如下內(nèi)容：

1.均衡評估所涉及的教育領(lǐng)域

在研究所涉及的教育領(lǐng)域方面，教育信息化評估存在嚴(yán)重的不平衡現(xiàn)象。教育信息化建設(shè)已從城市走向農(nóng)村，由高等教育覆蓋到基礎(chǔ)教育、學(xué)前教育，幾乎遍及教育實踐中的各個領(lǐng)域（王吉，2012）。從網(wǎng)絡(luò)文獻的分析中，也可以看到基層教育主管部門已經(jīng)開始著手基礎(chǔ)教育領(lǐng)域的信息化評估工作。而國內(nèi)教育信息化評估研究的對象以高等教育為主，基礎(chǔ)教育次之，對學(xué)前教育、特殊教育、職業(yè)教育的研究寥寥無幾。評價研究難以體現(xiàn)教育信息化建設(shè)的總體目標(biāo)和價值追求。因此，未來評估工作應(yīng)該緊跟教育信息化發(fā)展的步伐，關(guān)注這些研究和實踐尚不充分的領(lǐng)域，平衡各個教育階段的研究力度，爭取覆蓋到各個教育領(lǐng)域。

2.重視實踐研究，關(guān)注可操作層面的業(yè)務(wù)

目前，教育信息化評估的研究普遍存在重理論、輕應(yīng)用的問題。相關(guān)研究大部分集中在理論層面，以評估指標(biāo)體系的構(gòu)建居多，而評估實踐研究和可操作性方法的研究較少。實際上，教育信息化評估是實踐性很強的工作，可以直接應(yīng)用到教育信息化建設(shè)過程中，對建設(shè)進行價值評判和診斷。因此對教育信息化的研究應(yīng)該落到可實施的層面，關(guān)注用具體的評估實踐來檢驗理論研究的有效性。此外，研究還應(yīng)該從實踐的角度和各辦學(xué)機構(gòu)、各主管部門的業(yè)務(wù)實踐相結(jié)合，以滿足實際需要為目標(biāo)，這樣的研究結(jié)果才有生命力。

3.關(guān)注新思路、新方法和新工具的應(yīng)用

新的評價技術(shù)和手段的不斷涌現(xiàn)為信息化評估研究提供了新思路和新工具。質(zhì)性評價與量化評價相結(jié)合已經(jīng)成為常態(tài)：一方面，采用量化的方法，分析問卷、訪談等收集的數(shù)據(jù)，明確教育信息化發(fā)展和建設(shè)的具體方向；另一方面，采用質(zhì)性評價方法，對量化結(jié)果進行歸因分析。質(zhì)性與量化方法的結(jié)合，有助于實現(xiàn)全面、客觀、科學(xué)的評價。已有的教育信息化研究中已有許多新的評價方法的應(yīng)用，而未來，會有更多跨領(lǐng)域跨界的評估方法被介紹到信息化評估領(lǐng)域，也會有以人工智能和可視化分析為代表的更強大的新技術(shù)被應(yīng)用在評估活動中。研究者應(yīng)該保持對技術(shù)的敏感性，在信息化評估上有所創(chuàng)新。

4.緊跟信息化實踐，發(fā)展和完善各類評價指標(biāo)體系

教育信息化水平的提高是一個動態(tài)的過程，因而教育信息化評估也需要不斷地發(fā)展和完善。近年來，云計算、物聯(lián)網(wǎng)等技術(shù)的發(fā)展推動教育信息化從“數(shù)字校園”到“智慧校園”的轉(zhuǎn)型，信息化建設(shè)的關(guān)注重點從基礎(chǔ)設(shè)施轉(zhuǎn)向教學(xué)應(yīng)用。評估指標(biāo)體系也應(yīng)該適應(yīng)這種變化，關(guān)注信息資源的服務(wù)支撐能力以及應(yīng)用融合等問題，構(gòu)建適應(yīng)新形勢的評價指標(biāo)。另外，由于國內(nèi)教育信息化存在地區(qū)之間、學(xué)校之間發(fā)展的差異，教育信息化評估指標(biāo)體系研究也應(yīng)滿足評價目標(biāo)多元化的需要，用合適的尺度來衡量不同的對象。因此，教育信息化評估指標(biāo)體系的研究仍會是核心內(nèi)容之一。建立一套科學(xué)合理、普適性、系統(tǒng)化的評價標(biāo)準(zhǔn)需要各領(lǐng)域?qū)＜业睦^續(xù)努力。

5.關(guān)注評價系統(tǒng)和評價工具的開發(fā)，促進信息化評估本身的信息化

教育信息化評估的實施過程中需要搜集和處理大量的數(shù)據(jù)，其過程相當(dāng)繁雜和機械，手工方式難以勝任且易出錯；同時，許多評估模型使用了復(fù)雜的算法，對于非專業(yè)人員來說也難以入手；另外，采用SPSS等通用的數(shù)據(jù)處理軟件，對于用戶操作和讀取數(shù)據(jù)較麻煩。以上的種種困難影響了教育信息化評價的實施效果、監(jiān)控和管理。而計算機和網(wǎng)絡(luò)技術(shù)可以給評價工作提供有力支持，設(shè)計合理、用戶體驗流暢的信息化評價系統(tǒng)能夠有效推進評估工作。此外評價軟件和評價系統(tǒng)還應(yīng)考慮人的閱讀特性，比如結(jié)合可視化技術(shù)，方便、直觀地對各項信息化指標(biāo)數(shù)據(jù)進行分析和解讀。未來應(yīng)吸引更多研究者，特別是跨學(xué)科的研究者參與到教育信息化評估系統(tǒng)研究中，建立系統(tǒng)、科學(xué)、智能化的綜合評價系統(tǒng)，支持教育信息化評估的深入開展，進而推進教育信息化的發(fā)展。

七、結(jié)束語

本研究基于國內(nèi)在教育信息化評估方面已有研究論文，采用關(guān)鍵詞詞頻分析、聚類分析以及多維尺度分析等可視化分析方法對該領(lǐng)域的研究現(xiàn)狀進行了元研究。目前，教育信息化評估研究可分為三大熱點領(lǐng)域，分別是：（1）教育信息化發(fā)展?fàn)顩r分析與評估實踐研究；（2）基礎(chǔ)教育信息化評估以及對評估方法、評估模型的研究；（3）教育信息化指標(biāo)體系以及評價工具。經(jīng)過十多年的發(fā)展，教育信息化評估研究已經(jīng)取得了一定的成績，但在研究中仍存在研究領(lǐng)域不平衡、評估標(biāo)準(zhǔn)不完善等問題。未來教育信息化評估應(yīng)該著重關(guān)注基礎(chǔ)教育、學(xué)前教育領(lǐng)域的發(fā)展，縮小區(qū)域與教育階段之間的發(fā)展差異；同時，應(yīng)建立科學(xué)的分析方法和標(biāo)準(zhǔn)，提高教育信息化評估工作的有效性。

本項研究尚存在一些不足：一是所選取的樣本主要是針對教育信息化宏觀層面的研究文獻，對于微觀層面，如硬件基礎(chǔ)設(shè)施評價、教學(xué)資源應(yīng)用評價、學(xué)生學(xué)習(xí)績效評價、教師專業(yè)發(fā)展評價等內(nèi)容未納入本研究范圍，仍有進一步修正的空間。二是有些論文在關(guān)鍵詞的選取上存在隨意性和不準(zhǔn)確的問題，導(dǎo)致聚類的結(jié)果不能完全代表實際研究的情況。另外，筆者對研究數(shù)據(jù)的解讀也不可避免的存在主觀性，如果能夠由多個專家共同解讀，可能會更加全面和準(zhǔn)確。

[1]陳愛娟,任曉燕,黃鐸(2006).我國高等教育信息化水平評價研究綜述[J].情報科學(xué),(9):1321-1324.

[2]陳巧云,李藝(2013).中國教育技術(shù)學(xué)三十年研究熱點與趨勢——基于共詞分析和文獻計量方法[J].開放教育研究,(5):87-95.

[3]崔雷,劉偉,閆雷等(2008).文獻數(shù)據(jù)庫中書目信息共現(xiàn)挖掘系統(tǒng)的開發(fā)[J].現(xiàn)代圖書情報技術(shù),(8):70-75.

[4]杜娟,王寧(2014).生態(tài)視野下基礎(chǔ)教育信息化評價模型的構(gòu)建研究[J].中國電化教育,(7):63-69.

[5]馮璐,冷伏海(2006).共詞分析方法理論進展[J].中國圖書館學(xué)報,(2):88-92.

[6]郭文斌,方俊明,陳秋珠(2012).基于關(guān)鍵詞共詞分析的我國自閉癥熱點研究[J].西北師大學(xué)報(社會科學(xué)版),(1): 128-132.

[7]郭文斌,俞樹文(2014).我國遠程教育研究熱點知識圖譜——基于3170篇碩士及博士學(xué)位論文的關(guān)鍵詞共詞分析[J].電化教育研究,(2):45-49.

[8]胡超,陳妍,吳砥等(2013).少數(shù)民族地區(qū)義務(wù)教育信息化發(fā)展評估——以保靖、鳳凰兩縣為例[J].開放教育研究, (3):94-102.

[9]焦寶聰,趙意煥,董黎明(2007).基于數(shù)據(jù)包絡(luò)分析的教育信息化績效評價模型[J].電化教育研究,(4):38-41.

[10]焦建利(2004).教育技術(shù)學(xué)元研究論綱——教育技術(shù)學(xué)若干基本理論問題探索[J].電化教育研究,(4):8-13.

[11]李軍(2010).基于詞頻分析法的國內(nèi)教育技術(shù)學(xué)研究熱點的研究[J].現(xiàn)代情報,(8):131-134.

[12]李思寰(2009).高校教育信息化分析評價的實證研究——基于因子分析法[J].科技和產(chǎn)業(yè),(5):115-119.

[13]田小勇,孔凡士(2008).高等教育信息化網(wǎng)上評價系統(tǒng)的研究與實現(xiàn)[J].中國電化教育,(12):l12-115.

[14]王洪梁(2009).國內(nèi)高等教育信息化水平評價研究述評[J].高教發(fā)展與評估,(3):29-33.

[15]王炳成(2011).基于共詞分析的我國人力資源研究現(xiàn)狀的計量學(xué)研究[J].山東經(jīng)濟,(4):64-69.

[16]王吉(2012).學(xué)前教育信息化評價指標(biāo)體系的構(gòu)建[J].教育測量與評價(理論版),(1):25-27.

[17]王有遠,艾小偉(2008).基于灰色理論的教育信息化綜合評價及系統(tǒng)實現(xiàn)[J].開放教育研究,(3):85-88.

[18]熊華軍,馮梅(2016).近十年我國教育技術(shù)研究可視化分析[J].高等教育研究學(xué)報,(2):23-29.

[19]薛調(diào),張馨荷(2014).國內(nèi)參考咨詢服務(wù)研究現(xiàn)狀與發(fā)展趨勢分析[J].圖書館工作與研究,(1):12-15.

[20]楊曉宏,杜華(2015).國內(nèi)基礎(chǔ)教育信息化績效評估研究綜覽[J].電化教育研究,(4):28-34.

[21]葉愛敏,王佑鎂(2015).基于知識圖譜的微課研究熱點與趨勢分析[J].現(xiàn)代教育技術(shù),(11):46-52.

[22]尹相旭,張更平,李曉菲(2009).基于關(guān)鍵詞統(tǒng)計的情報學(xué)研究現(xiàn)狀分析[J].情報雜志,(11):1-4.

[23]張晨婧仔,王瑛,汪曉東等(2015).國內(nèi)外教育信息化評價的政策比較、發(fā)展趨勢與啟示[J].遠程教育雜志,(4): 22-33.

[24]張曉卉,解月光,王海等(2013).基于EEE模型的農(nóng)村基礎(chǔ)教育信息化績效評估體系應(yīng)用方法研究[J].中國電化教育,(1):30-35.

[25]張新剛,王燕(2013).河南省高等教育信息化建設(shè)與應(yīng)用現(xiàn)狀調(diào)查研究[J].實驗技術(shù)與管理,(2):111-117.

Meta-Research on Education Informatization Assessment in China Based on Data Visualization

Li Qing,Zhou Yan

Bibliometrics utilizes mathematical and statistical methods to analyze knowledge quantitatively, which helps to reflect on the objects of study and research itself in this field,thus to discover research questions and reveal development trends.By using Bicomb bibliographic co-occurrence analysis system,Ucinet social network analysis software and SPSS statistical software,this paper made a visual analysis on the evaluation of educational informatization.It finds out that domestic educational informatization assessments mainly focus on three aspects:the practice of educational informatization assessment,evaluation model and methods,as well as evaluation framework or system.Among them,the evaluation system is at the core of research,while practical research is marginal.In addition,in the level of education,researchers pay more attention to informatization evaluation of higher education, while pre-school education,vocational education,special education and other areas are not hot spots.Through articles and news reports online,it is found that the local education administration and schools at all levels in China have gradually carried out the implementation and evaluation of education informationization,thus have achieved lots of fruitful results.In the future,we should balance fields of evaluation,pay more attention to the practice, application of innovative ideas,new methods and tools,develop and perfect various evaluation system and tools.

Education Informatization;Informatization Assessment;Visualized Analysis;Bibliometric; Meta-Research

434

A

1009-5195（2016）06-0093-10 doi10.3969/j.issn.1009-5195.2016.06.011

北京市社會科學(xué)基金項目“基于成熟度模型的基礎(chǔ)教育信息化發(fā)展水平評估指標(biāo)體系研究——以北京市中小學(xué)為例”（14JYC030）。

李青，博士，副教授，北京郵電大學(xué)網(wǎng)絡(luò)教育學(xué)院；周艷，碩士研究生，北京郵電大學(xué)教育技術(shù)研究所（北京 100876）。

2016-08-14 責(zé)任編輯 汪燕