基于NoteExpress和CiteSpace的國內(nèi)外語測(cè)試研究概述(2001-2020年)

■曾素萍,米保富

(南昌大學(xué)外國語學(xué)院,江西 南昌 330000)

語言測(cè)試作為應(yīng)用語言學(xué)的一個(gè)分支,對(duì)語言教學(xué)有著重要的啟示作用。自20世紀(jì)80年代,國內(nèi)外語測(cè)試研究不斷發(fā)展,尤其在近20年間,該領(lǐng)域在理論構(gòu)念及實(shí)證研究等方面都受到學(xué)者重點(diǎn)關(guān)注。為客觀呈現(xiàn)近20年國內(nèi)外語測(cè)試研究發(fā)展特征,本文利用NoteExpress及CiteSpace軟件對(duì)2001至2020年間相關(guān)研究性論文作計(jì)量可視化分析,從發(fā)文時(shí)間、發(fā)文作者、高被引文獻(xiàn)、高頻關(guān)鍵詞四方面,探析該領(lǐng)域研究熱點(diǎn)及發(fā)展趨勢(shì),旨在幫助學(xué)者厘清該領(lǐng)域知識(shí)結(jié)構(gòu)與發(fā)展脈絡(luò),把握學(xué)科研究熱點(diǎn)與前沿主題,進(jìn)而對(duì)其進(jìn)行相關(guān)研究提供參考與借鑒。

一、研究方法

(一)數(shù)據(jù)來源

本文以CNKI(中國知網(wǎng))為數(shù)據(jù)平臺(tái),在高級(jí)檢索中選擇期刊檢索,以“2001年至今(2020年10月)”為搜索年限,并分別以14本國內(nèi)外語類期刊(《解放軍外國語學(xué)院學(xué)報(bào)》《外國語(上海外國語大學(xué)學(xué)報(bào))》《外國語文》《外語測(cè)試與教學(xué)》《外語電化教學(xué)》《外語教學(xué)》《外語教學(xué)理論與實(shí)踐》《外語教學(xué)與研究》《外語界》《外語學(xué)刊》《外語研究》《外語與外語教學(xué)》《現(xiàn)代外語》《中國外語》)為文獻(xiàn)來源,對(duì)測(cè)試類研究性論文進(jìn)行檢索。其中,《外語測(cè)試與教學(xué)》雖為非核心期刊,但其為國內(nèi)唯一一本以外語測(cè)試?yán)碚摷胺椒橹饕芯糠较虻钠诳?對(duì)國內(nèi)外語測(cè)試研究的發(fā)展起了一定的推動(dòng)作用,且2019年復(fù)合影響因子達(dá)0.984,因此該期刊也納入文獻(xiàn)來源。為保證本研究的相關(guān)性,結(jié)合CNKI的出版物檢索,對(duì)所選文獻(xiàn)進(jìn)行逐一核對(duì),經(jīng)人工篩查刪除會(huì)訊、書刊評(píng)介、稿約通知等不相關(guān)文獻(xiàn),最終共返回有效檢索結(jié)果892篇文獻(xiàn)作為本研究的數(shù)據(jù)來源,并分別以NoteExpress和Refworks格式導(dǎo)出樣本文獻(xiàn),將文檔統(tǒng)一命名為CiteSpace所要求格式“download_XXX.txt”。

(二)研究工具

本文借助NoteExpress文件管理軟件和CiteSpace信息可視化軟件,分別對(duì)樣本文獻(xiàn)進(jìn)行計(jì)量分析和可視化分析,以揭示國內(nèi)外語測(cè)試領(lǐng)域近20年的發(fā)展特點(diǎn)。

NoteExpress為一款專業(yè)級(jí)別的文獻(xiàn)管理軟件,具有在線檢索文獻(xiàn)功能,其還支持將本地題錄導(dǎo)入自建數(shù)據(jù)庫中,用戶可利用軟件的分類、排序、統(tǒng)計(jì)等功能進(jìn)行文獻(xiàn)計(jì)量分析,快速了解某一研究方向的最新進(jìn)展[1]。CiteSpace是由美國德雷塞爾大學(xué)陳超美博士應(yīng)用Java語言開發(fā)的信息可視化分析軟件,用戶利用軟件的知識(shí)圖譜繪制功能可客觀解釋某一領(lǐng)域的發(fā)展現(xiàn)狀,預(yù)測(cè)領(lǐng)域發(fā)展前景[2]。

二、結(jié)果與分析

(一)發(fā)文時(shí)間

對(duì)國內(nèi)外語測(cè)試研究的發(fā)文量時(shí)間分布進(jìn)行分析,能夠直觀揭示該領(lǐng)域的歷時(shí)發(fā)展特征。本文利用Note-Express的“文件夾統(tǒng)計(jì)信息”功能進(jìn)行年份統(tǒng)計(jì),并借助Excel表格工具繪制發(fā)文量時(shí)間分布走勢(shì)圖(見圖1)。

圖1 發(fā)文時(shí)間分布走勢(shì)(2001—2020年)

由圖1可知,近20年來,國內(nèi)外語測(cè)試研究發(fā)文量整體呈波浪式發(fā)展,其發(fā)展大致可劃分為三個(gè)階段。2001年至2008年,該領(lǐng)域研究處于低緩發(fā)展階段,總發(fā)文量為205篇,年均發(fā)文量約25篇。20世紀(jì)80年代國內(nèi)學(xué)者開始投入外語測(cè)試研究,至20世紀(jì)初期,該領(lǐng)域總體發(fā)文基數(shù)仍較小,但單年發(fā)文量呈現(xiàn)逐年增長(zhǎng)態(tài)勢(shì),說明學(xué)者對(duì)該領(lǐng)域研究關(guān)注度有所提高。國內(nèi)外語測(cè)試研究在2009年至2012年進(jìn)入繁榮發(fā)展階段,總發(fā)文量達(dá)217篇,年均發(fā)文量約為54篇,同時(shí)單年發(fā)文量于2012年達(dá)到峰值。2011年《外語測(cè)試與教學(xué)》創(chuàng)刊,在一定程度上推動(dòng)了外語測(cè)試研究的發(fā)展,促使這一階段發(fā)文量得以快速增加。2013年至今,這一領(lǐng)域研究持續(xù)發(fā)展,總發(fā)文量高達(dá)441篇,說明學(xué)者對(duì)該領(lǐng)域的關(guān)注度不斷增加。同時(shí),自2015年起年度“語言測(cè)試與評(píng)價(jià)國際研討會(huì)”的召開,也促進(jìn)了國內(nèi)外語測(cè)試研究趨向規(guī)范化、體系化發(fā)展。

(二)發(fā)文作者

對(duì)發(fā)文作者及作者間合作關(guān)系作可視化分析,有助于了解學(xué)科發(fā)展的主要推動(dòng)力。本文借助CiteSpace進(jìn)行作者合作關(guān)系分析,將樣本文獻(xiàn)導(dǎo)入軟件,年份切片設(shè)置為1,節(jié)點(diǎn)類型選擇作者,運(yùn)行程序后得到發(fā)文作者合作網(wǎng)絡(luò)圖譜(見圖2)。由于初始圖譜節(jié)點(diǎn)分布較零散,圖2中顯示信息為該領(lǐng)域發(fā)文量達(dá)3篇及以上的學(xué)者合作關(guān)系網(wǎng)絡(luò)。

圖2 發(fā)文作者合作關(guān)系網(wǎng)絡(luò)圖

圖2中圓圈(即節(jié)點(diǎn))代表發(fā)文作者,節(jié)點(diǎn)直徑和字號(hào)大小與學(xué)者發(fā)文頻次呈正相關(guān),節(jié)點(diǎn)直徑及字號(hào)越大,則其代表的學(xué)者發(fā)文量越多。圖2反映出國內(nèi)外語測(cè)試研究領(lǐng)域主要學(xué)者有李清華、孔文、劉建達(dá)等。此外,筆者借助CiteSpace作作者突現(xiàn)分析發(fā)現(xiàn),楊惠中、李清華、鄒申三位學(xué)者分別為該領(lǐng)域發(fā)展三個(gè)階段的代表人物,對(duì)相關(guān)研究影響較為深遠(yuǎn)。

圖3 發(fā)文作者突現(xiàn)分析

圖2中節(jié)點(diǎn)之間的連線代表作者間合作關(guān)系,連線的粗細(xì)程度與合作次數(shù)呈正相關(guān)。由圖2可知,國內(nèi)該領(lǐng)域的主要作者多以合作形式發(fā)文,其中以李清華、孔文為主要代表,這或與語言測(cè)試的學(xué)科性質(zhì)有關(guān)。作為一門綜合性學(xué)科,語言測(cè)試研究主要以語言學(xué)理論、語言能力理論、語言習(xí)得與教學(xué)理論、測(cè)量學(xué)理論為理論基礎(chǔ)[3],而語言測(cè)試的主要作用則為以量化的工具和方法對(duì)學(xué)習(xí)者的語言水平進(jìn)行有效且客觀的考察。換言之,在進(jìn)行相關(guān)研究時(shí),學(xué)者不僅需要具備多學(xué)科的理論知識(shí),還需要考量語言測(cè)試工具及方法的效度、信度、可行性等眾多因素。因此,語言測(cè)試研究的難度或在一定程度上鞏固了該領(lǐng)域?qū)W者間的合作關(guān)系。

(三)高被引文獻(xiàn)

高被引論文是指在某一統(tǒng)計(jì)時(shí)段內(nèi),被引用次數(shù)排在前列的論文,其在一定程度上反映了該學(xué)科的研究進(jìn)展[4]。因此,對(duì)高被引文獻(xiàn)進(jìn)行分析,有助于了解學(xué)科發(fā)展過程中的熱點(diǎn)主題。筆者先將各文獻(xiàn)的被引次數(shù)手動(dòng)輸入NoteExpress題錄中,再將文獻(xiàn)按被引次數(shù)從高至低進(jìn)行排序,對(duì)高被引文獻(xiàn)進(jìn)行整理后繪制如附表1。

附表1 高被引文獻(xiàn)前10篇

從文獻(xiàn)類型看,附表1中10篇高被引文獻(xiàn)主要為綜述評(píng)介類文章。從文獻(xiàn)主題看,根據(jù)測(cè)試類型的不同,10篇高被引文獻(xiàn)大致可分為兩大類：一為基于試卷的分析研究,且主要為大規(guī)模測(cè)試研究,如高考、英語四六級(jí)考試等,其中學(xué)者重點(diǎn)探析測(cè)試的反撥作用；二為課堂評(píng)估研究,評(píng)估方式包括形成性評(píng)估、同伴互評(píng)等,且學(xué)者主要關(guān)注將此類評(píng)估方式應(yīng)用于外語寫作教學(xué)中。結(jié)合發(fā)文時(shí)間可推斷,測(cè)試的反撥作用一直為國內(nèi)學(xué)者的一大研究重點(diǎn),通過測(cè)試考察學(xué)生學(xué)習(xí)狀況,以對(duì)國內(nèi)外語教學(xué)與測(cè)試改革提供啟示。此外,近年來,國內(nèi)學(xué)者還逐漸關(guān)注以多元化測(cè)評(píng)方式考察學(xué)習(xí)者的外語水平,從多維度對(duì)學(xué)生外語學(xué)習(xí)過程進(jìn)行評(píng)價(jià)。從附表1中高被引文獻(xiàn)的關(guān)鍵詞看,國內(nèi)學(xué)者還重視對(duì)測(cè)試的信度與效度進(jìn)行研究,以完善測(cè)試的有效性與可靠性。

從被引次數(shù)看,黃大勇、楊炳鈞于2002年發(fā)表的“語言測(cè)試反撥效應(yīng)研究概述”[5]一文被引次數(shù)最高,該文概述了90年代國外反撥效應(yīng)的理論研究與實(shí)證研究成果,并總結(jié)了國外學(xué)者對(duì)于提高正面反撥效應(yīng)的觀點(diǎn)與主張。在21世紀(jì)初,國內(nèi)相關(guān)研究還處于起步階段,黃大勇、楊炳鈞的這篇綜述將國外相關(guān)測(cè)試研究成果引入國內(nèi)學(xué)界,讓更多的國內(nèi)學(xué)者關(guān)注到反撥效應(yīng)研究在語言測(cè)試領(lǐng)域的重要性。

(四)研究熱點(diǎn)

關(guān)鍵詞集中體現(xiàn)論文的核心內(nèi)容及精髓,利用大數(shù)據(jù)計(jì)量工具對(duì)文獻(xiàn)關(guān)鍵詞進(jìn)行提取并統(tǒng)計(jì)各關(guān)鍵詞出現(xiàn)頻次,可直觀反映某研究領(lǐng)域的發(fā)展動(dòng)向和研究熱點(diǎn)[6]。本文利用CiteSpace作文獻(xiàn)關(guān)鍵詞共現(xiàn)分析,將數(shù)據(jù)導(dǎo)入CiteSpace,年份切片設(shè)置為1,節(jié)點(diǎn)類型選擇關(guān)鍵詞,每個(gè)時(shí)間切片提取前50個(gè)出現(xiàn)頻次最高的關(guān)鍵詞,運(yùn)行程序后得到關(guān)鍵詞共現(xiàn)分析網(wǎng)絡(luò)圖譜(見圖4)。圖4中節(jié)點(diǎn)標(biāo)簽閾值設(shè)定為3,即圖譜顯示出現(xiàn)頻次為3及以上的關(guān)鍵詞信息。

圖4 關(guān)鍵詞共現(xiàn)圖譜

圖4中圓圈代表一個(gè)關(guān)鍵詞,關(guān)鍵詞出現(xiàn)頻次越高,圓圈直徑越大,說明其在該領(lǐng)域的研究熱度也就越高。由圖4可知,在國內(nèi)外語測(cè)試研究領(lǐng)域內(nèi),“效度”這一關(guān)鍵詞出現(xiàn)頻次最高,其次為“語言測(cè)試”“信度”及“反撥效應(yīng)”,這也再次體現(xiàn)國內(nèi)學(xué)者對(duì)外語測(cè)試的信度、效度及反撥作用之重視。此外,“中國英語能力等級(jí)量表”也為該領(lǐng)域重點(diǎn)關(guān)鍵詞。

效度是衡量一項(xiàng)測(cè)試是否達(dá)到其預(yù)期測(cè)量目的的標(biāo)準(zhǔn),信度則是衡量測(cè)試結(jié)果是否具有穩(wěn)定性的標(biāo)準(zhǔn)[7]。效度與信度是確保測(cè)試有效性及可靠性的重要標(biāo)準(zhǔn),也是語言測(cè)試中不可或缺的要素,因而一直受到學(xué)者的重點(diǎn)關(guān)注,主要體現(xiàn)就具體測(cè)試的效度與信度進(jìn)行分析,如大學(xué)英語四六級(jí)考試、專業(yè)英語四八級(jí)考試、高考英語考試。

基于對(duì)測(cè)試效度與信度研究的重視,學(xué)者還注重相關(guān)理論發(fā)展,以探尋科學(xué)的方法與模型進(jìn)行測(cè)試的效度與信度驗(yàn)證,如項(xiàng)目反應(yīng)理論及其之下的多層面Rasch模型。此外,學(xué)者還利用Rasch模型進(jìn)行評(píng)分員效應(yīng)研究,進(jìn)而不斷提高國內(nèi)外語測(cè)試評(píng)分標(biāo)準(zhǔn)的客觀性。

學(xué)者對(duì)外語測(cè)試研究的關(guān)注不斷增強(qiáng),不僅在于測(cè)試能以相對(duì)客觀的方式量化學(xué)習(xí)者語言能力,更在于其對(duì)教學(xué)具有一定影響。因此,反撥效應(yīng)一直為該領(lǐng)域一研究熱點(diǎn)。國內(nèi)反撥效應(yīng)研究的發(fā)文主要為綜述評(píng)介性論文以及具體測(cè)試的反撥作用分析性論文。

2014年,我國開始“中國英語能力等級(jí)量表”的制定工作,同時(shí)隨著次年首屆“語言測(cè)試與評(píng)價(jià)國際研討會(huì)”的確立與召開,量表的制定與應(yīng)用等相關(guān)研究逐漸受到國內(nèi)學(xué)者的重點(diǎn)關(guān)注,該量表以語言使用為導(dǎo)向,旨在為我國外語能力測(cè)評(píng)體系建設(shè)提供統(tǒng)一標(biāo)準(zhǔn),為我國英語教學(xué)與測(cè)評(píng)提供參考框架[8]。

(五)研究趨勢(shì)

為深入剖析近年來國內(nèi)外語測(cè)試領(lǐng)域的研究趨勢(shì),本研究還以CNKI數(shù)據(jù)庫中“語言測(cè)試與評(píng)價(jià)國際研討會(huì)”的征文通知[9]與會(huì)議綜述[10-13]為參考,整理出各屆會(huì)議的主要議題并繪制表格(見附表2)。該研討會(huì)每年均邀請(qǐng)國內(nèi)外該領(lǐng)域知名學(xué)者做主題發(fā)言,并就研討會(huì)主題探討國內(nèi)語言測(cè)試研究發(fā)展新方向,因此,從歷年議題中可窺見國內(nèi)外語測(cè)試的研究趨勢(shì),為學(xué)者進(jìn)行相關(guān)研究提供一定參考。

表2 “語言測(cè)試與評(píng)價(jià)國際研討會(huì)”主要議題(2015—2019年)

由附表2可知,語言能力等級(jí)量表研究、測(cè)評(píng)標(biāo)準(zhǔn)研究、教學(xué)及考試改革研究均為近年國內(nèi)學(xué)者所關(guān)注的主題,這也與“語言測(cè)試與評(píng)價(jià)國際研討會(huì)”確立的初衷相關(guān),即至2020年基本建成具有中國特色的現(xiàn)代外語能力測(cè)評(píng)體系。此外,近兩年,學(xué)者還逐漸投入對(duì)評(píng)分員及教師測(cè)評(píng)素養(yǎng)研究中,以提高評(píng)分員評(píng)分一致性,保證測(cè)試結(jié)果客觀性。

三、結(jié)語

本文以14本國內(nèi)外語類核心期刊在2001年至今所刊載的測(cè)試類研究論文為數(shù)據(jù)來源,利用NoteExpress和CiteSpace軟件進(jìn)行發(fā)文時(shí)間、發(fā)文作者、高被引文獻(xiàn)及關(guān)鍵詞分析,發(fā)現(xiàn)20年間國內(nèi)語言測(cè)試研究歷程整體可分為三個(gè)階段：低緩期(2001—2008),發(fā)文量較少,研究仍處于起步階段；繁榮期(2009—2012),發(fā)文量快速增加,研究熱度升溫；持續(xù)期(2013—2020),發(fā)文量較穩(wěn)定,研究逐漸學(xué)科化、規(guī)范化。這一學(xué)科的發(fā)展在一定程度上有賴于楊慧中、李清華、鄒申等學(xué)者的推動(dòng),這些學(xué)者在低緩期就已投入該領(lǐng)域研究中,并常以合作形式進(jìn)行發(fā)文,在該領(lǐng)域表現(xiàn)活躍,隨著學(xué)科熱度增加,該領(lǐng)域研究隊(duì)伍不斷壯大,研究成果也不斷增多。

在眾多研究主題中,國內(nèi)學(xué)者主要關(guān)注測(cè)試的效度、信度及反撥作用,以提高測(cè)試的有效性與可靠性,進(jìn)而對(duì)外語教學(xué)提供正面的影響作用。近年來,學(xué)者還加快建立規(guī)范的語言測(cè)評(píng)體系,制定科學(xué)的語言能力等級(jí)量表,促進(jìn)國內(nèi)各類外語測(cè)試改革。此外,評(píng)分員研究、教師測(cè)評(píng)素養(yǎng)研究等主題或?qū)⒊蔀榻谠擃I(lǐng)域的研究趨勢(shì),有待學(xué)者對(duì)其進(jìn)行深入挖掘與探討。