• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    英語寫作AES系統(tǒng)評分效度的實證研究

    2016-04-21 06:47:35王海軍

    王海軍

    (浙江工業(yè)大學 之江學院,浙江 杭州 310024)

    ?

    英語寫作AES系統(tǒng)評分效度的實證研究

    王海軍

    (浙江工業(yè)大學 之江學院,浙江 杭州 310024)

    摘要:英語寫作自動評分系統(tǒng)(AES)在國外的英語寫作測試和教學領(lǐng)域應用越來越廣泛,但國內(nèi)對其信、效度的實證研究還十分欠缺。以句酷網(wǎng)為例,從人分散度、相關(guān)性和等級一致性等方面研究了AES系統(tǒng)的評分效度。結(jié)果表明,盡管機器評分區(qū)分度不如人工評分,但其總的評分效度尚可,其結(jié)果的穩(wěn)定性可以滿足國內(nèi)英語寫作課堂教學的需要。

    關(guān)鍵詞:英語寫作自動評分系統(tǒng);評分效度;句酷

    作文自動評分技術(shù)(AES,Automated Essay Scoring)是計算機給作文評價和評分的技術(shù)[1],自二十世紀六十年代問世以來,已經(jīng)取得了長足的進步。現(xiàn)階段,國外的寫作自動評分技術(shù)不僅應用于英語寫作的自動評分,還在英語寫作的課堂教學實踐中發(fā)揮了越來越重要的作用。

    機器自動評分具有節(jié)時省力效率高的特點,能使教師在很大程度上從繁重的寫作作業(yè)批閱中解放出來。國外的AES技術(shù)經(jīng)過多年的專家論證和實踐應用已經(jīng)相當成熟,其評分效度甚至高于人與人之間的評分效度。而國內(nèi)的AES系統(tǒng)由于起步較晚,其評分效度的實證研究目前還不多見。因此,本文以句酷網(wǎng)為例,分別從人分散度、相關(guān)性和等級一致性等指標來檢驗該系統(tǒng)的評分效度。

    一、國內(nèi)外AES系統(tǒng)評分效度研究綜述

    (一)評分效度研究的進展

    迄今為止,國外研發(fā)成功并投入使用的自動評分系統(tǒng)有十余種[2],其中最具代表性的有PEG、IEA、E-rater、IntelliMetric和Writing RoadmapTM。它們各具特色,PEG重語言形式,IEA 重作文內(nèi)容,其余幾種則既重形式又重內(nèi)容[3]。相關(guān)研究表明,國外主流的自動評分系統(tǒng)的評分效度指標如相關(guān)度、一致度或回歸系數(shù)等數(shù)據(jù)都非常理想,可以達到0.9以上。IEA的自動評分與人工評分之間的相關(guān)性為r=0.85[3]。而IntelliMetric的相關(guān)性也類似,達到了0.85~0.87,評分等級一致性(agreement)從1996年的50%左右上升到2002年的60%,相鄰一致性(分數(shù)相差一個等級)從95%左右上升到98%[1]。而E-rater的表現(xiàn)更好,其自動評分與人工評分之間的等級一致性一直高于97%[3],相關(guān)系數(shù)已經(jīng)高達r=0.87~0.97[4]。相對而言,PEG的表現(xiàn)稍微遜色一些,機器評分與人工評分之間的相關(guān)性為0.71,但同一研究中的人工評分之間的相關(guān)性僅為0.62[5],遜色于機器評分。此外,有研究表明,PEG的多元回歸系數(shù)可以高達R=0.877[3]。

    AES系統(tǒng)在中國起步較晚,從2005年梁茂成教授主持開發(fā)的“大規(guī)??荚囉⒄Z作文自動評分系統(tǒng)”算起,僅僅十年左右。除此之外,國內(nèi)現(xiàn)有以下幾種AES:write on,冰果,IntelliMetric, iWrite和2011年投入使用的“句酷批改網(wǎng)”(pigai.org)。

    目前國內(nèi)有關(guān)AES的研究主要集中于冰果、句酷等AES系統(tǒng)的課堂應用效果和對比人工批改與在線批改工具的差異等方面。而在評分效度方面,國內(nèi)主要有以下幾項研究:王鶯鶯通過對比200份作文的機器評分與人工評分研究了write on的評分效度[6]。結(jié)果表明,write on的機器評分與四名人工評分員的平均評分之間的平均相關(guān)性達到了0.62,評分效度尚可。何旭良對句酷網(wǎng)的評分效度研究結(jié)果表明:句酷批改網(wǎng)的自動評分效度稍高一些(r=0.69),但評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。同樣是研究句酷網(wǎng),汪珍珠的研究結(jié)論有些不同:句酷網(wǎng)的機器評分與人工評分的擬合度(R2)很低,只有0.45,評分效度遠低于國外的主流AES[8]。這幾項研究的結(jié)果表明:與國外相比,國內(nèi)的AES系統(tǒng)評分效度盡管可以接受,但還不夠理想,僅處于國外AES系統(tǒng)初級階段的水平。

    (二)評分效度研究的問題

    信度和效度對于任何語言測試來說都是非常重要的指標。信度是效度的基礎(chǔ),其通用定義是指測試結(jié)果是否可靠可信[9]。當代效度觀認為信度只是效度的一種證據(jù)。Messick認為[10],在進行效度驗證時需要盡可能多地收集各種數(shù)據(jù),這其中就包括信度,信度也因此成了其效度框架的一部分。而Weir在針對考試效度所提出的社會認知框架中將信度上升到了效度的高度,即評分效度(scoring validity)[11]。

    就AES系統(tǒng)而言,由于自動評分系統(tǒng)最終報告的是作文分數(shù),傳統(tǒng)的評分效度評估方法在某些情況下就不適用于AES系統(tǒng)或不能為使用者提供足夠的信息量了[1]。因此,AES系統(tǒng)的評分效度主要指在評分標準相同的情況下,機器自動評分與人工評分的相關(guān)性(consistency)或等級一致性(agreement)是否能達到人工評分的水平。而在實際操作中,我們不僅要考慮分數(shù)能否正確地評定學生的寫作等級(classification accuracy)[1],還要考慮分數(shù)的區(qū)分度(discrimination)或離散度,也就是李筱菊所說的人分散度(person separability)[9],即分數(shù)能否區(qū)分出受試者寫作水平的高低。除此之外,在考查評分效度時我們還需要考慮試題的難度(facility)等指標[9]。

    因此,在本研究中,AES系統(tǒng)的評分效度主要體現(xiàn)在相關(guān)性、等級一致性和人分散度上。

    與國外相比,國內(nèi)的AES評分效度實證研究方面主要存在以下幾個問題:第一,研究數(shù)量偏少,研究范圍偏窄。通過cnki搜索關(guān)鍵詞,截至2015年6月,僅搜到了三項有關(guān)國內(nèi)AES系統(tǒng)評分效度的實證研究:王鶯鶯(2012)[6]、何旭良(2013)[7]、汪珍珠、葉宬 (2014)[8]。根據(jù)上文的報告,有兩項研究的對象是句酷批改網(wǎng),一項是write on。目前還沒有針對冰果、IntelliMetric等AES系統(tǒng)的研究。第二,研究結(jié)論不一。王鶯鶯[6]與何旭良[7]的研究分別認為write on和句酷的評分效度尚可(均高于0.6),其中句酷批改網(wǎng)的信度稍高一些。汪珍珠、葉宬的研究結(jié)論是句酷批改網(wǎng)的評分效度很低,擬合度R2僅為0.45[8]。此外,何旭良(2013)還發(fā)現(xiàn)句酷批改網(wǎng)的評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。第三,結(jié)論無可比性。王鶯鶯[6]與何旭良[7]的研究使用了Pearson相關(guān)系數(shù),汪珍珠的研究所使用的方法為回歸分析,因此,前二者與后者的研究結(jié)論無可比性,只能通過他們的分析來判斷AES評分效度的高低。

    (三)評分效度研究的趨勢

    鑒于國內(nèi)AES評分效度研究中存在的上述問題,本人認為今后在實證研究中還應在以下幾個方面取得突破:第一,建立系統(tǒng)科學的AES系統(tǒng)評分效度研究方法??梢越梃b國外的研究,統(tǒng)一AES系統(tǒng)評分研究所需數(shù)據(jù)的種類和研究方法,盡快建立AES系統(tǒng)評分效度研究的科學方法,解決不同研究的可比性問題。第二,增加橫向和縱向的比較。如上所述,國內(nèi)AES系統(tǒng)評分效度的實證研究數(shù)量很少,僅涉及到句酷網(wǎng)和write on。迄今為止,還沒有研究涉及到橫向?qū)Ρ葒鴥?nèi)不同AES系統(tǒng)的評分效度。另外,有些AES系統(tǒng)(如句酷網(wǎng))的語料庫是不斷更新的,相應地,其評分效度也會隨之發(fā)生變化,因此,我們需要大量的實證研究尤其是歷時研究對這種變化進行跟蹤調(diào)查。第三,拓寬研究范圍。大學的英語教學及很多大型語言測試均要求學生掌握不同文體的寫作。到目前為止,國內(nèi)在文體對AES系統(tǒng)評分的影響方面的研究還處于空白。盡管國外的研究得出的結(jié)論是文體對AES系統(tǒng)評分的信、效度影響有限,只占10%~20%[1],但國內(nèi)的AES系統(tǒng)是否對不同文體存在偏頗性還有待于通過實證研究加以證明。

    綜上所述,以句酷為代表的英語寫作網(wǎng)絡在線自動評分系統(tǒng)在中國的英語寫作教學中發(fā)揮了越來越大的作用,但國內(nèi)對句酷網(wǎng)的研究主要集中在介紹其基本功能、特點、教學效果等方面,而其信、效度的實證研究還不多見。評分效度是任何語言測試的基礎(chǔ),沒有評分效度,其他效度就無從談起。因此,本文主要以實證研究的方式探討句酷網(wǎng)的評分效度。

    天氣晴朗、水質(zhì)良好,小龍蝦活動吃食旺盛宜多投餌,鮮活餌料的日投餌量按體重的8%,高溫、陰雨天氣、發(fā)病季節(jié)、活動不正常少投餌,提高飼料利用率。

    二、AES系統(tǒng)評分效度的實證研究

    (一)研究樣本

    本研究的試驗對象為某大學2012級英語專業(yè)三年級的本科生。經(jīng)過分層抽樣,共有50名學生成為本研究的對象。試驗時間為2014年10月,學生在教師布置英語寫作任務之后,通過句酷網(wǎng)提交一篇說明文,與英語專業(yè)八級(TEM8)寫作難度相當。

    為了使人工評分和機器評分具有可比性,筆者將句酷網(wǎng)的作文打分標準設(shè)置成TEM8寫作打分格式,滿分為20分。同時,由于句酷網(wǎng)的語料庫經(jīng)常更新,其評分的參數(shù)也會隨之改變,這勢必會影響不同時間提交的作文得分。因此,在所有作文均提交之后,2015年3月筆者又重新提交了這些作文,所得的分數(shù)作為本研究的數(shù)據(jù)。

    參與本研究評分的人工評分員共有三人,他們均有多年英語專業(yè)高年級寫作教學經(jīng)驗,并多次參加過英語寫作的閱卷工作。在人工評分之前,筆者按照TEM8寫作分項式評分法對這三位評分員進行了嚴格的培訓。評分員在經(jīng)過兩輪共計20篇樣文的評分培訓之后,對TEM8作文評分標準的理解基本達到了一致水平。

    (二)研究方法

    本研究主要采用語言測試專家李筱菊[9]、Cizek & Page[1]有關(guān)語言測試評分效度的理論,從人分散度、相關(guān)性和等級一致性等指標來探討句酷網(wǎng)的評分效度。主要的研究問題包括:機器評分的難度、區(qū)分度、標準差等指標是否能達到人工評分的水平,同理,機器評分的相關(guān)性和等級一致性是否能達到人工評分的水平。

    Cizek & Page(2003)認為,考后復考等傳統(tǒng)的評分效度評估方法是不適用于AES的[1]。同一批作文,只要參數(shù)設(shè)置相同,不同的計算機使用同一AES所給出的評分結(jié)果肯定是一樣的。因此,正如上文所述,對于AES系統(tǒng)而言,我們需要考查的是,在同一評分標準下,機器評分與人工評分之間的一致性(agreement)或相關(guān)性(correlation)是否能達到人與人之間的一致或相關(guān)水平。在本研究中,相關(guān)性指人工評分與機器評分的Pearson相關(guān)系數(shù),而分數(shù)相差3分以內(nèi)(包括3分)即視為評分等級一致。此外,李筱菊(2001)認為,考試結(jié)果的分數(shù)要具有人分散度(person separability),即分數(shù)分布要散開[9],其主要指標包括區(qū)分度(discrimination)、標準差和難度。前人在AES評分效度的研究中對這些指標鮮有報告,但相關(guān)性很高的兩組數(shù)據(jù)整體差異也有可能非常大,因此,筆者認為在實證研究中有必要對這些數(shù)據(jù)進行報告和對比。

    (三)研究結(jié)果

    第一,人分散度。如上所述,人分散度主要體現(xiàn)在難度、標準差和區(qū)分度等指標上。表1報告了機器評分和人工評分的平均難度、標準差和區(qū)分度。從表1的結(jié)果來看,人工評分的平均難度值(0.70)稍低于機器評分(0.72),但相差不大。在標準差方面,人工評分(平均2.15)明顯好于機器評分(1.97),人工評分更加分散一些。但人工評分的標準差變化非常大(1.90~2.50),最低值甚至低于機器評分(R2=1.90),這說明不同的人工評分員在評分時寬嚴度掌握不一致。機器評分的平均區(qū)分度(0.18)十分不理想,低于人工評分(平均0.24),評分員1的評分在區(qū)分學生的寫作能力方面稍好一些(0.29),但與標準差類似,人工評分的區(qū)分度起伏也很大(0.20~0.29)。

    表1 機器評分與人工評分人分散度對照表(n=50)

    注:A=機器評分;R=人工評分。

    第二,相關(guān)性與等級一致性。表2報告了人工評分員之間、人工評分與機器評分之間的等級一致性和Pearson相關(guān)系數(shù)。從表2看,人工評分的等級一致性(0.90)與機器評分相當(0.89),但人工評分的等級一致性(0.82~0.96)不如機器評分(0.86~0.92)穩(wěn)定。相對而言,人工評分的Pearson相關(guān)系數(shù)(0.65)要好于機器評分(0.59),但從穩(wěn)定性上來說,人工評分(0.61~0.73)和機器評分(0.53~0.63)都差強人意。

    表2 機器評分與人工評分相關(guān)性和

    三、AES系統(tǒng)評分效度的討論

    上述數(shù)據(jù)的分析結(jié)果表明:句酷批改網(wǎng)自動評分系統(tǒng)的評分區(qū)分度有待于提高,但總的來說,其評分效度尚可接受。

    (一)評分效度的分析

    在人分散度這個指標上(表1),機器評分與人工評分的難度判斷幾乎是一致的,并未出現(xiàn)某些研究中報告的機器評分偏高問題[7]。如前文所述,句酷網(wǎng)的語料庫一直處于不斷更新之中,其評分有越來越低的趨勢,與人工評分越來越接近。但就標準差和區(qū)分度而言,機器評分明顯遜色于人工評分,這說明機器評分在寫作能力的區(qū)分上不如人工評分。事實上,盡管人工評分的區(qū)分度好于機器評分,但二者均不理想。一般認為,試題的區(qū)分度在0.3以上是比較理想的,而0.25左右僅僅是可以接受的水平。因此,如果說人工評分的區(qū)分度(0.24)勉強過關(guān),則機器評分的區(qū)分度(0.18)還亟需提高。

    就相關(guān)性而言,句酷網(wǎng)的自動評分尚可接受。盡管機器評分與人工評分的相關(guān)性總的來說只有0.59,但我們同時還發(fā)現(xiàn),就TEM8寫作評分來說,人工評分之間的相關(guān)性平均值也并不高,只有0.65(表2)。根據(jù)Stemler(2004)等人的研究,評分員之間的相關(guān)系數(shù)達到0.70左右才是可以接受的[12]。按照這個標準,不僅句酷批改網(wǎng)的評分效度不理想,人工評分也不例外。然而,國外的AES系統(tǒng)早期階段的相關(guān)性也沒有達到0.70這個理想的數(shù)值。在PEG最早的一次實驗中,人工評分員之間的平均相關(guān)性僅為0.55;在1994年的實驗中,這一數(shù)值更低,僅0.49;即便是在信度最高的1995年的實驗中,人工評分員之間的平均相關(guān)性也只有0.65[3]。可見,人工評分員之間想實現(xiàn)較理想的評分效度是很難的,更何況人工評分員與機器之間的相關(guān)性了。因此,與國外相比,本研究中的人工評分員之間的相關(guān)性是可以接受的,但機器評分的評分效度就稍稍偏低了,與前文所報告的處于高級階段的PEG的0.71[5]、IEA的0.85[3]還有差距,需要不斷完善。然而,國外的自動評分系統(tǒng)多采用等級制,即5~6個等級,而句酷網(wǎng)的TEM8寫作是從20分中為一篇作文選擇一個分數(shù),甚至整數(shù)分數(shù)后面還會出現(xiàn)半分,其評分難度無疑要大得多,因此,句酷網(wǎng)當前的相關(guān)性尚可接受。

    此外,在本研究中,機器評分(0.89)與人工評分(0.90)的等級一致性基本是一致的,同時,機器評分的穩(wěn)定性明顯好于人工評分(表2)。這說明,句酷批改網(wǎng)在執(zhí)行評分標準方面比人腦有優(yōu)勢,其中一個主要原因在于機器在評分時不會受到時間、地點、疲勞狀態(tài)、精神狀態(tài)等眾多因素的影響。

    綜上所述,句酷批改網(wǎng)的評分效度可以滿足風險較小的英語寫作的自動評分,如寫作課的英語寫作作業(yè)等,但還不能滿足風險較大的大型考試的需要。因此,其評分效度特別是區(qū)分度等指標仍有較大的提升空間。

    (二)評分效度改進的方法

    國外主流的AES系統(tǒng)在自動評分之前基本上都需要針對某次考試收集樣本,對系統(tǒng)進行培訓。一般而言,這種自動評分方法對于該次考試的作文評分效度較高,但不能用于其他考試的自動評分。事實也證明,國外的英語自動評分系統(tǒng)的評分效度早已高于人工評分[1]。與國外不同,句酷批改網(wǎng)是基于語料庫的作文在線自動評分系統(tǒng),不需要對系統(tǒng)進行培訓,可以為任何題目的作文評分,其核心算法是計算學生提交的作文與語料庫之間的距離,再通過映射將距離轉(zhuǎn)化成作文分數(shù)和評語。這種評分方法是把雙刃劍,優(yōu)缺點均很明顯。優(yōu)點是該自動評分系統(tǒng)可以為任何作文評分,很適合于英語寫作的課堂教學。缺點是,不對系統(tǒng)進行有針對性的培訓,句酷網(wǎng)在自動評分時對內(nèi)容的判斷就沒有了充分的依據(jù)。因此,目前句酷批改網(wǎng)對于“跑題”等嚴重的內(nèi)容問題還判斷不出來。即使作文跑題了,學生仍然可以利用較高級的詞匯和較長的句子輕而易舉地“騙過”計算機。國內(nèi)研究者謝賢春就曾指出,為了取得高分,有些學生有意“欺詐”或“取悅”電腦,通過“寫長”或簡單地“重復”某些段落“騙得”高分[13]??朔@一缺陷需要計算機在人工智能方面取得突破,如簡單知識的識別等。在目前階段,國內(nèi)機器自動評分系統(tǒng)在評閱風險較大的作文時還需要人工輔助,特別是在內(nèi)容識別方面。

    除此之外,為了提高評分效度,國內(nèi)的自動評分系統(tǒng)在語料的選擇上應有別于國外。二語寫作與母語寫作盡管總體模式相似,但二語作文使用的詞匯量更少,文本結(jié)構(gòu)更簡單,形式連接方式往往多于內(nèi)容連接方式,在準確性、流利性和有效性方面均遜色于母語作文,處于中介語階段[14]。這些特點決定了二語作文的評分標準應不同于母語作文,語言與內(nèi)容應同等重要。因此,筆者建議在選取語料時應借鑒并改進國外比較成熟的自動評分系統(tǒng)的技術(shù):利用作文訓練集對自動評分系統(tǒng)進行培訓,建立中介語語料庫。以TEM8寫作為例,應不分題目和體裁地廣泛搜集代表各分數(shù)段的作文,提取各個分數(shù)段與內(nèi)容無關(guān)的淺層文本特征,用于培訓自動評分系統(tǒng)。這個訓練集在每個分數(shù)上都應該有足夠的樣本,隨著樣本數(shù)量不斷累積,每個分數(shù)的樣本都能構(gòu)成一個獨立的語料庫,這樣對代表每個分數(shù)的淺層文本特征的提取將會越來越精確,自動評分在語言上的評分也會越來越接近人工評分。

    從本研究來看,句酷網(wǎng)的整體評分效度是可以接受的,盡管不能滿足對評分效度和社會使用效度等要求較高的大型測試,但目前的水平可以滿足英語寫作教學的課后或課堂作業(yè)的自動評分,這既能使英語寫作教師從繁重的作業(yè)批改任務中解放出來,也有助于在英語寫作課上實施形成性評估這一先進的評價手段。

    參考文獻:

    [1] SHERMIS M D, BURSTEIN J. Automated essay scoring: A cross-disciplinary perspective[M]. Mahwah, NJ: Lawrence Erlbaum Associates, 2003:vii, xiii, 25-27,76,95,125-146,128,142-143.

    [2] 石曉玲.在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012(10):67-71.

    [3] 梁茂成, 文秋芳. 國外作文自動評分系統(tǒng)評述及啟示[J]. 外語電化教學, 2007 (5): 18-24.

    [4] CHOI I C. A validation of EFL essay assessment based on corpus indices and error analysis[J]. Multimedia-assisted language learning, 2012 (4): 39-60.

    [5] SHERMIS M D, MZUMAIA H R, OLSON J, et al. On-line grading of students essays:PEG goes on the world wide web[J]. Assessment & education in higher education, 2001(3):247-259.

    [6] 王鶯鶯.《新視野大學英語》作文自動評分系統(tǒng)的效度研究[J].當代教育理論與實踐, 2012 (12): 139-142.

    [7] 何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù), 2013 (5): 64-67.

    [8] 汪珍珠,葉宬. 英語作文在線批改模式的實證研究[J]. 長沙鐵道學院學報,2014 (1): 161-163.

    [9] 李筱菊. 語言測試科學與藝術(shù)[M]. 第2版. 長沙: 湖南教育出版社, 2001:34-36.

    [10] MESSICK S. Validity[C]//Linn R L. Educational measurement (3rdEd.). NewYork: Ma cmillan, 1989:13.

    [11] WEIR C J. Language testing and validation: an evidence-based approach [M]. Basin gstoke, Hampshire: Palg rave Ma cmillan, 2005:11-39.

    [12] STEMLER S E. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability[EB/OL].[2015-05-03].http://pareonline.net/getvn.asp?v=9&n=4.

    [13] 謝賢春. 英語作文自動評分及其效度、信度與可操作性探討[J].江西師范大學學報(哲學社會科學版), 2010(2):136-140.

    [14] SILVA T.Toward an understanding of the distinct nature of L2 writing: The ESL research and its implications[J]. TESOL Quarterly, 1993(4):657-677.

    (責任編輯:薛蓉)

    An empirical research into scoring validity of AES

    WANG Haijun

    (Zhijiang College, Zhejiang University of Technology, Hangzhou 310024, China)

    Abstract:Although AES is playing a more and more important part in English writing tests and teaching abroad, little empirical research has been carried out into its reliability and validity in China. The research, a case study of Juku AES, investigated its scoring validity from the perspectives of person separability, consistency and classification agreement. It is concluded that the scoring validity of Juku is so adequate as to satisfy the needs of English classroom writing tasks in spite of its relatively poorer discrimination.

    Keywords:AES; scoring validity; Juku

    中圖分類號:H319

    文獻標志碼:A

    文章編號:1006-4303(2016)01-0089-05

    作者簡介:王海軍(1975—),男,黑龍江蘭西人,講師,碩士,從事語言教學與測試研究。

    基金項目:浙江省社科規(guī)劃課題(16NDJC213YB);浙江省高等教育課堂教學改革研究項目(kg2013525);紹興市高等教育課堂教學改革項目(紹市教高[2014]135號);浙江工業(yè)大學人文社科研究基金(GZ152105012800)

    收稿日期:2015-09-03

    久久久国产精品麻豆| 成人手机av| 亚洲人成77777在线视频| 九色成人免费人妻av| 亚洲真实伦在线观看| 久久亚洲精品不卡| 男女床上黄色一级片免费看| 两个人视频免费观看高清| 91国产中文字幕| 性欧美人与动物交配| 亚洲欧美日韩高清在线视频| 啦啦啦观看免费观看视频高清| 丁香六月欧美| 最新美女视频免费是黄的| 非洲黑人性xxxx精品又粗又长| 此物有八面人人有两片| 日韩免费av在线播放| 好男人电影高清在线观看| 日韩免费av在线播放| 日韩精品青青久久久久久| 亚洲 国产 在线| 国产高清视频在线播放一区| 欧美日韩瑟瑟在线播放| 50天的宝宝边吃奶边哭怎么回事| 怎么达到女性高潮| 国产精品野战在线观看| 黑人操中国人逼视频| 午夜免费激情av| 一级片免费观看大全| 久久午夜亚洲精品久久| 国产日本99.免费观看| 宅男免费午夜| 久久中文看片网| 国产三级黄色录像| 国产精品av视频在线免费观看| 国产免费av片在线观看野外av| 亚洲,欧美精品.| 久久中文字幕一级| 久久久久九九精品影院| 中文字幕精品亚洲无线码一区| 国产在线精品亚洲第一网站| 两性午夜刺激爽爽歪歪视频在线观看 | 免费观看人在逋| 国产成人精品无人区| 精品久久久久久久末码| 黄片大片在线免费观看| 国产成人欧美在线观看| 日韩欧美在线二视频| 午夜福利成人在线免费观看| 亚洲精品国产一区二区精华液| 精品一区二区三区av网在线观看| 看黄色毛片网站| 亚洲欧美日韩东京热| 18禁观看日本| 久久天堂一区二区三区四区| 久久精品综合一区二区三区| 最近最新中文字幕大全免费视频| 亚洲一码二码三码区别大吗| 亚洲成人久久爱视频| 校园春色视频在线观看| 日韩欧美在线乱码| 全区人妻精品视频| 精品电影一区二区在线| 国产精品一区二区精品视频观看| cao死你这个sao货| www.www免费av| 后天国语完整版免费观看| 欧美日韩一级在线毛片| 亚洲五月婷婷丁香| a在线观看视频网站| 久久午夜亚洲精品久久| 欧美丝袜亚洲另类 | 亚洲乱码一区二区免费版| 女人高潮潮喷娇喘18禁视频| 黄色成人免费大全| 亚洲国产欧美网| 国产1区2区3区精品| 亚洲自偷自拍图片 自拍| 国产乱人伦免费视频| 国产精品一区二区精品视频观看| 国内少妇人妻偷人精品xxx网站 | 777久久人妻少妇嫩草av网站| 老汉色∧v一级毛片| 男人舔女人的私密视频| 久久精品夜夜夜夜夜久久蜜豆 | 亚洲人与动物交配视频| 日韩大码丰满熟妇| 成年人黄色毛片网站| 亚洲欧美激情综合另类| 欧美大码av| 欧美日韩国产亚洲二区| 国产精品乱码一区二三区的特点| 久久精品91蜜桃| 国产又黄又爽又无遮挡在线| 欧美日韩亚洲综合一区二区三区_| 国产一区二区激情短视频| 黄色视频不卡| 国产高清有码在线观看视频 | 亚洲五月天丁香| 51午夜福利影视在线观看| 亚洲精品中文字幕一二三四区| 欧美zozozo另类| 成人手机av| 操出白浆在线播放| 国产精品一区二区免费欧美| 国产精品乱码一区二三区的特点| 国产精品乱码一区二三区的特点| 免费看日本二区| 精品久久蜜臀av无| 国产久久久一区二区三区| 亚洲最大成人中文| 免费看a级黄色片| 色综合站精品国产| 国产av又大| √禁漫天堂资源中文www| 精品第一国产精品| 亚洲熟女毛片儿| 亚洲片人在线观看| 国产精品精品国产色婷婷| 一边摸一边抽搐一进一小说| 免费在线观看亚洲国产| 欧美国产日韩亚洲一区| 中文字幕高清在线视频| 又黄又爽又免费观看的视频| 美女免费视频网站| 亚洲欧美一区二区三区黑人| e午夜精品久久久久久久| 久久久久免费精品人妻一区二区| 欧美三级亚洲精品| 波多野结衣高清作品| 91av网站免费观看| 欧美中文日本在线观看视频| 亚洲欧美日韩高清在线视频| 女人爽到高潮嗷嗷叫在线视频| 国产一区二区三区视频了| 欧美日本亚洲视频在线播放| 国产精品香港三级国产av潘金莲| 国产av一区二区精品久久| 国产精品av久久久久免费| 两性夫妻黄色片| 99久久综合精品五月天人人| 国产亚洲精品av在线| 色综合婷婷激情| 国产亚洲欧美98| 亚洲av成人精品一区久久| 成人国产综合亚洲| 国产精品免费视频内射| 久久性视频一级片| 非洲黑人性xxxx精品又粗又长| 欧美国产日韩亚洲一区| 波多野结衣巨乳人妻| 三级男女做爰猛烈吃奶摸视频| 成人国产一区最新在线观看| 九九热线精品视视频播放| 在线看三级毛片| 日韩国内少妇激情av| avwww免费| 国产精品久久久久久人妻精品电影| 亚洲欧美精品综合久久99| 欧美日韩瑟瑟在线播放| 日本五十路高清| 亚洲av电影在线进入| 桃色一区二区三区在线观看| netflix在线观看网站| 亚洲乱码一区二区免费版| videosex国产| 给我免费播放毛片高清在线观看| 亚洲成a人片在线一区二区| 两性夫妻黄色片| 日本三级黄在线观看| 男人的好看免费观看在线视频 | 90打野战视频偷拍视频| 不卡一级毛片| 国产精品香港三级国产av潘金莲| 淫秽高清视频在线观看| 亚洲精品久久国产高清桃花| 99热6这里只有精品| 怎么达到女性高潮| 免费在线观看影片大全网站| 99久久精品热视频| 两个人视频免费观看高清| 日韩欧美 国产精品| 伊人久久大香线蕉亚洲五| 999久久久国产精品视频| 午夜久久久久精精品| 成年版毛片免费区| 久久精品aⅴ一区二区三区四区| 国产一区二区激情短视频| 久久中文字幕人妻熟女| 久久久久久免费高清国产稀缺| 欧美在线黄色| 成人午夜高清在线视频| 成人18禁在线播放| 亚洲一区中文字幕在线| 日韩欧美国产一区二区入口| 国产精品爽爽va在线观看网站| 国产成人av教育| 国产片内射在线| 超碰成人久久| 18禁观看日本| 香蕉丝袜av| 免费在线观看亚洲国产| 中文字幕高清在线视频| 人妻夜夜爽99麻豆av| 在线免费观看的www视频| 免费看美女性在线毛片视频| 岛国视频午夜一区免费看| 欧美成狂野欧美在线观看| 特大巨黑吊av在线直播| 亚洲专区字幕在线| 在线永久观看黄色视频| 午夜福利视频1000在线观看| 怎么达到女性高潮| 亚洲全国av大片| 国产av不卡久久| 国产成人aa在线观看| 天堂av国产一区二区熟女人妻 | 国产精品综合久久久久久久免费| 亚洲精品美女久久久久99蜜臀| 成人av在线播放网站| 成人精品一区二区免费| 久久久久久亚洲精品国产蜜桃av| 国产欧美日韩一区二区三| 国产成人精品无人区| 久9热在线精品视频| 一进一出抽搐动态| 热99re8久久精品国产| 国内少妇人妻偷人精品xxx网站 | 丰满的人妻完整版| 久久午夜亚洲精品久久| 丁香六月欧美| 国产野战对白在线观看| 中亚洲国语对白在线视频| 亚洲人成网站高清观看| 婷婷精品国产亚洲av| 午夜福利欧美成人| 丝袜美腿诱惑在线| 亚洲人成伊人成综合网2020| 又爽又黄无遮挡网站| 国产精品爽爽va在线观看网站| 麻豆成人午夜福利视频| 黄色a级毛片大全视频| 在线观看www视频免费| 午夜免费观看网址| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲国产欧美网| av中文乱码字幕在线| av有码第一页| 国产日本99.免费观看| 亚洲色图av天堂| 99热只有精品国产| 亚洲色图 男人天堂 中文字幕| 一级毛片女人18水好多| 久久国产精品影院| 91老司机精品| 亚洲欧美日韩高清专用| 一级毛片女人18水好多| 成人三级黄色视频| 日韩欧美免费精品| 丰满人妻熟妇乱又伦精品不卡| 亚洲成人免费电影在线观看| 最近视频中文字幕2019在线8| 成人国语在线视频| av福利片在线观看| 亚洲精品美女久久av网站| 午夜老司机福利片| 国产成+人综合+亚洲专区| 999久久久国产精品视频| 国产一区二区三区在线臀色熟女| 两性夫妻黄色片| 日韩欧美精品v在线| 精品久久久久久,| 亚洲av第一区精品v没综合| 亚洲天堂国产精品一区在线| 天天躁夜夜躁狠狠躁躁| 琪琪午夜伦伦电影理论片6080| 精品欧美一区二区三区在线| www日本在线高清视频| 亚洲精品色激情综合| 狂野欧美白嫩少妇大欣赏| 国产亚洲精品综合一区在线观看 | 亚洲九九香蕉| 免费在线观看亚洲国产| 亚洲中文日韩欧美视频| 一区二区三区高清视频在线| 巨乳人妻的诱惑在线观看| 九九热线精品视视频播放| 午夜精品在线福利| 99热这里只有是精品50| 全区人妻精品视频| av有码第一页| 国产视频内射| 久热爱精品视频在线9| 国产高清视频在线观看网站| 可以在线观看的亚洲视频| 久久精品国产综合久久久| 亚洲精品中文字幕在线视频| 精品少妇一区二区三区视频日本电影| av天堂在线播放| 一a级毛片在线观看| 日韩欧美国产一区二区入口| 欧美日韩亚洲综合一区二区三区_| e午夜精品久久久久久久| 亚洲午夜理论影院| 精华霜和精华液先用哪个| 国产成人精品无人区| www.精华液| 免费在线观看视频国产中文字幕亚洲| 国产av一区二区精品久久| 在线观看日韩欧美| 中文资源天堂在线| 久久精品夜夜夜夜夜久久蜜豆 | 成熟少妇高潮喷水视频| 精品不卡国产一区二区三区| 日本精品一区二区三区蜜桃| 好男人在线观看高清免费视频| 中文字幕最新亚洲高清| 夜夜看夜夜爽夜夜摸| 男女床上黄色一级片免费看| 日本一区二区免费在线视频| 欧美性长视频在线观看| 天堂动漫精品| 一卡2卡三卡四卡精品乱码亚洲| 免费在线观看影片大全网站| 69av精品久久久久久| 中文字幕久久专区| 97碰自拍视频| 久久久久久久精品吃奶| 脱女人内裤的视频| 国产不卡一卡二| 欧美日韩一级在线毛片| 亚洲成av人片在线播放无| 国产欧美日韩一区二区三| 狂野欧美激情性xxxx| 午夜两性在线视频| 51午夜福利影视在线观看| 免费一级毛片在线播放高清视频| 亚洲精品久久成人aⅴ小说| 亚洲一卡2卡3卡4卡5卡精品中文| 麻豆成人av在线观看| 俄罗斯特黄特色一大片| 欧美黄色淫秽网站| 欧美乱色亚洲激情| 日韩欧美一区二区三区在线观看| a级毛片a级免费在线| 亚洲真实伦在线观看| 久久久久久久精品吃奶| 免费在线观看日本一区| 国产三级在线视频| 久久久久国内视频| 亚洲人成网站高清观看| 国产一区在线观看成人免费| 亚洲成人久久爱视频| 欧美精品啪啪一区二区三区| 欧美黄色片欧美黄色片| 欧美黄色淫秽网站| 一区二区三区高清视频在线| 在线观看午夜福利视频| 欧美日韩国产亚洲二区| 午夜a级毛片| 亚洲色图 男人天堂 中文字幕| 日日摸夜夜添夜夜添小说| 亚洲天堂国产精品一区在线| 久久人妻av系列| 天天躁夜夜躁狠狠躁躁| 国产成人精品无人区| 欧美一级a爱片免费观看看 | 18禁美女被吸乳视频| 欧美久久黑人一区二区| 欧美又色又爽又黄视频| 午夜亚洲福利在线播放| 日韩欧美在线二视频| 毛片女人毛片| 中出人妻视频一区二区| 日本黄大片高清| 搡老妇女老女人老熟妇| 精品久久久久久久久久免费视频| 久久欧美精品欧美久久欧美| 久久精品成人免费网站| 亚洲av片天天在线观看| 99精品欧美一区二区三区四区| 99久久精品国产亚洲精品| www日本在线高清视频| 久久99热这里只有精品18| 亚洲人成伊人成综合网2020| 精品少妇一区二区三区视频日本电影| 琪琪午夜伦伦电影理论片6080| 欧美极品一区二区三区四区| 国产精品99久久99久久久不卡| 黄片小视频在线播放| 两性夫妻黄色片| 欧美绝顶高潮抽搐喷水| 88av欧美| 欧洲精品卡2卡3卡4卡5卡区| 99国产极品粉嫩在线观看| 两性夫妻黄色片| 激情在线观看视频在线高清| 久久久精品欧美日韩精品| 国产又黄又爽又无遮挡在线| 日韩精品青青久久久久久| 国产一级毛片七仙女欲春2| 一个人免费在线观看的高清视频| 国产激情久久老熟女| 大型黄色视频在线免费观看| 成年人黄色毛片网站| 欧美日韩精品网址| 亚洲人成77777在线视频| 成人av在线播放网站| av片东京热男人的天堂| 999久久久精品免费观看国产| 日日干狠狠操夜夜爽| 精品一区二区三区av网在线观看| 天天躁狠狠躁夜夜躁狠狠躁| 国模一区二区三区四区视频 | 最新美女视频免费是黄的| 搡老岳熟女国产| 久9热在线精品视频| 老司机在亚洲福利影院| 国产午夜精品久久久久久| 亚洲av电影不卡..在线观看| 午夜影院日韩av| 非洲黑人性xxxx精品又粗又长| 999久久久国产精品视频| 青草久久国产| 国产亚洲精品av在线| 女生性感内裤真人,穿戴方法视频| 欧洲精品卡2卡3卡4卡5卡区| 色噜噜av男人的天堂激情| 非洲黑人性xxxx精品又粗又长| 亚洲专区国产一区二区| 深夜精品福利| 老司机午夜十八禁免费视频| 国产精品综合久久久久久久免费| 国产成人精品无人区| 一区二区三区国产精品乱码| 国内揄拍国产精品人妻在线| 午夜老司机福利片| 精品国产亚洲在线| 啪啪无遮挡十八禁网站| 国产亚洲精品av在线| 色综合站精品国产| 一级毛片精品| 黄色视频不卡| 50天的宝宝边吃奶边哭怎么回事| 黄片小视频在线播放| 黄色丝袜av网址大全| 久久国产乱子伦精品免费另类| 日韩高清综合在线| 日本成人三级电影网站| 日本 欧美在线| 久久久水蜜桃国产精品网| 后天国语完整版免费观看| 香蕉国产在线看| 午夜福利成人在线免费观看| 黄色 视频免费看| 午夜福利在线观看吧| 在线十欧美十亚洲十日本专区| 国产一区二区三区在线臀色熟女| 久久国产精品人妻蜜桃| 久久精品国产清高在天天线| 久久国产精品人妻蜜桃| 欧美黑人欧美精品刺激| 精品久久久久久久久久免费视频| 亚洲成人国产一区在线观看| 久久人妻av系列| 深夜精品福利| 啦啦啦韩国在线观看视频| 亚洲精品色激情综合| xxx96com| 国产精品一及| 欧美另类亚洲清纯唯美| 国产三级在线视频| 两人在一起打扑克的视频| 男女午夜视频在线观看| 国产区一区二久久| 久久人人精品亚洲av| 成年女人毛片免费观看观看9| 午夜影院日韩av| 又爽又黄无遮挡网站| 午夜福利18| 国产区一区二久久| 在线视频色国产色| 成年免费大片在线观看| 国产亚洲精品第一综合不卡| 久久这里只有精品19| 婷婷亚洲欧美| 我的老师免费观看完整版| 亚洲五月天丁香| 超碰成人久久| 身体一侧抽搐| 亚洲av成人av| 日韩欧美国产在线观看| 啦啦啦免费观看视频1| 亚洲一区高清亚洲精品| 亚洲精品一区av在线观看| 麻豆国产av国片精品| 无限看片的www在线观看| 免费av毛片视频| 国产97色在线日韩免费| 日本熟妇午夜| 亚洲av日韩精品久久久久久密| 日日夜夜操网爽| 美女高潮喷水抽搐中文字幕| www.熟女人妻精品国产| avwww免费| 日韩欧美在线二视频| 欧美午夜高清在线| 久久伊人香网站| 久久亚洲精品不卡| 可以免费在线观看a视频的电影网站| 久久久国产欧美日韩av| 国产单亲对白刺激| 国产成人系列免费观看| 日韩欧美三级三区| 免费观看人在逋| 久久人妻av系列| 色综合亚洲欧美另类图片| 亚洲男人的天堂狠狠| 日韩精品免费视频一区二区三区| 精品一区二区三区四区五区乱码| 亚洲精品在线观看二区| 国内精品久久久久久久电影| 村上凉子中文字幕在线| 少妇的丰满在线观看| 国产精品久久久av美女十八| 国产视频内射| 亚洲自拍偷在线| 老司机午夜福利在线观看视频| 少妇人妻一区二区三区视频| 五月玫瑰六月丁香| 亚洲精华国产精华精| 久久久久国产精品人妻aⅴ院| or卡值多少钱| 亚洲午夜理论影院| 少妇裸体淫交视频免费看高清 | 日本成人三级电影网站| 老鸭窝网址在线观看| 国产精品1区2区在线观看.| 啪啪无遮挡十八禁网站| 午夜激情av网站| 啪啪无遮挡十八禁网站| 亚洲av电影不卡..在线观看| 久久久精品大字幕| 亚洲成人国产一区在线观看| 精品第一国产精品| 五月玫瑰六月丁香| 看免费av毛片| 深夜精品福利| 91老司机精品| 丰满人妻一区二区三区视频av | 变态另类成人亚洲欧美熟女| 母亲3免费完整高清在线观看| 精品少妇一区二区三区视频日本电影| 中国美女看黄片| 中文亚洲av片在线观看爽| 国模一区二区三区四区视频 | 亚洲成人免费电影在线观看| 老鸭窝网址在线观看| 一边摸一边做爽爽视频免费| 国产精华一区二区三区| 亚洲欧美精品综合一区二区三区| 国产精品久久久久久人妻精品电影| 白带黄色成豆腐渣| 欧美黄色片欧美黄色片| 九色国产91popny在线| 国产私拍福利视频在线观看| 免费观看精品视频网站| 欧美性猛交黑人性爽| 亚洲一区二区三区不卡视频| 两个人视频免费观看高清| 婷婷精品国产亚洲av| 国产av又大| 婷婷精品国产亚洲av在线| 精品熟女少妇八av免费久了| 女人高潮潮喷娇喘18禁视频| 可以免费在线观看a视频的电影网站| 国产精品av视频在线免费观看| 日韩欧美在线二视频| 大型黄色视频在线免费观看| 欧美av亚洲av综合av国产av| 日本一二三区视频观看| 999久久久国产精品视频| www国产在线视频色| 国产真人三级小视频在线观看| 久久伊人香网站| 国产高清视频在线观看网站| 精品高清国产在线一区| 精品国产乱码久久久久久男人| 一二三四在线观看免费中文在| 欧美日韩福利视频一区二区| 国产野战对白在线观看| 久久午夜综合久久蜜桃| 精品久久久久久久毛片微露脸| 午夜激情av网站| 99在线视频只有这里精品首页| 国产亚洲精品第一综合不卡| 久久久久精品国产欧美久久久| 黄色视频不卡| 国产精品国产高清国产av| 91国产中文字幕| 人人妻人人澡欧美一区二区| 蜜桃久久精品国产亚洲av| 日本精品一区二区三区蜜桃| 在线观看舔阴道视频| 日本a在线网址| 亚洲中文字幕日韩| 99热6这里只有精品| 国产精品久久久人人做人人爽| 看片在线看免费视频| 午夜福利18| www.熟女人妻精品国产| 九九热线精品视视频播放| 手机成人av网站| 久久久久国内视频| 大型黄色视频在线免费观看|