• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    英語寫作AES系統(tǒng)評分效度的實證研究

    2016-04-21 06:47:35王海軍

    王海軍

    (浙江工業(yè)大學 之江學院,浙江 杭州 310024)

    ?

    英語寫作AES系統(tǒng)評分效度的實證研究

    王海軍

    (浙江工業(yè)大學 之江學院,浙江 杭州 310024)

    摘要:英語寫作自動評分系統(tǒng)(AES)在國外的英語寫作測試和教學領(lǐng)域應用越來越廣泛,但國內(nèi)對其信、效度的實證研究還十分欠缺。以句酷網(wǎng)為例,從人分散度、相關(guān)性和等級一致性等方面研究了AES系統(tǒng)的評分效度。結(jié)果表明,盡管機器評分區(qū)分度不如人工評分,但其總的評分效度尚可,其結(jié)果的穩(wěn)定性可以滿足國內(nèi)英語寫作課堂教學的需要。

    關(guān)鍵詞:英語寫作自動評分系統(tǒng);評分效度;句酷

    作文自動評分技術(shù)(AES,Automated Essay Scoring)是計算機給作文評價和評分的技術(shù)[1],自二十世紀六十年代問世以來,已經(jīng)取得了長足的進步。現(xiàn)階段,國外的寫作自動評分技術(shù)不僅應用于英語寫作的自動評分,還在英語寫作的課堂教學實踐中發(fā)揮了越來越重要的作用。

    機器自動評分具有節(jié)時省力效率高的特點,能使教師在很大程度上從繁重的寫作作業(yè)批閱中解放出來。國外的AES技術(shù)經(jīng)過多年的專家論證和實踐應用已經(jīng)相當成熟,其評分效度甚至高于人與人之間的評分效度。而國內(nèi)的AES系統(tǒng)由于起步較晚,其評分效度的實證研究目前還不多見。因此,本文以句酷網(wǎng)為例,分別從人分散度、相關(guān)性和等級一致性等指標來檢驗該系統(tǒng)的評分效度。

    一、國內(nèi)外AES系統(tǒng)評分效度研究綜述

    (一)評分效度研究的進展

    迄今為止,國外研發(fā)成功并投入使用的自動評分系統(tǒng)有十余種[2],其中最具代表性的有PEG、IEA、E-rater、IntelliMetric和Writing RoadmapTM。它們各具特色,PEG重語言形式,IEA 重作文內(nèi)容,其余幾種則既重形式又重內(nèi)容[3]。相關(guān)研究表明,國外主流的自動評分系統(tǒng)的評分效度指標如相關(guān)度、一致度或回歸系數(shù)等數(shù)據(jù)都非常理想,可以達到0.9以上。IEA的自動評分與人工評分之間的相關(guān)性為r=0.85[3]。而IntelliMetric的相關(guān)性也類似,達到了0.85~0.87,評分等級一致性(agreement)從1996年的50%左右上升到2002年的60%,相鄰一致性(分數(shù)相差一個等級)從95%左右上升到98%[1]。而E-rater的表現(xiàn)更好,其自動評分與人工評分之間的等級一致性一直高于97%[3],相關(guān)系數(shù)已經(jīng)高達r=0.87~0.97[4]。相對而言,PEG的表現(xiàn)稍微遜色一些,機器評分與人工評分之間的相關(guān)性為0.71,但同一研究中的人工評分之間的相關(guān)性僅為0.62[5],遜色于機器評分。此外,有研究表明,PEG的多元回歸系數(shù)可以高達R=0.877[3]。

    AES系統(tǒng)在中國起步較晚,從2005年梁茂成教授主持開發(fā)的“大規(guī)??荚囉⒄Z作文自動評分系統(tǒng)”算起,僅僅十年左右。除此之外,國內(nèi)現(xiàn)有以下幾種AES:write on,冰果,IntelliMetric, iWrite和2011年投入使用的“句酷批改網(wǎng)”(pigai.org)。

    目前國內(nèi)有關(guān)AES的研究主要集中于冰果、句酷等AES系統(tǒng)的課堂應用效果和對比人工批改與在線批改工具的差異等方面。而在評分效度方面,國內(nèi)主要有以下幾項研究:王鶯鶯通過對比200份作文的機器評分與人工評分研究了write on的評分效度[6]。結(jié)果表明,write on的機器評分與四名人工評分員的平均評分之間的平均相關(guān)性達到了0.62,評分效度尚可。何旭良對句酷網(wǎng)的評分效度研究結(jié)果表明:句酷批改網(wǎng)的自動評分效度稍高一些(r=0.69),但評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。同樣是研究句酷網(wǎng),汪珍珠的研究結(jié)論有些不同:句酷網(wǎng)的機器評分與人工評分的擬合度(R2)很低,只有0.45,評分效度遠低于國外的主流AES[8]。這幾項研究的結(jié)果表明:與國外相比,國內(nèi)的AES系統(tǒng)評分效度盡管可以接受,但還不夠理想,僅處于國外AES系統(tǒng)初級階段的水平。

    (二)評分效度研究的問題

    信度和效度對于任何語言測試來說都是非常重要的指標。信度是效度的基礎(chǔ),其通用定義是指測試結(jié)果是否可靠可信[9]。當代效度觀認為信度只是效度的一種證據(jù)。Messick認為[10],在進行效度驗證時需要盡可能多地收集各種數(shù)據(jù),這其中就包括信度,信度也因此成了其效度框架的一部分。而Weir在針對考試效度所提出的社會認知框架中將信度上升到了效度的高度,即評分效度(scoring validity)[11]。

    就AES系統(tǒng)而言,由于自動評分系統(tǒng)最終報告的是作文分數(shù),傳統(tǒng)的評分效度評估方法在某些情況下就不適用于AES系統(tǒng)或不能為使用者提供足夠的信息量了[1]。因此,AES系統(tǒng)的評分效度主要指在評分標準相同的情況下,機器自動評分與人工評分的相關(guān)性(consistency)或等級一致性(agreement)是否能達到人工評分的水平。而在實際操作中,我們不僅要考慮分數(shù)能否正確地評定學生的寫作等級(classification accuracy)[1],還要考慮分數(shù)的區(qū)分度(discrimination)或離散度,也就是李筱菊所說的人分散度(person separability)[9],即分數(shù)能否區(qū)分出受試者寫作水平的高低。除此之外,在考查評分效度時我們還需要考慮試題的難度(facility)等指標[9]。

    因此,在本研究中,AES系統(tǒng)的評分效度主要體現(xiàn)在相關(guān)性、等級一致性和人分散度上。

    與國外相比,國內(nèi)的AES評分效度實證研究方面主要存在以下幾個問題:第一,研究數(shù)量偏少,研究范圍偏窄。通過cnki搜索關(guān)鍵詞,截至2015年6月,僅搜到了三項有關(guān)國內(nèi)AES系統(tǒng)評分效度的實證研究:王鶯鶯(2012)[6]、何旭良(2013)[7]、汪珍珠、葉宬 (2014)[8]。根據(jù)上文的報告,有兩項研究的對象是句酷批改網(wǎng),一項是write on。目前還沒有針對冰果、IntelliMetric等AES系統(tǒng)的研究。第二,研究結(jié)論不一。王鶯鶯[6]與何旭良[7]的研究分別認為write on和句酷的評分效度尚可(均高于0.6),其中句酷批改網(wǎng)的信度稍高一些。汪珍珠、葉宬的研究結(jié)論是句酷批改網(wǎng)的評分效度很低,擬合度R2僅為0.45[8]。此外,何旭良(2013)還發(fā)現(xiàn)句酷批改網(wǎng)的評分顯著地高于人工評分,尚不能反映學生英語作文的真實水平[7]。第三,結(jié)論無可比性。王鶯鶯[6]與何旭良[7]的研究使用了Pearson相關(guān)系數(shù),汪珍珠的研究所使用的方法為回歸分析,因此,前二者與后者的研究結(jié)論無可比性,只能通過他們的分析來判斷AES評分效度的高低。

    (三)評分效度研究的趨勢

    鑒于國內(nèi)AES評分效度研究中存在的上述問題,本人認為今后在實證研究中還應在以下幾個方面取得突破:第一,建立系統(tǒng)科學的AES系統(tǒng)評分效度研究方法??梢越梃b國外的研究,統(tǒng)一AES系統(tǒng)評分研究所需數(shù)據(jù)的種類和研究方法,盡快建立AES系統(tǒng)評分效度研究的科學方法,解決不同研究的可比性問題。第二,增加橫向和縱向的比較。如上所述,國內(nèi)AES系統(tǒng)評分效度的實證研究數(shù)量很少,僅涉及到句酷網(wǎng)和write on。迄今為止,還沒有研究涉及到橫向?qū)Ρ葒鴥?nèi)不同AES系統(tǒng)的評分效度。另外,有些AES系統(tǒng)(如句酷網(wǎng))的語料庫是不斷更新的,相應地,其評分效度也會隨之發(fā)生變化,因此,我們需要大量的實證研究尤其是歷時研究對這種變化進行跟蹤調(diào)查。第三,拓寬研究范圍。大學的英語教學及很多大型語言測試均要求學生掌握不同文體的寫作。到目前為止,國內(nèi)在文體對AES系統(tǒng)評分的影響方面的研究還處于空白。盡管國外的研究得出的結(jié)論是文體對AES系統(tǒng)評分的信、效度影響有限,只占10%~20%[1],但國內(nèi)的AES系統(tǒng)是否對不同文體存在偏頗性還有待于通過實證研究加以證明。

    綜上所述,以句酷為代表的英語寫作網(wǎng)絡在線自動評分系統(tǒng)在中國的英語寫作教學中發(fā)揮了越來越大的作用,但國內(nèi)對句酷網(wǎng)的研究主要集中在介紹其基本功能、特點、教學效果等方面,而其信、效度的實證研究還不多見。評分效度是任何語言測試的基礎(chǔ),沒有評分效度,其他效度就無從談起。因此,本文主要以實證研究的方式探討句酷網(wǎng)的評分效度。

    天氣晴朗、水質(zhì)良好,小龍蝦活動吃食旺盛宜多投餌,鮮活餌料的日投餌量按體重的8%,高溫、陰雨天氣、發(fā)病季節(jié)、活動不正常少投餌,提高飼料利用率。

    二、AES系統(tǒng)評分效度的實證研究

    (一)研究樣本

    本研究的試驗對象為某大學2012級英語專業(yè)三年級的本科生。經(jīng)過分層抽樣,共有50名學生成為本研究的對象。試驗時間為2014年10月,學生在教師布置英語寫作任務之后,通過句酷網(wǎng)提交一篇說明文,與英語專業(yè)八級(TEM8)寫作難度相當。

    為了使人工評分和機器評分具有可比性,筆者將句酷網(wǎng)的作文打分標準設(shè)置成TEM8寫作打分格式,滿分為20分。同時,由于句酷網(wǎng)的語料庫經(jīng)常更新,其評分的參數(shù)也會隨之改變,這勢必會影響不同時間提交的作文得分。因此,在所有作文均提交之后,2015年3月筆者又重新提交了這些作文,所得的分數(shù)作為本研究的數(shù)據(jù)。

    參與本研究評分的人工評分員共有三人,他們均有多年英語專業(yè)高年級寫作教學經(jīng)驗,并多次參加過英語寫作的閱卷工作。在人工評分之前,筆者按照TEM8寫作分項式評分法對這三位評分員進行了嚴格的培訓。評分員在經(jīng)過兩輪共計20篇樣文的評分培訓之后,對TEM8作文評分標準的理解基本達到了一致水平。

    (二)研究方法

    本研究主要采用語言測試專家李筱菊[9]、Cizek & Page[1]有關(guān)語言測試評分效度的理論,從人分散度、相關(guān)性和等級一致性等指標來探討句酷網(wǎng)的評分效度。主要的研究問題包括:機器評分的難度、區(qū)分度、標準差等指標是否能達到人工評分的水平,同理,機器評分的相關(guān)性和等級一致性是否能達到人工評分的水平。

    Cizek & Page(2003)認為,考后復考等傳統(tǒng)的評分效度評估方法是不適用于AES的[1]。同一批作文,只要參數(shù)設(shè)置相同,不同的計算機使用同一AES所給出的評分結(jié)果肯定是一樣的。因此,正如上文所述,對于AES系統(tǒng)而言,我們需要考查的是,在同一評分標準下,機器評分與人工評分之間的一致性(agreement)或相關(guān)性(correlation)是否能達到人與人之間的一致或相關(guān)水平。在本研究中,相關(guān)性指人工評分與機器評分的Pearson相關(guān)系數(shù),而分數(shù)相差3分以內(nèi)(包括3分)即視為評分等級一致。此外,李筱菊(2001)認為,考試結(jié)果的分數(shù)要具有人分散度(person separability),即分數(shù)分布要散開[9],其主要指標包括區(qū)分度(discrimination)、標準差和難度。前人在AES評分效度的研究中對這些指標鮮有報告,但相關(guān)性很高的兩組數(shù)據(jù)整體差異也有可能非常大,因此,筆者認為在實證研究中有必要對這些數(shù)據(jù)進行報告和對比。

    (三)研究結(jié)果

    第一,人分散度。如上所述,人分散度主要體現(xiàn)在難度、標準差和區(qū)分度等指標上。表1報告了機器評分和人工評分的平均難度、標準差和區(qū)分度。從表1的結(jié)果來看,人工評分的平均難度值(0.70)稍低于機器評分(0.72),但相差不大。在標準差方面,人工評分(平均2.15)明顯好于機器評分(1.97),人工評分更加分散一些。但人工評分的標準差變化非常大(1.90~2.50),最低值甚至低于機器評分(R2=1.90),這說明不同的人工評分員在評分時寬嚴度掌握不一致。機器評分的平均區(qū)分度(0.18)十分不理想,低于人工評分(平均0.24),評分員1的評分在區(qū)分學生的寫作能力方面稍好一些(0.29),但與標準差類似,人工評分的區(qū)分度起伏也很大(0.20~0.29)。

    表1 機器評分與人工評分人分散度對照表(n=50)

    注:A=機器評分;R=人工評分。

    第二,相關(guān)性與等級一致性。表2報告了人工評分員之間、人工評分與機器評分之間的等級一致性和Pearson相關(guān)系數(shù)。從表2看,人工評分的等級一致性(0.90)與機器評分相當(0.89),但人工評分的等級一致性(0.82~0.96)不如機器評分(0.86~0.92)穩(wěn)定。相對而言,人工評分的Pearson相關(guān)系數(shù)(0.65)要好于機器評分(0.59),但從穩(wěn)定性上來說,人工評分(0.61~0.73)和機器評分(0.53~0.63)都差強人意。

    表2 機器評分與人工評分相關(guān)性和

    三、AES系統(tǒng)評分效度的討論

    上述數(shù)據(jù)的分析結(jié)果表明:句酷批改網(wǎng)自動評分系統(tǒng)的評分區(qū)分度有待于提高,但總的來說,其評分效度尚可接受。

    (一)評分效度的分析

    在人分散度這個指標上(表1),機器評分與人工評分的難度判斷幾乎是一致的,并未出現(xiàn)某些研究中報告的機器評分偏高問題[7]。如前文所述,句酷網(wǎng)的語料庫一直處于不斷更新之中,其評分有越來越低的趨勢,與人工評分越來越接近。但就標準差和區(qū)分度而言,機器評分明顯遜色于人工評分,這說明機器評分在寫作能力的區(qū)分上不如人工評分。事實上,盡管人工評分的區(qū)分度好于機器評分,但二者均不理想。一般認為,試題的區(qū)分度在0.3以上是比較理想的,而0.25左右僅僅是可以接受的水平。因此,如果說人工評分的區(qū)分度(0.24)勉強過關(guān),則機器評分的區(qū)分度(0.18)還亟需提高。

    就相關(guān)性而言,句酷網(wǎng)的自動評分尚可接受。盡管機器評分與人工評分的相關(guān)性總的來說只有0.59,但我們同時還發(fā)現(xiàn),就TEM8寫作評分來說,人工評分之間的相關(guān)性平均值也并不高,只有0.65(表2)。根據(jù)Stemler(2004)等人的研究,評分員之間的相關(guān)系數(shù)達到0.70左右才是可以接受的[12]。按照這個標準,不僅句酷批改網(wǎng)的評分效度不理想,人工評分也不例外。然而,國外的AES系統(tǒng)早期階段的相關(guān)性也沒有達到0.70這個理想的數(shù)值。在PEG最早的一次實驗中,人工評分員之間的平均相關(guān)性僅為0.55;在1994年的實驗中,這一數(shù)值更低,僅0.49;即便是在信度最高的1995年的實驗中,人工評分員之間的平均相關(guān)性也只有0.65[3]。可見,人工評分員之間想實現(xiàn)較理想的評分效度是很難的,更何況人工評分員與機器之間的相關(guān)性了。因此,與國外相比,本研究中的人工評分員之間的相關(guān)性是可以接受的,但機器評分的評分效度就稍稍偏低了,與前文所報告的處于高級階段的PEG的0.71[5]、IEA的0.85[3]還有差距,需要不斷完善。然而,國外的自動評分系統(tǒng)多采用等級制,即5~6個等級,而句酷網(wǎng)的TEM8寫作是從20分中為一篇作文選擇一個分數(shù),甚至整數(shù)分數(shù)后面還會出現(xiàn)半分,其評分難度無疑要大得多,因此,句酷網(wǎng)當前的相關(guān)性尚可接受。

    此外,在本研究中,機器評分(0.89)與人工評分(0.90)的等級一致性基本是一致的,同時,機器評分的穩(wěn)定性明顯好于人工評分(表2)。這說明,句酷批改網(wǎng)在執(zhí)行評分標準方面比人腦有優(yōu)勢,其中一個主要原因在于機器在評分時不會受到時間、地點、疲勞狀態(tài)、精神狀態(tài)等眾多因素的影響。

    綜上所述,句酷批改網(wǎng)的評分效度可以滿足風險較小的英語寫作的自動評分,如寫作課的英語寫作作業(yè)等,但還不能滿足風險較大的大型考試的需要。因此,其評分效度特別是區(qū)分度等指標仍有較大的提升空間。

    (二)評分效度改進的方法

    國外主流的AES系統(tǒng)在自動評分之前基本上都需要針對某次考試收集樣本,對系統(tǒng)進行培訓。一般而言,這種自動評分方法對于該次考試的作文評分效度較高,但不能用于其他考試的自動評分。事實也證明,國外的英語自動評分系統(tǒng)的評分效度早已高于人工評分[1]。與國外不同,句酷批改網(wǎng)是基于語料庫的作文在線自動評分系統(tǒng),不需要對系統(tǒng)進行培訓,可以為任何題目的作文評分,其核心算法是計算學生提交的作文與語料庫之間的距離,再通過映射將距離轉(zhuǎn)化成作文分數(shù)和評語。這種評分方法是把雙刃劍,優(yōu)缺點均很明顯。優(yōu)點是該自動評分系統(tǒng)可以為任何作文評分,很適合于英語寫作的課堂教學。缺點是,不對系統(tǒng)進行有針對性的培訓,句酷網(wǎng)在自動評分時對內(nèi)容的判斷就沒有了充分的依據(jù)。因此,目前句酷批改網(wǎng)對于“跑題”等嚴重的內(nèi)容問題還判斷不出來。即使作文跑題了,學生仍然可以利用較高級的詞匯和較長的句子輕而易舉地“騙過”計算機。國內(nèi)研究者謝賢春就曾指出,為了取得高分,有些學生有意“欺詐”或“取悅”電腦,通過“寫長”或簡單地“重復”某些段落“騙得”高分[13]??朔@一缺陷需要計算機在人工智能方面取得突破,如簡單知識的識別等。在目前階段,國內(nèi)機器自動評分系統(tǒng)在評閱風險較大的作文時還需要人工輔助,特別是在內(nèi)容識別方面。

    除此之外,為了提高評分效度,國內(nèi)的自動評分系統(tǒng)在語料的選擇上應有別于國外。二語寫作與母語寫作盡管總體模式相似,但二語作文使用的詞匯量更少,文本結(jié)構(gòu)更簡單,形式連接方式往往多于內(nèi)容連接方式,在準確性、流利性和有效性方面均遜色于母語作文,處于中介語階段[14]。這些特點決定了二語作文的評分標準應不同于母語作文,語言與內(nèi)容應同等重要。因此,筆者建議在選取語料時應借鑒并改進國外比較成熟的自動評分系統(tǒng)的技術(shù):利用作文訓練集對自動評分系統(tǒng)進行培訓,建立中介語語料庫。以TEM8寫作為例,應不分題目和體裁地廣泛搜集代表各分數(shù)段的作文,提取各個分數(shù)段與內(nèi)容無關(guān)的淺層文本特征,用于培訓自動評分系統(tǒng)。這個訓練集在每個分數(shù)上都應該有足夠的樣本,隨著樣本數(shù)量不斷累積,每個分數(shù)的樣本都能構(gòu)成一個獨立的語料庫,這樣對代表每個分數(shù)的淺層文本特征的提取將會越來越精確,自動評分在語言上的評分也會越來越接近人工評分。

    從本研究來看,句酷網(wǎng)的整體評分效度是可以接受的,盡管不能滿足對評分效度和社會使用效度等要求較高的大型測試,但目前的水平可以滿足英語寫作教學的課后或課堂作業(yè)的自動評分,這既能使英語寫作教師從繁重的作業(yè)批改任務中解放出來,也有助于在英語寫作課上實施形成性評估這一先進的評價手段。

    參考文獻:

    [1] SHERMIS M D, BURSTEIN J. Automated essay scoring: A cross-disciplinary perspective[M]. Mahwah, NJ: Lawrence Erlbaum Associates, 2003:vii, xiii, 25-27,76,95,125-146,128,142-143.

    [2] 石曉玲.在線寫作自動評改系統(tǒng)在大學英語寫作教學中的應用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012(10):67-71.

    [3] 梁茂成, 文秋芳. 國外作文自動評分系統(tǒng)評述及啟示[J]. 外語電化教學, 2007 (5): 18-24.

    [4] CHOI I C. A validation of EFL essay assessment based on corpus indices and error analysis[J]. Multimedia-assisted language learning, 2012 (4): 39-60.

    [5] SHERMIS M D, MZUMAIA H R, OLSON J, et al. On-line grading of students essays:PEG goes on the world wide web[J]. Assessment & education in higher education, 2001(3):247-259.

    [6] 王鶯鶯.《新視野大學英語》作文自動評分系統(tǒng)的效度研究[J].當代教育理論與實踐, 2012 (12): 139-142.

    [7] 何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù), 2013 (5): 64-67.

    [8] 汪珍珠,葉宬. 英語作文在線批改模式的實證研究[J]. 長沙鐵道學院學報,2014 (1): 161-163.

    [9] 李筱菊. 語言測試科學與藝術(shù)[M]. 第2版. 長沙: 湖南教育出版社, 2001:34-36.

    [10] MESSICK S. Validity[C]//Linn R L. Educational measurement (3rdEd.). NewYork: Ma cmillan, 1989:13.

    [11] WEIR C J. Language testing and validation: an evidence-based approach [M]. Basin gstoke, Hampshire: Palg rave Ma cmillan, 2005:11-39.

    [12] STEMLER S E. A comparison of consensus, consistency, and measurement approaches to estimating interrater reliability[EB/OL].[2015-05-03].http://pareonline.net/getvn.asp?v=9&n=4.

    [13] 謝賢春. 英語作文自動評分及其效度、信度與可操作性探討[J].江西師范大學學報(哲學社會科學版), 2010(2):136-140.

    [14] SILVA T.Toward an understanding of the distinct nature of L2 writing: The ESL research and its implications[J]. TESOL Quarterly, 1993(4):657-677.

    (責任編輯:薛蓉)

    An empirical research into scoring validity of AES

    WANG Haijun

    (Zhijiang College, Zhejiang University of Technology, Hangzhou 310024, China)

    Abstract:Although AES is playing a more and more important part in English writing tests and teaching abroad, little empirical research has been carried out into its reliability and validity in China. The research, a case study of Juku AES, investigated its scoring validity from the perspectives of person separability, consistency and classification agreement. It is concluded that the scoring validity of Juku is so adequate as to satisfy the needs of English classroom writing tasks in spite of its relatively poorer discrimination.

    Keywords:AES; scoring validity; Juku

    中圖分類號:H319

    文獻標志碼:A

    文章編號:1006-4303(2016)01-0089-05

    作者簡介:王海軍(1975—),男,黑龍江蘭西人,講師,碩士,從事語言教學與測試研究。

    基金項目:浙江省社科規(guī)劃課題(16NDJC213YB);浙江省高等教育課堂教學改革研究項目(kg2013525);紹興市高等教育課堂教學改革項目(紹市教高[2014]135號);浙江工業(yè)大學人文社科研究基金(GZ152105012800)

    收稿日期:2015-09-03

    av电影中文网址| 亚洲成人免费电影在线观看| 十八禁高潮呻吟视频| a级片在线免费高清观看视频| 19禁男女啪啪无遮挡网站| 丝袜人妻中文字幕| 久久久精品国产亚洲av高清涩受| 欧美人与性动交α欧美精品济南到| www.精华液| 欧美 亚洲 国产 日韩一| 麻豆乱淫一区二区| 97在线人人人人妻| 午夜福利一区二区在线看| 中文字幕另类日韩欧美亚洲嫩草| 一本—道久久a久久精品蜜桃钙片| 菩萨蛮人人尽说江南好唐韦庄| 免费在线观看日本一区| 两个人看的免费小视频| 天天躁日日躁夜夜躁夜夜| 日韩欧美国产一区二区入口| www.av在线官网国产| 成年美女黄网站色视频大全免费| 免费不卡黄色视频| 高清欧美精品videossex| 18禁观看日本| 99re6热这里在线精品视频| 亚洲av国产av综合av卡| 精品第一国产精品| 婷婷色av中文字幕| 深夜精品福利| 汤姆久久久久久久影院中文字幕| 欧美一级毛片孕妇| 99国产精品一区二区三区| 极品少妇高潮喷水抽搐| 少妇裸体淫交视频免费看高清 | 老司机亚洲免费影院| 国产日韩欧美亚洲二区| 欧美变态另类bdsm刘玥| 视频在线观看一区二区三区| 国产成人啪精品午夜网站| 欧美性长视频在线观看| 国产精品麻豆人妻色哟哟久久| 国产一区二区三区在线臀色熟女 | 三上悠亚av全集在线观看| a级片在线免费高清观看视频| 又大又爽又粗| 久久综合国产亚洲精品| 亚洲国产欧美日韩在线播放| 日韩三级视频一区二区三区| 久久香蕉激情| 窝窝影院91人妻| 婷婷成人精品国产| 久久亚洲国产成人精品v| 麻豆av在线久日| 亚洲精品国产一区二区精华液| 夜夜骑夜夜射夜夜干| 国产野战对白在线观看| 精品免费久久久久久久清纯 | 国产极品粉嫩免费观看在线| 亚洲国产欧美网| 午夜免费成人在线视频| 久久中文字幕一级| 高清av免费在线| www日本在线高清视频| 精品亚洲成a人片在线观看| 久久女婷五月综合色啪小说| 亚洲国产欧美在线一区| 手机成人av网站| 亚洲国产看品久久| 伊人亚洲综合成人网| 欧美国产精品一级二级三级| 亚洲精品成人av观看孕妇| 久久毛片免费看一区二区三区| 久久久久国内视频| 淫妇啪啪啪对白视频 | 午夜福利在线免费观看网站| 一本—道久久a久久精品蜜桃钙片| 天天躁日日躁夜夜躁夜夜| 国产野战对白在线观看| 99国产精品一区二区蜜桃av | 老司机午夜十八禁免费视频| 日日摸夜夜添夜夜添小说| 丝袜在线中文字幕| 国产精品二区激情视频| a在线观看视频网站| 欧美大码av| 亚洲五月色婷婷综合| 久久天堂一区二区三区四区| 超色免费av| 黑人欧美特级aaaaaa片| 欧美+亚洲+日韩+国产| 日本黄色日本黄色录像| av福利片在线| 久久国产亚洲av麻豆专区| 中文字幕制服av| 国产欧美亚洲国产| 日韩人妻精品一区2区三区| 爱豆传媒免费全集在线观看| 国产精品99久久99久久久不卡| 精品视频人人做人人爽| 国产黄频视频在线观看| 日日夜夜操网爽| 午夜视频精品福利| 成人免费观看视频高清| 人妻久久中文字幕网| 亚洲va日本ⅴa欧美va伊人久久 | 少妇人妻久久综合中文| 中国美女看黄片| 日韩中文字幕视频在线看片| 男人爽女人下面视频在线观看| 国产主播在线观看一区二区| 香蕉国产在线看| 亚洲国产精品一区三区| 欧美 日韩 精品 国产| 岛国毛片在线播放| 国产精品亚洲av一区麻豆| 热99国产精品久久久久久7| 亚洲国产看品久久| 亚洲一卡2卡3卡4卡5卡精品中文| 久久精品国产综合久久久| 波多野结衣av一区二区av| 亚洲av日韩在线播放| 精品一区在线观看国产| 黄色 视频免费看| 欧美日韩中文字幕国产精品一区二区三区 | 男女之事视频高清在线观看| 精品第一国产精品| 天天躁狠狠躁夜夜躁狠狠躁| 欧美日韩成人在线一区二区| 美国免费a级毛片| 欧美在线黄色| 国产黄色免费在线视频| 脱女人内裤的视频| 国产日韩欧美在线精品| 最近最新免费中文字幕在线| 久久国产精品人妻蜜桃| 老熟妇仑乱视频hdxx| 成人免费观看视频高清| 夫妻午夜视频| 999久久久国产精品视频| 亚洲性夜色夜夜综合| 777米奇影视久久| 97精品久久久久久久久久精品| 午夜福利,免费看| 国产熟女午夜一区二区三区| 超碰成人久久| 99国产精品免费福利视频| 菩萨蛮人人尽说江南好唐韦庄| 美女国产高潮福利片在线看| 久久久水蜜桃国产精品网| 国产欧美日韩综合在线一区二区| 天天躁日日躁夜夜躁夜夜| 在线观看免费视频网站a站| 在线观看免费日韩欧美大片| 热re99久久国产66热| 国产一区有黄有色的免费视频| 亚洲精品日韩在线中文字幕| 啦啦啦在线免费观看视频4| 国产野战对白在线观看| 如日韩欧美国产精品一区二区三区| 在线观看免费高清a一片| 精品亚洲成a人片在线观看| 亚洲精华国产精华精| 青春草亚洲视频在线观看| 国产欧美日韩一区二区三区在线| 纵有疾风起免费观看全集完整版| 国精品久久久久久国模美| 国产亚洲精品第一综合不卡| 成人黄色视频免费在线看| 国产成+人综合+亚洲专区| 亚洲精品久久成人aⅴ小说| 在线观看免费日韩欧美大片| 老司机亚洲免费影院| 美女高潮喷水抽搐中文字幕| 免费不卡黄色视频| 一边摸一边做爽爽视频免费| 少妇被粗大的猛进出69影院| 国产国语露脸激情在线看| 少妇猛男粗大的猛烈进出视频| 黑人巨大精品欧美一区二区mp4| 久久久水蜜桃国产精品网| 国产成人欧美在线观看 | av不卡在线播放| 一个人免费看片子| 日韩有码中文字幕| 一边摸一边抽搐一进一出视频| 国产精品久久久人人做人人爽| 如日韩欧美国产精品一区二区三区| 女人爽到高潮嗷嗷叫在线视频| 精品人妻在线不人妻| 波多野结衣一区麻豆| 午夜福利影视在线免费观看| 国产精品二区激情视频| www.精华液| 999久久久国产精品视频| 69av精品久久久久久 | 亚洲成人免费电影在线观看| 人妻 亚洲 视频| 欧美日韩中文字幕国产精品一区二区三区 | 久久久国产成人免费| 国产精品 欧美亚洲| 免费日韩欧美在线观看| 男女午夜视频在线观看| 色94色欧美一区二区| 日韩有码中文字幕| 91精品伊人久久大香线蕉| 狠狠精品人妻久久久久久综合| 国产欧美亚洲国产| 在线观看免费午夜福利视频| 精品国内亚洲2022精品成人 | 一区二区三区精品91| 久久ye,这里只有精品| 黄网站色视频无遮挡免费观看| 国产精品国产av在线观看| 这个男人来自地球电影免费观看| 青青草视频在线视频观看| 精品亚洲成a人片在线观看| a在线观看视频网站| av电影中文网址| 国产伦理片在线播放av一区| 自拍欧美九色日韩亚洲蝌蚪91| 999久久久精品免费观看国产| 99国产综合亚洲精品| 久久久久精品国产欧美久久久 | 制服诱惑二区| 侵犯人妻中文字幕一二三四区| 成人免费观看视频高清| 淫妇啪啪啪对白视频 | 99久久精品国产亚洲精品| 国产精品一区二区精品视频观看| 中文字幕另类日韩欧美亚洲嫩草| 美女福利国产在线| 亚洲男人天堂网一区| 国产区一区二久久| 精品国产超薄肉色丝袜足j| 免费观看人在逋| 久久综合国产亚洲精品| 国产免费av片在线观看野外av| 免费不卡黄色视频| 国产欧美日韩一区二区三区在线| 在线观看免费日韩欧美大片| 狂野欧美激情性bbbbbb| 天堂中文最新版在线下载| 波多野结衣一区麻豆| 国产免费一区二区三区四区乱码| 99re6热这里在线精品视频| av网站在线播放免费| 999久久久国产精品视频| 亚洲精华国产精华精| 丰满少妇做爰视频| 国产精品.久久久| 多毛熟女@视频| 日韩欧美国产一区二区入口| 欧美日韩一级在线毛片| 黄网站色视频无遮挡免费观看| 欧美变态另类bdsm刘玥| 久久精品成人免费网站| 超碰成人久久| 欧美日韩亚洲综合一区二区三区_| 午夜免费鲁丝| 久久久欧美国产精品| 日本vs欧美在线观看视频| 妹子高潮喷水视频| 一级,二级,三级黄色视频| 黑人操中国人逼视频| 午夜福利乱码中文字幕| 自拍欧美九色日韩亚洲蝌蚪91| 自线自在国产av| 久久久久国内视频| 欧美精品亚洲一区二区| 国产成人精品无人区| 精品少妇内射三级| 国产一区二区激情短视频 | 视频区欧美日本亚洲| 伦理电影免费视频| 日韩欧美一区视频在线观看| 成年女人毛片免费观看观看9 | 在线观看免费高清a一片| 18禁国产床啪视频网站| av网站在线播放免费| 精品亚洲乱码少妇综合久久| 最黄视频免费看| 久久国产精品影院| 纵有疾风起免费观看全集完整版| 久久精品亚洲熟妇少妇任你| 免费观看av网站的网址| 黑人操中国人逼视频| 国产在线视频一区二区| 青青草视频在线视频观看| 午夜免费观看性视频| 各种免费的搞黄视频| 成人av一区二区三区在线看 | av线在线观看网站| 视频区图区小说| 婷婷色av中文字幕| 欧美精品一区二区免费开放| 国产视频一区二区在线看| 性色av乱码一区二区三区2| 一级毛片精品| 成年人免费黄色播放视频| 中国国产av一级| 啦啦啦免费观看视频1| 免费不卡黄色视频| 十八禁高潮呻吟视频| 欧美日韩福利视频一区二区| 黄色 视频免费看| 大香蕉久久成人网| 天堂俺去俺来也www色官网| 69av精品久久久久久 | 久久国产精品男人的天堂亚洲| 亚洲国产av新网站| 亚洲精品国产av蜜桃| 日本av免费视频播放| 亚洲精品成人av观看孕妇| 永久免费av网站大全| 又黄又粗又硬又大视频| 91成年电影在线观看| 我的亚洲天堂| 美女高潮喷水抽搐中文字幕| 天堂8中文在线网| 免费少妇av软件| 最新在线观看一区二区三区| av天堂在线播放| tocl精华| 999久久久精品免费观看国产| 免费看十八禁软件| 亚洲欧美精品综合一区二区三区| 永久免费av网站大全| 国产成+人综合+亚洲专区| 女性生殖器流出的白浆| 精品少妇内射三级| 国产精品.久久久| 一级毛片女人18水好多| 国产不卡av网站在线观看| 中文字幕色久视频| 日韩制服丝袜自拍偷拍| 黄色片一级片一级黄色片| 女人被躁到高潮嗷嗷叫费观| 日本一区二区免费在线视频| 三上悠亚av全集在线观看| 久9热在线精品视频| 亚洲成人免费电影在线观看| 国产精品成人在线| 韩国高清视频一区二区三区| 国产一区二区三区av在线| 亚洲五月色婷婷综合| 一级,二级,三级黄色视频| 丝袜脚勾引网站| 成年美女黄网站色视频大全免费| 久久久久网色| 老鸭窝网址在线观看| 五月天丁香电影| 肉色欧美久久久久久久蜜桃| 老司机影院成人| 香蕉丝袜av| 一区二区三区乱码不卡18| 天天添夜夜摸| 咕卡用的链子| 国产有黄有色有爽视频| 无限看片的www在线观看| 欧美日韩亚洲综合一区二区三区_| 午夜91福利影院| videosex国产| av电影中文网址| 国产有黄有色有爽视频| 在线十欧美十亚洲十日本专区| 成年美女黄网站色视频大全免费| 一边摸一边抽搐一进一出视频| 亚洲国产精品一区二区三区在线| 欧美日韩av久久| 欧美精品人与动牲交sv欧美| 99热全是精品| 亚洲av国产av综合av卡| 另类精品久久| 久久香蕉激情| av线在线观看网站| 爱豆传媒免费全集在线观看| 日韩精品免费视频一区二区三区| 一级毛片电影观看| 人妻一区二区av| 精品一区二区三区av网在线观看 | 成在线人永久免费视频| 美国免费a级毛片| 中文字幕人妻丝袜制服| 热99国产精品久久久久久7| 亚洲av日韩在线播放| 成年人午夜在线观看视频| 欧美精品一区二区大全| 国产精品免费视频内射| 久久性视频一级片| 午夜视频精品福利| 亚洲伊人久久精品综合| 免费黄频网站在线观看国产| 日本猛色少妇xxxxx猛交久久| 久久精品熟女亚洲av麻豆精品| 国产成人啪精品午夜网站| 午夜福利一区二区在线看| 亚洲精品国产色婷婷电影| 久久久欧美国产精品| 亚洲av电影在线观看一区二区三区| 国产av一区二区精品久久| 国产精品一区二区在线不卡| 99国产精品免费福利视频| xxxhd国产人妻xxx| 啦啦啦 在线观看视频| 日日爽夜夜爽网站| 俄罗斯特黄特色一大片| 美女国产高潮福利片在线看| 汤姆久久久久久久影院中文字幕| 美女视频免费永久观看网站| 18禁黄网站禁片午夜丰满| 久久久久久人人人人人| 99精品久久久久人妻精品| 中文字幕制服av| 精品久久久久久电影网| 久久国产精品男人的天堂亚洲| 国产精品免费大片| 91麻豆精品激情在线观看国产 | 国产一区二区三区在线臀色熟女 | 国产黄频视频在线观看| 18禁观看日本| 各种免费的搞黄视频| 国产精品香港三级国产av潘金莲| 欧美大码av| 欧美激情高清一区二区三区| 在线 av 中文字幕| a在线观看视频网站| 亚洲精品中文字幕在线视频| 精品久久久久久电影网| 国产淫语在线视频| 中文字幕最新亚洲高清| 国产在线免费精品| 欧美人与性动交α欧美软件| 亚洲精品自拍成人| 国产精品久久久久久精品古装| 18禁黄网站禁片午夜丰满| 精品人妻一区二区三区麻豆| 中文精品一卡2卡3卡4更新| 在线观看免费视频网站a站| 国产一区二区三区综合在线观看| 看免费av毛片| 国产一区二区三区在线臀色熟女 | 成人手机av| 欧美日韩亚洲高清精品| 操美女的视频在线观看| 美女中出高潮动态图| 欧美另类一区| 91精品三级在线观看| 精品少妇内射三级| 永久免费av网站大全| 亚洲欧美激情在线| 91国产中文字幕| 亚洲全国av大片| 夜夜夜夜夜久久久久| 成年动漫av网址| 搡老乐熟女国产| 欧美激情极品国产一区二区三区| 搡老熟女国产l中国老女人| 纵有疾风起免费观看全集完整版| 在线观看www视频免费| av福利片在线| 国产日韩欧美在线精品| 国产人伦9x9x在线观看| 久久久水蜜桃国产精品网| 亚洲欧美一区二区三区久久| 母亲3免费完整高清在线观看| 一边摸一边做爽爽视频免费| 午夜精品久久久久久毛片777| 韩国精品一区二区三区| 美女扒开内裤让男人捅视频| 十八禁网站网址无遮挡| 美女福利国产在线| 永久免费av网站大全| 丰满饥渴人妻一区二区三| av福利片在线| 国产xxxxx性猛交| 男女高潮啪啪啪动态图| 国产亚洲欧美在线一区二区| 成年人午夜在线观看视频| 免费人妻精品一区二区三区视频| 乱人伦中国视频| 91麻豆av在线| 99精品欧美一区二区三区四区| 99国产精品99久久久久| 天天操日日干夜夜撸| 国产精品一二三区在线看| 中文欧美无线码| 成人国产一区最新在线观看| 老司机福利观看| 1024香蕉在线观看| 真人做人爱边吃奶动态| 亚洲七黄色美女视频| 国产亚洲一区二区精品| 亚洲国产av影院在线观看| 日本欧美视频一区| 久久国产精品人妻蜜桃| 美女脱内裤让男人舔精品视频| av免费在线观看网站| 国产av又大| 波多野结衣av一区二区av| 搡老乐熟女国产| 久久女婷五月综合色啪小说| 人妻人人澡人人爽人人| 91av网站免费观看| 亚洲精品成人av观看孕妇| 人人妻人人澡人人看| 国产精品香港三级国产av潘金莲| 精品国内亚洲2022精品成人 | 日韩 欧美 亚洲 中文字幕| 久久综合国产亚洲精品| 91成年电影在线观看| 成年人午夜在线观看视频| 如日韩欧美国产精品一区二区三区| videos熟女内射| 搡老乐熟女国产| 免费高清在线观看日韩| 亚洲欧美日韩另类电影网站| 极品人妻少妇av视频| 日韩欧美一区二区三区在线观看 | 两人在一起打扑克的视频| 另类亚洲欧美激情| 亚洲国产欧美网| 午夜福利在线观看吧| 日韩制服丝袜自拍偷拍| 欧美少妇被猛烈插入视频| www.av在线官网国产| 成年人午夜在线观看视频| 久久久国产成人免费| 女人高潮潮喷娇喘18禁视频| 亚洲国产av影院在线观看| 男女午夜视频在线观看| 中国国产av一级| 成在线人永久免费视频| 亚洲va日本ⅴa欧美va伊人久久 | 少妇猛男粗大的猛烈进出视频| 亚洲黑人精品在线| 少妇粗大呻吟视频| 美女扒开内裤让男人捅视频| 国产三级黄色录像| 国产精品1区2区在线观看. | 少妇裸体淫交视频免费看高清 | 久久人妻熟女aⅴ| 超碰97精品在线观看| 最新在线观看一区二区三区| 一本一本久久a久久精品综合妖精| 国产成+人综合+亚洲专区| 两性夫妻黄色片| 国产精品久久久av美女十八| 久久青草综合色| 亚洲七黄色美女视频| 女人被躁到高潮嗷嗷叫费观| 国产激情久久老熟女| 亚洲精品粉嫩美女一区| 日韩 亚洲 欧美在线| 久久精品久久久久久噜噜老黄| 久久精品aⅴ一区二区三区四区| 啦啦啦在线免费观看视频4| 国产精品久久久久久人妻精品电影 | 精品亚洲成国产av| 久久影院123| 99国产综合亚洲精品| 动漫黄色视频在线观看| av又黄又爽大尺度在线免费看| 亚洲成av片中文字幕在线观看| 欧美精品啪啪一区二区三区 | 黄网站色视频无遮挡免费观看| 十分钟在线观看高清视频www| 99精品欧美一区二区三区四区| 老司机亚洲免费影院| 99热国产这里只有精品6| 成年动漫av网址| 亚洲av片天天在线观看| 黄片大片在线免费观看| 日本欧美视频一区| 91精品国产国语对白视频| 欧美精品人与动牲交sv欧美| 亚洲精品一区蜜桃| 久久人人爽av亚洲精品天堂| 精品免费久久久久久久清纯 | 韩国高清视频一区二区三区| 精品久久蜜臀av无| 女人久久www免费人成看片| 国产精品一区二区精品视频观看| 99久久精品国产亚洲精品| 在线精品无人区一区二区三| 下体分泌物呈黄色| 日本撒尿小便嘘嘘汇集6| a级片在线免费高清观看视频| 欧美 亚洲 国产 日韩一| 精品国产乱码久久久久久小说| 久久毛片免费看一区二区三区| 一本综合久久免费| 制服诱惑二区| 久热这里只有精品99| 美国免费a级毛片| 69精品国产乱码久久久| 国产免费av片在线观看野外av| 国产成+人综合+亚洲专区| 别揉我奶头~嗯~啊~动态视频 | 日日摸夜夜添夜夜添小说| 久久久久国内视频| 亚洲欧美色中文字幕在线| 99国产精品99久久久久| 在线观看免费日韩欧美大片| 精品视频人人做人人爽| 午夜91福利影院| 麻豆国产av国片精品| 欧美变态另类bdsm刘玥| 欧美人与性动交α欧美软件| 操出白浆在线播放| a级片在线免费高清观看视频| 国产老妇伦熟女老妇高清| 亚洲人成电影免费在线| 亚洲成人国产一区在线观看| 成年人午夜在线观看视频|