• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)

    2019-10-08 06:27:21肖靈云侯開(kāi)虎戴洪濤
    軟件 2019年6期
    關(guān)鍵詞:自然語(yǔ)言處理深度學(xué)習(xí)

    肖靈云 侯開(kāi)虎 戴洪濤

    摘 ?要: 自動(dòng)評(píng)分方法是教育中實(shí)現(xiàn)計(jì)算機(jī)評(píng)分的一項(xiàng)研究,經(jīng)過(guò)歸結(jié)、分析國(guó)內(nèi)外自動(dòng)評(píng)分方法及最新的科研成果,完善對(duì)自動(dòng)評(píng)分方法的研究,便于快速學(xué)習(xí)和把握自動(dòng)評(píng)分方法,了解該領(lǐng)域的發(fā)展現(xiàn)狀及趨勢(shì)。經(jīng)過(guò)對(duì)過(guò)去該領(lǐng)域經(jīng)典文獻(xiàn)整理,分析不同自動(dòng)評(píng)分方法的運(yùn)用思想、優(yōu)劣勢(shì),總結(jié)每種計(jì)算方法的側(cè)重點(diǎn)及最新的應(yīng)用進(jìn)展。本文從國(guó)內(nèi)外自動(dòng)評(píng)分方法兩方面進(jìn)行闡述,形成較為清晰的思路。指出基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法為主流方法,基于深度學(xué)習(xí)的自動(dòng)評(píng)分方法(CNN、RNN、LSTM)將成為該領(lǐng)域的發(fā)展趨勢(shì),有助于全面把握和深刻了解自動(dòng)評(píng)分方法的現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    關(guān)鍵詞: 自動(dòng)評(píng)分方法;自然語(yǔ)言處理;深度學(xué)習(xí);CNN;RNN;LSTM

    中圖分類(lèi)號(hào): TP391.41 ? ?文獻(xiàn)標(biāo)識(shí)碼: A ? ?DOI:10.3969/j.issn.1003-6970.2019.06.035

    本文著錄格式:肖靈云,侯開(kāi)虎,戴洪濤,等. 自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)[J]. 軟件,2019,40(6):153156

    【Abstract】: The automatic scoring method is a study of computer scoring in education. It is based on the analysis of domestic and international automatic scoring methods and the latest scientific research results, perfecting the research on automatic scoring methods, facilitating rapid learning and grasping the automatic scoring method. To understand the development status and trends in this field. After reviewing the classic literatures in the past, analyze the application ideas, advantages and disadvantages of different automatic scoring methods, and summarize the focus of each calculation method and the latest application progress. This paper elaborates on two aspects of automatic scoring methods at home and abroad, and forms a clearer idea. It is pointed out that the automatic scoring method based on natural language processing is the mainstream method. The automatic scoring method based on deep learning (CNN, RNN, LSTM) will become the development trend in this field, which will help to fully grasp and deeply understand the current status and future of the automatic scoring method and development trend.

    【Key words】: Automatic scoring method; Natural language processing; Deep learning; CNN; RNN; LSTM

    0 ?引言

    自動(dòng)評(píng)分技術(shù)就是借助于計(jì)算機(jī)和有關(guān)科學(xué)技術(shù)通過(guò)網(wǎng)絡(luò)平臺(tái)來(lái)輔助人工評(píng)分的一項(xiàng)技術(shù)。最近這些年,很多學(xué)者對(duì)各種評(píng)分方法的較為重視,特別是對(duì)主觀題的評(píng)分,利用自動(dòng)評(píng)分方法可以幫助閱卷者快速、準(zhǔn)確、公平公正的評(píng)分,以達(dá)到減少人力、物力、財(cái)力的目的。因此,全面把握和了解自動(dòng)評(píng)分的方法研究發(fā)展現(xiàn)狀及趨勢(shì)具有非常大的現(xiàn)實(shí)意義。目前,國(guó)內(nèi)外已經(jīng)實(shí)現(xiàn)了對(duì)英語(yǔ)作文的自動(dòng)評(píng)分,漢語(yǔ)考試中的單選題、多選題的批改技術(shù)也相當(dāng)成熟。而主觀題自動(dòng)評(píng)分方法由于涉及到人工智能、模式識(shí)別和自然語(yǔ)言理解等多方面的理論知識(shí),因此,對(duì)比較多的主觀試題如名稱(chēng)解釋題、簡(jiǎn)答題、論述題等諸多問(wèn)題的自動(dòng)評(píng)分方法還沒(méi)有取得令人非常滿(mǎn)意的理想結(jié)果。有些在技術(shù)上的問(wèn)題仍然沒(méi)有得到很好的解決,所以,實(shí)現(xiàn)主觀試題自動(dòng)評(píng)分已經(jīng)成為在線考試系統(tǒng)中的一個(gè)技術(shù)重點(diǎn)和難點(diǎn)[1]。

    主觀題可以分為長(zhǎng)文本主觀題和短文本主觀題,長(zhǎng)文本主觀題包括文檔、篇章,短文本主觀題包括簡(jiǎn)答、論述。到目前為止,大多數(shù)自動(dòng)評(píng)分的方法主要是針對(duì)答案比較短的短文本的主觀題進(jìn)行評(píng)分。由于漢語(yǔ)具有獨(dú)特的特點(diǎn),其表達(dá)方式不僅多樣化,而且還具有復(fù)雜性,所以主觀題自動(dòng)評(píng)分方法涉及到文本語(yǔ)義理解的問(wèn)題。國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多不明白的技術(shù)問(wèn)題,主觀試題自動(dòng)評(píng)分方法仍不能很好的應(yīng)用于實(shí)踐當(dāng)中[1]。主觀題自動(dòng)評(píng)分不但可以排除閱卷人的主觀因素的作用,使得評(píng)分結(jié)果有據(jù)所依,客觀并有說(shuō)服力。而且可以大大減輕閱卷者的負(fù)擔(dān),對(duì)主觀題自動(dòng)評(píng)分方法的研究具有很大的實(shí)用意義[1]。

    1 ?國(guó)內(nèi)外自動(dòng)評(píng)分方法及其優(yōu)缺點(diǎn)

    1.1 ?國(guó)外自動(dòng)評(píng)分方法

    國(guó)外專(zhuān)注于研究主觀題自動(dòng)評(píng)分方法的時(shí)間相對(duì)國(guó)內(nèi)比較早,并取得了一系列的科技研究成果,其中針對(duì)短文本主觀題的自動(dòng)評(píng)分系統(tǒng)主要有 Auto Mark、ATM 等,針對(duì)長(zhǎng)文本主觀題的主要有 PEG、IEA、E-rater等。PEG(Project Essay Grad) 系統(tǒng)主要運(yùn)用統(tǒng)計(jì)學(xué)原理知識(shí)把文章的淺層語(yǔ)言形式特征的相似度作為主要評(píng)分依據(jù),是一個(gè)規(guī)模比較大的作文評(píng)分系統(tǒng),被看作是自動(dòng)評(píng)分領(lǐng)域的開(kāi)拓者[2]。由于沒(méi)有考慮文章的構(gòu)造內(nèi)容和語(yǔ)義信息,不能很好的理解文本內(nèi)容,因而該系統(tǒng)的效果不太好。

    IEA(Intelligent ?Essay ?Assessor)是由Hearst[2]等人開(kāi)發(fā)出的基于隱含語(yǔ)義分析技術(shù)(Latent Semantic Analysis, LSA)的作文評(píng)分系統(tǒng)。IEA既考慮了語(yǔ)義信息和文本內(nèi)容,又關(guān)注文本內(nèi)容的質(zhì)量,挖掘內(nèi)容的語(yǔ)義信息。LSA 沒(méi)考慮詞序,只能片面地反應(yīng)句子語(yǔ)義。IEA評(píng)分系統(tǒng)對(duì)社會(huì)科學(xué)、歷史學(xué)等說(shuō)明性文章可以進(jìn)行評(píng)分,但對(duì)事實(shí)性文章不太適合,能夠計(jì)算大規(guī)模、詞量豐富的文本的相似度,但對(duì)短文本、詞量較少的文本其向量空間會(huì)存在很多孤立點(diǎn)。

    E-Rater(Electronic Essay Rater)是為了評(píng)估GMAT 考試中的英文寫(xiě)作能力而研發(fā)的計(jì)算機(jī)程序[3]。E-rater綜合應(yīng)用了NLP、矢量空間模型技術(shù)和統(tǒng)計(jì)學(xué)技術(shù),綜合考慮了文本的語(yǔ)言質(zhì)量、篇章結(jié)構(gòu)、內(nèi)容質(zhì)量,并進(jìn)行分析評(píng)估。該系統(tǒng)評(píng)分準(zhǔn)確性比較高,但它采用的整體評(píng)分的策略,不僅不能單純判斷正誤,而且不能對(duì)那些需要判別內(nèi)容正誤并給出分?jǐn)?shù)的自動(dòng)評(píng)分類(lèi)問(wèn)題進(jìn)行評(píng)分,并沒(méi)有較深入的判斷文章的中心思想,只能評(píng)價(jià)考生的寫(xiě)作水平而不能判斷考生答案與題目是否很好的吻合。

    Auto Mark 系統(tǒng)[2]通過(guò)事先為每個(gè)題目分別制定多個(gè)正確答案或錯(cuò)誤答案的評(píng)分模板,將考生答案逐一與模板匹配,判斷正確程度并給出分?jǐn)?shù),符合人的思維方式,意思表達(dá)到位即可,真正完成了基于語(yǔ)義、內(nèi)容的任何文本答案的自動(dòng)評(píng)分,為主觀題自動(dòng)評(píng)分技術(shù)的發(fā)展研究開(kāi)拓了新思路。

    ATM(Automated Text Marker)是一款針對(duì)有明確正誤之分、答案文本較為簡(jiǎn)短的題目進(jìn)行計(jì)算機(jī)輔助評(píng)分的一種評(píng)分系統(tǒng)[2]。其針對(duì)開(kāi)放式問(wèn)題的任意文本答案的自動(dòng)匹配功能,主要利用NLP技術(shù),經(jīng)過(guò)語(yǔ)法預(yù)處理、句子的主要成分及相互關(guān)系進(jìn)行解析、匹配結(jié)果與標(biāo)準(zhǔn)答案幾個(gè)步驟計(jì)算出分?jǐn)?shù)。ATM取得了較大的突破,但該系統(tǒng)使用了語(yǔ)法和語(yǔ)義分析技術(shù),增加了實(shí)現(xiàn)該系統(tǒng)的難度。

    1.2 ?國(guó)內(nèi)自動(dòng)評(píng)分方法

    我國(guó)吸取和完善上述一些先進(jìn)的技術(shù)逐漸開(kāi)始注重對(duì)自動(dòng)評(píng)分方法的研究,并應(yīng)用到實(shí)際生活中。目前國(guó)內(nèi)基于主觀題自動(dòng)評(píng)分的方法主要有:產(chǎn)生式規(guī)則;運(yùn)用動(dòng)態(tài)規(guī)劃方法改進(jìn)語(yǔ)句相似度的計(jì)算;模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配的方法;文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。國(guó)內(nèi)學(xué)者將上述方法、或者其改進(jìn)方法、或上述方法相結(jié)合應(yīng)用于自動(dòng)評(píng)分系統(tǒng)中,并取得了一定的成績(jī),但仍有諸多不足之處需要改進(jìn)。

    將產(chǎn)生式規(guī)則思想應(yīng)用在考試評(píng)分方法中,可以實(shí)現(xiàn)一定程度上對(duì)非客觀試題的智能化評(píng)分閱卷,如計(jì)算機(jī)上機(jī)操作考試、語(yǔ)文和英語(yǔ)類(lèi)等。通過(guò)定義產(chǎn)生式規(guī)則的分解和運(yùn)算,使得產(chǎn)生式規(guī)則的簡(jiǎn)化和在關(guān)系數(shù)據(jù)庫(kù)中的存儲(chǔ)問(wèn)題得到了很好的解決[4]。

    諸多學(xué)者將模糊數(shù)學(xué)中貼近度理論或者將貼近度理論與句法分析相互結(jié)合,然后將其應(yīng)用于主觀題自動(dòng)評(píng)分系統(tǒng)中。通過(guò)研究分析閱卷者對(duì)主觀題評(píng)分流程的思維方式,依據(jù)得分點(diǎn)和貼近標(biāo)準(zhǔn)答案的程度來(lái)評(píng)分,能在一定程度上完成對(duì)主觀題的評(píng)分,使教師的工作量得到減少。但是此類(lèi)計(jì)算方法比較簡(jiǎn)單,沒(méi)有考慮語(yǔ)義、語(yǔ)序等問(wèn)題對(duì)評(píng)分系統(tǒng)的作用,其評(píng)分精度不高。

    李輝陽(yáng)等人[5]經(jīng)過(guò)對(duì)有限領(lǐng)域中文本自動(dòng)判讀技術(shù)的研究,提出的可應(yīng)用于計(jì)算機(jī)輔助教學(xué)的基于關(guān)系的帶權(quán)匹配技術(shù)并獲得了成功,其實(shí)現(xiàn)的方法能夠?qū)?jiǎn)單論述正誤進(jìn)行較好的判別,該方法在某種程度上模擬了老師閱卷過(guò)程,實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)批改列舉題、簡(jiǎn)述題、簡(jiǎn)答題等諸多主觀題,對(duì)主觀題自動(dòng)評(píng)分有一定的實(shí)際指導(dǎo)意義。張量等[6]用字符串匹配的方法開(kāi)發(fā)了一種自動(dòng)批改技術(shù),主要是針對(duì)計(jì)算機(jī)基礎(chǔ)上機(jī)操作考試中的文字錄入題,該方法主要判斷學(xué)生所錄入的字?jǐn)?shù)、錯(cuò)錄、漏錄情況。

    有些學(xué)者將作文評(píng)分過(guò)程看作是文本分類(lèi)過(guò)程,通過(guò)決策樹(shù)分類(lèi)器將文本分類(lèi)。或者按照作文詞匯等的相似度通過(guò)文本聚類(lèi)進(jìn)行分類(lèi),實(shí)現(xiàn)了英語(yǔ)作文自動(dòng)評(píng)分方法中文本聚類(lèi)的應(yīng)用文。雖然采用梯度提升決策樹(shù)分類(lèi)器的分類(lèi)效果,但其方法特征不能充分反映作文特征,可擴(kuò)展性也不好。通過(guò)文本聚類(lèi)將差異性較大的可能跑題的作文交由老師評(píng)閱,減少了教師工作量,并使作文批改的準(zhǔn)確性程度和老師的工作效率都得到了一定的提高。而基于向量空間模型的問(wèn)答題智能化評(píng)分方法,其依據(jù)VSM將學(xué)生的答案及標(biāo)準(zhǔn)答案表示成特征向量的形式,然后計(jì)算其相似度,從而確定學(xué)生的得分。

    主觀題自動(dòng)評(píng)分方法的好與壞,無(wú)非是體現(xiàn)在標(biāo)準(zhǔn)答案和考生試題答案之間的相似度程度上。在全面考慮了語(yǔ)義,語(yǔ)序,文本整體表達(dá)涵義之后,相似度高,則得分高,相似度低,則得分低。為此,諸多學(xué)者在如何提高文本相似度有關(guān)方面進(jìn)行了大量的科學(xué)分析研究。學(xué)者們充分將知識(shí)庫(kù)或詞典或兩者相結(jié)合引入到評(píng)分過(guò)程中,以便提高相似度計(jì)算的準(zhǔn)確性。然后再對(duì)計(jì)算得分的計(jì)算模型加以改進(jìn),計(jì)算出最后得分。經(jīng)過(guò)一系列的操作之后,評(píng)分結(jié)果與人工的評(píng)分結(jié)果更加接近。然而這種方法仍有缺陷,首先,詞庫(kù)覆蓋范圍不夠足夠大,再者,提取特征時(shí)有不足之處,還需要進(jìn)一步改進(jìn)。

    隨著自然語(yǔ)言處理技術(shù)的日益成熟,對(duì)于自然語(yǔ)言處理技術(shù)將如何應(yīng)用于主觀題自動(dòng)評(píng)分中,諸多學(xué)者進(jìn)行了大量嘗試,并取得一些進(jìn)展。比如基于自然語(yǔ)言處理的智能評(píng)分方法,經(jīng)過(guò)改進(jìn)已有的文本相似度計(jì)算方法,提出了一種新的排序和劃分區(qū)間的評(píng)分方法。查看實(shí)驗(yàn)結(jié)果,表明該智能評(píng)分方法有效且可行。通過(guò)一些算法生成自然語(yǔ)言概念圖或概念網(wǎng),然后對(duì)目標(biāo)文本進(jìn)行預(yù)處理,再計(jì)算文本相似度,從而計(jì)算得分。在應(yīng)用自然語(yǔ)言處理技術(shù),可以與《知網(wǎng)》知識(shí)庫(kù)或《同義詞詞林》詞典相結(jié)合,以便更好的理解文本語(yǔ)義,從而提高評(píng)分準(zhǔn)確率。

    2 ?自動(dòng)評(píng)分方法展望

    由于漢語(yǔ)表達(dá)方式的多樣化和復(fù)雜性,國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多問(wèn)題,到目前為止,并沒(méi)有很好的應(yīng)用于實(shí)踐的主觀題自動(dòng)評(píng)分方法[2]。主觀題的評(píng)分判斷涉及到自然語(yǔ)言的翻譯、理解及語(yǔ)義的匹配等,主觀題自動(dòng)評(píng)分方法涉及到的技術(shù)主要有文本的預(yù)處理、相似度計(jì)算、計(jì)算分?jǐn)?shù)等諸多個(gè)方面。主觀題自動(dòng)評(píng)分不單單是自然語(yǔ)言理解技術(shù)的一個(gè)很有意義的應(yīng)用,而且還依賴(lài)于NLP技術(shù)的研究發(fā)展[7]。

    由于大數(shù)據(jù)以及計(jì)算力的提升,深度學(xué)習(xí)有了極大的突破,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法被引用到NLP算法中。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支,可以自動(dòng)地學(xué)習(xí)合適的特征和多層次的表達(dá)與輸出。在NLP技術(shù)領(lǐng)域,主要在信息抽取、詞性標(biāo)注、命名實(shí)體識(shí)別、文本分析等研究方向都有成功的應(yīng)用。和傳統(tǒng)方式相比,深度學(xué)習(xí)的重要特性是,用詞向量來(lái)表示各種級(jí)別的元素。傳統(tǒng)的算法一般會(huì)用統(tǒng)計(jì)等方法去標(biāo)注,而深度學(xué)習(xí)會(huì)直接通過(guò)詞向量表示,然后通過(guò)深度網(wǎng)絡(luò)進(jìn)行自動(dòng)學(xué)習(xí)。目前,深度學(xué)習(xí)在自然語(yǔ)言處理中是比較流行的,其中算法包括:多層感知機(jī)、CNN、RNN、Seq2Seq等。

    卷積神經(jīng)網(wǎng)絡(luò)[8](Convolu-tional Neural Network,CNN),是一種由輸入層、卷積層、池化層、全連接層、輸出層組成的前饋神經(jīng)網(wǎng)絡(luò),其具有良好的自學(xué)習(xí)能力和泛化能力,在短文本的表示和句子分類(lèi)上也取得了一系列進(jìn)展。而循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與卷積神經(jīng)網(wǎng)絡(luò)不同,是一種能夠?qū)r(shí)序數(shù)據(jù)進(jìn)行精準(zhǔn)建模的網(wǎng)絡(luò)。而文本的獨(dú)特在于是典型的序列數(shù)據(jù),每個(gè)文字的出現(xiàn)都是依賴(lài)于前面的單詞和后面的單詞,所以循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于文本較為廣泛,近年來(lái),RNN及其變種長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory ,LSTM)在NLP領(lǐng)域得到了廣泛應(yīng)用,例如在語(yǔ)言模型、句法分析、語(yǔ)意角色標(biāo)注等領(lǐng)域均有優(yōu)異的表現(xiàn)。LSTM是RNN的升級(jí)版本,從抽象的角度來(lái)看,LSTM保存了文本中的長(zhǎng)期依賴(lài)信息。并通過(guò)對(duì)循環(huán)層的刻意設(shè)計(jì)來(lái)避免長(zhǎng)期依賴(lài)的問(wèn)題和梯度消失的問(wèn)題。

    3 ?結(jié)論

    自動(dòng)評(píng)分方法,特別是主觀題自動(dòng)評(píng)分方法一直是完全實(shí)施考試信息化、教學(xué)信息化的瓶頸問(wèn)題,研究的很多,但進(jìn)展較為緩慢,特別是應(yīng)用于實(shí)際的成果比較少,其主要原因是一些關(guān)鍵技術(shù)、核心技術(shù)還處在研究、發(fā)展階段[5],如:對(duì)自然語(yǔ)言的深入理解、模式的識(shí)別、人工智能技術(shù)的發(fā)展等。主觀題自動(dòng)評(píng)分方法主要是利用基于大數(shù)據(jù)分析的NLP技術(shù),按照評(píng)閱流程,可以分為分句、分詞、語(yǔ)言的預(yù)處理、分類(lèi)計(jì)算、相似度比較計(jì)算等幾個(gè)環(huán)節(jié)。在前沿技術(shù)上,通過(guò)大數(shù)據(jù)分析技術(shù)的不斷發(fā)展和推動(dòng),進(jìn)一步完善主觀題自動(dòng)評(píng)分在教學(xué)信息化中的實(shí)際應(yīng)用將具有廣闊的前景和市場(chǎng)需求。近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn),自動(dòng)評(píng)分的準(zhǔn)確程度得到了顯著的提高。本文總結(jié)了以往研究中的經(jīng)典方法,并且對(duì)當(dāng)前主流的研究方法進(jìn)行總結(jié)分析。通過(guò)對(duì)自動(dòng)評(píng)分中大量的方法進(jìn)行梳理和歸納分析,主要將其分為國(guó)外經(jīng)典自動(dòng)評(píng)分方法、國(guó)內(nèi)自動(dòng)評(píng)分方法兩方面來(lái)介紹。其中,國(guó)內(nèi)的自動(dòng)評(píng)分方法主要包括產(chǎn)生式規(guī)則;基于動(dòng)態(tài)規(guī)劃方法對(duì)語(yǔ)句相似度進(jìn)行改進(jìn);模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配、文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。其中基于自然語(yǔ)言處理技術(shù)的自動(dòng)評(píng)分方法主要包括:中文分詞、去停用詞、詞義消岐、詞性標(biāo)注與命名實(shí)體識(shí)別技術(shù)、句法分析、關(guān)鍵詞提取、文本向量化等。國(guó)內(nèi)外自動(dòng)評(píng)分方法具體如圖1所示。

    目前應(yīng)用較多的是基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法其中比較流行的深度學(xué)習(xí)算法有:多層感知機(jī)、CNN、RNN、Seq2Seq等。而基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的主觀題評(píng)分方法將成為未來(lái)的發(fā)展趨勢(shì),具有較好的應(yīng)用前景。自動(dòng)評(píng)分方法與基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法相結(jié)合,通過(guò)深度網(wǎng)絡(luò)進(jìn)行自主學(xué)習(xí),提取文本特征,這將會(huì)帶領(lǐng)主觀題自動(dòng)評(píng)分方法邁向一個(gè)新的臺(tái)階。

    本文對(duì)國(guó)內(nèi)外學(xué)者取得的進(jìn)展和最新成果進(jìn)行了總結(jié)歸納,形成了較為全面的分類(lèi)體系,希望有助于全面把握和深入了解自動(dòng)評(píng)分方法的研究現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    參考文獻(xiàn)

    [1] 高思丹, 袁春風(fēng). 主觀試題的計(jì)算機(jī)自動(dòng)批改技術(shù)研究 [J]. 計(jì)算機(jī)應(yīng)用研究, 2004, 21(2): 181-185.

    [2] RudnerL,GagneP.An Overview of Three Approaches to Scoring Written Essays by Computer[J]. Practical Assessment, 2001, 151(3): 501.

    [3] Attali Y, Burstein J. AUTOMATED ESSAY SCORING WITH E-RATER?; V.2.0[J]. Journal of Technology Learning & Assessment, 2006, 4(2): i-21.

    [4] 劉增鎖, 吳敬. 產(chǎn)生式規(guī)則在考試評(píng)分系統(tǒng)中的應(yīng)用研究 [J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2006, 16(7): 162-164.

    [5] 李輝陽(yáng), 韓忠愿. 有限領(lǐng)域簡(jiǎn)述文字的自動(dòng)判讀及其在CAI中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2002, 38(8): 76-78.

    [6] 張量, 詹國(guó)華. 開(kāi)放式、智能化計(jì)算機(jī)考核閱卷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2001, 37(10): 108-110.

    [7] 麥范金, 岳曉光, 趙子強(qiáng), 等. 基于自然語(yǔ)言處理的智能評(píng)分系統(tǒng)[J]. 桂林理工大學(xué)學(xué)報(bào), 2010, 30(3): 426-430.

    [8] 劉亞軍, 徐易. 一種基于加權(quán)語(yǔ)義相似度模型的自動(dòng)問(wèn)答系統(tǒng)[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2004, 34(5): 609-612.

    [9] LiB,YaoJM.Automated Essay Scoring Using Multi-classifier Fusion[C]//International Conference on Information & Management Engineering.2011.

    [10] Kim Y. Convolutional neural networks for sentence classification[J]. ar Xiv preprint ar Xiv:1408.5882, 2014.

    [11] Wang R, Wang X, Chi Z, et al. Chinese Sentence Similarity Measure Based on Words and Structure Information[J]. International Conference on Advanced Language Processing & Web Information Technology, 2008:27-31.

    [12] Bin L, Ting L, Bing Q, et al. Chinese Sentence Similarity Computing Based on Semantic Dependency Relationship Analysis[J]. Application Research of Computers, 2003.

    [13] Page, E. B. Computer grading of student prose [J], using modern concepts and software. Journal of Experimental Education, 62, 127–142.

    [14] Thomas k. Launder, Darrell Latham, Peter Foltz, Automatic essay assessment [J], Assessment in Education, 2003, 2003(10), 295-308.

    [15] Valenti S, Neri F and Cucchiarelli A. An Overview of Current Research on Automated Essay Grading[J]. Journal of Information Technology Education, 2003, 2: 319-330.

    [16] Han, Na-Rae, Martin Chodorow, and Claudia Leacock. Detecting errors in English article usage by non-native speakers[J]. Natural Language Engineering, 2006. 12(1): 115-129.

    [17] ]Rudner L M, Liang T. Automated essay scoring using Bayes' theorem[J]. The Journal of Technology, Learning and Assessment, 2002, 1(2).

    [18] 張春英, 李春虎, 付其峰. 基于WV-CNN的中文文本語(yǔ)義相似度計(jì)算方法[J]. 華北理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 41(01): 123-132.

    猜你喜歡
    自然語(yǔ)言處理深度學(xué)習(xí)
    基于組合分類(lèi)算法的源代碼注釋質(zhì)量評(píng)估方法
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    面向機(jī)器人導(dǎo)航的漢語(yǔ)路徑自然語(yǔ)言組塊分析方法研究
    漢哈機(jī)器翻譯中的文字轉(zhuǎn)換技術(shù)研究
    HowNet在自然語(yǔ)言處理領(lǐng)域的研究現(xiàn)狀與分析
    科技視界(2016年5期)2016-02-22 11:41:39
    美女cb高潮喷水在线观看| 深爱激情五月婷婷| 国产成人a∨麻豆精品| 少妇人妻久久综合中文| 国产91av在线免费观看| 3wmmmm亚洲av在线观看| kizo精华| 精品人妻一区二区三区麻豆| 亚洲va在线va天堂va国产| 少妇的逼好多水| 亚洲av成人精品一二三区| 亚洲欧美精品专区久久| 日韩av在线免费看完整版不卡| 一本一本综合久久| 少妇裸体淫交视频免费看高清| 91午夜精品亚洲一区二区三区| 欧美日本视频| 国产欧美日韩精品一区二区| 免费黄网站久久成人精品| 欧美极品一区二区三区四区| 亚洲精品中文字幕在线视频 | 日韩免费高清中文字幕av| 国产精品熟女久久久久浪| 国产精品熟女久久久久浪| 一本一本综合久久| 丝袜喷水一区| 亚洲电影在线观看av| 在线观看一区二区三区| 亚洲国产精品成人综合色| 女人被狂操c到高潮| 国产一区有黄有色的免费视频| 成人免费观看视频高清| 日韩不卡一区二区三区视频在线| 搡老乐熟女国产| 亚洲精品日本国产第一区| 亚洲美女搞黄在线观看| .国产精品久久| 五月伊人婷婷丁香| av在线天堂中文字幕| 国产精品99久久99久久久不卡 | 亚洲精品乱久久久久久| 久久国内精品自在自线图片| 中文字幕人妻熟人妻熟丝袜美| 国产成人精品福利久久| 亚洲欧洲国产日韩| 日日摸夜夜添夜夜爱| 干丝袜人妻中文字幕| 成人午夜精彩视频在线观看| 我的老师免费观看完整版| 最近最新中文字幕免费大全7| 91久久精品国产一区二区成人| 女人被狂操c到高潮| 日日摸夜夜添夜夜添av毛片| 少妇人妻一区二区三区视频| 日日摸夜夜添夜夜爱| 国产v大片淫在线免费观看| 亚洲精品一二三| 精品人妻偷拍中文字幕| 青春草亚洲视频在线观看| 卡戴珊不雅视频在线播放| 中文字幕亚洲精品专区| 大香蕉久久网| 色吧在线观看| 亚洲四区av| 国产综合懂色| 亚洲av欧美aⅴ国产| 777米奇影视久久| 国产在视频线精品| 精品人妻一区二区三区麻豆| av在线蜜桃| 国产欧美另类精品又又久久亚洲欧美| 国产精品久久久久久精品电影小说 | 久久午夜福利片| 欧美极品一区二区三区四区| 插逼视频在线观看| 中文精品一卡2卡3卡4更新| 毛片女人毛片| 成人综合一区亚洲| 一级av片app| 高清在线视频一区二区三区| 精品国产一区二区三区久久久樱花 | 蜜桃亚洲精品一区二区三区| 国产成人午夜福利电影在线观看| 亚洲精品久久久久久婷婷小说| 精品午夜福利在线看| 午夜福利视频精品| 别揉我奶头 嗯啊视频| 亚洲在久久综合| 日日啪夜夜撸| 国产精品女同一区二区软件| 亚洲精品成人av观看孕妇| 联通29元200g的流量卡| av在线蜜桃| 美女国产视频在线观看| 亚洲欧美清纯卡通| 一级爰片在线观看| 在线天堂最新版资源| 成人国产麻豆网| 一级毛片久久久久久久久女| 91精品国产九色| 亚洲人成网站在线观看播放| 久久热精品热| 国产视频首页在线观看| 国产 精品1| 夫妻性生交免费视频一级片| 少妇人妻一区二区三区视频| 观看美女的网站| 一级黄片播放器| 欧美潮喷喷水| 久久久久久九九精品二区国产| 免费不卡的大黄色大毛片视频在线观看| 午夜免费鲁丝| 亚洲欧美日韩另类电影网站 | 欧美xxxx性猛交bbbb| 国产淫语在线视频| 男女边摸边吃奶| 国产av不卡久久| 在现免费观看毛片| 成人欧美大片| 亚洲av欧美aⅴ国产| 国产av不卡久久| 亚洲国产色片| 日韩成人伦理影院| 亚洲av成人精品一二三区| 最后的刺客免费高清国语| 新久久久久国产一级毛片| 亚洲成人av在线免费| 中国三级夫妇交换| 欧美xxxx性猛交bbbb| 中文资源天堂在线| av国产免费在线观看| 少妇裸体淫交视频免费看高清| 国产v大片淫在线免费观看| 看十八女毛片水多多多| 国产亚洲91精品色在线| 亚洲精品中文字幕在线视频 | 女的被弄到高潮叫床怎么办| 国产男女超爽视频在线观看| 成人国产av品久久久| 国产伦精品一区二区三区四那| 久久久亚洲精品成人影院| 亚洲av电影在线观看一区二区三区 | 欧美xxⅹ黑人| 一级二级三级毛片免费看| 干丝袜人妻中文字幕| 少妇高潮的动态图| 在线观看三级黄色| 最近的中文字幕免费完整| 欧美人与善性xxx| 视频区图区小说| 亚洲精品国产av成人精品| 天堂网av新在线| 日韩人妻高清精品专区| 在线观看免费高清a一片| 伊人久久国产一区二区| 永久网站在线| 亚洲精品久久午夜乱码| 亚洲图色成人| 日韩一本色道免费dvd| 久久人人爽av亚洲精品天堂 | 大香蕉久久网| 国产亚洲午夜精品一区二区久久 | 99热国产这里只有精品6| 久久午夜福利片| 亚洲三级黄色毛片| 久久精品久久久久久噜噜老黄| 日韩欧美精品免费久久| 尾随美女入室| 99久久中文字幕三级久久日本| 五月天丁香电影| 日韩在线高清观看一区二区三区| 欧美日韩精品成人综合77777| 日韩欧美精品免费久久| 免费人成在线观看视频色| 2021天堂中文幕一二区在线观| 女人十人毛片免费观看3o分钟| 最近最新中文字幕大全电影3| 日韩一本色道免费dvd| 久久99热这里只频精品6学生| 亚洲图色成人| 久久99精品国语久久久| 大片免费播放器 马上看| 国产免费又黄又爽又色| 免费观看a级毛片全部| 国模一区二区三区四区视频| 秋霞伦理黄片| 亚洲国产精品专区欧美| 麻豆乱淫一区二区| 伦理电影大哥的女人| 各种免费的搞黄视频| 狂野欧美白嫩少妇大欣赏| 一个人看视频在线观看www免费| 国产成人91sexporn| 下体分泌物呈黄色| 国产成人freesex在线| 美女国产视频在线观看| 热re99久久精品国产66热6| 亚洲经典国产精华液单| 欧美性猛交╳xxx乱大交人| 亚洲国产成人一精品久久久| 亚洲精品乱码久久久久久按摩| 国产成人免费无遮挡视频| 黄色欧美视频在线观看| 国产一区二区三区av在线| 国语对白做爰xxxⅹ性视频网站| 日韩一区二区视频免费看| 91aial.com中文字幕在线观看| 久久久久精品性色| 欧美激情久久久久久爽电影| 免费不卡的大黄色大毛片视频在线观看| 少妇 在线观看| 看免费成人av毛片| 国产男人的电影天堂91| 亚洲人成网站在线播| 边亲边吃奶的免费视频| 男男h啪啪无遮挡| 日韩电影二区| 国产精品av视频在线免费观看| 人妻少妇偷人精品九色| 99re6热这里在线精品视频| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | av.在线天堂| 噜噜噜噜噜久久久久久91| 亚洲精品一区蜜桃| 日本与韩国留学比较| 国产免费一区二区三区四区乱码| 麻豆成人av视频| 各种免费的搞黄视频| 欧美3d第一页| 久久久亚洲精品成人影院| 性插视频无遮挡在线免费观看| 免费人成在线观看视频色| 五月伊人婷婷丁香| 日韩一区二区三区影片| 亚洲精品aⅴ在线观看| 日本爱情动作片www.在线观看| 亚洲av成人精品一区久久| 国产精品福利在线免费观看| 精品一区二区三区视频在线| 免费av不卡在线播放| 狂野欧美激情性xxxx在线观看| 久久精品国产亚洲av天美| 亚洲精品乱码久久久久久按摩| 亚洲高清免费不卡视频| 天天一区二区日本电影三级| a级毛片免费高清观看在线播放| 久久久久久久国产电影| 亚洲精品,欧美精品| 插阴视频在线观看视频| 亚洲在久久综合| 中文精品一卡2卡3卡4更新| 极品教师在线视频| 婷婷色麻豆天堂久久| 国产免费一区二区三区四区乱码| 亚洲欧美成人精品一区二区| 日本午夜av视频| 免费大片18禁| 老司机影院成人| 久久久久久久国产电影| 中文字幕制服av| 亚洲经典国产精华液单| 亚洲最大成人中文| 国产老妇女一区| 国产永久视频网站| 久久99精品国语久久久| 久久精品久久久久久噜噜老黄| 国产成年人精品一区二区| 欧美国产精品一级二级三级 | 免费看av在线观看网站| 高清毛片免费看| 日韩视频在线欧美| 成人亚洲精品一区在线观看 | 可以在线观看毛片的网站| 人妻夜夜爽99麻豆av| 超碰av人人做人人爽久久| 黄色欧美视频在线观看| 各种免费的搞黄视频| 欧美成人精品欧美一级黄| 人妻夜夜爽99麻豆av| 六月丁香七月| 看免费成人av毛片| 日本av手机在线免费观看| 人妻 亚洲 视频| 一级毛片 在线播放| 国产精品久久久久久久久免| 亚洲一区二区三区欧美精品 | 亚洲av中文av极速乱| 99久久精品国产国产毛片| 日韩,欧美,国产一区二区三区| 国国产精品蜜臀av免费| 免费人成在线观看视频色| 99热网站在线观看| 亚洲图色成人| 亚洲欧美成人综合另类久久久| 麻豆乱淫一区二区| 国产黄色免费在线视频| 最近的中文字幕免费完整| 欧美xxⅹ黑人| 国产亚洲精品久久久com| 网址你懂的国产日韩在线| 欧美性猛交╳xxx乱大交人| 大又大粗又爽又黄少妇毛片口| 亚洲国产精品专区欧美| av线在线观看网站| 日本色播在线视频| 超碰97精品在线观看| 国产爱豆传媒在线观看| 在线 av 中文字幕| 午夜福利在线观看免费完整高清在| 国产成人a∨麻豆精品| 特级一级黄色大片| 欧美性感艳星| 亚洲国产精品999| 少妇的逼好多水| 免费黄频网站在线观看国产| 菩萨蛮人人尽说江南好唐韦庄| 香蕉精品网在线| 婷婷色麻豆天堂久久| 国产片特级美女逼逼视频| 三级男女做爰猛烈吃奶摸视频| 视频中文字幕在线观看| 在线精品无人区一区二区三 | 黄色视频在线播放观看不卡| 三级国产精品欧美在线观看| 国产亚洲精品久久久com| 国产男女超爽视频在线观看| 好男人视频免费观看在线| www.av在线官网国产| 中国国产av一级| 秋霞伦理黄片| 一级毛片电影观看| 国产精品人妻久久久久久| 大片电影免费在线观看免费| 涩涩av久久男人的天堂| 日韩大片免费观看网站| 国产高清三级在线| 日韩三级伦理在线观看| 又黄又爽又刺激的免费视频.| 一区二区av电影网| 久久精品国产亚洲av天美| 3wmmmm亚洲av在线观看| 中文字幕免费在线视频6| av免费观看日本| 女人被狂操c到高潮| 欧美亚洲 丝袜 人妻 在线| 国产精品久久久久久精品电影小说 | 国内少妇人妻偷人精品xxx网站| 久久国内精品自在自线图片| 亚洲欧美精品自产自拍| 精品一区二区三区视频在线| av网站免费在线观看视频| 老司机影院成人| 国产午夜福利久久久久久| 欧美成人一区二区免费高清观看| av福利片在线观看| 亚洲婷婷狠狠爱综合网| 最近中文字幕2019免费版| 亚洲高清免费不卡视频| 精品99又大又爽又粗少妇毛片| 中文天堂在线官网| 最近2019中文字幕mv第一页| 亚洲精品久久久久久婷婷小说| 日韩 亚洲 欧美在线| 永久免费av网站大全| 国产老妇伦熟女老妇高清| 精品熟女少妇av免费看| 免费观看的影片在线观看| 大陆偷拍与自拍| 欧美成人一区二区免费高清观看| 夜夜看夜夜爽夜夜摸| 国模一区二区三区四区视频| 肉色欧美久久久久久久蜜桃 | 日韩国内少妇激情av| 青青草视频在线视频观看| 中文资源天堂在线| 日本爱情动作片www.在线观看| 中国美白少妇内射xxxbb| 中国国产av一级| 国产伦理片在线播放av一区| 一级毛片久久久久久久久女| 欧美激情久久久久久爽电影| 大片免费播放器 马上看| 免费av不卡在线播放| 国产综合精华液| 国产成人精品一,二区| av播播在线观看一区| 免费观看的影片在线观看| 内射极品少妇av片p| 亚洲精品色激情综合| 超碰97精品在线观看| 身体一侧抽搐| 天天躁日日操中文字幕| 亚洲,欧美,日韩| 啦啦啦在线观看免费高清www| 极品教师在线视频| 日产精品乱码卡一卡2卡三| 国语对白做爰xxxⅹ性视频网站| 中国美白少妇内射xxxbb| 97超视频在线观看视频| 中文字幕免费在线视频6| 神马国产精品三级电影在线观看| 好男人在线观看高清免费视频| 欧美激情久久久久久爽电影| 久久综合国产亚洲精品| 波多野结衣巨乳人妻| 国产成人免费观看mmmm| 国产91av在线免费观看| 国产精品国产三级国产av玫瑰| 欧美一级a爱片免费观看看| 啦啦啦在线观看免费高清www| 一级毛片aaaaaa免费看小| 国产精品三级大全| 亚洲,欧美,日韩| 69av精品久久久久久| 在线播放无遮挡| 国产欧美另类精品又又久久亚洲欧美| 成年av动漫网址| 麻豆成人av视频| 伦理电影大哥的女人| 一级a做视频免费观看| 丝瓜视频免费看黄片| 在线观看一区二区三区| 免费看av在线观看网站| 日韩一本色道免费dvd| 91精品伊人久久大香线蕉| 成人综合一区亚洲| 97超视频在线观看视频| 精品人妻一区二区三区麻豆| 99久久精品热视频| 又爽又黄a免费视频| 日韩大片免费观看网站| tube8黄色片| 国内揄拍国产精品人妻在线| 超碰97精品在线观看| 深夜a级毛片| 男人狂女人下面高潮的视频| 欧美精品人与动牲交sv欧美| 国产在视频线精品| 尾随美女入室| 偷拍熟女少妇极品色| 亚洲欧美成人精品一区二区| 国产精品三级大全| 精品久久久噜噜| 日韩伦理黄色片| 特大巨黑吊av在线直播| 国产精品福利在线免费观看| 美女高潮的动态| 婷婷色麻豆天堂久久| 在线免费观看不下载黄p国产| 亚洲欧美一区二区三区黑人 | 国产探花极品一区二区| 男女边吃奶边做爰视频| 成人一区二区视频在线观看| av又黄又爽大尺度在线免费看| 高清在线视频一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 别揉我奶头 嗯啊视频| 国产探花在线观看一区二区| 最近中文字幕2019免费版| 18禁在线播放成人免费| 国产伦理片在线播放av一区| 深爱激情五月婷婷| kizo精华| 18禁在线播放成人免费| 欧美日本视频| 欧美性感艳星| tube8黄色片| 亚洲一级一片aⅴ在线观看| 国产 一区 欧美 日韩| 国产欧美另类精品又又久久亚洲欧美| 真实男女啪啪啪动态图| 搡老乐熟女国产| 在线观看一区二区三区激情| 亚洲欧洲国产日韩| 别揉我奶头 嗯啊视频| 九九久久精品国产亚洲av麻豆| 99热这里只有精品一区| eeuss影院久久| 91精品国产九色| av网站免费在线观看视频| 大香蕉97超碰在线| 夫妻性生交免费视频一级片| 激情 狠狠 欧美| 国产午夜精品一二区理论片| 国产黄a三级三级三级人| 青春草视频在线免费观看| av免费在线看不卡| 国产久久久一区二区三区| 3wmmmm亚洲av在线观看| 欧美 日韩 精品 国产| eeuss影院久久| 国产久久久一区二区三区| 亚洲av成人精品一二三区| 久久久久久久国产电影| 精品久久久久久电影网| 极品少妇高潮喷水抽搐| 国产精品国产三级国产av玫瑰| 又黄又爽又刺激的免费视频.| 丰满人妻一区二区三区视频av| 国产高清三级在线| 在线观看三级黄色| 精品久久久久久久人妻蜜臀av| 噜噜噜噜噜久久久久久91| 久久亚洲国产成人精品v| 日本av手机在线免费观看| 亚洲最大成人中文| 色播亚洲综合网| 国产毛片在线视频| 18禁在线播放成人免费| 看黄色毛片网站| 综合色av麻豆| kizo精华| 国产精品精品国产色婷婷| 天天一区二区日本电影三级| 国精品久久久久久国模美| 夫妻性生交免费视频一级片| 97热精品久久久久久| 99久久九九国产精品国产免费| 午夜免费鲁丝| 日韩国内少妇激情av| 色播亚洲综合网| 亚洲精品一二三| 97在线视频观看| 另类亚洲欧美激情| 夫妻午夜视频| 国产伦理片在线播放av一区| 国产黄片视频在线免费观看| 伦理电影大哥的女人| 一级毛片我不卡| 国产高潮美女av| 亚洲欧美日韩另类电影网站 | 免费大片黄手机在线观看| 欧美日韩视频高清一区二区三区二| 黄色一级大片看看| 男男h啪啪无遮挡| 寂寞人妻少妇视频99o| 欧美xxxx性猛交bbbb| 91aial.com中文字幕在线观看| 亚洲不卡免费看| 亚洲精品色激情综合| 国产精品国产av在线观看| 久久久久久久精品精品| 岛国毛片在线播放| 毛片女人毛片| freevideosex欧美| 午夜激情福利司机影院| 成人毛片a级毛片在线播放| 国产精品一区www在线观看| 国产真实伦视频高清在线观看| 韩国高清视频一区二区三区| 久久精品人妻少妇| 亚洲精品成人av观看孕妇| 久久精品国产自在天天线| 国产色爽女视频免费观看| 激情五月婷婷亚洲| 免费看光身美女| 男插女下体视频免费在线播放| 91午夜精品亚洲一区二区三区| 特大巨黑吊av在线直播| 各种免费的搞黄视频| 18+在线观看网站| 免费观看无遮挡的男女| 欧美三级亚洲精品| 99热全是精品| 亚洲欧洲国产日韩| 男人添女人高潮全过程视频| av在线天堂中文字幕| 免费av不卡在线播放| 乱系列少妇在线播放| 免费观看a级毛片全部| 国产色爽女视频免费观看| 国产精品爽爽va在线观看网站| 大香蕉久久网| 精品一区二区三区视频在线| 国产精品无大码| 国产大屁股一区二区在线视频| 欧美少妇被猛烈插入视频| www.av在线官网国产| 男人和女人高潮做爰伦理| 街头女战士在线观看网站| 国产日韩欧美亚洲二区| 麻豆国产97在线/欧美| 国产探花极品一区二区| 亚洲精品国产av成人精品| 日韩av在线免费看完整版不卡| 国产精品久久久久久久久免| av免费在线看不卡| 久久这里有精品视频免费| 69人妻影院| 国产有黄有色有爽视频| 亚洲精品成人av观看孕妇| 视频区图区小说| 欧美97在线视频| 在线观看美女被高潮喷水网站| 老司机影院毛片| 日韩 亚洲 欧美在线| 少妇被粗大猛烈的视频| 精品久久久噜噜| 少妇裸体淫交视频免费看高清| 成人亚洲欧美一区二区av| 国产精品99久久99久久久不卡 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲av日韩在线播放| 美女高潮的动态| 丰满人妻一区二区三区视频av| 人妻 亚洲 视频| 女人十人毛片免费观看3o分钟| 国内精品美女久久久久久| 久久99热6这里只有精品| 男女下面进入的视频免费午夜| 国产欧美日韩一区二区三区在线 | 一级毛片久久久久久久久女| 网址你懂的国产日韩在线| 中文乱码字字幕精品一区二区三区| 日产精品乱码卡一卡2卡三|