• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)

    2019-10-08 06:27:21肖靈云侯開(kāi)虎戴洪濤
    軟件 2019年6期
    關(guān)鍵詞:自然語(yǔ)言處理深度學(xué)習(xí)

    肖靈云 侯開(kāi)虎 戴洪濤

    摘 ?要: 自動(dòng)評(píng)分方法是教育中實(shí)現(xiàn)計(jì)算機(jī)評(píng)分的一項(xiàng)研究,經(jīng)過(guò)歸結(jié)、分析國(guó)內(nèi)外自動(dòng)評(píng)分方法及最新的科研成果,完善對(duì)自動(dòng)評(píng)分方法的研究,便于快速學(xué)習(xí)和把握自動(dòng)評(píng)分方法,了解該領(lǐng)域的發(fā)展現(xiàn)狀及趨勢(shì)。經(jīng)過(guò)對(duì)過(guò)去該領(lǐng)域經(jīng)典文獻(xiàn)整理,分析不同自動(dòng)評(píng)分方法的運(yùn)用思想、優(yōu)劣勢(shì),總結(jié)每種計(jì)算方法的側(cè)重點(diǎn)及最新的應(yīng)用進(jìn)展。本文從國(guó)內(nèi)外自動(dòng)評(píng)分方法兩方面進(jìn)行闡述,形成較為清晰的思路。指出基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法為主流方法,基于深度學(xué)習(xí)的自動(dòng)評(píng)分方法(CNN、RNN、LSTM)將成為該領(lǐng)域的發(fā)展趨勢(shì),有助于全面把握和深刻了解自動(dòng)評(píng)分方法的現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    關(guān)鍵詞: 自動(dòng)評(píng)分方法;自然語(yǔ)言處理;深度學(xué)習(xí);CNN;RNN;LSTM

    中圖分類(lèi)號(hào): TP391.41 ? ?文獻(xiàn)標(biāo)識(shí)碼: A ? ?DOI:10.3969/j.issn.1003-6970.2019.06.035

    本文著錄格式:肖靈云,侯開(kāi)虎,戴洪濤,等. 自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)[J]. 軟件,2019,40(6):153156

    【Abstract】: The automatic scoring method is a study of computer scoring in education. It is based on the analysis of domestic and international automatic scoring methods and the latest scientific research results, perfecting the research on automatic scoring methods, facilitating rapid learning and grasping the automatic scoring method. To understand the development status and trends in this field. After reviewing the classic literatures in the past, analyze the application ideas, advantages and disadvantages of different automatic scoring methods, and summarize the focus of each calculation method and the latest application progress. This paper elaborates on two aspects of automatic scoring methods at home and abroad, and forms a clearer idea. It is pointed out that the automatic scoring method based on natural language processing is the mainstream method. The automatic scoring method based on deep learning (CNN, RNN, LSTM) will become the development trend in this field, which will help to fully grasp and deeply understand the current status and future of the automatic scoring method and development trend.

    【Key words】: Automatic scoring method; Natural language processing; Deep learning; CNN; RNN; LSTM

    0 ?引言

    自動(dòng)評(píng)分技術(shù)就是借助于計(jì)算機(jī)和有關(guān)科學(xué)技術(shù)通過(guò)網(wǎng)絡(luò)平臺(tái)來(lái)輔助人工評(píng)分的一項(xiàng)技術(shù)。最近這些年,很多學(xué)者對(duì)各種評(píng)分方法的較為重視,特別是對(duì)主觀題的評(píng)分,利用自動(dòng)評(píng)分方法可以幫助閱卷者快速、準(zhǔn)確、公平公正的評(píng)分,以達(dá)到減少人力、物力、財(cái)力的目的。因此,全面把握和了解自動(dòng)評(píng)分的方法研究發(fā)展現(xiàn)狀及趨勢(shì)具有非常大的現(xiàn)實(shí)意義。目前,國(guó)內(nèi)外已經(jīng)實(shí)現(xiàn)了對(duì)英語(yǔ)作文的自動(dòng)評(píng)分,漢語(yǔ)考試中的單選題、多選題的批改技術(shù)也相當(dāng)成熟。而主觀題自動(dòng)評(píng)分方法由于涉及到人工智能、模式識(shí)別和自然語(yǔ)言理解等多方面的理論知識(shí),因此,對(duì)比較多的主觀試題如名稱(chēng)解釋題、簡(jiǎn)答題、論述題等諸多問(wèn)題的自動(dòng)評(píng)分方法還沒(méi)有取得令人非常滿(mǎn)意的理想結(jié)果。有些在技術(shù)上的問(wèn)題仍然沒(méi)有得到很好的解決,所以,實(shí)現(xiàn)主觀試題自動(dòng)評(píng)分已經(jīng)成為在線考試系統(tǒng)中的一個(gè)技術(shù)重點(diǎn)和難點(diǎn)[1]。

    主觀題可以分為長(zhǎng)文本主觀題和短文本主觀題,長(zhǎng)文本主觀題包括文檔、篇章,短文本主觀題包括簡(jiǎn)答、論述。到目前為止,大多數(shù)自動(dòng)評(píng)分的方法主要是針對(duì)答案比較短的短文本的主觀題進(jìn)行評(píng)分。由于漢語(yǔ)具有獨(dú)特的特點(diǎn),其表達(dá)方式不僅多樣化,而且還具有復(fù)雜性,所以主觀題自動(dòng)評(píng)分方法涉及到文本語(yǔ)義理解的問(wèn)題。國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多不明白的技術(shù)問(wèn)題,主觀試題自動(dòng)評(píng)分方法仍不能很好的應(yīng)用于實(shí)踐當(dāng)中[1]。主觀題自動(dòng)評(píng)分不但可以排除閱卷人的主觀因素的作用,使得評(píng)分結(jié)果有據(jù)所依,客觀并有說(shuō)服力。而且可以大大減輕閱卷者的負(fù)擔(dān),對(duì)主觀題自動(dòng)評(píng)分方法的研究具有很大的實(shí)用意義[1]。

    1 ?國(guó)內(nèi)外自動(dòng)評(píng)分方法及其優(yōu)缺點(diǎn)

    1.1 ?國(guó)外自動(dòng)評(píng)分方法

    國(guó)外專(zhuān)注于研究主觀題自動(dòng)評(píng)分方法的時(shí)間相對(duì)國(guó)內(nèi)比較早,并取得了一系列的科技研究成果,其中針對(duì)短文本主觀題的自動(dòng)評(píng)分系統(tǒng)主要有 Auto Mark、ATM 等,針對(duì)長(zhǎng)文本主觀題的主要有 PEG、IEA、E-rater等。PEG(Project Essay Grad) 系統(tǒng)主要運(yùn)用統(tǒng)計(jì)學(xué)原理知識(shí)把文章的淺層語(yǔ)言形式特征的相似度作為主要評(píng)分依據(jù),是一個(gè)規(guī)模比較大的作文評(píng)分系統(tǒng),被看作是自動(dòng)評(píng)分領(lǐng)域的開(kāi)拓者[2]。由于沒(méi)有考慮文章的構(gòu)造內(nèi)容和語(yǔ)義信息,不能很好的理解文本內(nèi)容,因而該系統(tǒng)的效果不太好。

    IEA(Intelligent ?Essay ?Assessor)是由Hearst[2]等人開(kāi)發(fā)出的基于隱含語(yǔ)義分析技術(shù)(Latent Semantic Analysis, LSA)的作文評(píng)分系統(tǒng)。IEA既考慮了語(yǔ)義信息和文本內(nèi)容,又關(guān)注文本內(nèi)容的質(zhì)量,挖掘內(nèi)容的語(yǔ)義信息。LSA 沒(méi)考慮詞序,只能片面地反應(yīng)句子語(yǔ)義。IEA評(píng)分系統(tǒng)對(duì)社會(huì)科學(xué)、歷史學(xué)等說(shuō)明性文章可以進(jìn)行評(píng)分,但對(duì)事實(shí)性文章不太適合,能夠計(jì)算大規(guī)模、詞量豐富的文本的相似度,但對(duì)短文本、詞量較少的文本其向量空間會(huì)存在很多孤立點(diǎn)。

    E-Rater(Electronic Essay Rater)是為了評(píng)估GMAT 考試中的英文寫(xiě)作能力而研發(fā)的計(jì)算機(jī)程序[3]。E-rater綜合應(yīng)用了NLP、矢量空間模型技術(shù)和統(tǒng)計(jì)學(xué)技術(shù),綜合考慮了文本的語(yǔ)言質(zhì)量、篇章結(jié)構(gòu)、內(nèi)容質(zhì)量,并進(jìn)行分析評(píng)估。該系統(tǒng)評(píng)分準(zhǔn)確性比較高,但它采用的整體評(píng)分的策略,不僅不能單純判斷正誤,而且不能對(duì)那些需要判別內(nèi)容正誤并給出分?jǐn)?shù)的自動(dòng)評(píng)分類(lèi)問(wèn)題進(jìn)行評(píng)分,并沒(méi)有較深入的判斷文章的中心思想,只能評(píng)價(jià)考生的寫(xiě)作水平而不能判斷考生答案與題目是否很好的吻合。

    Auto Mark 系統(tǒng)[2]通過(guò)事先為每個(gè)題目分別制定多個(gè)正確答案或錯(cuò)誤答案的評(píng)分模板,將考生答案逐一與模板匹配,判斷正確程度并給出分?jǐn)?shù),符合人的思維方式,意思表達(dá)到位即可,真正完成了基于語(yǔ)義、內(nèi)容的任何文本答案的自動(dòng)評(píng)分,為主觀題自動(dòng)評(píng)分技術(shù)的發(fā)展研究開(kāi)拓了新思路。

    ATM(Automated Text Marker)是一款針對(duì)有明確正誤之分、答案文本較為簡(jiǎn)短的題目進(jìn)行計(jì)算機(jī)輔助評(píng)分的一種評(píng)分系統(tǒng)[2]。其針對(duì)開(kāi)放式問(wèn)題的任意文本答案的自動(dòng)匹配功能,主要利用NLP技術(shù),經(jīng)過(guò)語(yǔ)法預(yù)處理、句子的主要成分及相互關(guān)系進(jìn)行解析、匹配結(jié)果與標(biāo)準(zhǔn)答案幾個(gè)步驟計(jì)算出分?jǐn)?shù)。ATM取得了較大的突破,但該系統(tǒng)使用了語(yǔ)法和語(yǔ)義分析技術(shù),增加了實(shí)現(xiàn)該系統(tǒng)的難度。

    1.2 ?國(guó)內(nèi)自動(dòng)評(píng)分方法

    我國(guó)吸取和完善上述一些先進(jìn)的技術(shù)逐漸開(kāi)始注重對(duì)自動(dòng)評(píng)分方法的研究,并應(yīng)用到實(shí)際生活中。目前國(guó)內(nèi)基于主觀題自動(dòng)評(píng)分的方法主要有:產(chǎn)生式規(guī)則;運(yùn)用動(dòng)態(tài)規(guī)劃方法改進(jìn)語(yǔ)句相似度的計(jì)算;模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配的方法;文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。國(guó)內(nèi)學(xué)者將上述方法、或者其改進(jìn)方法、或上述方法相結(jié)合應(yīng)用于自動(dòng)評(píng)分系統(tǒng)中,并取得了一定的成績(jī),但仍有諸多不足之處需要改進(jìn)。

    將產(chǎn)生式規(guī)則思想應(yīng)用在考試評(píng)分方法中,可以實(shí)現(xiàn)一定程度上對(duì)非客觀試題的智能化評(píng)分閱卷,如計(jì)算機(jī)上機(jī)操作考試、語(yǔ)文和英語(yǔ)類(lèi)等。通過(guò)定義產(chǎn)生式規(guī)則的分解和運(yùn)算,使得產(chǎn)生式規(guī)則的簡(jiǎn)化和在關(guān)系數(shù)據(jù)庫(kù)中的存儲(chǔ)問(wèn)題得到了很好的解決[4]。

    諸多學(xué)者將模糊數(shù)學(xué)中貼近度理論或者將貼近度理論與句法分析相互結(jié)合,然后將其應(yīng)用于主觀題自動(dòng)評(píng)分系統(tǒng)中。通過(guò)研究分析閱卷者對(duì)主觀題評(píng)分流程的思維方式,依據(jù)得分點(diǎn)和貼近標(biāo)準(zhǔn)答案的程度來(lái)評(píng)分,能在一定程度上完成對(duì)主觀題的評(píng)分,使教師的工作量得到減少。但是此類(lèi)計(jì)算方法比較簡(jiǎn)單,沒(méi)有考慮語(yǔ)義、語(yǔ)序等問(wèn)題對(duì)評(píng)分系統(tǒng)的作用,其評(píng)分精度不高。

    李輝陽(yáng)等人[5]經(jīng)過(guò)對(duì)有限領(lǐng)域中文本自動(dòng)判讀技術(shù)的研究,提出的可應(yīng)用于計(jì)算機(jī)輔助教學(xué)的基于關(guān)系的帶權(quán)匹配技術(shù)并獲得了成功,其實(shí)現(xiàn)的方法能夠?qū)?jiǎn)單論述正誤進(jìn)行較好的判別,該方法在某種程度上模擬了老師閱卷過(guò)程,實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)批改列舉題、簡(jiǎn)述題、簡(jiǎn)答題等諸多主觀題,對(duì)主觀題自動(dòng)評(píng)分有一定的實(shí)際指導(dǎo)意義。張量等[6]用字符串匹配的方法開(kāi)發(fā)了一種自動(dòng)批改技術(shù),主要是針對(duì)計(jì)算機(jī)基礎(chǔ)上機(jī)操作考試中的文字錄入題,該方法主要判斷學(xué)生所錄入的字?jǐn)?shù)、錯(cuò)錄、漏錄情況。

    有些學(xué)者將作文評(píng)分過(guò)程看作是文本分類(lèi)過(guò)程,通過(guò)決策樹(shù)分類(lèi)器將文本分類(lèi)。或者按照作文詞匯等的相似度通過(guò)文本聚類(lèi)進(jìn)行分類(lèi),實(shí)現(xiàn)了英語(yǔ)作文自動(dòng)評(píng)分方法中文本聚類(lèi)的應(yīng)用文。雖然采用梯度提升決策樹(shù)分類(lèi)器的分類(lèi)效果,但其方法特征不能充分反映作文特征,可擴(kuò)展性也不好。通過(guò)文本聚類(lèi)將差異性較大的可能跑題的作文交由老師評(píng)閱,減少了教師工作量,并使作文批改的準(zhǔn)確性程度和老師的工作效率都得到了一定的提高。而基于向量空間模型的問(wèn)答題智能化評(píng)分方法,其依據(jù)VSM將學(xué)生的答案及標(biāo)準(zhǔn)答案表示成特征向量的形式,然后計(jì)算其相似度,從而確定學(xué)生的得分。

    主觀題自動(dòng)評(píng)分方法的好與壞,無(wú)非是體現(xiàn)在標(biāo)準(zhǔn)答案和考生試題答案之間的相似度程度上。在全面考慮了語(yǔ)義,語(yǔ)序,文本整體表達(dá)涵義之后,相似度高,則得分高,相似度低,則得分低。為此,諸多學(xué)者在如何提高文本相似度有關(guān)方面進(jìn)行了大量的科學(xué)分析研究。學(xué)者們充分將知識(shí)庫(kù)或詞典或兩者相結(jié)合引入到評(píng)分過(guò)程中,以便提高相似度計(jì)算的準(zhǔn)確性。然后再對(duì)計(jì)算得分的計(jì)算模型加以改進(jìn),計(jì)算出最后得分。經(jīng)過(guò)一系列的操作之后,評(píng)分結(jié)果與人工的評(píng)分結(jié)果更加接近。然而這種方法仍有缺陷,首先,詞庫(kù)覆蓋范圍不夠足夠大,再者,提取特征時(shí)有不足之處,還需要進(jìn)一步改進(jìn)。

    隨著自然語(yǔ)言處理技術(shù)的日益成熟,對(duì)于自然語(yǔ)言處理技術(shù)將如何應(yīng)用于主觀題自動(dòng)評(píng)分中,諸多學(xué)者進(jìn)行了大量嘗試,并取得一些進(jìn)展。比如基于自然語(yǔ)言處理的智能評(píng)分方法,經(jīng)過(guò)改進(jìn)已有的文本相似度計(jì)算方法,提出了一種新的排序和劃分區(qū)間的評(píng)分方法。查看實(shí)驗(yàn)結(jié)果,表明該智能評(píng)分方法有效且可行。通過(guò)一些算法生成自然語(yǔ)言概念圖或概念網(wǎng),然后對(duì)目標(biāo)文本進(jìn)行預(yù)處理,再計(jì)算文本相似度,從而計(jì)算得分。在應(yīng)用自然語(yǔ)言處理技術(shù),可以與《知網(wǎng)》知識(shí)庫(kù)或《同義詞詞林》詞典相結(jié)合,以便更好的理解文本語(yǔ)義,從而提高評(píng)分準(zhǔn)確率。

    2 ?自動(dòng)評(píng)分方法展望

    由于漢語(yǔ)表達(dá)方式的多樣化和復(fù)雜性,國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多問(wèn)題,到目前為止,并沒(méi)有很好的應(yīng)用于實(shí)踐的主觀題自動(dòng)評(píng)分方法[2]。主觀題的評(píng)分判斷涉及到自然語(yǔ)言的翻譯、理解及語(yǔ)義的匹配等,主觀題自動(dòng)評(píng)分方法涉及到的技術(shù)主要有文本的預(yù)處理、相似度計(jì)算、計(jì)算分?jǐn)?shù)等諸多個(gè)方面。主觀題自動(dòng)評(píng)分不單單是自然語(yǔ)言理解技術(shù)的一個(gè)很有意義的應(yīng)用,而且還依賴(lài)于NLP技術(shù)的研究發(fā)展[7]。

    由于大數(shù)據(jù)以及計(jì)算力的提升,深度學(xué)習(xí)有了極大的突破,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法被引用到NLP算法中。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支,可以自動(dòng)地學(xué)習(xí)合適的特征和多層次的表達(dá)與輸出。在NLP技術(shù)領(lǐng)域,主要在信息抽取、詞性標(biāo)注、命名實(shí)體識(shí)別、文本分析等研究方向都有成功的應(yīng)用。和傳統(tǒng)方式相比,深度學(xué)習(xí)的重要特性是,用詞向量來(lái)表示各種級(jí)別的元素。傳統(tǒng)的算法一般會(huì)用統(tǒng)計(jì)等方法去標(biāo)注,而深度學(xué)習(xí)會(huì)直接通過(guò)詞向量表示,然后通過(guò)深度網(wǎng)絡(luò)進(jìn)行自動(dòng)學(xué)習(xí)。目前,深度學(xué)習(xí)在自然語(yǔ)言處理中是比較流行的,其中算法包括:多層感知機(jī)、CNN、RNN、Seq2Seq等。

    卷積神經(jīng)網(wǎng)絡(luò)[8](Convolu-tional Neural Network,CNN),是一種由輸入層、卷積層、池化層、全連接層、輸出層組成的前饋神經(jīng)網(wǎng)絡(luò),其具有良好的自學(xué)習(xí)能力和泛化能力,在短文本的表示和句子分類(lèi)上也取得了一系列進(jìn)展。而循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與卷積神經(jīng)網(wǎng)絡(luò)不同,是一種能夠?qū)r(shí)序數(shù)據(jù)進(jìn)行精準(zhǔn)建模的網(wǎng)絡(luò)。而文本的獨(dú)特在于是典型的序列數(shù)據(jù),每個(gè)文字的出現(xiàn)都是依賴(lài)于前面的單詞和后面的單詞,所以循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于文本較為廣泛,近年來(lái),RNN及其變種長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory ,LSTM)在NLP領(lǐng)域得到了廣泛應(yīng)用,例如在語(yǔ)言模型、句法分析、語(yǔ)意角色標(biāo)注等領(lǐng)域均有優(yōu)異的表現(xiàn)。LSTM是RNN的升級(jí)版本,從抽象的角度來(lái)看,LSTM保存了文本中的長(zhǎng)期依賴(lài)信息。并通過(guò)對(duì)循環(huán)層的刻意設(shè)計(jì)來(lái)避免長(zhǎng)期依賴(lài)的問(wèn)題和梯度消失的問(wèn)題。

    3 ?結(jié)論

    自動(dòng)評(píng)分方法,特別是主觀題自動(dòng)評(píng)分方法一直是完全實(shí)施考試信息化、教學(xué)信息化的瓶頸問(wèn)題,研究的很多,但進(jìn)展較為緩慢,特別是應(yīng)用于實(shí)際的成果比較少,其主要原因是一些關(guān)鍵技術(shù)、核心技術(shù)還處在研究、發(fā)展階段[5],如:對(duì)自然語(yǔ)言的深入理解、模式的識(shí)別、人工智能技術(shù)的發(fā)展等。主觀題自動(dòng)評(píng)分方法主要是利用基于大數(shù)據(jù)分析的NLP技術(shù),按照評(píng)閱流程,可以分為分句、分詞、語(yǔ)言的預(yù)處理、分類(lèi)計(jì)算、相似度比較計(jì)算等幾個(gè)環(huán)節(jié)。在前沿技術(shù)上,通過(guò)大數(shù)據(jù)分析技術(shù)的不斷發(fā)展和推動(dòng),進(jìn)一步完善主觀題自動(dòng)評(píng)分在教學(xué)信息化中的實(shí)際應(yīng)用將具有廣闊的前景和市場(chǎng)需求。近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn),自動(dòng)評(píng)分的準(zhǔn)確程度得到了顯著的提高。本文總結(jié)了以往研究中的經(jīng)典方法,并且對(duì)當(dāng)前主流的研究方法進(jìn)行總結(jié)分析。通過(guò)對(duì)自動(dòng)評(píng)分中大量的方法進(jìn)行梳理和歸納分析,主要將其分為國(guó)外經(jīng)典自動(dòng)評(píng)分方法、國(guó)內(nèi)自動(dòng)評(píng)分方法兩方面來(lái)介紹。其中,國(guó)內(nèi)的自動(dòng)評(píng)分方法主要包括產(chǎn)生式規(guī)則;基于動(dòng)態(tài)規(guī)劃方法對(duì)語(yǔ)句相似度進(jìn)行改進(jìn);模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配、文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。其中基于自然語(yǔ)言處理技術(shù)的自動(dòng)評(píng)分方法主要包括:中文分詞、去停用詞、詞義消岐、詞性標(biāo)注與命名實(shí)體識(shí)別技術(shù)、句法分析、關(guān)鍵詞提取、文本向量化等。國(guó)內(nèi)外自動(dòng)評(píng)分方法具體如圖1所示。

    目前應(yīng)用較多的是基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法其中比較流行的深度學(xué)習(xí)算法有:多層感知機(jī)、CNN、RNN、Seq2Seq等。而基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的主觀題評(píng)分方法將成為未來(lái)的發(fā)展趨勢(shì),具有較好的應(yīng)用前景。自動(dòng)評(píng)分方法與基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法相結(jié)合,通過(guò)深度網(wǎng)絡(luò)進(jìn)行自主學(xué)習(xí),提取文本特征,這將會(huì)帶領(lǐng)主觀題自動(dòng)評(píng)分方法邁向一個(gè)新的臺(tái)階。

    本文對(duì)國(guó)內(nèi)外學(xué)者取得的進(jìn)展和最新成果進(jìn)行了總結(jié)歸納,形成了較為全面的分類(lèi)體系,希望有助于全面把握和深入了解自動(dòng)評(píng)分方法的研究現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    參考文獻(xiàn)

    [1] 高思丹, 袁春風(fēng). 主觀試題的計(jì)算機(jī)自動(dòng)批改技術(shù)研究 [J]. 計(jì)算機(jī)應(yīng)用研究, 2004, 21(2): 181-185.

    [2] RudnerL,GagneP.An Overview of Three Approaches to Scoring Written Essays by Computer[J]. Practical Assessment, 2001, 151(3): 501.

    [3] Attali Y, Burstein J. AUTOMATED ESSAY SCORING WITH E-RATER?; V.2.0[J]. Journal of Technology Learning & Assessment, 2006, 4(2): i-21.

    [4] 劉增鎖, 吳敬. 產(chǎn)生式規(guī)則在考試評(píng)分系統(tǒng)中的應(yīng)用研究 [J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2006, 16(7): 162-164.

    [5] 李輝陽(yáng), 韓忠愿. 有限領(lǐng)域簡(jiǎn)述文字的自動(dòng)判讀及其在CAI中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2002, 38(8): 76-78.

    [6] 張量, 詹國(guó)華. 開(kāi)放式、智能化計(jì)算機(jī)考核閱卷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2001, 37(10): 108-110.

    [7] 麥范金, 岳曉光, 趙子強(qiáng), 等. 基于自然語(yǔ)言處理的智能評(píng)分系統(tǒng)[J]. 桂林理工大學(xué)學(xué)報(bào), 2010, 30(3): 426-430.

    [8] 劉亞軍, 徐易. 一種基于加權(quán)語(yǔ)義相似度模型的自動(dòng)問(wèn)答系統(tǒng)[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2004, 34(5): 609-612.

    [9] LiB,YaoJM.Automated Essay Scoring Using Multi-classifier Fusion[C]//International Conference on Information & Management Engineering.2011.

    [10] Kim Y. Convolutional neural networks for sentence classification[J]. ar Xiv preprint ar Xiv:1408.5882, 2014.

    [11] Wang R, Wang X, Chi Z, et al. Chinese Sentence Similarity Measure Based on Words and Structure Information[J]. International Conference on Advanced Language Processing & Web Information Technology, 2008:27-31.

    [12] Bin L, Ting L, Bing Q, et al. Chinese Sentence Similarity Computing Based on Semantic Dependency Relationship Analysis[J]. Application Research of Computers, 2003.

    [13] Page, E. B. Computer grading of student prose [J], using modern concepts and software. Journal of Experimental Education, 62, 127–142.

    [14] Thomas k. Launder, Darrell Latham, Peter Foltz, Automatic essay assessment [J], Assessment in Education, 2003, 2003(10), 295-308.

    [15] Valenti S, Neri F and Cucchiarelli A. An Overview of Current Research on Automated Essay Grading[J]. Journal of Information Technology Education, 2003, 2: 319-330.

    [16] Han, Na-Rae, Martin Chodorow, and Claudia Leacock. Detecting errors in English article usage by non-native speakers[J]. Natural Language Engineering, 2006. 12(1): 115-129.

    [17] ]Rudner L M, Liang T. Automated essay scoring using Bayes' theorem[J]. The Journal of Technology, Learning and Assessment, 2002, 1(2).

    [18] 張春英, 李春虎, 付其峰. 基于WV-CNN的中文文本語(yǔ)義相似度計(jì)算方法[J]. 華北理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 41(01): 123-132.

    猜你喜歡
    自然語(yǔ)言處理深度學(xué)習(xí)
    基于組合分類(lèi)算法的源代碼注釋質(zhì)量評(píng)估方法
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    面向機(jī)器人導(dǎo)航的漢語(yǔ)路徑自然語(yǔ)言組塊分析方法研究
    漢哈機(jī)器翻譯中的文字轉(zhuǎn)換技術(shù)研究
    HowNet在自然語(yǔ)言處理領(lǐng)域的研究現(xiàn)狀與分析
    科技視界(2016年5期)2016-02-22 11:41:39
    女生性感内裤真人,穿戴方法视频| 99国产极品粉嫩在线观看| 精品福利观看| 黑人巨大精品欧美一区二区mp4| 久久国产精品影院| 9热在线视频观看99| 老熟妇乱子伦视频在线观看| 午夜激情av网站| 精品国产亚洲在线| 999精品在线视频| 黄色 视频免费看| 97碰自拍视频| 搡老岳熟女国产| 日韩欧美一区二区三区在线观看| 国产精品综合久久久久久久免费 | 久久草成人影院| 午夜成年电影在线免费观看| 国产精品一区二区免费欧美| 麻豆一二三区av精品| 午夜福利影视在线免费观看| 又黄又爽又免费观看的视频| 久久香蕉精品热| 亚洲精品在线美女| 日韩精品青青久久久久久| 国产精品久久久av美女十八| 久久精品国产亚洲av香蕉五月| 波多野结衣av一区二区av| 搡老岳熟女国产| 亚洲成人国产一区在线观看| 亚洲精品粉嫩美女一区| 中文字幕人妻丝袜制服| 母亲3免费完整高清在线观看| 黄片大片在线免费观看| 女警被强在线播放| 精品欧美一区二区三区在线| 久久人妻av系列| 色综合婷婷激情| 欧美不卡视频在线免费观看 | av视频免费观看在线观看| 人人妻人人爽人人添夜夜欢视频| 成人免费观看视频高清| 久久99一区二区三区| 国产精品成人在线| 国产成人一区二区三区免费视频网站| 欧美日韩亚洲国产一区二区在线观看| xxx96com| 一级毛片高清免费大全| 日韩精品中文字幕看吧| 国产无遮挡羞羞视频在线观看| 黄色 视频免费看| 成人手机av| 午夜精品在线福利| 成人国语在线视频| 久久午夜综合久久蜜桃| 午夜日韩欧美国产| 午夜激情av网站| 日韩免费av在线播放| 在线观看免费视频网站a站| 国产91精品成人一区二区三区| 国产欧美日韩精品亚洲av| 国产有黄有色有爽视频| 国产黄色免费在线视频| 国产极品粉嫩免费观看在线| 最新在线观看一区二区三区| 国产高清videossex| 美女福利国产在线| 美女国产高潮福利片在线看| 天堂俺去俺来也www色官网| 国产深夜福利视频在线观看| 一区二区日韩欧美中文字幕| 女性生殖器流出的白浆| 母亲3免费完整高清在线观看| 操出白浆在线播放| 国产激情久久老熟女| 国产精品电影一区二区三区| 国产精品乱码一区二三区的特点 | 日韩精品青青久久久久久| 久热这里只有精品99| av有码第一页| 亚洲五月天丁香| 三级毛片av免费| 国产av一区在线观看免费| 中文字幕av电影在线播放| a级毛片黄视频| 大型黄色视频在线免费观看| 亚洲激情在线av| 亚洲狠狠婷婷综合久久图片| 久久久久久人人人人人| 老司机深夜福利视频在线观看| 搡老熟女国产l中国老女人| bbb黄色大片| 少妇的丰满在线观看| 人人澡人人妻人| 国产免费男女视频| 中文亚洲av片在线观看爽| 亚洲美女黄片视频| 长腿黑丝高跟| 免费搜索国产男女视频| 视频区图区小说| 亚洲欧洲精品一区二区精品久久久| 91精品国产国语对白视频| 777久久人妻少妇嫩草av网站| 久久久久亚洲av毛片大全| 一a级毛片在线观看| 亚洲中文av在线| 1024视频免费在线观看| 97超级碰碰碰精品色视频在线观看| 久久影院123| 国产成+人综合+亚洲专区| 身体一侧抽搐| 午夜a级毛片| 久久久久久大精品| 丝袜人妻中文字幕| 首页视频小说图片口味搜索| 黄色a级毛片大全视频| 欧美性长视频在线观看| 纯流量卡能插随身wifi吗| 午夜福利一区二区在线看| 黄色视频,在线免费观看| 亚洲五月婷婷丁香| 一级片'在线观看视频| 国产亚洲精品综合一区在线观看 | 亚洲第一av免费看| 午夜福利免费观看在线| 日韩大码丰满熟妇| 可以免费在线观看a视频的电影网站| 亚洲色图综合在线观看| 又紧又爽又黄一区二区| 村上凉子中文字幕在线| 国产黄a三级三级三级人| 大陆偷拍与自拍| 免费看十八禁软件| 国产成人欧美在线观看| 国产精品电影一区二区三区| 国产精品亚洲一级av第二区| 丁香欧美五月| 露出奶头的视频| 男人操女人黄网站| www.熟女人妻精品国产| 老司机深夜福利视频在线观看| 男人舔女人的私密视频| 深夜精品福利| 国产精品 国内视频| 最新在线观看一区二区三区| 纯流量卡能插随身wifi吗| 欧美日本亚洲视频在线播放| 长腿黑丝高跟| 嫁个100分男人电影在线观看| 精品日产1卡2卡| 91在线观看av| 免费在线观看影片大全网站| 他把我摸到了高潮在线观看| 亚洲av第一区精品v没综合| 黄色片一级片一级黄色片| 黑人欧美特级aaaaaa片| 九色亚洲精品在线播放| 欧美av亚洲av综合av国产av| 午夜福利在线免费观看网站| 午夜精品久久久久久毛片777| 久久午夜综合久久蜜桃| 一级黄色大片毛片| 曰老女人黄片| 亚洲国产精品999在线| 国产一区二区三区在线臀色熟女 | 在线观看www视频免费| 亚洲片人在线观看| 男女之事视频高清在线观看| 免费在线观看亚洲国产| 亚洲在线自拍视频| 少妇 在线观看| 99re在线观看精品视频| 香蕉丝袜av| 精品一区二区三区四区五区乱码| 50天的宝宝边吃奶边哭怎么回事| 无限看片的www在线观看| 亚洲全国av大片| 国产一区二区三区综合在线观看| 大香蕉久久成人网| 黑人猛操日本美女一级片| 9热在线视频观看99| 精品一区二区三卡| 久久久久久久久久久久大奶| 黄片播放在线免费| 老熟妇乱子伦视频在线观看| 日韩 欧美 亚洲 中文字幕| 一夜夜www| 精品久久蜜臀av无| 一本大道久久a久久精品| 久久国产乱子伦精品免费另类| 久久人妻福利社区极品人妻图片| 亚洲成a人片在线一区二区| 99久久99久久久精品蜜桃| 最好的美女福利视频网| 国产精品成人在线| 99国产精品一区二区三区| 深夜精品福利| 中出人妻视频一区二区| 男人舔女人的私密视频| 一个人观看的视频www高清免费观看 | 国产亚洲精品第一综合不卡| 亚洲精品美女久久av网站| 午夜精品在线福利| 国产激情欧美一区二区| 天堂俺去俺来也www色官网| 男人舔女人下体高潮全视频| 日韩免费av在线播放| 久久人妻福利社区极品人妻图片| 热99re8久久精品国产| 高潮久久久久久久久久久不卡| 久久精品91蜜桃| 亚洲av美国av| 欧美成狂野欧美在线观看| 日韩大尺度精品在线看网址 | 亚洲专区中文字幕在线| 国产午夜精品久久久久久| 国产欧美日韩一区二区精品| 国产99久久九九免费精品| 12—13女人毛片做爰片一| 19禁男女啪啪无遮挡网站| 无人区码免费观看不卡| 亚洲av片天天在线观看| 亚洲精品一区av在线观看| 国内毛片毛片毛片毛片毛片| 美女 人体艺术 gogo| 91九色精品人成在线观看| 久久久国产欧美日韩av| 日本免费a在线| 亚洲第一欧美日韩一区二区三区| 日韩国内少妇激情av| 美女大奶头视频| cao死你这个sao货| svipshipincom国产片| 欧美日韩精品网址| 精品一品国产午夜福利视频| 1024视频免费在线观看| 亚洲人成电影免费在线| 亚洲av片天天在线观看| 成人三级黄色视频| 最近最新免费中文字幕在线| 免费观看精品视频网站| 久久人人精品亚洲av| 国产av精品麻豆| 亚洲avbb在线观看| 国产精品免费视频内射| 午夜免费观看网址| 青草久久国产| 久久 成人 亚洲| 亚洲精品一区av在线观看| 18禁美女被吸乳视频| 一级片'在线观看视频| 在线观看免费视频日本深夜| 成人免费观看视频高清| 夜夜夜夜夜久久久久| 欧美性长视频在线观看| av欧美777| 1024视频免费在线观看| 男女高潮啪啪啪动态图| 777久久人妻少妇嫩草av网站| 日韩欧美一区二区三区在线观看| 欧美乱妇无乱码| 中文字幕av电影在线播放| 乱人伦中国视频| 香蕉丝袜av| 亚洲国产中文字幕在线视频| 一级a爱视频在线免费观看| 人人妻人人爽人人添夜夜欢视频| 精品熟女少妇八av免费久了| 国产亚洲精品综合一区在线观看 | 免费高清在线观看日韩| 亚洲第一欧美日韩一区二区三区| 精品国产亚洲在线| 十八禁人妻一区二区| 99国产精品一区二区三区| 女性生殖器流出的白浆| 亚洲精品av麻豆狂野| 亚洲成人国产一区在线观看| 精品久久久久久成人av| 一级a爱片免费观看的视频| 欧美日韩福利视频一区二区| 妹子高潮喷水视频| 在线观看免费日韩欧美大片| 国产精品免费视频内射| 老鸭窝网址在线观看| 啦啦啦在线免费观看视频4| 亚洲精品久久成人aⅴ小说| 日本撒尿小便嘘嘘汇集6| 老汉色∧v一级毛片| 免费看十八禁软件| 在线观看66精品国产| 亚洲七黄色美女视频| 色综合婷婷激情| 久久精品影院6| 国产精品一区二区在线不卡| 午夜福利一区二区在线看| 99久久综合精品五月天人人| 无遮挡黄片免费观看| 三级毛片av免费| 不卡一级毛片| tocl精华| 999久久久精品免费观看国产| 中亚洲国语对白在线视频| 免费在线观看视频国产中文字幕亚洲| 大陆偷拍与自拍| 免费一级毛片在线播放高清视频 | 午夜福利,免费看| 中文欧美无线码| 日日爽夜夜爽网站| avwww免费| 精品熟女少妇八av免费久了| 久久精品亚洲精品国产色婷小说| a级片在线免费高清观看视频| 日本撒尿小便嘘嘘汇集6| 国产精品乱码一区二三区的特点 | 88av欧美| 18美女黄网站色大片免费观看| 午夜免费激情av| 久久久久久久久中文| 亚洲少妇的诱惑av| 国产伦人伦偷精品视频| 成人影院久久| 亚洲精品在线观看二区| 国产黄色免费在线视频| 亚洲色图综合在线观看| 国产精品香港三级国产av潘金莲| 两性夫妻黄色片| 热99国产精品久久久久久7| 80岁老熟妇乱子伦牲交| 久久久久国内视频| 免费在线观看日本一区| 欧美av亚洲av综合av国产av| 又大又爽又粗| 高潮久久久久久久久久久不卡| 欧美日本亚洲视频在线播放| 亚洲国产欧美一区二区综合| 淫妇啪啪啪对白视频| 免费看a级黄色片| 麻豆av在线久日| 窝窝影院91人妻| 啦啦啦免费观看视频1| 亚洲色图 男人天堂 中文字幕| 亚洲欧美一区二区三区久久| 少妇被粗大的猛进出69影院| 国产成人av教育| 国产乱人伦免费视频| 亚洲精品国产精品久久久不卡| 人妻久久中文字幕网| 国产99白浆流出| 欧美日韩亚洲综合一区二区三区_| 岛国视频午夜一区免费看| 午夜福利在线观看吧| 午夜久久久在线观看| 97超级碰碰碰精品色视频在线观看| 91在线观看av| 1024香蕉在线观看| 亚洲免费av在线视频| 亚洲熟女毛片儿| 国产有黄有色有爽视频| 成人影院久久| 国产精品香港三级国产av潘金莲| 亚洲免费av在线视频| 日韩精品青青久久久久久| 麻豆国产av国片精品| 黄色成人免费大全| 国产精品九九99| e午夜精品久久久久久久| 少妇 在线观看| 亚洲av电影在线进入| 国产高清国产精品国产三级| av中文乱码字幕在线| 丝袜人妻中文字幕| 亚洲专区字幕在线| 男女床上黄色一级片免费看| 色综合欧美亚洲国产小说| 国产高清视频在线播放一区| 国产精品久久久久久人妻精品电影| 一级毛片精品| 日本欧美视频一区| 操出白浆在线播放| 国产精品免费视频内射| 成在线人永久免费视频| 国产在线精品亚洲第一网站| 欧美av亚洲av综合av国产av| 大码成人一级视频| 久久精品aⅴ一区二区三区四区| www.精华液| 欧美黑人精品巨大| 久久热在线av| 亚洲av成人av| 在线观看免费高清a一片| 夜夜躁狠狠躁天天躁| 波多野结衣高清无吗| 免费在线观看亚洲国产| 国产在线观看jvid| 日韩欧美在线二视频| 丰满的人妻完整版| 精品国产乱子伦一区二区三区| 中文字幕人妻丝袜一区二区| 一级毛片精品| 国产有黄有色有爽视频| 欧美日韩av久久| 视频在线观看一区二区三区| 欧美日韩黄片免| 在线观看日韩欧美| 欧美日本亚洲视频在线播放| 高清av免费在线| 国产蜜桃级精品一区二区三区| 国产高清videossex| 99热只有精品国产| 日日摸夜夜添夜夜添小说| 视频区欧美日本亚洲| 亚洲av成人一区二区三| 欧美成人性av电影在线观看| 国产精品98久久久久久宅男小说| 欧美乱妇无乱码| 欧美日韩亚洲高清精品| 精品久久久久久电影网| 美女午夜性视频免费| 色尼玛亚洲综合影院| 亚洲成人国产一区在线观看| 午夜成年电影在线免费观看| 天天躁狠狠躁夜夜躁狠狠躁| 午夜老司机福利片| 欧美中文日本在线观看视频| 亚洲 欧美 日韩 在线 免费| 久久亚洲真实| 午夜91福利影院| 国产91精品成人一区二区三区| 亚洲成a人片在线一区二区| 悠悠久久av| 久久性视频一级片| 日韩中文字幕欧美一区二区| 久久久久久久久久久久大奶| 女性被躁到高潮视频| 亚洲av电影在线进入| 50天的宝宝边吃奶边哭怎么回事| 亚洲国产看品久久| aaaaa片日本免费| 欧美日韩黄片免| 在线观看午夜福利视频| 欧美国产精品va在线观看不卡| 极品教师在线免费播放| 男男h啪啪无遮挡| 免费高清视频大片| 欧美大码av| 日韩欧美一区视频在线观看| 久久精品国产99精品国产亚洲性色 | 在线十欧美十亚洲十日本专区| 五月开心婷婷网| 欧美大码av| 日韩精品免费视频一区二区三区| 欧美中文日本在线观看视频| 婷婷六月久久综合丁香| 国产99久久九九免费精品| 黑丝袜美女国产一区| 不卡av一区二区三区| 久久精品91无色码中文字幕| 久久精品aⅴ一区二区三区四区| 国产精品成人在线| 一本大道久久a久久精品| 精品国产乱码久久久久久男人| netflix在线观看网站| 国产成人精品在线电影| 国产1区2区3区精品| 人人妻人人爽人人添夜夜欢视频| 亚洲精品国产色婷婷电影| 色在线成人网| 首页视频小说图片口味搜索| 成人三级黄色视频| 亚洲欧美精品综合久久99| 国产三级在线视频| 人人妻人人澡人人看| 天堂俺去俺来也www色官网| 麻豆av在线久日| 在线观看66精品国产| 亚洲欧美一区二区三区黑人| 国产aⅴ精品一区二区三区波| 午夜福利欧美成人| 免费不卡黄色视频| 久久欧美精品欧美久久欧美| 日本一区二区免费在线视频| 麻豆久久精品国产亚洲av | 一级a爱视频在线免费观看| 国产成人精品无人区| 两性午夜刺激爽爽歪歪视频在线观看 | 色播在线永久视频| 欧美激情 高清一区二区三区| 亚洲欧洲精品一区二区精品久久久| 久热这里只有精品99| 少妇的丰满在线观看| 精品人妻1区二区| 淫秽高清视频在线观看| 久久性视频一级片| 亚洲一区中文字幕在线| 欧美激情高清一区二区三区| 国产成人免费无遮挡视频| 免费高清视频大片| 高潮久久久久久久久久久不卡| 99精品欧美一区二区三区四区| 两个人看的免费小视频| 免费在线观看完整版高清| 黑人欧美特级aaaaaa片| 黄片小视频在线播放| 两个人看的免费小视频| 国产成年人精品一区二区 | 乱人伦中国视频| 久久这里只有精品19| 三上悠亚av全集在线观看| 午夜精品久久久久久毛片777| 身体一侧抽搐| 成年人黄色毛片网站| 身体一侧抽搐| 别揉我奶头~嗯~啊~动态视频| 999精品在线视频| aaaaa片日本免费| av视频免费观看在线观看| 99国产精品99久久久久| av超薄肉色丝袜交足视频| 日韩免费av在线播放| 一级片'在线观看视频| 欧美日本中文国产一区发布| 又黄又爽又免费观看的视频| 在线观看日韩欧美| 日本 av在线| 免费一级毛片在线播放高清视频 | 亚洲国产中文字幕在线视频| 国产精品九九99| 欧美不卡视频在线免费观看 | 男人舔女人下体高潮全视频| 窝窝影院91人妻| 亚洲一码二码三码区别大吗| 欧美日韩亚洲高清精品| 亚洲男人的天堂狠狠| 19禁男女啪啪无遮挡网站| a级毛片黄视频| 在线观看免费午夜福利视频| 久久精品aⅴ一区二区三区四区| 看片在线看免费视频| 亚洲aⅴ乱码一区二区在线播放 | www.精华液| 欧美日韩中文字幕国产精品一区二区三区 | 看免费av毛片| 99国产精品一区二区蜜桃av| 一进一出抽搐gif免费好疼 | 亚洲精品美女久久久久99蜜臀| 成人永久免费在线观看视频| 制服诱惑二区| 亚洲国产看品久久| 91精品国产国语对白视频| 亚洲五月天丁香| 亚洲精品在线观看二区| 精品第一国产精品| 18禁美女被吸乳视频| 亚洲精品中文字幕在线视频| av网站在线播放免费| 美女高潮到喷水免费观看| 成年版毛片免费区| 美女 人体艺术 gogo| 欧美午夜高清在线| 好看av亚洲va欧美ⅴa在| 91国产中文字幕| 国产成人系列免费观看| 窝窝影院91人妻| 最近最新免费中文字幕在线| 女人高潮潮喷娇喘18禁视频| 国产精品一区二区免费欧美| 满18在线观看网站| 亚洲 国产 在线| 成人影院久久| 男女之事视频高清在线观看| 老熟妇仑乱视频hdxx| 法律面前人人平等表现在哪些方面| 淫秽高清视频在线观看| 天堂俺去俺来也www色官网| 中文字幕色久视频| 19禁男女啪啪无遮挡网站| 一二三四在线观看免费中文在| 97超级碰碰碰精品色视频在线观看| 美女高潮喷水抽搐中文字幕| 亚洲va日本ⅴa欧美va伊人久久| 精品熟女少妇八av免费久了| 国产精品久久久人人做人人爽| 欧美乱码精品一区二区三区| 男人操女人黄网站| 精品人妻在线不人妻| 国产熟女xx| tocl精华| 日韩欧美一区视频在线观看| 好看av亚洲va欧美ⅴa在| 真人一进一出gif抽搐免费| 男女下面进入的视频免费午夜 | 亚洲免费av在线视频| 一二三四社区在线视频社区8| 午夜激情av网站| 亚洲免费av在线视频| 久久久水蜜桃国产精品网| 久久国产精品影院| www国产在线视频色| 在线天堂中文资源库| 一二三四在线观看免费中文在| 亚洲一区高清亚洲精品| 亚洲熟妇熟女久久| 国产精品1区2区在线观看.| 成人国语在线视频| 国产三级黄色录像| 亚洲欧美激情在线| 一级片'在线观看视频| 免费高清在线观看日韩| 色哟哟哟哟哟哟| 国产精品永久免费网站| 中文字幕另类日韩欧美亚洲嫩草| 纯流量卡能插随身wifi吗| 成人18禁高潮啪啪吃奶动态图| 亚洲av熟女| 婷婷精品国产亚洲av在线| 精品国产乱子伦一区二区三区|