• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)

    2019-10-08 06:27:21肖靈云侯開(kāi)虎戴洪濤
    軟件 2019年6期
    關(guān)鍵詞:自然語(yǔ)言處理深度學(xué)習(xí)

    肖靈云 侯開(kāi)虎 戴洪濤

    摘 ?要: 自動(dòng)評(píng)分方法是教育中實(shí)現(xiàn)計(jì)算機(jī)評(píng)分的一項(xiàng)研究,經(jīng)過(guò)歸結(jié)、分析國(guó)內(nèi)外自動(dòng)評(píng)分方法及最新的科研成果,完善對(duì)自動(dòng)評(píng)分方法的研究,便于快速學(xué)習(xí)和把握自動(dòng)評(píng)分方法,了解該領(lǐng)域的發(fā)展現(xiàn)狀及趨勢(shì)。經(jīng)過(guò)對(duì)過(guò)去該領(lǐng)域經(jīng)典文獻(xiàn)整理,分析不同自動(dòng)評(píng)分方法的運(yùn)用思想、優(yōu)劣勢(shì),總結(jié)每種計(jì)算方法的側(cè)重點(diǎn)及最新的應(yīng)用進(jìn)展。本文從國(guó)內(nèi)外自動(dòng)評(píng)分方法兩方面進(jìn)行闡述,形成較為清晰的思路。指出基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法為主流方法,基于深度學(xué)習(xí)的自動(dòng)評(píng)分方法(CNN、RNN、LSTM)將成為該領(lǐng)域的發(fā)展趨勢(shì),有助于全面把握和深刻了解自動(dòng)評(píng)分方法的現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    關(guān)鍵詞: 自動(dòng)評(píng)分方法;自然語(yǔ)言處理;深度學(xué)習(xí);CNN;RNN;LSTM

    中圖分類(lèi)號(hào): TP391.41 ? ?文獻(xiàn)標(biāo)識(shí)碼: A ? ?DOI:10.3969/j.issn.1003-6970.2019.06.035

    本文著錄格式:肖靈云,侯開(kāi)虎,戴洪濤,等. 自動(dòng)評(píng)分方法研究現(xiàn)狀及趨勢(shì)[J]. 軟件,2019,40(6):153156

    【Abstract】: The automatic scoring method is a study of computer scoring in education. It is based on the analysis of domestic and international automatic scoring methods and the latest scientific research results, perfecting the research on automatic scoring methods, facilitating rapid learning and grasping the automatic scoring method. To understand the development status and trends in this field. After reviewing the classic literatures in the past, analyze the application ideas, advantages and disadvantages of different automatic scoring methods, and summarize the focus of each calculation method and the latest application progress. This paper elaborates on two aspects of automatic scoring methods at home and abroad, and forms a clearer idea. It is pointed out that the automatic scoring method based on natural language processing is the mainstream method. The automatic scoring method based on deep learning (CNN, RNN, LSTM) will become the development trend in this field, which will help to fully grasp and deeply understand the current status and future of the automatic scoring method and development trend.

    【Key words】: Automatic scoring method; Natural language processing; Deep learning; CNN; RNN; LSTM

    0 ?引言

    自動(dòng)評(píng)分技術(shù)就是借助于計(jì)算機(jī)和有關(guān)科學(xué)技術(shù)通過(guò)網(wǎng)絡(luò)平臺(tái)來(lái)輔助人工評(píng)分的一項(xiàng)技術(shù)。最近這些年,很多學(xué)者對(duì)各種評(píng)分方法的較為重視,特別是對(duì)主觀題的評(píng)分,利用自動(dòng)評(píng)分方法可以幫助閱卷者快速、準(zhǔn)確、公平公正的評(píng)分,以達(dá)到減少人力、物力、財(cái)力的目的。因此,全面把握和了解自動(dòng)評(píng)分的方法研究發(fā)展現(xiàn)狀及趨勢(shì)具有非常大的現(xiàn)實(shí)意義。目前,國(guó)內(nèi)外已經(jīng)實(shí)現(xiàn)了對(duì)英語(yǔ)作文的自動(dòng)評(píng)分,漢語(yǔ)考試中的單選題、多選題的批改技術(shù)也相當(dāng)成熟。而主觀題自動(dòng)評(píng)分方法由于涉及到人工智能、模式識(shí)別和自然語(yǔ)言理解等多方面的理論知識(shí),因此,對(duì)比較多的主觀試題如名稱(chēng)解釋題、簡(jiǎn)答題、論述題等諸多問(wèn)題的自動(dòng)評(píng)分方法還沒(méi)有取得令人非常滿(mǎn)意的理想結(jié)果。有些在技術(shù)上的問(wèn)題仍然沒(méi)有得到很好的解決,所以,實(shí)現(xiàn)主觀試題自動(dòng)評(píng)分已經(jīng)成為在線考試系統(tǒng)中的一個(gè)技術(shù)重點(diǎn)和難點(diǎn)[1]。

    主觀題可以分為長(zhǎng)文本主觀題和短文本主觀題,長(zhǎng)文本主觀題包括文檔、篇章,短文本主觀題包括簡(jiǎn)答、論述。到目前為止,大多數(shù)自動(dòng)評(píng)分的方法主要是針對(duì)答案比較短的短文本的主觀題進(jìn)行評(píng)分。由于漢語(yǔ)具有獨(dú)特的特點(diǎn),其表達(dá)方式不僅多樣化,而且還具有復(fù)雜性,所以主觀題自動(dòng)評(píng)分方法涉及到文本語(yǔ)義理解的問(wèn)題。國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多不明白的技術(shù)問(wèn)題,主觀試題自動(dòng)評(píng)分方法仍不能很好的應(yīng)用于實(shí)踐當(dāng)中[1]。主觀題自動(dòng)評(píng)分不但可以排除閱卷人的主觀因素的作用,使得評(píng)分結(jié)果有據(jù)所依,客觀并有說(shuō)服力。而且可以大大減輕閱卷者的負(fù)擔(dān),對(duì)主觀題自動(dòng)評(píng)分方法的研究具有很大的實(shí)用意義[1]。

    1 ?國(guó)內(nèi)外自動(dòng)評(píng)分方法及其優(yōu)缺點(diǎn)

    1.1 ?國(guó)外自動(dòng)評(píng)分方法

    國(guó)外專(zhuān)注于研究主觀題自動(dòng)評(píng)分方法的時(shí)間相對(duì)國(guó)內(nèi)比較早,并取得了一系列的科技研究成果,其中針對(duì)短文本主觀題的自動(dòng)評(píng)分系統(tǒng)主要有 Auto Mark、ATM 等,針對(duì)長(zhǎng)文本主觀題的主要有 PEG、IEA、E-rater等。PEG(Project Essay Grad) 系統(tǒng)主要運(yùn)用統(tǒng)計(jì)學(xué)原理知識(shí)把文章的淺層語(yǔ)言形式特征的相似度作為主要評(píng)分依據(jù),是一個(gè)規(guī)模比較大的作文評(píng)分系統(tǒng),被看作是自動(dòng)評(píng)分領(lǐng)域的開(kāi)拓者[2]。由于沒(méi)有考慮文章的構(gòu)造內(nèi)容和語(yǔ)義信息,不能很好的理解文本內(nèi)容,因而該系統(tǒng)的效果不太好。

    IEA(Intelligent ?Essay ?Assessor)是由Hearst[2]等人開(kāi)發(fā)出的基于隱含語(yǔ)義分析技術(shù)(Latent Semantic Analysis, LSA)的作文評(píng)分系統(tǒng)。IEA既考慮了語(yǔ)義信息和文本內(nèi)容,又關(guān)注文本內(nèi)容的質(zhì)量,挖掘內(nèi)容的語(yǔ)義信息。LSA 沒(méi)考慮詞序,只能片面地反應(yīng)句子語(yǔ)義。IEA評(píng)分系統(tǒng)對(duì)社會(huì)科學(xué)、歷史學(xué)等說(shuō)明性文章可以進(jìn)行評(píng)分,但對(duì)事實(shí)性文章不太適合,能夠計(jì)算大規(guī)模、詞量豐富的文本的相似度,但對(duì)短文本、詞量較少的文本其向量空間會(huì)存在很多孤立點(diǎn)。

    E-Rater(Electronic Essay Rater)是為了評(píng)估GMAT 考試中的英文寫(xiě)作能力而研發(fā)的計(jì)算機(jī)程序[3]。E-rater綜合應(yīng)用了NLP、矢量空間模型技術(shù)和統(tǒng)計(jì)學(xué)技術(shù),綜合考慮了文本的語(yǔ)言質(zhì)量、篇章結(jié)構(gòu)、內(nèi)容質(zhì)量,并進(jìn)行分析評(píng)估。該系統(tǒng)評(píng)分準(zhǔn)確性比較高,但它采用的整體評(píng)分的策略,不僅不能單純判斷正誤,而且不能對(duì)那些需要判別內(nèi)容正誤并給出分?jǐn)?shù)的自動(dòng)評(píng)分類(lèi)問(wèn)題進(jìn)行評(píng)分,并沒(méi)有較深入的判斷文章的中心思想,只能評(píng)價(jià)考生的寫(xiě)作水平而不能判斷考生答案與題目是否很好的吻合。

    Auto Mark 系統(tǒng)[2]通過(guò)事先為每個(gè)題目分別制定多個(gè)正確答案或錯(cuò)誤答案的評(píng)分模板,將考生答案逐一與模板匹配,判斷正確程度并給出分?jǐn)?shù),符合人的思維方式,意思表達(dá)到位即可,真正完成了基于語(yǔ)義、內(nèi)容的任何文本答案的自動(dòng)評(píng)分,為主觀題自動(dòng)評(píng)分技術(shù)的發(fā)展研究開(kāi)拓了新思路。

    ATM(Automated Text Marker)是一款針對(duì)有明確正誤之分、答案文本較為簡(jiǎn)短的題目進(jìn)行計(jì)算機(jī)輔助評(píng)分的一種評(píng)分系統(tǒng)[2]。其針對(duì)開(kāi)放式問(wèn)題的任意文本答案的自動(dòng)匹配功能,主要利用NLP技術(shù),經(jīng)過(guò)語(yǔ)法預(yù)處理、句子的主要成分及相互關(guān)系進(jìn)行解析、匹配結(jié)果與標(biāo)準(zhǔn)答案幾個(gè)步驟計(jì)算出分?jǐn)?shù)。ATM取得了較大的突破,但該系統(tǒng)使用了語(yǔ)法和語(yǔ)義分析技術(shù),增加了實(shí)現(xiàn)該系統(tǒng)的難度。

    1.2 ?國(guó)內(nèi)自動(dòng)評(píng)分方法

    我國(guó)吸取和完善上述一些先進(jìn)的技術(shù)逐漸開(kāi)始注重對(duì)自動(dòng)評(píng)分方法的研究,并應(yīng)用到實(shí)際生活中。目前國(guó)內(nèi)基于主觀題自動(dòng)評(píng)分的方法主要有:產(chǎn)生式規(guī)則;運(yùn)用動(dòng)態(tài)規(guī)劃方法改進(jìn)語(yǔ)句相似度的計(jì)算;模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配的方法;文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。國(guó)內(nèi)學(xué)者將上述方法、或者其改進(jìn)方法、或上述方法相結(jié)合應(yīng)用于自動(dòng)評(píng)分系統(tǒng)中,并取得了一定的成績(jī),但仍有諸多不足之處需要改進(jìn)。

    將產(chǎn)生式規(guī)則思想應(yīng)用在考試評(píng)分方法中,可以實(shí)現(xiàn)一定程度上對(duì)非客觀試題的智能化評(píng)分閱卷,如計(jì)算機(jī)上機(jī)操作考試、語(yǔ)文和英語(yǔ)類(lèi)等。通過(guò)定義產(chǎn)生式規(guī)則的分解和運(yùn)算,使得產(chǎn)生式規(guī)則的簡(jiǎn)化和在關(guān)系數(shù)據(jù)庫(kù)中的存儲(chǔ)問(wèn)題得到了很好的解決[4]。

    諸多學(xué)者將模糊數(shù)學(xué)中貼近度理論或者將貼近度理論與句法分析相互結(jié)合,然后將其應(yīng)用于主觀題自動(dòng)評(píng)分系統(tǒng)中。通過(guò)研究分析閱卷者對(duì)主觀題評(píng)分流程的思維方式,依據(jù)得分點(diǎn)和貼近標(biāo)準(zhǔn)答案的程度來(lái)評(píng)分,能在一定程度上完成對(duì)主觀題的評(píng)分,使教師的工作量得到減少。但是此類(lèi)計(jì)算方法比較簡(jiǎn)單,沒(méi)有考慮語(yǔ)義、語(yǔ)序等問(wèn)題對(duì)評(píng)分系統(tǒng)的作用,其評(píng)分精度不高。

    李輝陽(yáng)等人[5]經(jīng)過(guò)對(duì)有限領(lǐng)域中文本自動(dòng)判讀技術(shù)的研究,提出的可應(yīng)用于計(jì)算機(jī)輔助教學(xué)的基于關(guān)系的帶權(quán)匹配技術(shù)并獲得了成功,其實(shí)現(xiàn)的方法能夠?qū)?jiǎn)單論述正誤進(jìn)行較好的判別,該方法在某種程度上模擬了老師閱卷過(guò)程,實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)批改列舉題、簡(jiǎn)述題、簡(jiǎn)答題等諸多主觀題,對(duì)主觀題自動(dòng)評(píng)分有一定的實(shí)際指導(dǎo)意義。張量等[6]用字符串匹配的方法開(kāi)發(fā)了一種自動(dòng)批改技術(shù),主要是針對(duì)計(jì)算機(jī)基礎(chǔ)上機(jī)操作考試中的文字錄入題,該方法主要判斷學(xué)生所錄入的字?jǐn)?shù)、錯(cuò)錄、漏錄情況。

    有些學(xué)者將作文評(píng)分過(guò)程看作是文本分類(lèi)過(guò)程,通過(guò)決策樹(shù)分類(lèi)器將文本分類(lèi)。或者按照作文詞匯等的相似度通過(guò)文本聚類(lèi)進(jìn)行分類(lèi),實(shí)現(xiàn)了英語(yǔ)作文自動(dòng)評(píng)分方法中文本聚類(lèi)的應(yīng)用文。雖然采用梯度提升決策樹(shù)分類(lèi)器的分類(lèi)效果,但其方法特征不能充分反映作文特征,可擴(kuò)展性也不好。通過(guò)文本聚類(lèi)將差異性較大的可能跑題的作文交由老師評(píng)閱,減少了教師工作量,并使作文批改的準(zhǔn)確性程度和老師的工作效率都得到了一定的提高。而基于向量空間模型的問(wèn)答題智能化評(píng)分方法,其依據(jù)VSM將學(xué)生的答案及標(biāo)準(zhǔn)答案表示成特征向量的形式,然后計(jì)算其相似度,從而確定學(xué)生的得分。

    主觀題自動(dòng)評(píng)分方法的好與壞,無(wú)非是體現(xiàn)在標(biāo)準(zhǔn)答案和考生試題答案之間的相似度程度上。在全面考慮了語(yǔ)義,語(yǔ)序,文本整體表達(dá)涵義之后,相似度高,則得分高,相似度低,則得分低。為此,諸多學(xué)者在如何提高文本相似度有關(guān)方面進(jìn)行了大量的科學(xué)分析研究。學(xué)者們充分將知識(shí)庫(kù)或詞典或兩者相結(jié)合引入到評(píng)分過(guò)程中,以便提高相似度計(jì)算的準(zhǔn)確性。然后再對(duì)計(jì)算得分的計(jì)算模型加以改進(jìn),計(jì)算出最后得分。經(jīng)過(guò)一系列的操作之后,評(píng)分結(jié)果與人工的評(píng)分結(jié)果更加接近。然而這種方法仍有缺陷,首先,詞庫(kù)覆蓋范圍不夠足夠大,再者,提取特征時(shí)有不足之處,還需要進(jìn)一步改進(jìn)。

    隨著自然語(yǔ)言處理技術(shù)的日益成熟,對(duì)于自然語(yǔ)言處理技術(shù)將如何應(yīng)用于主觀題自動(dòng)評(píng)分中,諸多學(xué)者進(jìn)行了大量嘗試,并取得一些進(jìn)展。比如基于自然語(yǔ)言處理的智能評(píng)分方法,經(jīng)過(guò)改進(jìn)已有的文本相似度計(jì)算方法,提出了一種新的排序和劃分區(qū)間的評(píng)分方法。查看實(shí)驗(yàn)結(jié)果,表明該智能評(píng)分方法有效且可行。通過(guò)一些算法生成自然語(yǔ)言概念圖或概念網(wǎng),然后對(duì)目標(biāo)文本進(jìn)行預(yù)處理,再計(jì)算文本相似度,從而計(jì)算得分。在應(yīng)用自然語(yǔ)言處理技術(shù),可以與《知網(wǎng)》知識(shí)庫(kù)或《同義詞詞林》詞典相結(jié)合,以便更好的理解文本語(yǔ)義,從而提高評(píng)分準(zhǔn)確率。

    2 ?自動(dòng)評(píng)分方法展望

    由于漢語(yǔ)表達(dá)方式的多樣化和復(fù)雜性,國(guó)內(nèi)對(duì)于主觀題自動(dòng)評(píng)分的研究仍存在很多問(wèn)題,到目前為止,并沒(méi)有很好的應(yīng)用于實(shí)踐的主觀題自動(dòng)評(píng)分方法[2]。主觀題的評(píng)分判斷涉及到自然語(yǔ)言的翻譯、理解及語(yǔ)義的匹配等,主觀題自動(dòng)評(píng)分方法涉及到的技術(shù)主要有文本的預(yù)處理、相似度計(jì)算、計(jì)算分?jǐn)?shù)等諸多個(gè)方面。主觀題自動(dòng)評(píng)分不單單是自然語(yǔ)言理解技術(shù)的一個(gè)很有意義的應(yīng)用,而且還依賴(lài)于NLP技術(shù)的研究發(fā)展[7]。

    由于大數(shù)據(jù)以及計(jì)算力的提升,深度學(xué)習(xí)有了極大的突破,基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法被引用到NLP算法中。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)重要分支,可以自動(dòng)地學(xué)習(xí)合適的特征和多層次的表達(dá)與輸出。在NLP技術(shù)領(lǐng)域,主要在信息抽取、詞性標(biāo)注、命名實(shí)體識(shí)別、文本分析等研究方向都有成功的應(yīng)用。和傳統(tǒng)方式相比,深度學(xué)習(xí)的重要特性是,用詞向量來(lái)表示各種級(jí)別的元素。傳統(tǒng)的算法一般會(huì)用統(tǒng)計(jì)等方法去標(biāo)注,而深度學(xué)習(xí)會(huì)直接通過(guò)詞向量表示,然后通過(guò)深度網(wǎng)絡(luò)進(jìn)行自動(dòng)學(xué)習(xí)。目前,深度學(xué)習(xí)在自然語(yǔ)言處理中是比較流行的,其中算法包括:多層感知機(jī)、CNN、RNN、Seq2Seq等。

    卷積神經(jīng)網(wǎng)絡(luò)[8](Convolu-tional Neural Network,CNN),是一種由輸入層、卷積層、池化層、全連接層、輸出層組成的前饋神經(jīng)網(wǎng)絡(luò),其具有良好的自學(xué)習(xí)能力和泛化能力,在短文本的表示和句子分類(lèi)上也取得了一系列進(jìn)展。而循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)與卷積神經(jīng)網(wǎng)絡(luò)不同,是一種能夠?qū)r(shí)序數(shù)據(jù)進(jìn)行精準(zhǔn)建模的網(wǎng)絡(luò)。而文本的獨(dú)特在于是典型的序列數(shù)據(jù),每個(gè)文字的出現(xiàn)都是依賴(lài)于前面的單詞和后面的單詞,所以循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于文本較為廣泛,近年來(lái),RNN及其變種長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory ,LSTM)在NLP領(lǐng)域得到了廣泛應(yīng)用,例如在語(yǔ)言模型、句法分析、語(yǔ)意角色標(biāo)注等領(lǐng)域均有優(yōu)異的表現(xiàn)。LSTM是RNN的升級(jí)版本,從抽象的角度來(lái)看,LSTM保存了文本中的長(zhǎng)期依賴(lài)信息。并通過(guò)對(duì)循環(huán)層的刻意設(shè)計(jì)來(lái)避免長(zhǎng)期依賴(lài)的問(wèn)題和梯度消失的問(wèn)題。

    3 ?結(jié)論

    自動(dòng)評(píng)分方法,特別是主觀題自動(dòng)評(píng)分方法一直是完全實(shí)施考試信息化、教學(xué)信息化的瓶頸問(wèn)題,研究的很多,但進(jìn)展較為緩慢,特別是應(yīng)用于實(shí)際的成果比較少,其主要原因是一些關(guān)鍵技術(shù)、核心技術(shù)還處在研究、發(fā)展階段[5],如:對(duì)自然語(yǔ)言的深入理解、模式的識(shí)別、人工智能技術(shù)的發(fā)展等。主觀題自動(dòng)評(píng)分方法主要是利用基于大數(shù)據(jù)分析的NLP技術(shù),按照評(píng)閱流程,可以分為分句、分詞、語(yǔ)言的預(yù)處理、分類(lèi)計(jì)算、相似度比較計(jì)算等幾個(gè)環(huán)節(jié)。在前沿技術(shù)上,通過(guò)大數(shù)據(jù)分析技術(shù)的不斷發(fā)展和推動(dòng),進(jìn)一步完善主觀題自動(dòng)評(píng)分在教學(xué)信息化中的實(shí)際應(yīng)用將具有廣闊的前景和市場(chǎng)需求。近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)的出現(xiàn),自動(dòng)評(píng)分的準(zhǔn)確程度得到了顯著的提高。本文總結(jié)了以往研究中的經(jīng)典方法,并且對(duì)當(dāng)前主流的研究方法進(jìn)行總結(jié)分析。通過(guò)對(duì)自動(dòng)評(píng)分中大量的方法進(jìn)行梳理和歸納分析,主要將其分為國(guó)外經(jīng)典自動(dòng)評(píng)分方法、國(guó)內(nèi)自動(dòng)評(píng)分方法兩方面來(lái)介紹。其中,國(guó)內(nèi)的自動(dòng)評(píng)分方法主要包括產(chǎn)生式規(guī)則;基于動(dòng)態(tài)規(guī)劃方法對(duì)語(yǔ)句相似度進(jìn)行改進(jìn);模糊數(shù)學(xué)中單向貼近度;有限領(lǐng)域中文本自動(dòng)判讀技術(shù);字符串匹配、文本相似度;空間模型技術(shù);統(tǒng)計(jì)學(xué)技術(shù);自然語(yǔ)言處理技術(shù)等。其中基于自然語(yǔ)言處理技術(shù)的自動(dòng)評(píng)分方法主要包括:中文分詞、去停用詞、詞義消岐、詞性標(biāo)注與命名實(shí)體識(shí)別技術(shù)、句法分析、關(guān)鍵詞提取、文本向量化等。國(guó)內(nèi)外自動(dòng)評(píng)分方法具體如圖1所示。

    目前應(yīng)用較多的是基于自然語(yǔ)言處理的自動(dòng)評(píng)分方法其中比較流行的深度學(xué)習(xí)算法有:多層感知機(jī)、CNN、RNN、Seq2Seq等。而基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的主觀題評(píng)分方法將成為未來(lái)的發(fā)展趨勢(shì),具有較好的應(yīng)用前景。自動(dòng)評(píng)分方法與基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法相結(jié)合,通過(guò)深度網(wǎng)絡(luò)進(jìn)行自主學(xué)習(xí),提取文本特征,這將會(huì)帶領(lǐng)主觀題自動(dòng)評(píng)分方法邁向一個(gè)新的臺(tái)階。

    本文對(duì)國(guó)內(nèi)外學(xué)者取得的進(jìn)展和最新成果進(jìn)行了總結(jié)歸納,形成了較為全面的分類(lèi)體系,希望有助于全面把握和深入了解自動(dòng)評(píng)分方法的研究現(xiàn)狀和未來(lái)發(fā)展趨勢(shì)。

    參考文獻(xiàn)

    [1] 高思丹, 袁春風(fēng). 主觀試題的計(jì)算機(jī)自動(dòng)批改技術(shù)研究 [J]. 計(jì)算機(jī)應(yīng)用研究, 2004, 21(2): 181-185.

    [2] RudnerL,GagneP.An Overview of Three Approaches to Scoring Written Essays by Computer[J]. Practical Assessment, 2001, 151(3): 501.

    [3] Attali Y, Burstein J. AUTOMATED ESSAY SCORING WITH E-RATER?; V.2.0[J]. Journal of Technology Learning & Assessment, 2006, 4(2): i-21.

    [4] 劉增鎖, 吳敬. 產(chǎn)生式規(guī)則在考試評(píng)分系統(tǒng)中的應(yīng)用研究 [J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2006, 16(7): 162-164.

    [5] 李輝陽(yáng), 韓忠愿. 有限領(lǐng)域簡(jiǎn)述文字的自動(dòng)判讀及其在CAI中的應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用, 2002, 38(8): 76-78.

    [6] 張量, 詹國(guó)華. 開(kāi)放式、智能化計(jì)算機(jī)考核閱卷系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2001, 37(10): 108-110.

    [7] 麥范金, 岳曉光, 趙子強(qiáng), 等. 基于自然語(yǔ)言處理的智能評(píng)分系統(tǒng)[J]. 桂林理工大學(xué)學(xué)報(bào), 2010, 30(3): 426-430.

    [8] 劉亞軍, 徐易. 一種基于加權(quán)語(yǔ)義相似度模型的自動(dòng)問(wèn)答系統(tǒng)[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2004, 34(5): 609-612.

    [9] LiB,YaoJM.Automated Essay Scoring Using Multi-classifier Fusion[C]//International Conference on Information & Management Engineering.2011.

    [10] Kim Y. Convolutional neural networks for sentence classification[J]. ar Xiv preprint ar Xiv:1408.5882, 2014.

    [11] Wang R, Wang X, Chi Z, et al. Chinese Sentence Similarity Measure Based on Words and Structure Information[J]. International Conference on Advanced Language Processing & Web Information Technology, 2008:27-31.

    [12] Bin L, Ting L, Bing Q, et al. Chinese Sentence Similarity Computing Based on Semantic Dependency Relationship Analysis[J]. Application Research of Computers, 2003.

    [13] Page, E. B. Computer grading of student prose [J], using modern concepts and software. Journal of Experimental Education, 62, 127–142.

    [14] Thomas k. Launder, Darrell Latham, Peter Foltz, Automatic essay assessment [J], Assessment in Education, 2003, 2003(10), 295-308.

    [15] Valenti S, Neri F and Cucchiarelli A. An Overview of Current Research on Automated Essay Grading[J]. Journal of Information Technology Education, 2003, 2: 319-330.

    [16] Han, Na-Rae, Martin Chodorow, and Claudia Leacock. Detecting errors in English article usage by non-native speakers[J]. Natural Language Engineering, 2006. 12(1): 115-129.

    [17] ]Rudner L M, Liang T. Automated essay scoring using Bayes' theorem[J]. The Journal of Technology, Learning and Assessment, 2002, 1(2).

    [18] 張春英, 李春虎, 付其峰. 基于WV-CNN的中文文本語(yǔ)義相似度計(jì)算方法[J]. 華北理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 41(01): 123-132.

    猜你喜歡
    自然語(yǔ)言處理深度學(xué)習(xí)
    基于組合分類(lèi)算法的源代碼注釋質(zhì)量評(píng)估方法
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
    基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
    軟件工程(2016年8期)2016-10-25 15:47:34
    面向機(jī)器人導(dǎo)航的漢語(yǔ)路徑自然語(yǔ)言組塊分析方法研究
    漢哈機(jī)器翻譯中的文字轉(zhuǎn)換技術(shù)研究
    HowNet在自然語(yǔ)言處理領(lǐng)域的研究現(xiàn)狀與分析
    科技視界(2016年5期)2016-02-22 11:41:39
    色精品久久人妻99蜜桃| 夜夜躁狠狠躁天天躁| 国产成+人综合+亚洲专区| 永久网站在线| 久久久久久久久大av| 51午夜福利影视在线观看| 国内精品久久久久久久电影| 日日摸夜夜添夜夜添小说| .国产精品久久| 精华霜和精华液先用哪个| 最近视频中文字幕2019在线8| 亚洲欧美清纯卡通| 亚洲在线自拍视频| 人妻夜夜爽99麻豆av| 男人舔奶头视频| 国产免费av片在线观看野外av| 制服丝袜大香蕉在线| 国产中年淑女户外野战色| 国产色婷婷99| 一区二区三区高清视频在线| 成年女人永久免费观看视频| 三级毛片av免费| 成人一区二区视频在线观看| 国产精品一区二区性色av| 午夜a级毛片| 日本a在线网址| 日韩有码中文字幕| 小蜜桃在线观看免费完整版高清| 精品一区二区三区视频在线观看免费| 88av欧美| 日韩 亚洲 欧美在线| 国产精品永久免费网站| 日韩精品中文字幕看吧| 国产伦一二天堂av在线观看| 国产午夜精品久久久久久一区二区三区 | 午夜福利成人在线免费观看| 成人高潮视频无遮挡免费网站| 人人妻,人人澡人人爽秒播| 欧美黄色片欧美黄色片| 最近在线观看免费完整版| 又黄又爽又刺激的免费视频.| 免费av不卡在线播放| 男女下面进入的视频免费午夜| 精品免费久久久久久久清纯| 亚洲美女搞黄在线观看 | 国产精品野战在线观看| 97碰自拍视频| 免费观看人在逋| 日本黄色片子视频| 国产午夜精品论理片| 亚洲精品一区av在线观看| 最近视频中文字幕2019在线8| 非洲黑人性xxxx精品又粗又长| 美女被艹到高潮喷水动态| 亚洲成人久久性| 亚洲av成人av| 国产成人av教育| 天堂av国产一区二区熟女人妻| 12—13女人毛片做爰片一| 亚洲熟妇中文字幕五十中出| 熟女人妻精品中文字幕| 欧美日本视频| 丁香欧美五月| 中国美女看黄片| 国产久久久一区二区三区| .国产精品久久| 国产蜜桃级精品一区二区三区| 久久午夜福利片| 丰满人妻熟妇乱又伦精品不卡| 精品福利观看| 97超视频在线观看视频| 午夜福利视频1000在线观看| 国产精品野战在线观看| 亚洲自拍偷在线| 在线观看美女被高潮喷水网站 | 1000部很黄的大片| 变态另类丝袜制服| 99久久精品国产亚洲精品| 91在线观看av| 91av网一区二区| 亚洲av熟女| 国产精品久久电影中文字幕| 国产一级毛片七仙女欲春2| 亚洲av美国av| 一进一出抽搐动态| 小蜜桃在线观看免费完整版高清| 五月伊人婷婷丁香| 18禁裸乳无遮挡免费网站照片| 尤物成人国产欧美一区二区三区| 国产精品综合久久久久久久免费| 免费观看人在逋| 婷婷丁香在线五月| 夜夜看夜夜爽夜夜摸| 波多野结衣高清作品| 麻豆国产av国片精品| 国产av麻豆久久久久久久| 国产精品久久久久久亚洲av鲁大| 99国产精品一区二区蜜桃av| 亚洲国产精品久久男人天堂| 久久精品夜夜夜夜夜久久蜜豆| 国产一区二区三区在线臀色熟女| 欧美极品一区二区三区四区| 亚洲人成网站在线播放欧美日韩| 国产免费av片在线观看野外av| 成人无遮挡网站| 国产又黄又爽又无遮挡在线| 91午夜精品亚洲一区二区三区 | 免费在线观看亚洲国产| 网址你懂的国产日韩在线| 草草在线视频免费看| 欧美xxxx黑人xx丫x性爽| 又爽又黄a免费视频| 日本黄色视频三级网站网址| 天堂动漫精品| 首页视频小说图片口味搜索| 国产亚洲精品久久久久久毛片| 99热只有精品国产| 久9热在线精品视频| 成人精品一区二区免费| 久久人人精品亚洲av| 亚洲七黄色美女视频| 99热这里只有精品一区| 成人av一区二区三区在线看| 嫩草影院新地址| 内地一区二区视频在线| 日韩免费av在线播放| 中文字幕熟女人妻在线| 亚洲精品456在线播放app | 在线观看一区二区三区| 真人一进一出gif抽搐免费| 国产在线男女| 一区福利在线观看| 真人一进一出gif抽搐免费| 久久久久久久久中文| 午夜影院日韩av| 69av精品久久久久久| 乱码一卡2卡4卡精品| 日韩欧美 国产精品| 国产一区二区三区在线臀色熟女| 真实男女啪啪啪动态图| 日韩免费av在线播放| 少妇裸体淫交视频免费看高清| 欧美成人免费av一区二区三区| 在线a可以看的网站| 欧美黄色片欧美黄色片| 免费看日本二区| 麻豆成人av在线观看| 变态另类丝袜制服| 男人狂女人下面高潮的视频| 国产精品98久久久久久宅男小说| 长腿黑丝高跟| 又爽又黄无遮挡网站| 一级黄色大片毛片| or卡值多少钱| 国产色爽女视频免费观看| 日本免费一区二区三区高清不卡| 欧美激情在线99| 国产大屁股一区二区在线视频| 12—13女人毛片做爰片一| 偷拍熟女少妇极品色| 精品99又大又爽又粗少妇毛片 | 在线免费观看的www视频| 成人性生交大片免费视频hd| 国产免费男女视频| 久久精品国产亚洲av香蕉五月| 午夜福利视频1000在线观看| 亚洲午夜理论影院| 欧美黄色片欧美黄色片| 99久国产av精品| 欧美最新免费一区二区三区 | 在线播放国产精品三级| 人人妻,人人澡人人爽秒播| 亚洲国产精品成人综合色| 国产色婷婷99| 国产午夜精品久久久久久一区二区三区 | 中文亚洲av片在线观看爽| 一二三四社区在线视频社区8| 免费在线观看成人毛片| 国产精品久久久久久久电影| 淫秽高清视频在线观看| 99热这里只有精品一区| 麻豆久久精品国产亚洲av| 亚洲狠狠婷婷综合久久图片| 乱码一卡2卡4卡精品| 此物有八面人人有两片| 一本久久中文字幕| 韩国av一区二区三区四区| 草草在线视频免费看| 99精品久久久久人妻精品| 两性午夜刺激爽爽歪歪视频在线观看| 欧美午夜高清在线| 亚洲精品456在线播放app | www.999成人在线观看| 国内精品久久久久久久电影| 国产极品精品免费视频能看的| 我要看日韩黄色一级片| 天堂网av新在线| 成人三级黄色视频| 可以在线观看的亚洲视频| 欧美精品啪啪一区二区三区| 波多野结衣高清作品| 国产精品伦人一区二区| 久久久久久九九精品二区国产| 最近中文字幕高清免费大全6 | 午夜日韩欧美国产| www.色视频.com| 国产美女午夜福利| 亚洲电影在线观看av| av在线天堂中文字幕| 级片在线观看| 国产一区二区在线观看日韩| 99热6这里只有精品| 白带黄色成豆腐渣| av在线天堂中文字幕| 国产aⅴ精品一区二区三区波| 国产精品久久久久久亚洲av鲁大| 一区二区三区免费毛片| 国产探花极品一区二区| 国产成人福利小说| 一本精品99久久精品77| 精品人妻视频免费看| 久久性视频一级片| 亚洲国产精品合色在线| 国产三级黄色录像| 直男gayav资源| 此物有八面人人有两片| 日韩亚洲欧美综合| 成人国产综合亚洲| 欧美性猛交╳xxx乱大交人| 午夜久久久久精精品| av在线观看视频网站免费| 十八禁人妻一区二区| 熟妇人妻久久中文字幕3abv| 国产精品日韩av在线免费观看| 99热这里只有精品一区| 日本五十路高清| 午夜福利视频1000在线观看| 国产精品98久久久久久宅男小说| 狠狠狠狠99中文字幕| 精品国内亚洲2022精品成人| 色吧在线观看| 欧美另类亚洲清纯唯美| 自拍偷自拍亚洲精品老妇| 禁无遮挡网站| 一级黄色大片毛片| 亚洲aⅴ乱码一区二区在线播放| 美女被艹到高潮喷水动态| 久久婷婷人人爽人人干人人爱| 99热6这里只有精品| 中文亚洲av片在线观看爽| 日本免费a在线| 成人一区二区视频在线观看| 久久婷婷人人爽人人干人人爱| 国产日本99.免费观看| 午夜两性在线视频| 免费观看人在逋| 日日夜夜操网爽| 丰满的人妻完整版| 亚洲av电影不卡..在线观看| 村上凉子中文字幕在线| 两个人的视频大全免费| 中文字幕熟女人妻在线| 99精品在免费线老司机午夜| 97超视频在线观看视频| 99久久成人亚洲精品观看| 亚洲精品在线观看二区| 狂野欧美白嫩少妇大欣赏| 国产精品亚洲一级av第二区| 亚洲精品影视一区二区三区av| 在线播放无遮挡| 国产精品一区二区三区四区久久| 一本精品99久久精品77| 国产蜜桃级精品一区二区三区| 最新在线观看一区二区三区| 欧美+亚洲+日韩+国产| 一本久久中文字幕| av福利片在线观看| 色播亚洲综合网| 99久久99久久久精品蜜桃| 天堂动漫精品| 高清在线国产一区| 婷婷六月久久综合丁香| 精品久久久久久成人av| 国产不卡一卡二| 99热6这里只有精品| 国产精品一区二区性色av| 亚洲精华国产精华精| 特级一级黄色大片| 免费看美女性在线毛片视频| 91九色精品人成在线观看| 变态另类丝袜制服| 免费观看精品视频网站| 久久久久久久久久黄片| 亚洲第一电影网av| 男女下面进入的视频免费午夜| 精品国内亚洲2022精品成人| 亚洲激情在线av| 极品教师在线视频| 深夜a级毛片| 成人性生交大片免费视频hd| 国产高潮美女av| 欧美成人一区二区免费高清观看| 白带黄色成豆腐渣| 日韩精品青青久久久久久| 嫩草影院入口| 老熟妇乱子伦视频在线观看| av视频在线观看入口| 免费av观看视频| 哪里可以看免费的av片| 脱女人内裤的视频| 国产精品一区二区三区四区久久| 成人美女网站在线观看视频| 五月玫瑰六月丁香| 国产成人a区在线观看| 一进一出好大好爽视频| 黄色丝袜av网址大全| 亚洲乱码一区二区免费版| 男人和女人高潮做爰伦理| 一个人看的www免费观看视频| 一夜夜www| 91在线观看av| 欧美性感艳星| 欧美乱色亚洲激情| 超碰av人人做人人爽久久| 美女被艹到高潮喷水动态| 亚洲18禁久久av| 日韩欧美国产在线观看| 91麻豆精品激情在线观看国产| 蜜桃久久精品国产亚洲av| 日韩成人在线观看一区二区三区| 男人狂女人下面高潮的视频| 一级a爱片免费观看的视频| 99久久精品国产亚洲精品| 中文字幕av成人在线电影| 国产淫片久久久久久久久 | 欧美激情在线99| 99久久99久久久精品蜜桃| 精品久久久久久久久av| av专区在线播放| 天堂动漫精品| 99精品在免费线老司机午夜| 国产一区二区亚洲精品在线观看| 国产av麻豆久久久久久久| 国产欧美日韩精品亚洲av| 又黄又爽又刺激的免费视频.| 我的女老师完整版在线观看| 乱码一卡2卡4卡精品| 丰满的人妻完整版| 丰满人妻熟妇乱又伦精品不卡| 男女下面进入的视频免费午夜| 中出人妻视频一区二区| 少妇人妻一区二区三区视频| 久久精品国产99精品国产亚洲性色| 2021天堂中文幕一二区在线观| 美女 人体艺术 gogo| 中文字幕av成人在线电影| 简卡轻食公司| 此物有八面人人有两片| 国产亚洲欧美98| 日本五十路高清| 亚洲人成伊人成综合网2020| 最好的美女福利视频网| 女人被狂操c到高潮| 亚洲乱码一区二区免费版| 99热这里只有是精品在线观看 | 直男gayav资源| 久久这里只有精品中国| 尤物成人国产欧美一区二区三区| 在线免费观看的www视频| 观看免费一级毛片| 久久精品影院6| 精品国内亚洲2022精品成人| 九九热线精品视视频播放| 国产激情偷乱视频一区二区| 亚洲av日韩精品久久久久久密| 国产精品电影一区二区三区| 亚洲av电影在线进入| 午夜免费男女啪啪视频观看 | 欧美黄色片欧美黄色片| 精品国内亚洲2022精品成人| a级毛片免费高清观看在线播放| 成人精品一区二区免费| 国内毛片毛片毛片毛片毛片| 成人高潮视频无遮挡免费网站| 69人妻影院| 欧美绝顶高潮抽搐喷水| 国产高清有码在线观看视频| 亚洲av五月六月丁香网| 一边摸一边抽搐一进一小说| 亚洲精品在线美女| 亚洲人成电影免费在线| 日韩欧美国产一区二区入口| 国产单亲对白刺激| 国产高清激情床上av| 日本在线视频免费播放| 日韩欧美三级三区| 人妻丰满熟妇av一区二区三区| 久久精品影院6| 国产精品野战在线观看| 美女xxoo啪啪120秒动态图 | 久久性视频一级片| 欧美一区二区精品小视频在线| 亚洲成人久久爱视频| 97碰自拍视频| 免费看日本二区| 国产不卡一卡二| 日本在线视频免费播放| 男女床上黄色一级片免费看| 日日摸夜夜添夜夜添小说| 久久久久久大精品| 一个人看视频在线观看www免费| 天美传媒精品一区二区| 免费无遮挡裸体视频| 久久天躁狠狠躁夜夜2o2o| 中文亚洲av片在线观看爽| 成年人黄色毛片网站| 成人av一区二区三区在线看| xxxwww97欧美| 少妇被粗大猛烈的视频| 级片在线观看| 床上黄色一级片| 麻豆一二三区av精品| 久久久精品欧美日韩精品| 久久久久久久久久成人| 嫩草影院入口| 国内精品美女久久久久久| 18禁黄网站禁片午夜丰满| 99国产极品粉嫩在线观看| 免费看日本二区| 久久亚洲精品不卡| 天堂网av新在线| 国产一区二区激情短视频| 久久久久久久久中文| 日韩欧美免费精品| 亚洲经典国产精华液单 | 精品人妻偷拍中文字幕| 夜夜夜夜夜久久久久| 3wmmmm亚洲av在线观看| 午夜久久久久精精品| www.999成人在线观看| 午夜视频国产福利| 精品免费久久久久久久清纯| 三级男女做爰猛烈吃奶摸视频| 亚洲av一区综合| 亚洲欧美日韩东京热| 一个人观看的视频www高清免费观看| 一级黄色大片毛片| 欧美日韩福利视频一区二区| 最好的美女福利视频网| 久久精品国产亚洲av天美| 亚洲av免费在线观看| 美女被艹到高潮喷水动态| 欧美性猛交╳xxx乱大交人| 欧美激情久久久久久爽电影| 美女cb高潮喷水在线观看| 国内少妇人妻偷人精品xxx网站| 老司机午夜十八禁免费视频| 欧美在线黄色| 国产又黄又爽又无遮挡在线| 亚洲av日韩精品久久久久久密| 国产免费男女视频| 午夜老司机福利剧场| 两个人的视频大全免费| 又爽又黄无遮挡网站| 99久久精品热视频| 国产精品电影一区二区三区| 一个人免费在线观看电影| 757午夜福利合集在线观看| 高清毛片免费观看视频网站| 91午夜精品亚洲一区二区三区 | 人妻制服诱惑在线中文字幕| 男人的好看免费观看在线视频| 久久久久久九九精品二区国产| 桃色一区二区三区在线观看| 国产精品av视频在线免费观看| 久久久精品大字幕| av在线天堂中文字幕| 国产黄片美女视频| 一级作爱视频免费观看| 亚洲自拍偷在线| 在线播放国产精品三级| 国产精品日韩av在线免费观看| 国产探花极品一区二区| 免费观看的影片在线观看| 午夜福利高清视频| 91午夜精品亚洲一区二区三区 | 色综合婷婷激情| 亚洲欧美日韩卡通动漫| 成年女人看的毛片在线观看| 免费在线观看成人毛片| 九九久久精品国产亚洲av麻豆| 啦啦啦观看免费观看视频高清| 美女xxoo啪啪120秒动态图 | 中文字幕精品亚洲无线码一区| 国产不卡一卡二| 成人美女网站在线观看视频| 亚洲av一区综合| 女同久久另类99精品国产91| 在线免费观看不下载黄p国产 | 亚洲国产精品成人综合色| 不卡一级毛片| 国产亚洲欧美98| 免费av毛片视频| 国产精品野战在线观看| 亚洲av熟女| 日本黄大片高清| 精品无人区乱码1区二区| 久久亚洲精品不卡| 看片在线看免费视频| 搡老妇女老女人老熟妇| 永久网站在线| 国产单亲对白刺激| 深夜精品福利| 国产伦在线观看视频一区| 日韩欧美精品免费久久 | 国产精品久久电影中文字幕| 亚洲精品粉嫩美女一区| 国产伦在线观看视频一区| 99riav亚洲国产免费| 欧美又色又爽又黄视频| 黄色丝袜av网址大全| 九九热线精品视视频播放| 看十八女毛片水多多多| 国产美女午夜福利| 久久这里只有精品中国| 中文字幕高清在线视频| 久久亚洲真实| 亚洲精品亚洲一区二区| 直男gayav资源| 丰满乱子伦码专区| 变态另类成人亚洲欧美熟女| 亚洲人成伊人成综合网2020| 久久久久久久久大av| 亚洲成av人片在线播放无| 亚洲精品影视一区二区三区av| 久久热精品热| 欧美国产日韩亚洲一区| 噜噜噜噜噜久久久久久91| 波野结衣二区三区在线| 午夜激情福利司机影院| 欧美午夜高清在线| 中文资源天堂在线| 午夜福利视频1000在线观看| 精品久久久久久,| 国产在线精品亚洲第一网站| 国内毛片毛片毛片毛片毛片| 午夜福利在线观看免费完整高清在 | 99视频精品全部免费 在线| 很黄的视频免费| www.色视频.com| 91在线观看av| 美女cb高潮喷水在线观看| 无遮挡黄片免费观看| 成人美女网站在线观看视频| 欧美成人性av电影在线观看| 99久久久亚洲精品蜜臀av| 色av中文字幕| 久久久久久国产a免费观看| 伦理电影大哥的女人| 别揉我奶头~嗯~啊~动态视频| 3wmmmm亚洲av在线观看| 天堂av国产一区二区熟女人妻| 欧美成人a在线观看| 国产精品久久久久久亚洲av鲁大| 一本精品99久久精品77| 一级毛片久久久久久久久女| 999久久久精品免费观看国产| 极品教师在线视频| 国产三级黄色录像| 麻豆成人av在线观看| 欧美黄色淫秽网站| 久久人人爽人人爽人人片va | av在线天堂中文字幕| 午夜福利在线观看免费完整高清在 | 国产精品一区二区性色av| 亚洲av电影不卡..在线观看| 成人特级av手机在线观看| 国产精品98久久久久久宅男小说| 久久久久性生活片| 88av欧美| 婷婷亚洲欧美| 一级黄片播放器| 久久久久久久久久黄片| 亚洲国产精品合色在线| 无人区码免费观看不卡| 91麻豆精品激情在线观看国产| 国产精品99久久久久久久久| 最近在线观看免费完整版| 国产主播在线观看一区二区| 在线观看舔阴道视频| 国产亚洲精品久久久com| 午夜福利欧美成人| 日韩欧美在线乱码| 成年人黄色毛片网站| avwww免费| 亚洲国产日韩欧美精品在线观看| 禁无遮挡网站| 一a级毛片在线观看| 欧美高清成人免费视频www| 毛片女人毛片| 国内揄拍国产精品人妻在线| 在线观看舔阴道视频| 国产欧美日韩一区二区精品| 婷婷六月久久综合丁香| 国产成+人综合+亚洲专区| 国产真实乱freesex| 久久久久久久久大av| 天天一区二区日本电影三级| 一进一出抽搐动态| 精品乱码久久久久久99久播| 亚洲欧美日韩东京热| 国产中年淑女户外野战色| 欧美黑人欧美精品刺激| 网址你懂的国产日韩在线| 欧美3d第一页|