• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    網(wǎng)上閱卷之理性審視

    2017-01-27 06:24:25楊澤忠朱銘
    中國考試 2017年8期
    關(guān)鍵詞:研究

    楊澤忠 朱銘

    (山東師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,濟(jì)南 250014)

    網(wǎng)上閱卷之理性審視

    楊澤忠 朱銘

    (山東師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,濟(jì)南 250014)

    網(wǎng)上閱卷是20世紀(jì)末掀起的一場(chǎng)評(píng)卷史上的革命,迄今已在我國開展了20年。這20年隨著網(wǎng)上閱卷在全國各地的嘗試,出現(xiàn)了一系列的相關(guān)研究。研究不僅極大地促進(jìn)了網(wǎng)上閱卷的廣泛應(yīng)用,也使得網(wǎng)上閱卷越來越合理和科學(xué)。本文對(duì)近10年關(guān)于網(wǎng)上閱卷研究進(jìn)行了回顧和梳理,就其中的特點(diǎn)作出歸納和概括,對(duì)未來進(jìn)一步研究提出展望。

    網(wǎng)上閱卷;考試技術(shù);評(píng)分誤差;雙評(píng)

    1 引言

    網(wǎng)上閱卷又稱為無紙化閱卷,是20世紀(jì)90年代末在我國開始的一項(xiàng)以計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、圖像處理技術(shù)和數(shù)據(jù)庫技術(shù)為基礎(chǔ)的新型閱卷方式[1]。這種閱卷方式剛一出現(xiàn),即受到人們的廣泛關(guān)注。人們普遍認(rèn)為,這種新的閱卷方式不僅可以節(jié)省以往人工閱卷的繁忙和勞累,提高閱卷效率,而且可以提高閱卷的準(zhǔn)確性和合理性,促進(jìn)閱卷的公平性,因此它代表著未來閱卷工作的方向。為了促進(jìn)網(wǎng)上閱卷這種新方式科學(xué)有序地進(jìn)行,近20年來,不僅有國家教育部專門出臺(tái)的相關(guān)管理辦法,而且出現(xiàn)了一系列的相關(guān)學(xué)術(shù)研究。這些學(xué)術(shù)研究無疑極大地促進(jìn)了網(wǎng)上閱卷的廣泛開展和深入進(jìn)行,進(jìn)一步提高了人們對(duì)于網(wǎng)上閱卷的信心和認(rèn)同。為了從以往的研究中吸取經(jīng)驗(yàn)和教訓(xùn),更好地促進(jìn)網(wǎng)上閱卷工作的開展,本文擬對(duì)近10年的相關(guān)研究進(jìn)行回顧和梳理,對(duì)其中的結(jié)果和方法作出歸納和概括。

    2 網(wǎng)上閱卷的優(yōu)勢(shì)

    作為一種結(jié)合現(xiàn)代信息技術(shù)而出現(xiàn)的新的閱卷方式,人們普遍認(rèn)為網(wǎng)上閱卷比傳統(tǒng)閱卷方式有多方面的優(yōu)勢(shì)。趙洋和朱京江指出,網(wǎng)上閱卷對(duì)客觀題可實(shí)現(xiàn)自動(dòng)評(píng)分,對(duì)主觀題可直接呈現(xiàn)在計(jì)算機(jī)屏幕上,閱卷老師只需通過鍵盤或鼠標(biāo)就可進(jìn)行閱卷評(píng)分,方便快捷。這期間由于系統(tǒng)調(diào)度和網(wǎng)絡(luò)傳輸,從而減少了工作環(huán)節(jié),降低了工作難度,對(duì)評(píng)卷老師工作積極性有很大的提升,可大幅提高工作效率[1-2]。

    王文成、彭茂玲、吳麗芳和李建芳認(rèn)為,通過雙評(píng)和多評(píng)的誤差控制機(jī)制,以及評(píng)卷結(jié)果一致性檢驗(yàn)等功能,網(wǎng)上閱卷可更好地把握評(píng)分標(biāo)準(zhǔn),增強(qiáng)評(píng)分的一致性,保證閱卷的科學(xué)準(zhǔn)確;另外,通過自動(dòng)加分、登分與統(tǒng)計(jì)分析等功能,網(wǎng)上閱卷還可以避免人工操作可能導(dǎo)致的粗大誤差[3-6]。吳麗芳和劉超認(rèn)為,計(jì)算機(jī)輔助的網(wǎng)上閱卷系統(tǒng)可以實(shí)時(shí)全程監(jiān)控,及時(shí)發(fā)現(xiàn)問題,從而可保證評(píng)卷教師對(duì)標(biāo)準(zhǔn)掌握的準(zhǔn)確性等,保證閱卷管理的迅捷性和靈活性[5,7]。

    趙洋、朱京江和王文成認(rèn)為,網(wǎng)上閱卷由于計(jì)算機(jī)技術(shù)的引進(jìn),通過全程監(jiān)控以及自動(dòng)屏蔽考生信息,即閱卷專家評(píng)閱的僅僅是隨機(jī)分發(fā)的考生答題圖像,根本看不到考生的紙質(zhì)答卷和考生信息,評(píng)閱后又立即提交,使保密工作得到保證,增加了評(píng)閱過程的透明性,根除了人為干預(yù)考試分?jǐn)?shù)的可能性,避免了違規(guī)作弊的可能,有效地維護(hù)了考試的公平、公正原則和廣大考生的權(quán)益[1-3]。此外,郝敬宏認(rèn)為,網(wǎng)上閱卷還能使比分差距拉大,有利于選拔。

    趙洋認(rèn)為,網(wǎng)上閱卷將考生答卷掃描為圖像,存儲(chǔ)于計(jì)算機(jī)的服務(wù)器中,只需要輸入考生的準(zhǔn)考證號(hào)就可以迅速得到該考生答卷的相關(guān)信息,如答題情況、閱卷專家評(píng)分情況等。另外,網(wǎng)上閱卷系統(tǒng)還可以隨時(shí)查詢閱卷的總體進(jìn)度、每位閱卷專家的閱卷情況等,這些都促進(jìn)了閱卷工作檢查的便捷性,是傳統(tǒng)閱卷方式無法達(dá)到的[1]。

    周偉萍和張建良認(rèn)為,網(wǎng)上閱卷系統(tǒng)的最大好處是數(shù)據(jù)的采集功能強(qiáng)大。網(wǎng)上閱卷系統(tǒng)不僅能夠處理不同類型的考試,對(duì)學(xué)生答案進(jìn)行智能識(shí)別,而且能夠及時(shí)地提供考試后的數(shù)據(jù)分析,幫助教師方便地從中看到學(xué)生之間的學(xué)習(xí)差異,找出學(xué)生在學(xué)習(xí)中的薄弱環(huán)節(jié),找準(zhǔn)教學(xué)各個(gè)方面存在的問題和根源等,從而可有針對(duì)性地促進(jìn)教師的教學(xué)和學(xué)生的學(xué)習(xí)[8-9]。

    3 網(wǎng)上閱卷的缺陷和不足

    3.1 系統(tǒng)組建和運(yùn)行

    范鵬提出,網(wǎng)上閱卷所采用的答題卡的印制成本有所提高;閱卷場(chǎng)所對(duì)終端機(jī)器的配置有一定要求;高速掃描閱讀機(jī)價(jià)格較高,評(píng)卷中使用的服務(wù)器、存儲(chǔ)、交換設(shè)備也是一筆不小的投入[10]。阮少林也提出,一些網(wǎng)上閱卷系統(tǒng)由于受投資、成本、功能及技術(shù)的限制,因此無法直接進(jìn)入學(xué)校等小規(guī)??荚囶I(lǐng)域應(yīng)用[11]。

    阮少林提出,目前OMR系統(tǒng)只能對(duì)填涂區(qū)域進(jìn)行識(shí)別,還無法對(duì)√、×等手寫符號(hào)進(jìn)行識(shí)別[11]。韓存新、蔡偉和羅理等提出,網(wǎng)上閱卷采用高速掃描儀將試卷電子化,存在少量漏掃現(xiàn)象及圖像不清晰現(xiàn)象[12-14]。趙洋提出,高考網(wǎng)上閱卷存在識(shí)別技術(shù)形式單一的問題,答題紙印刷和裁切精度要求高,識(shí)別技術(shù)需要固定樣式的答題紙,而且圖像保存格式所占存儲(chǔ)空間太大[1]。

    蔡偉等提出,有些省市的軟件設(shè)備不夠穩(wěn)定,造成部分重要的誤差控制功能喪失,與之相匹配的一整套考務(wù)管理辦法也尚未形成,而且閱卷過程中的動(dòng)態(tài)統(tǒng)計(jì)功能也不夠完善[13]。韓存新和何慶霞等提出,并發(fā)訪問問題有可能造成試卷分發(fā)的“瓶頸”,有些終端空閑,而有些終端任務(wù)繁重,這樣導(dǎo)致閱卷系統(tǒng)整體效率低下[12,15]。

    3.2 評(píng)閱過程和結(jié)果

    高丙成和賈志先等提出,閱卷員之間以及閱卷員自身存在一致性問題,即閱卷員在閱卷速度、閱卷平均分、閱卷標(biāo)準(zhǔn)差及出分率等方面均存在差異,這將導(dǎo)致評(píng)分員自身信度和評(píng)分員之間信度的降低[16-17]。此外,齊冬還提出,閱卷教師隨機(jī)搭配中的“寬寬嚴(yán)嚴(yán)”問題仍沒有有效的解決方案[18]。

    高丙成等提出,由于評(píng)分標(biāo)準(zhǔn)與參考答案設(shè)置不科學(xué)所引起的誤差閾值,還需要每次結(jié)合具體科目論證,缺乏統(tǒng)一的標(biāo)準(zhǔn)[16]。何慶霞等也提出,目前的實(shí)現(xiàn)機(jī)制是,通過試卷難易程度和教師評(píng)卷質(zhì)量來組織有關(guān)專家事先評(píng)測(cè),設(shè)置一個(gè)仲裁閾值,并根據(jù)這個(gè)閾值對(duì)教師所判試卷進(jìn)行仲裁,但是不能夠根據(jù)當(dāng)時(shí)的閱卷情況做到隨時(shí)調(diào)整仲裁閾值[15]。

    王文成、蔡偉等提出,網(wǎng)上閱卷技術(shù)造成嚴(yán)重的“人—機(jī)對(duì)抗”(閱卷員在各項(xiàng)指標(biāo)的控制范圍內(nèi)隨意給分)現(xiàn)象。過分追求閱卷員之間評(píng)分的一致性,客觀上容易導(dǎo)致評(píng)分背離考生的真實(shí)能力,進(jìn)而產(chǎn)生符合評(píng)分一致性檢驗(yàn)的“合法性”評(píng)分誤差[3,13]。韓存新、鄧秀恭等提出,由于工作量大,加上閱卷教師的報(bào)酬都是計(jì)件的,每位教師都在趕進(jìn)度,同時(shí)又必須是有效度的評(píng)價(jià),這樣導(dǎo)致一些教師打分都是打保守分。這對(duì)于競(jìng)爭(zhēng)性選拔考試非常危險(xiǎn)[12,19]。

    張建良認(rèn)為,網(wǎng)上閱卷的最大不足是批后無痕,這就給學(xué)生及時(shí)訂正和反思帶來了許多不便[9]。山成虎和鄧細(xì)芳也提出,網(wǎng)上閱卷是在掃描后的圖片上判分,學(xué)生的答卷是沒有判分痕跡的,最后留給學(xué)生的是冷冰冰的分?jǐn)?shù),這不利于師生情感的培養(yǎng),與新課程三維目標(biāo)中的“情感態(tài)度與價(jià)值觀”目標(biāo)是相違背的[20]。

    周偉萍提出,網(wǎng)上閱卷只運(yùn)用在大規(guī)模的考試中,教師對(duì)閱卷數(shù)據(jù)的用處只能是終結(jié)性評(píng)價(jià),對(duì)教師的教育、教學(xué)調(diào)整不起太大的作用[8]。馬世曄認(rèn)為,閱卷過程中的動(dòng)態(tài)統(tǒng)計(jì)功能還不夠完善,閱卷后考試數(shù)據(jù)的充分統(tǒng)計(jì)利用還沒有進(jìn)行[21]。

    韓存新、馬世曄等認(rèn)為,網(wǎng)上閱卷不利于同一考場(chǎng)考生作弊的查處。由于掃描上去的作文圖像是隨機(jī)發(fā)給各位教師,因此它不具有號(hào)碼的連續(xù)性。如果前后考生抄襲雷同的話,他們的作文就會(huì)被打散[12,21]。范鵬也提出,由于分發(fā)到每個(gè)閱卷終端的作答圖片只是某一題或幾題,因此對(duì)于判斷雷同、抄襲等異常問題,不如傳統(tǒng)閱卷那樣一目了然,缺乏直觀感[10]。

    3.3 對(duì)學(xué)生和教師的影響方面

    山成虎和鄧細(xì)芳認(rèn)為,頻率過高的評(píng)判性考試和網(wǎng)上閱卷只會(huì)讓學(xué)生特別是后進(jìn)生學(xué)習(xí)積極性備受打擊,最后麻木不仁,放棄學(xué)習(xí)。這顯然不符合新課程強(qiáng)調(diào)的“過程與方法”的體驗(yàn)式教學(xué)精神[20]。此外,周偉萍提出,網(wǎng)上閱卷系統(tǒng)提供的分析對(duì)優(yōu)等生幫助不大。許多試題的典型解法就是這些優(yōu)等生的答卷,可能會(huì)造成優(yōu)等生的自滿情緒,影響學(xué)習(xí)效果[8]。

    韓存新和樊斌認(rèn)為,網(wǎng)上閱卷雖然提高了效率,縮短了評(píng)卷時(shí)間,但評(píng)卷教師長(zhǎng)時(shí)間地面對(duì)電腦屏幕,視力受到極大的影響[12]。趙海燕等提出,當(dāng)前網(wǎng)上閱卷雙評(píng)過程中一般采用平均法計(jì)算考生成績(jī),其不足在于易導(dǎo)致趨中效應(yīng)的加劇,從而不利于高能力考生的區(qū)分[22]。何慶霞等認(rèn)為,網(wǎng)上閱卷可能會(huì)存在不安全因素,病毒入侵和惡意攻擊都是不可預(yù)料的[15]。高丙成和陳曉蘇等提出,網(wǎng)上閱卷數(shù)據(jù)的加密傳輸技術(shù)和閱卷遠(yuǎn)程登錄人的身份確認(rèn)技術(shù),都需要組織針對(duì)性地開發(fā)[16,23]。

    4 提高網(wǎng)上閱卷質(zhì)量的措施

    4.1 嚴(yán)格選拔和培訓(xùn)閱卷人員

    范鵬和馬世曄認(rèn)為,控制評(píng)卷誤差的關(guān)鍵是要加強(qiáng)主觀題網(wǎng)上閱卷人員的隊(duì)伍建設(shè),抓好遴選、培訓(xùn)、管理、評(píng)價(jià)4個(gè)環(huán)節(jié),做好有關(guān)考務(wù)人員的培訓(xùn)工作,使他們盡快地熟悉有關(guān)網(wǎng)上閱卷的相關(guān)要求[10,21]。劉建華和馬睿等也認(rèn)為,扎實(shí)、有效的崗前培訓(xùn)是確保閱卷工作平穩(wěn)順利進(jìn)行的根本保證,因此要切實(shí)做好4項(xiàng)培訓(xùn)工作:(1)上崗培訓(xùn),主要包括思想政治教育、保密條例等;(2)試評(píng)培訓(xùn),主要包括評(píng)分細(xì)則的討論、制定、閱卷系統(tǒng)的操作、試評(píng)卷和測(cè)試卷的評(píng)閱等;(3)質(zhì)量控制培訓(xùn),主要包括試卷復(fù)評(píng)、抽查、退回、修改、問題卷處理等;(4)心理壓力和情緒調(diào)節(jié)培訓(xùn),主要包括放松訓(xùn)練、腹式呼吸訓(xùn)練等[24]。

    4.2 加強(qiáng)對(duì)閱卷人員的管理

    劉建華和馬睿等在閱卷員管理方面提出可以從以下3個(gè)方面開展工作:(1)完善閱卷組織機(jī)構(gòu);(2)強(qiáng)化激勵(lì)機(jī)制;(3)引入心理干預(yù)。這就要求相關(guān)的閱卷機(jī)構(gòu)在優(yōu)化進(jìn)度管理和組織心理輔導(dǎo)的同時(shí),合理安排工作時(shí)間[24]。陳藝也提出,通過及時(shí)發(fā)現(xiàn)并調(diào)整閱卷人員的工作和休息狀態(tài),可以提升閱卷過程的質(zhì)量和效率,進(jìn)而保證閱卷過程的公平、公正性[25]。

    王文成認(rèn)為,要加強(qiáng)閱卷員對(duì)評(píng)分標(biāo)準(zhǔn)的掌握情況,可以通過把專家組所評(píng)樣卷讓閱卷員進(jìn)行評(píng)閱,計(jì)算每一個(gè)閱卷員與專家組的差值,判定是否在誤差允許范圍之內(nèi),或者計(jì)算專家組和閱卷員在樣卷得分的相關(guān)系數(shù),進(jìn)而評(píng)定閱卷員和專家組在樣卷評(píng)分上的一致性。此外,他還提出,對(duì)閱卷員“寬寬嚴(yán)嚴(yán)”問題的技術(shù)控制,可通過兩種方法:(1)比較不同時(shí)段,本人閱卷標(biāo)準(zhǔn)差、平均分、有效度和閱卷速度;比較復(fù)評(píng)的標(biāo)準(zhǔn)差、平均分、有效度和閱卷速度,評(píng)價(jià)評(píng)卷員掌握評(píng)分標(biāo)準(zhǔn)的嚴(yán)寬程度,是否隨意性大;(2)計(jì)算集中程度。其評(píng)價(jià)指標(biāo)是每道題目上每個(gè)閱卷員給分的算術(shù)平均數(shù)。以每道題考生最終成績(jī)的總平均數(shù)為參照點(diǎn),閱卷員給分的平均數(shù)越接近考生最終成績(jī)的總平均數(shù),說明評(píng)分誤差越小[3]。

    4.3 完善網(wǎng)上閱卷系統(tǒng)的設(shè)計(jì)與管理

    羅友花和劉鐵明提出,網(wǎng)上閱卷是一項(xiàng)復(fù)雜的系統(tǒng)工程,成功實(shí)施的關(guān)鍵是要解決好4個(gè)方面的問題,即設(shè)置配備和網(wǎng)絡(luò)建設(shè)、答題卡掃描和數(shù)據(jù)電子化、實(shí)時(shí)誤差監(jiān)控以及考務(wù)組織管理[26]。喻國軍為了將客觀題自動(dòng)評(píng)判產(chǎn)生的錯(cuò)誤降低到最少,提出在網(wǎng)上閱卷系統(tǒng)中增加客觀題的查錯(cuò)與校正模塊,作為客觀題自動(dòng)評(píng)卷的輔助子系統(tǒng),并使用視圖和存儲(chǔ)過程將可能的問題卷提取出來,用人工的方式進(jìn)行校正[27]。賈志先利用譜聚類算法,對(duì)所有評(píng)分員的評(píng)分測(cè)量對(duì)象進(jìn)行聚類后,可以將評(píng)分員的評(píng)分結(jié)果進(jìn)行分類,從而為分析評(píng)分員的評(píng)分質(zhì)量提供了一種可行的方法和手段,同時(shí)又結(jié)合評(píng)分員的評(píng)分結(jié)果度量維度參數(shù),可以進(jìn)一步有效地檢測(cè)出主觀題評(píng)分中存在的一些問題[17]。

    范鵬提出,要保證整個(gè)閱卷系統(tǒng)的正常運(yùn)行,就必須根據(jù)新情況、新特點(diǎn),相應(yīng)改革原有的招生考試考務(wù)管理模式,從組織上、管理上確保網(wǎng)上閱卷系統(tǒng)的順暢運(yùn)行,并根據(jù)網(wǎng)上閱卷的特點(diǎn),建立一套新的管理辦法[10]。陳冠儒指出,要吸收高考網(wǎng)上閱卷系統(tǒng)和光標(biāo)閱讀機(jī)的優(yōu)點(diǎn),克服其缺點(diǎn),設(shè)計(jì)開發(fā)集考務(wù)管理、試卷制作、客觀題識(shí)別、主觀題評(píng)閱、成績(jī)管理為一體的網(wǎng)上閱卷系統(tǒng)[28]。

    4.4 評(píng)分誤差控制策略

    蔡偉等提出以“評(píng)分”控制“評(píng)分”的5種網(wǎng)上閱卷評(píng)分誤差控制方法:閱卷員之間一致性誤差控制、閱卷員本人一致性誤差控制、兩評(píng)的誤差控制、評(píng)分點(diǎn)之間的誤差控制以及抽查和監(jiān)控閱卷誤差。抽查和監(jiān)控閱卷誤差是指指定抽查、簡(jiǎn)單隨機(jī)抽查、分時(shí)段抽查、等距抽查。此外,他還提出4種網(wǎng)上閱卷評(píng)分誤差機(jī)控系統(tǒng)的措施:作文試卷配發(fā)隨機(jī)、閱卷終端獨(dú)立、數(shù)據(jù)統(tǒng)計(jì)迅速準(zhǔn)確、網(wǎng)絡(luò)對(duì)話高效便捷[13]。高丙成等歸納出及時(shí)反饋、嚴(yán)格要求、做好培訓(xùn)、減少誤差閾值等減少評(píng)分者差異的有效策略[16]。王文成也提出,主觀題評(píng)分誤差控制策略有:(1)加強(qiáng)閱卷員對(duì)評(píng)分標(biāo)準(zhǔn)掌握情況;(2)控制閱卷員的“寬寬嚴(yán)嚴(yán)”問題;(3)計(jì)算離散程度;(4)提高評(píng)分的有效度[3]。

    羅友花和劉鐵明指出,網(wǎng)上閱卷的實(shí)時(shí)誤差控制機(jī)制可以從5個(gè)方面進(jìn)行“把關(guān)”:(1)計(jì)算機(jī)自動(dòng)對(duì)考生答題卡上的客觀題部分進(jìn)行OCR/OMR識(shí)別,并對(duì)此標(biāo)準(zhǔn)答案給分;(2)采用“一卷四評(píng)”模式;(3)利用計(jì)算機(jī)統(tǒng)計(jì)技術(shù)實(shí)時(shí)進(jìn)行評(píng)卷員之間和評(píng)卷員本人的一致性誤差控制,兩評(píng)和評(píng)分點(diǎn)之間的誤差控制;(4)檢查組抽查監(jiān)控;(5)得分異常情況的處理[26]。

    4.5 提高評(píng)分的有效性

    趙海燕等提出改革傳統(tǒng)評(píng)分方式,以提高評(píng)分的有效性。在雙評(píng)有效的前提下,任意值法可以更有效地控制趨中效應(yīng),取高法和取低法有利于必要時(shí)對(duì)分?jǐn)?shù)波動(dòng)的把控,取高法對(duì)趨中效應(yīng)的控制要好于平均法,且利于高分考生的選拔[22]。

    王文成則通過監(jiān)測(cè)閱卷員評(píng)分來提高評(píng)分的有效性。有效度越高的閱卷員,個(gè)人尺度越接近標(biāo)準(zhǔn)尺度。閱卷員評(píng)分的有效度有以下幾種情況:(1)雙評(píng)差值未超出差值閾限,則兩位評(píng)分員的評(píng)分都記為有效;(2)三評(píng)給出的分?jǐn)?shù)和與之相近的雙評(píng)中的一位閱卷員的評(píng)分,如果沒有超出差值閾限,則此兩位閱卷員共同決定了該試題的最終得分,該兩位閱卷員的評(píng)分都記為有效;(3)如果與三評(píng)分?jǐn)?shù)相差較大的另一個(gè)評(píng)卷員給出的分?jǐn)?shù),小于本題目允許的最大誤差的1/2,則該評(píng)分也被記為有效[3]。

    4.6 改進(jìn)技術(shù)手段,增強(qiáng)圖像識(shí)別

    阮少林以數(shù)字圖像處理技術(shù)為支撐的圖像識(shí)別軟件替代機(jī)器來完成網(wǎng)上閱卷過程中的自動(dòng)閱卷任務(wù),不僅可以大大降低閱卷成本,同時(shí)系統(tǒng)的高度靈活性可以使得這種閱卷方式深入到更細(xì)微的領(lǐng)域[11]。

    肖立峰將圖像預(yù)處理系統(tǒng)處理步驟設(shè)計(jì)為:灰度圖像二值化、圖像的偏斜糾正。該系統(tǒng)借鑒了很多圖像處理方法的優(yōu)點(diǎn),使整個(gè)掃描過程清晰,易于實(shí)現(xiàn)[29]。羅理等采用先對(duì)圖像進(jìn)行粗化的方法,解決圖像連續(xù)性問題;接著對(duì)圖像進(jìn)行細(xì)化,解決圖像單像素問題[14]。肖立峰也提出以改進(jìn)的變換方式來進(jìn)行答卷圖像的傾斜矯正,采用動(dòng)態(tài)閾值三值化圖像、采用鄰域迭代等方式使答卷圖像增強(qiáng),滿足了實(shí)際工作與圖像處理的需要[29]。

    5 對(duì)已有研究的理性審視

    綜上所述,可以看出,當(dāng)前關(guān)于網(wǎng)上閱卷的研究主要集中在網(wǎng)絡(luò)閱卷的優(yōu)勢(shì)、網(wǎng)絡(luò)閱卷的不足和相應(yīng)的對(duì)策3個(gè)方面。對(duì)于網(wǎng)上閱卷的優(yōu)越性而言,前人的研究給予了充分肯定,不僅指出了網(wǎng)上閱卷具有迅捷性、便捷性和靈活性,也指出了網(wǎng)上閱卷具有比較好的公平性,從而能促進(jìn)考試的進(jìn)行和選拔;對(duì)于網(wǎng)上閱卷的不足而言,前人的研究比較廣泛,不僅關(guān)注網(wǎng)上閱卷的成本問題、技術(shù)問題、管理問題和具體操作問題,也關(guān)注網(wǎng)上閱卷具體的評(píng)分問題、痕跡問題和雷同卷問題等;對(duì)于如何提高網(wǎng)上閱卷的質(zhì)量問題,當(dāng)前的研究不僅指出了應(yīng)當(dāng)加強(qiáng)閱卷人員的選拔、培訓(xùn)和管理等,也指出了應(yīng)當(dāng)進(jìn)一步完善網(wǎng)上管理系統(tǒng),加強(qiáng)圖像識(shí)別的程度,提高閱卷的有效性等措施,這些措施無一不是合理的。

    但是,從上述分析也可以看出,有些研究還不夠深入,比較突出的問題有兩個(gè):一是如何利用網(wǎng)上閱卷的優(yōu)越性,特別是其數(shù)據(jù)分析的快捷性和方便性,更加深入地分析學(xué)生在學(xué)習(xí)中的特點(diǎn),尤其是其中的不足和缺陷,從而更加有效地指導(dǎo)日常教學(xué)。當(dāng)前這個(gè)問題雖然已被一些研究者意識(shí)到和提及,但當(dāng)前鮮有人從這個(gè)角度進(jìn)行較為深入的探討和研究,從而導(dǎo)致當(dāng)前的情況基本上還是網(wǎng)上閱卷得到的數(shù)據(jù)和日常教學(xué)相互分離的狀態(tài)。根據(jù)我們的了解,在當(dāng)前已使用網(wǎng)上閱卷的中小學(xué)中,教師和學(xué)生比較多的是從網(wǎng)上閱卷中看總成績(jī)和成績(jī)排名,很少有人在網(wǎng)上閱卷之后進(jìn)一步分析得到的數(shù)據(jù),從中發(fā)現(xiàn)教學(xué)的問題,從而改善或完善教學(xué)。網(wǎng)上閱卷系統(tǒng)的使用每年也只有有數(shù)的幾次。進(jìn)一步訪談其中的原因,多數(shù)教師反映他們不知道如何操作,不知道如何利用網(wǎng)上閱卷得到的數(shù)據(jù)進(jìn)行分析,不知道如何分析才是正確的,不知道如何分析才能得到真正有助于教學(xué)的信息。這種情況雖然一方面反映出不少教師數(shù)據(jù)分析技能的薄弱,但更多的應(yīng)該是反映出當(dāng)前廣大研究者對(duì)網(wǎng)上閱卷數(shù)據(jù)與實(shí)際教學(xué)互動(dòng)關(guān)系的研究缺乏深刻性和可操作性。

    二是如何組織和安排才能使得網(wǎng)上閱卷更加合理,使得閱卷員最后給出的成績(jī)更加準(zhǔn)確。當(dāng)前很多研究者都非常關(guān)注網(wǎng)上閱卷的質(zhì)量,為此提出了一系列措施。但仔細(xì)看這些措施,多數(shù)是針對(duì)網(wǎng)上閱卷的合理性和有效性來講的,很少直接針對(duì)最后成績(jī)的正確性和準(zhǔn)確性的。即使是有個(gè)別針對(duì)最后成績(jī)準(zhǔn)確性的措施,也多是比較模糊的和不具體的,無法使網(wǎng)上閱卷組織者和評(píng)閱人員實(shí)際掌握和操作。我們?cè)谥行W(xué)調(diào)查中發(fā)現(xiàn),幾乎每次網(wǎng)上閱卷之后,都有不少學(xué)生向老師報(bào)告他們的成績(jī)與最后評(píng)閱有出入,告訴老師他們的成績(jī)?cè)u(píng)定不準(zhǔn)確?,F(xiàn)在中小學(xué)老師遇到這樣的情況也似乎習(xí)以為常,因此,每次網(wǎng)上閱卷之后,老師都會(huì)告訴學(xué)生:請(qǐng)仔細(xì)核對(duì)答案,如有發(fā)現(xiàn)成績(jī)不準(zhǔn)確的,可立即告知老師,以便修改。這樣,網(wǎng)上閱卷在實(shí)際中小學(xué)教學(xué)中不僅沒有節(jié)省老師們的時(shí)間,反倒又增加了一道工序。

    由此,未來的研究有必要加強(qiáng)網(wǎng)上閱卷準(zhǔn)確性的研究以及網(wǎng)上閱卷之后數(shù)據(jù)的分析和應(yīng)用研究,只有這樣,才能使得投入大量財(cái)力和物力開發(fā)和組建的網(wǎng)上閱卷系統(tǒng)具有更加實(shí)際和更大的價(jià)值。

    [1]趙洋.基于Open CV的網(wǎng)上閱卷技術(shù)的研究[D].濟(jì)南:山東大學(xué),2009.

    [2]朱京江.大數(shù)據(jù)時(shí)代下人事考試網(wǎng)上閱卷管理系統(tǒng)的創(chuàng)新研究[J].中國管理信息化,2015(18):171-172.

    [3]王文成.“人機(jī)對(duì)抗”視域下主觀題評(píng)分誤差控制策略研究[J].中國考試,2013(9):11-19.

    [4]彭茂玲,黃愛明,余光琳.網(wǎng)上閱卷環(huán)境中基于Agent H-IS的可信交互模型研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2012(16):74,82.

    [5]吳麗芳.論河北省高考英語網(wǎng)上閱卷的優(yōu)勢(shì)[J].教育實(shí)踐與研究(中學(xué)版),2005(11):20-21.

    [6]李建芳.網(wǎng)上評(píng)閱高考作文之優(yōu)劣[J].湖南教育,2005(19):25-26.

    [7]劉超.網(wǎng)上閱卷中的協(xié)同工作及其安全機(jī)制的研究[D].武漢:華中科技大學(xué),2004.

    [8]周偉萍.APMS網(wǎng)上閱卷系統(tǒng)對(duì)數(shù)學(xué)教學(xué)效果影響的實(shí)證研究[D].武漢:湖北師范大學(xué),2015.

    [9]張建良.利用網(wǎng)上閱卷信息激勵(lì)和改進(jìn)教與學(xué)[J].中國數(shù)學(xué)教育,2014(1-2):11-14.

    [10]范鵬.網(wǎng)上閱卷的利弊分析及思考[J].中國輕工教育,2009(2):17-18.

    [11]阮少林.網(wǎng)上閱卷中信息提取與識(shí)別技術(shù)研究[D].成都:電子科技大學(xué),2010.

    [12]韓存新,樊斌.高考英語作文與網(wǎng)上閱卷[J].太原城市職業(yè)技術(shù)學(xué)院學(xué)報(bào),2007(1):110-111.

    [13]蔡偉,婁慶華.高考作文網(wǎng)上閱卷評(píng)分誤差控制研究[J].湖北招生考試,2008(12):20-24.

    [14]羅理,王鋒.網(wǎng)上閱卷系統(tǒng)中八字碼識(shí)別方法的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)與數(shù)字工程,2007(12).

    [15]何慶霞,褚慶軍.基于工作流管理的高考網(wǎng)上閱卷系統(tǒng)實(shí)現(xiàn)的研究[J].中國考試,2005(4):33-36.

    [16]高丙成,秦旭芳.成人高考網(wǎng)上閱卷的評(píng)分者差異研究[J].烏魯木齊職業(yè)大學(xué)學(xué)報(bào),2007(4):96-99.

    [17]賈志先.基于譜聚類的網(wǎng)上閱卷質(zhì)量控制研究[J].智能計(jì)算機(jī)與應(yīng)用,2014(5):76-79.

    [18]齊冬.網(wǎng)上閱卷“試”出問題一大堆[N].濟(jì)南日?qǐng)?bào),2005-01-09(10).

    [19]鄧秀恭.談網(wǎng)上閱卷對(duì)英語試卷書面表達(dá)分析的反撥作用[J].考試周刊,2016(39):3.

    [20]山成虎,鄧細(xì)芳.網(wǎng)上閱卷在高中教學(xué)運(yùn)用中的實(shí)踐與思考[J].軟件導(dǎo)刊(教育技術(shù)),2015(11):85-86.

    [21]馬世曄.考試網(wǎng)上閱卷研究報(bào)告[J].湖北招生考試,2004(4):41-44.

    [22]趙海燕,陳志國.網(wǎng)上閱卷雙評(píng)過程可行計(jì)分方法探究[J].考試研究,2011(2):54-61.

    [23]陳曉蘇,章麗玲,吳永英.JAAS在網(wǎng)上閱卷系統(tǒng)中的應(yīng)用研究[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2006(5):43-45.

    [24]劉建華,馬睿,郜國民,劉華民.主觀題網(wǎng)上閱卷員隊(duì)伍建設(shè)與誤差控制研究[J].中國考試,2012(9):32-39.

    [25]陳藝.基于高效關(guān)聯(lián)規(guī)則挖掘算法的智能評(píng)卷模型研究[J].赤峰學(xué)院學(xué)報(bào)(自然科學(xué)版),2014(12):50-52.

    [26]羅友花,劉鐵明.網(wǎng)上閱卷研究述評(píng)[J].中國考試,2009(11):34-37.

    [27]喻國軍.基于網(wǎng)上閱卷系統(tǒng)的形式化描述及數(shù)字圖像處理技術(shù)研究與實(shí)現(xiàn)[D].貴陽:貴州師范大學(xué),2009.

    [28]陳冠儒.論網(wǎng)上閱卷系統(tǒng)在現(xiàn)代化教育上的應(yīng)用[J].科技資訊,2009(25):168-170.

    [29]肖立峰.基于機(jī)器視覺的分布式網(wǎng)上閱卷系統(tǒng)[D].合肥:合肥工業(yè)大學(xué),2009.

    Rational Review of Scoring Online

    YANG Zezhong,ZHU Ming
    (The College of Mathematics and Statistics,Shandong Normal University,Jinan 250014,China)

    Scoring online is a revolution in the history of scoring in the last century and has been carried out in China for twenty years.With the attempts of scoring online in our country,there has been a series of related research in the past two decades.These studies not only greatly promoted the extensive use of scoring online,but also made it more reasonable and scientific.Referring to the scoring online,this paper reviews and combs the researches in the past ten years,and summarizes the characteristics of it.Besides,prospects are given in the future research.

    Scoring Online;Examination Technology;Scoring Errors;Double Scoring

    G405

    A

    1005-8427(2017)08-0050-6

    10.19360/j.cnki.11-3303/g4.2017.08.009

    楊澤忠(1968—),男,山東師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,教授;

    朱 銘(1996—),女,山東師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,在讀碩士。

    (責(zé)任編輯:周黎明)

    猜你喜歡
    研究
    FMS與YBT相關(guān)性的實(shí)證研究
    2020年國內(nèi)翻譯研究述評(píng)
    遼代千人邑研究述論
    視錯(cuò)覺在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    關(guān)于遼朝“一國兩制”研究的回顧與思考
    EMA伺服控制系統(tǒng)研究
    基于聲、光、磁、觸摸多功能控制的研究
    電子制作(2018年11期)2018-08-04 03:26:04
    新版C-NCAP側(cè)面碰撞假人損傷研究
    關(guān)于反傾銷會(huì)計(jì)研究的思考
    焊接膜層脫落的攻關(guān)研究
    電子制作(2017年23期)2017-02-02 07:17:19
    国产淫语在线视频| 亚洲无线观看免费| 午夜福利高清视频| 美女国产视频在线观看| 亚洲aⅴ乱码一区二区在线播放| 51国产日韩欧美| 国产在视频线精品| 国产亚洲一区二区精品| 一夜夜www| 亚洲最大成人av| 日日干狠狠操夜夜爽| 久久6这里有精品| 精品久久久精品久久久| 青春草国产在线视频| 男女视频在线观看网站免费| 日本欧美国产在线视频| 亚洲欧美清纯卡通| 99热全是精品| 久久精品国产亚洲av天美| 亚洲久久久久久中文字幕| av线在线观看网站| 国产又色又爽无遮挡免| 免费看光身美女| 大陆偷拍与自拍| 午夜福利在线观看免费完整高清在| 22中文网久久字幕| 美女主播在线视频| 国产精品一区二区三区四区久久| 久久久久久久午夜电影| 卡戴珊不雅视频在线播放| 欧美xxxx黑人xx丫x性爽| 大香蕉97超碰在线| 99热这里只有是精品在线观看| 中文字幕免费在线视频6| 亚洲图色成人| 日韩一区二区视频免费看| 欧美高清成人免费视频www| 大又大粗又爽又黄少妇毛片口| 国产综合懂色| 小蜜桃在线观看免费完整版高清| 成人亚洲精品一区在线观看 | 一区二区三区免费毛片| 国产人妻一区二区三区在| 91久久精品国产一区二区成人| 美女cb高潮喷水在线观看| 三级毛片av免费| 欧美成人精品欧美一级黄| 久久精品国产鲁丝片午夜精品| 秋霞伦理黄片| 国产高清不卡午夜福利| 自拍偷自拍亚洲精品老妇| 日本午夜av视频| 日韩伦理黄色片| 亚洲18禁久久av| 在线免费观看的www视频| 国产成年人精品一区二区| 国产精品日韩av在线免费观看| 久久97久久精品| 国产精品熟女久久久久浪| 人妻系列 视频| 麻豆成人午夜福利视频| 蜜桃亚洲精品一区二区三区| 大又大粗又爽又黄少妇毛片口| 久久鲁丝午夜福利片| 全区人妻精品视频| 女人久久www免费人成看片| 国产免费福利视频在线观看| 黄片无遮挡物在线观看| 国产精品一区二区三区四区久久| 日日干狠狠操夜夜爽| 亚洲精品日本国产第一区| 国产视频内射| 干丝袜人妻中文字幕| av线在线观看网站| 久久精品国产亚洲av涩爱| 日本免费在线观看一区| 深夜a级毛片| 国产 亚洲一区二区三区 | 国产爱豆传媒在线观看| 哪个播放器可以免费观看大片| 国产精品国产三级国产av玫瑰| 夫妻午夜视频| 精品久久久精品久久久| 久久精品夜色国产| 精品一区二区三区视频在线| 男人狂女人下面高潮的视频| 中文字幕av在线有码专区| 三级经典国产精品| 欧美3d第一页| 国产精品.久久久| 精华霜和精华液先用哪个| 久久97久久精品| 日本三级黄在线观看| 欧美最新免费一区二区三区| 色吧在线观看| 亚洲成人久久爱视频| 午夜视频国产福利| 国产 一区精品| 国产高清有码在线观看视频| 亚洲精品一区蜜桃| 亚洲av日韩在线播放| 亚洲av福利一区| 国产淫片久久久久久久久| 可以在线观看毛片的网站| 精品人妻偷拍中文字幕| 国产黄片视频在线免费观看| 国产高清三级在线| 成人毛片60女人毛片免费| 精品亚洲乱码少妇综合久久| 大话2 男鬼变身卡| 亚洲最大成人av| 亚洲精品456在线播放app| 伦理电影大哥的女人| 亚洲av.av天堂| 亚洲va在线va天堂va国产| 国产色爽女视频免费观看| 大话2 男鬼变身卡| 国产黄色小视频在线观看| 女的被弄到高潮叫床怎么办| 一级毛片黄色毛片免费观看视频| 亚洲av免费在线观看| 午夜老司机福利剧场| 国产色爽女视频免费观看| 男的添女的下面高潮视频| a级毛片免费高清观看在线播放| 亚洲一区高清亚洲精品| 波野结衣二区三区在线| 日韩av免费高清视频| 精品欧美国产一区二区三| 日韩视频在线欧美| 亚洲真实伦在线观看| 天美传媒精品一区二区| 亚洲天堂国产精品一区在线| 国产黄色免费在线视频| 国模一区二区三区四区视频| 日韩一区二区视频免费看| av网站免费在线观看视频 | 亚洲av电影不卡..在线观看| 国内精品美女久久久久久| 丰满人妻一区二区三区视频av| 精品欧美国产一区二区三| 成人午夜精彩视频在线观看| 最新中文字幕久久久久| 男女视频在线观看网站免费| 欧美变态另类bdsm刘玥| 亚洲成人精品中文字幕电影| 嫩草影院入口| 亚洲在线观看片| 免费观看在线日韩| 国国产精品蜜臀av免费| 亚洲久久久久久中文字幕| 亚洲欧美一区二区三区黑人 | 欧美+日韩+精品| 日本与韩国留学比较| 日日干狠狠操夜夜爽| 日韩欧美国产在线观看| 午夜日本视频在线| 18禁在线无遮挡免费观看视频| 国产大屁股一区二区在线视频| 亚洲av日韩在线播放| 亚洲av电影在线观看一区二区三区 | 国产精品熟女久久久久浪| kizo精华| 国产精品av视频在线免费观看| 午夜福利视频1000在线观看| av在线亚洲专区| 国产精品av视频在线免费观看| 老司机影院成人| 亚洲精品一二三| 五月伊人婷婷丁香| 好男人在线观看高清免费视频| 91狼人影院| 久久精品夜夜夜夜夜久久蜜豆| 日本一二三区视频观看| 伦精品一区二区三区| 亚洲欧美成人综合另类久久久| 国产精品熟女久久久久浪| 日日摸夜夜添夜夜添av毛片| 国产 亚洲一区二区三区 | 成人av在线播放网站| 国产亚洲精品av在线| 午夜福利高清视频| 日韩欧美精品免费久久| 日韩成人伦理影院| 我的女老师完整版在线观看| 国产美女午夜福利| 久久久久久久久久久免费av| 高清av免费在线| 狂野欧美白嫩少妇大欣赏| 91精品一卡2卡3卡4卡| 天堂中文最新版在线下载 | 人人妻人人澡人人爽人人夜夜 | 国产精品日韩av在线免费观看| 久久久久九九精品影院| 久久精品国产鲁丝片午夜精品| 高清视频免费观看一区二区 | 听说在线观看完整版免费高清| 国产成人aa在线观看| 中文字幕久久专区| 久久久欧美国产精品| 99re6热这里在线精品视频| 日韩一本色道免费dvd| 亚州av有码| 久久国内精品自在自线图片| 亚洲美女搞黄在线观看| www.av在线官网国产| 97人妻精品一区二区三区麻豆| 中国国产av一级| av女优亚洲男人天堂| 国产淫语在线视频| av在线蜜桃| 国产精品女同一区二区软件| 成年女人在线观看亚洲视频 | 久久6这里有精品| 精品国内亚洲2022精品成人| 成人国产麻豆网| 国产成人aa在线观看| 女人久久www免费人成看片| 国产av不卡久久| 国产单亲对白刺激| 久久精品人妻少妇| 亚洲av免费高清在线观看| av在线亚洲专区| 丰满人妻一区二区三区视频av| 三级国产精品片| 尾随美女入室| 免费不卡的大黄色大毛片视频在线观看 | 最近中文字幕2019免费版| 色综合站精品国产| 最近最新中文字幕大全电影3| 国产黄频视频在线观看| 国产淫片久久久久久久久| 精品酒店卫生间| 一边亲一边摸免费视频| 亚洲国产精品国产精品| 免费观看a级毛片全部| 亚洲最大成人手机在线| 国产精品.久久久| 男女国产视频网站| 中文字幕久久专区| 国产精品一及| 女的被弄到高潮叫床怎么办| 人人妻人人澡欧美一区二区| 免费观看的影片在线观看| 国产精品1区2区在线观看.| 高清av免费在线| 蜜桃久久精品国产亚洲av| 日韩精品青青久久久久久| 精品久久久精品久久久| 成年版毛片免费区| 搡老妇女老女人老熟妇| 日韩电影二区| 亚洲av成人精品一二三区| 国产麻豆成人av免费视频| 黄色日韩在线| 搡老妇女老女人老熟妇| 中文资源天堂在线| 丰满乱子伦码专区| 免费少妇av软件| 在线观看一区二区三区| 成年免费大片在线观看| 国产免费一级a男人的天堂| 国产av国产精品国产| 黄色欧美视频在线观看| 亚洲一级一片aⅴ在线观看| 极品教师在线视频| 日韩精品青青久久久久久| 国产亚洲av嫩草精品影院| 国产伦一二天堂av在线观看| 搡老乐熟女国产| 久久久a久久爽久久v久久| 亚洲熟女精品中文字幕| 欧美xxxx性猛交bbbb| 成人亚洲精品一区在线观看 | 我的老师免费观看完整版| 成人午夜高清在线视频| 日韩成人伦理影院| 久久久久久国产a免费观看| 亚洲精品一区蜜桃| 国产真实伦视频高清在线观看| 五月天丁香电影| 久久久久国产网址| 激情 狠狠 欧美| 免费少妇av软件| 久久精品夜夜夜夜夜久久蜜豆| 麻豆精品久久久久久蜜桃| 亚洲第一区二区三区不卡| 两个人视频免费观看高清| 80岁老熟妇乱子伦牲交| 亚洲av成人av| 日韩欧美国产在线观看| 亚洲伊人久久精品综合| 成人二区视频| av在线观看视频网站免费| 国产精品久久久久久精品电影小说 | 亚洲精品中文字幕在线视频 | 最近手机中文字幕大全| 人人妻人人澡人人爽人人夜夜 | 看黄色毛片网站| 国产精品一区二区三区四区久久| 又黄又爽又刺激的免费视频.| 五月伊人婷婷丁香| 亚洲精品中文字幕在线视频 | 麻豆成人午夜福利视频| 亚洲国产高清在线一区二区三| 少妇猛男粗大的猛烈进出视频 | 欧美日韩精品成人综合77777| 少妇熟女欧美另类| 国内少妇人妻偷人精品xxx网站| 丰满少妇做爰视频| 成人亚洲欧美一区二区av| 成人午夜高清在线视频| 黄色配什么色好看| 成人午夜高清在线视频| 黄色配什么色好看| 欧美激情在线99| 亚洲精品一二三| 色哟哟·www| 真实男女啪啪啪动态图| 久久久久久伊人网av| 国产91av在线免费观看| 欧美日韩精品成人综合77777| 建设人人有责人人尽责人人享有的 | 麻豆av噜噜一区二区三区| 亚洲激情五月婷婷啪啪| 成人av在线播放网站| 国产午夜福利久久久久久| 97热精品久久久久久| 少妇高潮的动态图| av在线播放精品| 中文资源天堂在线| 最近视频中文字幕2019在线8| 国产伦精品一区二区三区四那| 亚洲精品乱久久久久久| 国产一区有黄有色的免费视频 | 一级av片app| 只有这里有精品99| 啦啦啦啦在线视频资源| 亚洲精品日韩av片在线观看| 色视频www国产| 男女啪啪激烈高潮av片| 99热6这里只有精品| 中文字幕av成人在线电影| 在线免费十八禁| 免费观看av网站的网址| 日本一二三区视频观看| 大话2 男鬼变身卡| 久久久久精品性色| 中文天堂在线官网| 午夜激情欧美在线| 亚洲精品日韩在线中文字幕| 少妇人妻精品综合一区二区| 久久久久久九九精品二区国产| 亚洲欧美日韩卡通动漫| 99久久精品一区二区三区| 蜜臀久久99精品久久宅男| av卡一久久| 免费看不卡的av| 国产午夜精品久久久久久一区二区三区| 亚洲国产最新在线播放| 国产免费又黄又爽又色| 国产真实伦视频高清在线观看| 能在线免费观看的黄片| av.在线天堂| 免费观看无遮挡的男女| 色5月婷婷丁香| 亚洲欧洲日产国产| 又爽又黄无遮挡网站| 九九在线视频观看精品| 亚洲精品国产成人久久av| 亚洲av电影不卡..在线观看| 午夜福利网站1000一区二区三区| 欧美一区二区亚洲| 免费黄频网站在线观看国产| 蜜臀久久99精品久久宅男| 国语对白做爰xxxⅹ性视频网站| 免费av观看视频| 亚洲欧洲国产日韩| 午夜激情福利司机影院| 夫妻性生交免费视频一级片| 久久久国产一区二区| 中文字幕免费在线视频6| 国产乱人视频| 国产高清有码在线观看视频| 可以在线观看毛片的网站| 久久这里只有精品中国| 国产黄色视频一区二区在线观看| 色综合色国产| 欧美另类一区| 国产成人午夜福利电影在线观看| 在线观看美女被高潮喷水网站| 亚洲在久久综合| av在线播放精品| 国产成人精品福利久久| 能在线免费看毛片的网站| 国产av码专区亚洲av| 禁无遮挡网站| 午夜福利高清视频| 韩国高清视频一区二区三区| 美女大奶头视频| 久热久热在线精品观看| 最新中文字幕久久久久| 在线观看人妻少妇| 亚洲自偷自拍三级| 精品久久久久久久人妻蜜臀av| 男女边吃奶边做爰视频| 99久久精品一区二区三区| 国产精品爽爽va在线观看网站| 热99在线观看视频| 又爽又黄a免费视频| 亚洲一级一片aⅴ在线观看| 亚洲人成网站高清观看| 男女边吃奶边做爰视频| 国产伦一二天堂av在线观看| 少妇猛男粗大的猛烈进出视频 | 亚洲美女视频黄频| 99热这里只有是精品50| 爱豆传媒免费全集在线观看| 成人午夜精彩视频在线观看| 一级毛片久久久久久久久女| h日本视频在线播放| 一级毛片我不卡| 国产熟女欧美一区二区| 毛片女人毛片| ponron亚洲| 97精品久久久久久久久久精品| freevideosex欧美| 欧美日韩亚洲高清精品| 精品久久久久久电影网| 青春草视频在线免费观看| 一级毛片电影观看| 精品少妇黑人巨大在线播放| 少妇猛男粗大的猛烈进出视频 | 久久久久久久久久黄片| 欧美变态另类bdsm刘玥| 啦啦啦中文免费视频观看日本| h日本视频在线播放| 最近手机中文字幕大全| 男女啪啪激烈高潮av片| 如何舔出高潮| 亚洲国产精品专区欧美| 成人一区二区视频在线观看| 超碰av人人做人人爽久久| 少妇高潮的动态图| 2021少妇久久久久久久久久久| 22中文网久久字幕| 久久草成人影院| 亚洲国产av新网站| 男女那种视频在线观看| 淫秽高清视频在线观看| 色综合色国产| 在现免费观看毛片| 91午夜精品亚洲一区二区三区| 国产乱来视频区| 看非洲黑人一级黄片| 精品99又大又爽又粗少妇毛片| 久久99热这里只有精品18| 午夜精品一区二区三区免费看| 国产精品爽爽va在线观看网站| 国产淫片久久久久久久久| 一区二区三区高清视频在线| 免费看av在线观看网站| 免费av毛片视频| 亚洲av成人精品一区久久| 一级a做视频免费观看| 欧美潮喷喷水| 欧美一区二区亚洲| 国产男女超爽视频在线观看| 午夜精品在线福利| 人人妻人人澡欧美一区二区| 狠狠精品人妻久久久久久综合| 亚洲综合色惰| 尤物成人国产欧美一区二区三区| 日韩大片免费观看网站| 80岁老熟妇乱子伦牲交| 69av精品久久久久久| 精品不卡国产一区二区三区| 精品一区二区三区视频在线| 国产真实伦视频高清在线观看| 99热这里只有精品一区| 国产av不卡久久| 人妻一区二区av| 精品久久久久久久末码| 久久热精品热| 午夜精品国产一区二区电影 | 精品一区在线观看国产| 少妇熟女aⅴ在线视频| 亚洲精品国产av成人精品| 日韩av在线免费看完整版不卡| 一级av片app| 高清日韩中文字幕在线| 青春草视频在线免费观看| 一级毛片久久久久久久久女| 熟女电影av网| 韩国av在线不卡| 国产不卡一卡二| 亚洲av成人精品一区久久| 最近视频中文字幕2019在线8| 三级经典国产精品| 午夜爱爱视频在线播放| 国产 一区精品| 观看免费一级毛片| 亚洲精品国产成人久久av| 亚洲欧美日韩东京热| 久久国内精品自在自线图片| 国产午夜精品久久久久久一区二区三区| 直男gayav资源| 亚洲国产欧美人成| 久久久久久久久久成人| 最后的刺客免费高清国语| 亚洲精品亚洲一区二区| 国产久久久一区二区三区| 中文精品一卡2卡3卡4更新| 91精品一卡2卡3卡4卡| 国产精品久久视频播放| 22中文网久久字幕| 亚洲人成网站在线播| 777米奇影视久久| 久久久久免费精品人妻一区二区| 美女内射精品一级片tv| 亚洲激情五月婷婷啪啪| 直男gayav资源| 国产精品日韩av在线免费观看| 国产成人精品福利久久| 精品欧美国产一区二区三| 久久国产乱子免费精品| 男女那种视频在线观看| 欧美日韩视频高清一区二区三区二| 国产av码专区亚洲av| 三级国产精品片| 日日撸夜夜添| 亚洲无线观看免费| 春色校园在线视频观看| 91aial.com中文字幕在线观看| 极品少妇高潮喷水抽搐| 欧美性猛交╳xxx乱大交人| 精品国产露脸久久av麻豆 | 亚洲欧美一区二区三区黑人 | 国产精品人妻久久久影院| 久久久久久久久久成人| 在现免费观看毛片| 欧美日韩精品成人综合77777| 免费观看精品视频网站| 69av精品久久久久久| 国产爱豆传媒在线观看| 丝瓜视频免费看黄片| 丰满乱子伦码专区| 国产男女超爽视频在线观看| 免费在线观看成人毛片| 色综合亚洲欧美另类图片| 亚洲欧美成人精品一区二区| 97热精品久久久久久| av在线观看视频网站免费| 免费黄频网站在线观看国产| 一个人免费在线观看电影| 大话2 男鬼变身卡| 狠狠精品人妻久久久久久综合| 精品久久国产蜜桃| 黄色配什么色好看| 国产精品美女特级片免费视频播放器| 在线观看一区二区三区| 赤兔流量卡办理| 少妇猛男粗大的猛烈进出视频 | av在线天堂中文字幕| 夫妻性生交免费视频一级片| 99热这里只有是精品在线观看| 97超视频在线观看视频| 天天一区二区日本电影三级| 能在线免费观看的黄片| 精品久久久久久电影网| 久久久久免费精品人妻一区二区| 亚洲四区av| 91av网一区二区| 日韩视频在线欧美| 午夜福利视频精品| 日产精品乱码卡一卡2卡三| 十八禁国产超污无遮挡网站| 欧美日韩视频高清一区二区三区二| 精品一区二区三区人妻视频| 欧美 日韩 精品 国产| 天堂√8在线中文| 国产毛片a区久久久久| 国产黄色视频一区二区在线观看| 久久久久久久久大av| 搞女人的毛片| 乱系列少妇在线播放| 亚洲美女视频黄频| av在线亚洲专区| 久久久久网色| 亚洲怡红院男人天堂| 亚洲性久久影院| 久久久久精品性色| 美女国产视频在线观看| 91狼人影院| 亚洲国产色片| 久久这里只有精品中国| 亚洲性久久影院| 成人性生交大片免费视频hd| 搡女人真爽免费视频火全软件| 日韩成人伦理影院| 男人爽女人下面视频在线观看| 日本wwww免费看| 国产精品不卡视频一区二区| 久久久色成人| 久久精品久久久久久噜噜老黄| 97超碰精品成人国产| 老司机影院成人| 菩萨蛮人人尽说江南好唐韦庄| 久久久久久久久久成人| 乱系列少妇在线播放| 日韩大片免费观看网站| 岛国毛片在线播放| 人妻系列 视频| 国产国拍精品亚洲av在线观看| 国产高清不卡午夜福利|