• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字教材人機(jī)協(xié)同審核工作流研究*

    2022-12-12 09:24:34徐麗芳王洪濤
    中國(guó)科技期刊研究 2022年22期
    關(guān)鍵詞:教材系統(tǒng)

    □文│徐麗芳 鄒 青 王洪濤

    自進(jìn)入21世紀(jì)以來(lái),我國(guó)教育信息化發(fā)展迅猛,為大規(guī)模推行和使用數(shù)字教材提供了沃土。隨著“中教云”“粵教祥云”“鳳凰數(shù)字教材”等大型數(shù)字教育資源平臺(tái)的建成和投放使用,數(shù)字教材在課堂教學(xué)中的地位不斷提升。作為教育現(xiàn)代化的重要抓手之一,大中小學(xué)數(shù)字教材的核心價(jià)值集中體現(xiàn)在落實(shí)國(guó)家教育戰(zhàn)略、促進(jìn)信息化環(huán)境下的教育公平、引領(lǐng)課程教學(xué)發(fā)展變革3個(gè)方面。[1]數(shù)字教材在各級(jí)各類(lèi)教育教學(xué)中的推廣普及,無(wú)疑將從根本上影響我國(guó)教育現(xiàn)代化戰(zhàn)略的實(shí)施。2019年2月,中共中央、國(guó)務(wù)院頒布《中國(guó)教育現(xiàn)代化2035》對(duì)充分利用現(xiàn)代信息技術(shù),豐富并創(chuàng)新課程教材體系,增強(qiáng)教材的思想性、科學(xué)性、民族性、時(shí)代性、系統(tǒng)性,建立數(shù)字教育資源共建共享機(jī)制等提出了要求。2022年4月,國(guó)家新聞出版署發(fā)布《數(shù)字教材術(shù)語(yǔ)》等9項(xiàng)行業(yè)標(biāo)準(zhǔn)立項(xiàng)計(jì)劃。[2]這些舉措都透露出國(guó)家管理層對(duì)數(shù)字教材審核管理工作的重視。

    與紙質(zhì)教材相比,數(shù)字教材的媒體形式與功能更加復(fù)雜,需要遵循教育性、科學(xué)性、思想政治性、教材出版與技術(shù)性等多個(gè)維度的標(biāo)準(zhǔn)與規(guī)范,審核難度遠(yuǎn)遠(yuǎn)超過(guò)紙質(zhì)教材和普通電子出版物。[3]實(shí)際操作時(shí),往往需要聯(lián)合多個(gè)領(lǐng)域的專(zhuān)家并借助一定技術(shù)手段,以確保教材內(nèi)容合規(guī)無(wú)誤和教材功能正常運(yùn)行。近年來(lái),大數(shù)據(jù)、人工智能、自然語(yǔ)言處理(Natural Language Processing,NLP)等技術(shù)的進(jìn)步催生出一批功能強(qiáng)大的智能機(jī)器審核系統(tǒng),促進(jìn)了機(jī)器內(nèi)容審核的多模態(tài)、智能化和專(zhuān)業(yè)化發(fā)展。阿里巴巴、騰訊、百度等互聯(lián)網(wǎng)企業(yè)將云計(jì)算技術(shù)、海量用戶(hù)與內(nèi)容數(shù)據(jù)、機(jī)器學(xué)習(xí)結(jié)合起來(lái),為用戶(hù)提供圖文和音視頻內(nèi)容違規(guī)檢測(cè)服務(wù);[4]人民網(wǎng)基于傳統(tǒng)媒體把關(guān)的豐富經(jīng)驗(yàn)對(duì)外提供人工審核服務(wù),并自主研發(fā)了一套企業(yè)級(jí)內(nèi)容審核風(fēng)控系統(tǒng),現(xiàn)已成為增長(zhǎng)最快的業(yè)務(wù);[5]出版領(lǐng)域則有方正智能輔助審校系統(tǒng)、黑馬校對(duì)、鳳凰智能校對(duì)等審核系統(tǒng)利用大規(guī)模語(yǔ)料庫(kù)和漢字快速高精度切分、敏感詞監(jiān)控等技術(shù),能夠校對(duì)漢語(yǔ)文本中的拼寫(xiě)錯(cuò)誤、成對(duì)標(biāo)點(diǎn)缺失、異形詞、專(zhuān)業(yè)術(shù)語(yǔ)等多類(lèi)錯(cuò)誤和大部分政治性問(wèn)題。[6]若合理使用,這些系統(tǒng)能大幅縮短數(shù)字教材審核時(shí)間,將之更快推入消費(fèi)環(huán)節(jié),為廣大師生和教育出版企業(yè)創(chuàng)造更多價(jià)值。

    但是,上述基于當(dāng)前大數(shù)據(jù)和人工智能技術(shù)不同程度應(yīng)用而開(kāi)發(fā)的機(jī)審系統(tǒng)在應(yīng)用于數(shù)字教材時(shí)還存在諸多問(wèn)題:一是學(xué)科針對(duì)性不足,難以從專(zhuān)業(yè)、學(xué)科的角度對(duì)教材內(nèi)容進(jìn)行知識(shí)性判斷,削弱了審核的精準(zhǔn)性;二是教學(xué)情境感知與推理能力較弱,比如容易將“法醫(yī)尸表檢驗(yàn)虛擬仿真實(shí)驗(yàn)教學(xué)”“產(chǎn)科護(hù)理綜合實(shí)訓(xùn)虛擬仿真實(shí)驗(yàn)教學(xué)”“犯罪現(xiàn)場(chǎng)勘查”等課程中的手術(shù)演示、刑偵勘查等教學(xué)演示畫(huà)面、視頻判定為血腥暴力或情色畫(huà)面,出現(xiàn)誤報(bào)現(xiàn)象,降低了審核的準(zhǔn)確性;三是各機(jī)審系統(tǒng)功能各有千秋,有些以文字審校見(jiàn)長(zhǎng),有些則更擅長(zhǎng)捕捉違規(guī)圖像,以致審核人員時(shí)常需要組合使用不同系統(tǒng)并來(lái)回跳轉(zhuǎn),平添了審核的復(fù)雜性和技術(shù)學(xué)習(xí)成本。可以預(yù)見(jiàn),在當(dāng)前的技術(shù)條件下,數(shù)字教材的審核工作在相當(dāng)長(zhǎng)的時(shí)期內(nèi)必將采用“軟件系統(tǒng)+人工把關(guān)”的方式。因此,就數(shù)字教材審核而言,今后的發(fā)展方向是:①不斷吸納最新技術(shù),優(yōu)化現(xiàn)有數(shù)字出版物審核系統(tǒng),條件成熟時(shí)開(kāi)發(fā)數(shù)字教材專(zhuān)用審核系統(tǒng),以提高機(jī)審性能;②明確人工審核在數(shù)字教材審核中的地位、標(biāo)準(zhǔn)和手段;③以效率和效度為工作目標(biāo),建立和優(yōu)化數(shù)字教材人機(jī)協(xié)同審核機(jī)制,包括審核的工作方式、流程與標(biāo)準(zhǔn)等。縱觀國(guó)內(nèi)外教育出版領(lǐng)域,迄今尚未產(chǎn)生成熟的數(shù)字教材實(shí)踐模式,也缺乏足夠的理論可資借鑒。因此,本文主要從工作流管理視角,對(duì)數(shù)字教材人機(jī)協(xié)同審核機(jī)制的核心要素與運(yùn)行邏輯展開(kāi)探討,以期為將來(lái)實(shí)踐和研究提供參考。

    一、人機(jī)協(xié)同審核工作流框架

    關(guān)于數(shù)字教材,迄今國(guó)內(nèi)外還沒(méi)有準(zhǔn)確、權(quán)威的定義。為方便論述,本文將紙質(zhì)教材的數(shù)字化版本稱(chēng)為狹義數(shù)字教材,這是數(shù)字教材的過(guò)渡形式;廣義數(shù)字教材則在狹義數(shù)字教材之外,還包含其他圖文、音視頻、課件等配套數(shù)字教學(xué)資源,并往往通過(guò)APP、網(wǎng)站等平臺(tái)形式提供使用,如我國(guó)由教育部管理、高等教育出版社負(fù)責(zé)建設(shè)和運(yùn)營(yíng)的國(guó)家虛擬仿真實(shí)驗(yàn)教學(xué)課程共享平臺(tái)iLab-X以及人民教育出版社數(shù)字教材垂直服務(wù)平臺(tái)、培生SuccessNet平臺(tái)等。這些平臺(tái)包含狹義數(shù)字教材及其不可或缺的支撐或擴(kuò)展材料,往往具有資源海量、類(lèi)型多樣、更新動(dòng)態(tài)等特點(diǎn),離開(kāi)它們,數(shù)字化教育教學(xué)活動(dòng)將無(wú)法進(jìn)行,勉強(qiáng)進(jìn)行也將是徒有虛名。目前,我國(guó)關(guān)于數(shù)字教材的管理辦法尚未出臺(tái),但其審核仍應(yīng)落實(shí)《中小學(xué)教材管理辦法》《職業(yè)院校教材管理辦法》《普通高等學(xué)校教材管理辦法》《學(xué)校選用境外教材管理辦法》等一系列國(guó)家教材管理辦法的要求,做到“凡編必審”“凡選必審”“管建結(jié)合”。具體實(shí)踐中,狹義數(shù)字教材仍可沿用傳統(tǒng)出版的“三審三?!敝贫?,實(shí)施質(zhì)量和合規(guī)性控制,其審核工作目標(biāo)、方式、流程相對(duì)成熟。但在當(dāng)前條件下,廣義數(shù)字教材純?nèi)斯徍藦乃柰度氲臅r(shí)間和工作量來(lái)看,都是“不可能完成的任務(wù)”;而純機(jī)審,目前在審核的精準(zhǔn)性上又遠(yuǎn)遠(yuǎn)達(dá)不到要求。因此,人機(jī)協(xié)同審核將是未來(lái)廣義數(shù)字教材審核的主流工作模式;而新型人機(jī)協(xié)同審核的實(shí)施,面臨的關(guān)鍵問(wèn)題之一是構(gòu)建科學(xué)、合理的工作流。

    工作流(Workflow,也譯作工作流程)概念源自生產(chǎn)組織和辦公自動(dòng)化領(lǐng)域,工作流聯(lián)盟(Workflow Management Coalition,WFMC)將之定義為“一類(lèi)能夠全自動(dòng)或半自動(dòng)化執(zhí)行的業(yè)務(wù)過(guò)程”。對(duì)工作流的管理必須依靠人與計(jì)算機(jī)共同組成的一整套計(jì)算系統(tǒng)(Computing System)來(lái)完成與工作相關(guān)的感知、推理和決策活動(dòng);二者的互動(dòng)與協(xié)同則要借助經(jīng)過(guò)設(shè)計(jì)的人機(jī)交互界面(Interface)來(lái)實(shí)現(xiàn)。[7]就數(shù)字教材協(xié)同審核而言,人機(jī)交互界面具體可特指某個(gè)審核軟件的用戶(hù)操作界面和定制化應(yīng)用程序編程接口(Application Programming Interface,API),廣義上還可以指人工審核和機(jī)審兩個(gè)子系統(tǒng)之間的交接點(diǎn),它涉及審核主體、模式和狀態(tài)的轉(zhuǎn)換。因此,它們一端連接著能夠模擬專(zhuān)家審核行為,協(xié)助專(zhuān)家進(jìn)行審核決策的機(jī)器系統(tǒng);另一端連接著數(shù)字教材編輯審核人員、一線(xiàn)教師、科研人員、教育行政管理部門(mén)等掌握具體審核標(biāo)準(zhǔn)和要求的相關(guān)群體。數(shù)字教材人機(jī)協(xié)同審核系統(tǒng)的核心構(gòu)件包括:含有教材審核相關(guān)概念、事實(shí)和狀態(tài)的數(shù)據(jù)庫(kù);包含教材審核規(guī)則、指令等因果或函數(shù)關(guān)系集合的規(guī)則庫(kù);集中實(shí)現(xiàn)教材審核推理的算法引擎等;涵蓋教材審核任務(wù)分解、評(píng)價(jià)、搜索等過(guò)程和步驟集合的方法庫(kù);[8]以及適當(dāng)?shù)娜斯そ槿霗C(jī)制,如允許人為調(diào)整審核系統(tǒng)參數(shù)、結(jié)束后復(fù)核機(jī)審結(jié)果等。這些構(gòu)件均構(gòu)筑在一定的軟件、硬件及人的互動(dòng)基礎(chǔ)之上,其研發(fā)、部署、使用和維護(hù)都是數(shù)字教材審核需要考慮的事項(xiàng)。在這些構(gòu)件之間,數(shù)字教材審核的相關(guān)數(shù)據(jù)、文檔、信息和任務(wù)按照一定規(guī)則流動(dòng),以便協(xié)調(diào)系統(tǒng)成員之間的工作。[9]

    一般來(lái)說(shuō),工作流管理系統(tǒng)的實(shí)現(xiàn)包含“組織”和“任務(wù)”兩層邏輯:[10]組織邏輯優(yōu)先基于生產(chǎn)組織結(jié)構(gòu)和關(guān)系考慮角色分工與權(quán)限問(wèn)題。以數(shù)字教材出版為例,我國(guó)教材出版單位普遍實(shí)行的三審制便是一種按編輯職級(jí)由低到高依次推進(jìn)的審核流程,各級(jí)教材編輯的能力、任務(wù)和握有的審核權(quán)限各不相同。任務(wù)邏輯主要基于工作性質(zhì)與內(nèi)容考慮審核任務(wù)的順序和因果關(guān)系、權(quán)重和優(yōu)先級(jí)等問(wèn)題。盡管人腦賴(lài)以處理信息和解決問(wèn)題的神經(jīng)網(wǎng)絡(luò)及其工作機(jī)制比計(jì)算機(jī)系統(tǒng)復(fù)雜得多,可勝任的推理類(lèi)型也更豐富,但是,二者從事數(shù)字教材審核的工作原理大致相同,都是根據(jù)教材審核標(biāo)準(zhǔn),基于過(guò)去積累的教材審核經(jīng)驗(yàn)和知識(shí),按照教材審核任務(wù)的特定要求和流程方法,對(duì)接收到的教材文件進(jìn)行內(nèi)容識(shí)別和推理分析,判斷是否存在錯(cuò)誤違規(guī)情況,進(jìn)而決定教材是否通過(guò)審核,并以審核報(bào)告、待修訂數(shù)字教材文件等形式輸出工作成果。因此,二者的審核活動(dòng)都可沿“確定審核目標(biāo)→分配審核任務(wù)→目標(biāo)內(nèi)容識(shí)別→審核推理與分析→審核決策和成果輸出”的主干展開(kāi)。

    那么,機(jī)審和人審這兩條工作流分支又如何相互協(xié)同呢?機(jī)審系統(tǒng)由于有限性能的特點(diǎn),必須要接受適當(dāng)?shù)娜斯そ槿搿J紫?,機(jī)審要鑒別的目標(biāo)教材內(nèi)容和所依循的鑒別標(biāo)準(zhǔn)、規(guī)范需要人工確定和輸入。常用教材審核標(biāo)準(zhǔn)與規(guī)范中存在許多概括和抽象的表述,如《網(wǎng)絡(luò)視聽(tīng)內(nèi)容審核標(biāo)準(zhǔn)細(xì)則》規(guī)定不能出現(xiàn)“調(diào)侃、諷刺、反對(duì)、謾罵中國(guó)特色社會(huì)主義道路、理論、制度和文化以及國(guó)家既定重大方針政策”“涉及領(lǐng)土和歷史事件的描寫(xiě)不符合國(guó)家定論的”內(nèi)容,[11]就需要人工“轉(zhuǎn)譯”成可操作性更強(qiáng)的規(guī)范,再轉(zhuǎn)換成機(jī)器程序語(yǔ)言,從而使機(jī)審在大方向上與相關(guān)教材標(biāo)準(zhǔn)與規(guī)范保持一致。此外,機(jī)審實(shí)施和結(jié)果輸出都需要人為選擇和設(shè)置相關(guān)參數(shù),并需要人工復(fù)核與采用反饋,方能持續(xù)提升機(jī)審系統(tǒng)教材審核的適用性(見(jiàn)圖1)。因此,人機(jī)協(xié)同審核最終的決策權(quán)仍舊掌握在人手中。而當(dāng)下的數(shù)字教材人工審核無(wú)疑也離不開(kāi)機(jī)審的幫助,以更快識(shí)別潛在問(wèn)題,或?yàn)閷徍藳Q策提供更多依據(jù)。因此,架構(gòu)和利用數(shù)字教材人機(jī)協(xié)同審核系統(tǒng)的關(guān)鍵在于,把握好人審和機(jī)審各自的長(zhǎng)處和短處,在特定技術(shù)環(huán)境和數(shù)字教材審核情境的規(guī)定下,通過(guò)科學(xué)合理的角色分工和流程部署將兩者有機(jī)結(jié)合起來(lái)。

    圖1 數(shù)字教材人機(jī)協(xié)同審核系統(tǒng)工作流框架

    二、協(xié)同審核角色分工機(jī)制

    狹義數(shù)字教材的審核仍可沿用“三審三?!钡瘸霭嫔鐑?nèi)審校程序,并落實(shí)國(guó)家、地方、機(jī)構(gòu)等各級(jí)各類(lèi)教材管理辦法關(guān)于教材審核的要求;角色分工也可以效仿傳統(tǒng)紙質(zhì)教材出版審核的做法。而廣義數(shù)字教材人機(jī)協(xié)同審核無(wú)疑需要建立新型的角色系統(tǒng)和分工機(jī)制。

    1.協(xié)同審核核心業(yè)務(wù)活動(dòng)

    數(shù)字教材審核可分為教材內(nèi)容、呈現(xiàn)形式與功能審核3個(gè)部分。教材內(nèi)容審核是重中之重,須從教材內(nèi)容的思想政治性、教育性、科學(xué)性、合規(guī)性等維度全面把關(guān),確保教材能夠體現(xiàn)國(guó)家意志和主流社會(huì)價(jià)值觀,遵循教育教學(xué)規(guī)律和學(xué)生認(rèn)知水平,符合客觀事實(shí)和科學(xué)規(guī)范,遵守?cái)?shù)字教材出版與管理的相關(guān)政策與法規(guī)。[12]形式審核指對(duì)教材版式、目錄、圖表、題注、引文等要素展開(kāi)審核,確保教材內(nèi)容呈現(xiàn)的完整性、準(zhǔn)確性和規(guī)范性。功能審核指對(duì)數(shù)字教材的搜索、標(biāo)注等使用功能進(jìn)行技術(shù)測(cè)試,確保在主流操作系統(tǒng)和網(wǎng)絡(luò)環(huán)境下能夠順利運(yùn)行。

    對(duì)上述教材審核業(yè)務(wù),機(jī)審的優(yōu)勢(shì)在于能夠記憶大量的教材審核數(shù)據(jù)、知識(shí)和規(guī)則,按照預(yù)先設(shè)置的詞表與圖像庫(kù)快速識(shí)別和統(tǒng)計(jì)敏感字詞、商標(biāo)水印、圖文亂碼、失效超鏈接等內(nèi)容并進(jìn)行一定的規(guī)則推理,且執(zhí)行速度快、執(zhí)行過(guò)程的持續(xù)性和耐久性較強(qiáng),不存在因生理疲勞降低工作效率的問(wèn)題。人工審核的優(yōu)勢(shì)在于,合格的審核人員具備審核工作需要而機(jī)器尚未能完全模擬和擁有的邏輯與形象思考、教學(xué)情境感知、情感分析與價(jià)值判斷等高階能力,更多體現(xiàn)在制定審核規(guī)則和標(biāo)準(zhǔn)、流程和方案,判斷和干預(yù)機(jī)審結(jié)果等創(chuàng)造性活動(dòng)中。

    基于此,教材的教育性和科學(xué)性仍舊要聘用或委托學(xué)科專(zhuān)家進(jìn)行重點(diǎn)把關(guān),而隨著機(jī)審系統(tǒng)廣泛、深入的應(yīng)用,教材內(nèi)容的正誤與合規(guī)性審核、教材的形式與功能審核等則將越來(lái)越多地交給機(jī)器承擔(dān)(見(jiàn)圖2)。不同機(jī)審系統(tǒng)在不同審核項(xiàng)目上有著各自的長(zhǎng)處和短處。比如,阿里云媒體AI系統(tǒng)能夠精準(zhǔn)識(shí)別教學(xué)視頻與課件中的政治人物、血腥畫(huà)面、商品廣告和商標(biāo)等敏感內(nèi)容,卻容易遺漏PPT課件中的大面積空白、圖文遮擋、圖片序號(hào)錯(cuò)誤等問(wèn)題;方正智能審校、黑馬校對(duì)更擅長(zhǎng)文字審核。對(duì)此解決辦法有兩個(gè):一是組合使用多個(gè)機(jī)審系統(tǒng),充分發(fā)揮各機(jī)審系統(tǒng)的長(zhǎng)處;二是加強(qiáng)人工復(fù)審,通常以教材內(nèi)容與形式審核為主,同時(shí)不排除在教材數(shù)量少、功能較為簡(jiǎn)單的情況下以人工操作檢測(cè)教材功能的可能。

    圖2 數(shù)字教材協(xié)同審核的核心業(yè)務(wù)

    2.協(xié)同審核分工及權(quán)限設(shè)定

    廣義數(shù)字教材人機(jī)協(xié)同審核的參與者眾多。教材出版單位作為最主要的執(zhí)行者,在整個(gè)審核工作組織中發(fā)揮著樞紐和協(xié)調(diào)作用;教育、出版等有關(guān)行政管理部門(mén)和行業(yè)組織通過(guò)制定和實(shí)施一系列政策法規(guī)來(lái)為教材審核管理指明方向,規(guī)定必要的審核標(biāo)準(zhǔn)和流程,在審核中發(fā)揮指導(dǎo)者和監(jiān)督者的作用;學(xué)術(shù)/教學(xué)單位從學(xué)科發(fā)展、教學(xué)實(shí)踐和教材使用需求的角度提供專(zhuān)業(yè)意見(jiàn);機(jī)審服務(wù)商則整合前述相關(guān)機(jī)構(gòu)和人員的要求開(kāi)發(fā)和優(yōu)化審核系統(tǒng),通過(guò)可視化操作界面支持教材內(nèi)容批量上傳和部分技術(shù)參數(shù)定制化配置,以實(shí)現(xiàn)大規(guī)模數(shù)字教育內(nèi)容資源的高效審核。

    角色分工方面,機(jī)審的采用催生出機(jī)審系統(tǒng)操作員這一新角色,職責(zé)是在機(jī)審系統(tǒng)研發(fā)和維護(hù)人員的支持下,執(zhí)行機(jī)審系統(tǒng)操作步驟、調(diào)試機(jī)審參數(shù)以及對(duì)機(jī)審結(jié)果進(jìn)行技術(shù)性解讀。內(nèi)容審核員的工作亦隨之分化出兩個(gè)部分:一是機(jī)審結(jié)果人工復(fù)核;二是實(shí)施機(jī)器無(wú)法進(jìn)行的內(nèi)容審核項(xiàng),如一些極為考驗(yàn)專(zhuān)業(yè)功底的術(shù)語(yǔ)和知識(shí)審核。鑒于教材審核對(duì)教材內(nèi)容的思想政治性、教育性和科學(xué)性要求十分特殊與嚴(yán)格,可分別設(shè)立思政審核專(zhuān)員和學(xué)科審核專(zhuān)員進(jìn)行專(zhuān)項(xiàng)審核。對(duì)一些專(zhuān)業(yè)性較強(qiáng)的教材審核業(yè)務(wù),如教材版權(quán)審核、地圖內(nèi)容審核,也可設(shè)立專(zhuān)員審核。余者如字詞、語(yǔ)法表述、標(biāo)點(diǎn)符號(hào)等狹義內(nèi)容審核和教材形式審核,則交由普通內(nèi)容審核員通過(guò)抽檢、復(fù)核機(jī)審結(jié)果加以完成。此外,還可設(shè)立教材審核執(zhí)行主管(以下簡(jiǎn)稱(chēng)“執(zhí)行主管”)的角色,主要負(fù)責(zé)調(diào)控審核進(jìn)度、溝通審核情況、向上級(jí)匯報(bào)等工作。

    為了更好地組織和協(xié)調(diào)教材審核活動(dòng),參與機(jī)構(gòu)(尤其是教材審核責(zé)任單位)可指派代表組成教材審核領(lǐng)導(dǎo)小組(以下簡(jiǎn)稱(chēng)“領(lǐng)導(dǎo)小組”),結(jié)合審核任務(wù)需求和現(xiàn)實(shí)條件部署審核團(tuán)隊(duì)的角色分工,再由參與機(jī)構(gòu)選派人員承擔(dān)相應(yīng)角色。其中,執(zhí)行主管作為連接領(lǐng)導(dǎo)小組和教材審核團(tuán)隊(duì)的關(guān)鍵角色,通常由教材出版單位職級(jí)較高的編輯部門(mén)管理人員擔(dān)任。機(jī)審系統(tǒng)操作員主要來(lái)自教材出版單位的技術(shù)部門(mén)或者教材編輯;機(jī)審服務(wù)商一般只提供機(jī)審系統(tǒng)軟件和技術(shù)咨詢(xún)、培訓(xùn)、維修等服務(wù)。內(nèi)容審核專(zhuān)員由學(xué)科專(zhuān)家和具有對(duì)應(yīng)職稱(chēng)的教材編輯承擔(dān)。

    在確定了角色部署及承擔(dān)者之后,領(lǐng)導(dǎo)小組或執(zhí)行主管依據(jù)各人能力分派審核任務(wù),賦予相應(yīng)的組織協(xié)作和機(jī)審系統(tǒng)權(quán)限(見(jiàn)圖3)。此二者作為審核工作的領(lǐng)導(dǎo)者,需要掌握和利用好兩類(lèi)權(quán)限:一是教材審核組織的人事管理權(quán),包括增加/剔除成員、績(jī)效審計(jì)等;二是教材審核工作流的控制權(quán),包括發(fā)起/分配/終止審核任務(wù)、限定任務(wù)時(shí)間、驗(yàn)收審核成果、修改審核狀態(tài)和終審權(quán)等。而它分配給內(nèi)容審核員的權(quán)限主要包括登錄數(shù)字教材平臺(tái)、查詢(xún)/瀏覽/檢索數(shù)字教材內(nèi)容、錄入和提交審核結(jié)果、機(jī)審軟件使用權(quán)限等。機(jī)審系統(tǒng)操作員的權(quán)限則包括機(jī)審系統(tǒng)界面操作和API調(diào)用權(quán)限,如設(shè)置教材審核范圍和類(lèi)型、獲取教材審核任務(wù)編號(hào)、創(chuàng)建媒體機(jī)審列表等。[13]對(duì)第三方審核團(tuán)隊(duì)的授權(quán)可以以角色組和權(quán)限組的形式進(jìn)行,在保證領(lǐng)導(dǎo)小組核心控制和滿(mǎn)足工作保密性要求的前提下,允許其自行部署角色和賦予權(quán)限。

    圖3 數(shù)字教材協(xié)同審核角色分工

    三、 協(xié)同審核工作流部署

    數(shù)字教材人機(jī)協(xié)同審核須依次經(jīng)歷教材審核方案制定、教材審核任務(wù)執(zhí)行、教材審核決策與教材審核結(jié)果輸出4個(gè)階段;同時(shí),須跨越教材出版行政管理部門(mén)、教材出版單位、審核技術(shù)服務(wù)提供商等多個(gè)角色或職能部門(mén),因此需要完善的部署方案來(lái)優(yōu)化協(xié)同審核流程。

    1.制定審核方案

    無(wú)論審核技術(shù)如何發(fā)展,內(nèi)容審核始終是數(shù)字教材審核的第一要義,是審核方案最重要的主體部分,主要涉及6個(gè)方面:①內(nèi)容安全,包括政治和意識(shí)形態(tài)、暴力與恐怖主義、情色、吸毒、賭博、民族宗教、社會(huì)倫理和道德等問(wèn)題;②語(yǔ)言文字,包括錯(cuò)字語(yǔ)病、禁用語(yǔ)、標(biāo)點(diǎn)符號(hào)缺誤以及專(zhuān)業(yè)術(shù)語(yǔ)、專(zhuān)有名詞、中外翻譯及其他規(guī)范用語(yǔ)問(wèn)題等;③版式和內(nèi)容可讀性,包括內(nèi)容缺失與空白、顯示清晰度低、圖文遮擋、亂碼、目錄/序號(hào)/題注錯(cuò)誤等問(wèn)題;④版權(quán)問(wèn)題,包括確保以合法手段獲得數(shù)字教材網(wǎng)絡(luò)傳播等使用授權(quán),檢查教材對(duì)他人成果的引用是否符合《中華人民共和國(guó)著作權(quán)法》關(guān)于合理引用的規(guī)定,注意防范教輔和用戶(hù)上傳資源背后潛藏的侵權(quán)風(fēng)險(xiǎn)等;[15]⑤商業(yè)廣告,包括教材正文、配圖、課件、水印、二維碼、鏈接等所有教材內(nèi)容中潛藏的商品宣傳信息和購(gòu)買(mǎi)鏈接;⑥地圖,包括地圖的科學(xué)性、規(guī)范性和政治性審核。除了內(nèi)容審核,教材審核工作有時(shí)還會(huì)包含技術(shù)方面的審核,主要是對(duì)教材資源的可獲取性和功能有效性進(jìn)行測(cè)試,如教材內(nèi)容在線(xiàn)瀏覽、下載、交互和頁(yè)面跳轉(zhuǎn)等功能是否正常以及鏈接的有效性等。除了內(nèi)容審核外,數(shù)字教材協(xié)同審核方案還需包括對(duì)審核軟件系統(tǒng)操作和審核流程實(shí)施的具體說(shuō)明。

    2.機(jī)審系統(tǒng)原理和實(shí)施

    隨著大數(shù)據(jù)、云計(jì)算和人工智能等技術(shù)的發(fā)展,針對(duì)數(shù)字內(nèi)容的機(jī)審系統(tǒng)取得了長(zhǎng)足發(fā)展。按照硬件與網(wǎng)絡(luò)部署方式,這些系統(tǒng)一般可分為兩類(lèi):一是本地審核系統(tǒng),其安裝和使用不依賴(lài)互聯(lián)網(wǎng),但是可通過(guò)內(nèi)部聯(lián)網(wǎng)實(shí)現(xiàn)協(xié)同審核,聯(lián)網(wǎng)用戶(hù)可以實(shí)現(xiàn)共同維護(hù)和同步使用自定義詞庫(kù)等功能;二是云審核系統(tǒng),即在高性能云服務(wù)器上完成審核推理和計(jì)算、審核數(shù)據(jù)傳輸和存儲(chǔ),能夠更好地支持移動(dòng)和異地協(xié)同審核,但是有一定的教材文件和審核數(shù)據(jù)泄露風(fēng)險(xiǎn)。

    機(jī)審軟件系統(tǒng)一般采用如下功能架構(gòu):最底層為實(shí)施機(jī)審所需要的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)與數(shù)據(jù)庫(kù)資源等基礎(chǔ)設(shè)施層;第二層是面向?qū)徍斯ぷ髂繕?biāo)的多模態(tài)信息識(shí)別、自然語(yǔ)言處理(Natural Language Processing,NLP)引擎、圖像分類(lèi)、人臉識(shí)別和場(chǎng)景識(shí)別等核心技術(shù)層;第三層是圖文、音視頻審核應(yīng)用管理與服務(wù)管理層,涉及用戶(hù)管理、任務(wù)管理、交易服務(wù)和API調(diào)用等多方面后臺(tái)管理功能;最上層是直接面向?qū)徍斯ぷ鞯臋C(jī)審系統(tǒng)客戶(hù)端??蛻?hù)端目前有兩種主流形式:一是審核插件,可直接在Word、Acrobat PDF等常用字處理或編排軟件用戶(hù)界面上操作,方便用戶(hù)快速定位與修改;二是機(jī)審平臺(tái)客戶(hù)端,無(wú)需安裝多個(gè)插件且能同時(shí)執(zhí)行多項(xiàng)教材審核任務(wù)。平臺(tái)型客戶(hù)端既可能是直接下載至本地運(yùn)行的客戶(hù)端,如黑馬校對(duì)單機(jī)/多機(jī)版;[16]也可能是無(wú)需額外下載的網(wǎng)絡(luò)審核平臺(tái),如方正智能輔助審校系統(tǒng),阿里云媒體AI、騰訊安全天御等;將來(lái)也可能無(wú)需借助第三方系統(tǒng)而是直接在數(shù)字教材出版平臺(tái)上實(shí)施機(jī)審(見(jiàn)圖4)。[17]

    圖4 機(jī)審系統(tǒng)通用技術(shù)架構(gòu)

    對(duì)數(shù)字教材而言,若只是少量紙質(zhì)教材的數(shù)字化版本審核工作,尚能以使用插件為主加以完成;若廣義數(shù)字教材,審核任務(wù)量一般較大,因此一般更適合在平臺(tái)客戶(hù)端上集中處理。具體審核工作要經(jīng)過(guò)“注冊(cè)/登錄審核平臺(tái)賬號(hào)→部署審核任務(wù)→上傳教材文件→運(yùn)行機(jī)審程序→查詢(xún)機(jī)審結(jié)果”等操作步驟。一些審核系統(tǒng)還包含任務(wù)量估算和計(jì)費(fèi)環(huán)節(jié)。

    3.人工干預(yù)與審核結(jié)果輸出

    在正式開(kāi)始機(jī)審前,要先對(duì)數(shù)字教材文件進(jìn)行格式轉(zhuǎn)化和文件編碼,尤其是將之與機(jī)審ID對(duì)應(yīng)起來(lái),使其能夠被機(jī)器讀取和準(zhǔn)確識(shí)別,同時(shí)便于內(nèi)部統(tǒng)計(jì)與管理。當(dāng)審核任務(wù)較為復(fù)雜,如待審教材數(shù)量較多、結(jié)構(gòu)較復(fù)雜和審核項(xiàng)較多時(shí),可采取預(yù)審核測(cè)試的方法,對(duì)經(jīng)過(guò)預(yù)處理的數(shù)字教材文件進(jìn)行適量與合理的抽樣,按照初步定下的方案對(duì)教材樣本進(jìn)行審核;對(duì)審核工具的適用性、個(gè)體成員的工作效率、團(tuán)隊(duì)協(xié)作方式等要素進(jìn)行評(píng)估,將發(fā)現(xiàn)的問(wèn)題進(jìn)行匯總,據(jù)此對(duì)審核方案進(jìn)行調(diào)整,直到能夠達(dá)到較滿(mǎn)意的審核效果。

    機(jī)審任務(wù)的人工部署有兩種方式:一是較為簡(jiǎn)單的可視化面板部署。以方正智慧出版云服務(wù)平臺(tái)為例,教材編輯選擇字詞符號(hào)、敏感內(nèi)容、上下文查重、文章邏輯檢查、參考文獻(xiàn)格式檢查和紀(jì)年、引文、地名、標(biāo)準(zhǔn)和法規(guī)等知識(shí)性檢查項(xiàng);相應(yīng)地設(shè)置最少查重字?jǐn)?shù)、參考文獻(xiàn)格式標(biāo)準(zhǔn)和敏感詞檢查嚴(yán)格程度等參數(shù)后,上傳符合格式要求的教材文件,啟動(dòng)審核任務(wù);最后可下載單獨(dú)的教材審核報(bào)告文件。[18]二是需要專(zhuān)業(yè)技術(shù)人員操作的API/SDK部署。以阿里云媒體AI為例,技術(shù)人員提交教材審核作業(yè)時(shí),需要 在 OpenAPI Explorer中 運(yùn) 行SubmitMediaCensorJob接口,依次設(shè)置待審教材文件運(yùn)營(yíng)支撐系統(tǒng)(Operation Support System,OSS)地址、用于綁定消息通知的管道ID和并發(fā)數(shù)、視頻審核配置(包括截圖輸出OSS地址、輸出模式、審核模板、檢測(cè)場(chǎng)景等)、視頻URL鏈接、異步通知消息等參數(shù)。[19]

    機(jī)審實(shí)施過(guò)程中,與人工活動(dòng)存在“串聯(lián)”和“并聯(lián)”兩種流程部署邏輯。“串聯(lián)”指對(duì)機(jī)器能夠完成的審核任務(wù)優(yōu)先安排機(jī)審,再由內(nèi)容審核員進(jìn)行復(fù)核。這樣既可對(duì)機(jī)器報(bào)誤做進(jìn)一步評(píng)判;保險(xiǎn)起見(jiàn),也可對(duì)機(jī)器未曾報(bào)誤或報(bào)誤較少的教材進(jìn)行抽審?!安⒙?lián)”指機(jī)審運(yùn)行時(shí)可同時(shí)進(jìn)行非機(jī)審項(xiàng)的審核工作。其中,對(duì)機(jī)審的人工干預(yù)主要是在機(jī)審程序運(yùn)行結(jié)束后,審核小組對(duì)機(jī)審運(yùn)行效率和機(jī)審結(jié)果的適用性進(jìn)行評(píng)估,以確認(rèn)是否還要實(shí)施新一輪機(jī)審;若需要,則進(jìn)一步確認(rèn)待機(jī)審數(shù)字文件目錄,并對(duì)機(jī)審參數(shù)進(jìn)行一定調(diào)整。如果機(jī)審已經(jīng)達(dá)到工作預(yù)期或可操作性范圍內(nèi)的功能極限,則終止機(jī)審工作。

    最后,待所有人機(jī)協(xié)同審核活動(dòng)結(jié)束后進(jìn)行審核成果輸出,包括撰寫(xiě)審核報(bào)告、匯報(bào)審核成果和更新教材審核自定義詞庫(kù)、圖像庫(kù)與規(guī)則等(見(jiàn)圖5)。

    圖5 數(shù)字教材協(xié)同審核流程部署機(jī)制

    四、小結(jié)與展望

    審核對(duì)數(shù)字教材的質(zhì)量和合規(guī)性保障都至關(guān)重要。對(duì)于傳統(tǒng)紙質(zhì)教材的簡(jiǎn)單數(shù)字化版本,審核工作可以沿用傳統(tǒng)教材審核的方式、方法,在原來(lái)的業(yè)務(wù)和管理流程基礎(chǔ)上做少量調(diào)整即可。對(duì)于廣義數(shù)字教材,則必須采用機(jī)器加人工協(xié)同審核的方式,以提升工作效率和質(zhì)量。其中數(shù)字教材的機(jī)審工作通用機(jī)審軟件系統(tǒng)通常能解決大部分問(wèn)題,但審核水平和質(zhì)量都有待提高。一種可能的發(fā)展路徑是,有實(shí)力的教育出版企業(yè)利用深諳教材審核工作內(nèi)在邏輯與要點(diǎn)的優(yōu)勢(shì),通過(guò)自建數(shù)字教育資源平臺(tái)或第三方教育平臺(tái)搜集教育內(nèi)容與用戶(hù)數(shù)據(jù),用于研發(fā)和訓(xùn)練自己的教材審核算法,構(gòu)建自己的智能教材審核系統(tǒng)。如同人民網(wǎng)立足于傳統(tǒng)媒體把關(guān)的專(zhuān)業(yè)優(yōu)勢(shì)尋求技術(shù)與服務(wù)創(chuàng)新,這些教育出版企業(yè)也可以將智能審核系統(tǒng)打造成為新的核心競(jìng)爭(zhēng)力和盈利增長(zhǎng)點(diǎn)。另一種可能的發(fā)展路徑,則是通用機(jī)審系統(tǒng)吸納教材出版企業(yè)的專(zhuān)業(yè)經(jīng)驗(yàn)和特殊需求,研發(fā)面向數(shù)字教材和數(shù)字教育內(nèi)容資源審核的算法,形成價(jià)值共生與互惠的關(guān)系。

    此外,用戶(hù)甚至大眾參與也將是數(shù)字教材審核的一大趨勢(shì)。首先,面對(duì)水漲船高的審核工作量和難度系數(shù),教材出版能夠且愈發(fā)需要利用Web 2.0技術(shù)將審核任務(wù)進(jìn)行眾包(Crowdsourcing)。這方面中外已積累了一定的實(shí)踐經(jīng)驗(yàn),尤以開(kāi)放教材和開(kāi)放教育領(lǐng)域居多,如維基教科書(shū)(Wikibooks)、全球教科書(shū)計(jì)劃(Global Textbook Project)等教材項(xiàng)目都通過(guò)網(wǎng)絡(luò)招募教材審核員,對(duì)教材內(nèi)容進(jìn)行層層把關(guān);“美樂(lè)”(MERLOT)、“英屬哥倫比亞省校園”(BCcampus)等教材平臺(tái)向用戶(hù)開(kāi)放教材評(píng)價(jià)和糾錯(cuò)功能,[20]大幅提升了數(shù)字教材的審核效率。其次,機(jī)器學(xué)習(xí)作為智能審核的內(nèi)核,在很多情況下都需要借助人工標(biāo)注以使教材文本能夠更好地為機(jī)器識(shí)別和理解。其中,小范圍的專(zhuān)家標(biāo)注雖然完成質(zhì)量較高,但是效率上有所欠缺,且許多標(biāo)注任務(wù)實(shí)際上并不需要深厚的學(xué)科知識(shí)和經(jīng)驗(yàn)功底,如簡(jiǎn)單的概念和圖像識(shí)別等,完全可交由更多經(jīng)過(guò)一定培訓(xùn)的普通人完成。屆時(shí),數(shù)字教材審核將需要更多的機(jī)器輔助和人機(jī)協(xié)同,審核分工和工作流無(wú)疑也將變得更為復(fù)雜。因此,成熟的人機(jī)協(xié)同審核機(jī)制將成為數(shù)字教育出版的必要條件,為相關(guān)技術(shù)研發(fā)和業(yè)務(wù)實(shí)施提供行動(dòng)框架與準(zhǔn)則。本文拋磚引玉,期待未來(lái)有更多研究人員和實(shí)踐工作者對(duì)相關(guān)問(wèn)題做出深入探討。

    猜你喜歡
    教材系統(tǒng)
    Smartflower POP 一體式光伏系統(tǒng)
    教材精讀
    教材精讀
    WJ-700無(wú)人機(jī)系統(tǒng)
    教材精讀
    教材精讀
    ZC系列無(wú)人機(jī)遙感系統(tǒng)
    教材精讀
    教材精讀
    基于PowerPC+FPGA顯示系統(tǒng)
    国产男靠女视频免费网站| 男人舔女人下体高潮全视频| 少妇的逼好多水| 欧美黑人巨大hd| 亚洲精华国产精华精| 最后的刺客免费高清国语| 禁无遮挡网站| 国产精品一区www在线观看 | 99热这里只有是精品50| 可以在线观看毛片的网站| 在线国产一区二区在线| 久久精品国产亚洲av涩爱 | 午夜激情福利司机影院| 91精品国产九色| 久久人妻av系列| av在线老鸭窝| 亚洲av中文字字幕乱码综合| 欧美人与善性xxx| .国产精品久久| 国产高潮美女av| 欧美日本亚洲视频在线播放| 少妇丰满av| 高清日韩中文字幕在线| 国产成年人精品一区二区| 91久久精品国产一区二区三区| 免费看美女性在线毛片视频| 免费搜索国产男女视频| 亚洲av免费高清在线观看| 一进一出抽搐动态| 成熟少妇高潮喷水视频| 直男gayav资源| 欧美3d第一页| 欧美成人免费av一区二区三区| 中文在线观看免费www的网站| 国产精品电影一区二区三区| 真实男女啪啪啪动态图| 日本一本二区三区精品| 亚洲欧美日韩高清在线视频| 色综合婷婷激情| 少妇熟女aⅴ在线视频| 国产三级中文精品| eeuss影院久久| 99热只有精品国产| 乱人视频在线观看| 一区二区三区免费毛片| 精品欧美国产一区二区三| 人妻少妇偷人精品九色| 美女 人体艺术 gogo| 精品日产1卡2卡| 亚洲在线观看片| 在线观看舔阴道视频| 免费看光身美女| av福利片在线观看| 22中文网久久字幕| 欧美bdsm另类| 少妇的逼好多水| 日本免费a在线| 嫁个100分男人电影在线观看| 一级黄片播放器| av黄色大香蕉| 亚洲中文日韩欧美视频| 成人国产综合亚洲| 我的老师免费观看完整版| 国产精品无大码| 亚洲熟妇熟女久久| 亚洲欧美日韩卡通动漫| 欧美在线一区亚洲| 国产成年人精品一区二区| 男人舔女人下体高潮全视频| 少妇被粗大猛烈的视频| 欧美日韩中文字幕国产精品一区二区三区| 国产黄a三级三级三级人| 九色成人免费人妻av| 色吧在线观看| 极品教师在线免费播放| 99国产精品一区二区蜜桃av| 亚洲av免费高清在线观看| 国内精品久久久久精免费| 悠悠久久av| 免费av毛片视频| 午夜老司机福利剧场| 校园春色视频在线观看| 中文字幕高清在线视频| av在线天堂中文字幕| 亚州av有码| 欧美性猛交黑人性爽| 国产精品久久视频播放| 麻豆精品久久久久久蜜桃| 大又大粗又爽又黄少妇毛片口| 日韩国内少妇激情av| 欧美区成人在线视频| 色哟哟哟哟哟哟| 久久欧美精品欧美久久欧美| avwww免费| 欧美精品国产亚洲| av视频在线观看入口| 亚洲美女搞黄在线观看 | 我的老师免费观看完整版| 变态另类丝袜制服| 成年免费大片在线观看| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品久久久久久精品电影| 日韩欧美精品免费久久| 九色国产91popny在线| 国内精品美女久久久久久| 天堂√8在线中文| 国产成人aa在线观看| 久久久久久久久中文| 无遮挡黄片免费观看| 制服丝袜大香蕉在线| 久久草成人影院| 婷婷精品国产亚洲av| 久久久久久伊人网av| 一本久久中文字幕| 赤兔流量卡办理| 亚洲精品在线观看二区| 日本 欧美在线| 亚洲天堂国产精品一区在线| 亚洲专区中文字幕在线| 69人妻影院| 特大巨黑吊av在线直播| 亚洲一区二区三区色噜噜| 九色成人免费人妻av| 一级黄片播放器| 亚洲va日本ⅴa欧美va伊人久久| 最新中文字幕久久久久| 97热精品久久久久久| 日本一本二区三区精品| 免费看a级黄色片| 久久6这里有精品| 黄色丝袜av网址大全| 久久精品91蜜桃| 琪琪午夜伦伦电影理论片6080| 精品无人区乱码1区二区| 在线观看舔阴道视频| 成人三级黄色视频| 亚洲精品影视一区二区三区av| 国产成人a区在线观看| 国产精品综合久久久久久久免费| 狠狠狠狠99中文字幕| 亚洲avbb在线观看| 亚洲第一区二区三区不卡| 欧美性猛交黑人性爽| 久久精品国产99精品国产亚洲性色| 国产精品乱码一区二三区的特点| 亚洲国产欧洲综合997久久,| 又爽又黄无遮挡网站| 亚洲经典国产精华液单| 国国产精品蜜臀av免费| 一卡2卡三卡四卡精品乱码亚洲| 熟女电影av网| 嫩草影院精品99| 欧美日韩亚洲国产一区二区在线观看| 日本黄大片高清| a级毛片a级免费在线| 国产亚洲欧美98| 网址你懂的国产日韩在线| 深夜精品福利| 欧美中文日本在线观看视频| 成人特级黄色片久久久久久久| 麻豆国产97在线/欧美| xxxwww97欧美| 九九在线视频观看精品| 久久人妻av系列| 成人特级黄色片久久久久久久| 丰满乱子伦码专区| 亚洲不卡免费看| 我的老师免费观看完整版| 亚洲av日韩精品久久久久久密| 精品人妻熟女av久视频| 国产精品98久久久久久宅男小说| 欧美黑人欧美精品刺激| 亚洲av不卡在线观看| 在线观看66精品国产| 久久久久久久久久黄片| 极品教师在线视频| 91久久精品电影网| 天天躁日日操中文字幕| 18+在线观看网站| 亚洲成人精品中文字幕电影| 男人和女人高潮做爰伦理| 亚洲无线观看免费| 99热只有精品国产| 蜜桃亚洲精品一区二区三区| av.在线天堂| 有码 亚洲区| 日本撒尿小便嘘嘘汇集6| 免费av不卡在线播放| 精品乱码久久久久久99久播| 男人狂女人下面高潮的视频| 动漫黄色视频在线观看| 91久久精品国产一区二区成人| 又黄又爽又刺激的免费视频.| 免费看a级黄色片| 一区二区三区免费毛片| 日韩欧美在线乱码| 欧美黑人欧美精品刺激| 亚洲人成网站在线播| 亚洲人成网站在线播放欧美日韩| 18禁在线播放成人免费| 国产 一区 欧美 日韩| 日本五十路高清| 99国产精品一区二区蜜桃av| 国产亚洲精品av在线| 久久精品久久久久久噜噜老黄 | 精品一区二区三区视频在线观看免费| 美女xxoo啪啪120秒动态图| 亚洲美女搞黄在线观看 | 国产一区二区激情短视频| 蜜桃亚洲精品一区二区三区| 日本黄大片高清| 狠狠狠狠99中文字幕| 观看免费一级毛片| 搡老岳熟女国产| 欧美成人一区二区免费高清观看| 91狼人影院| 久久中文看片网| 人妻少妇偷人精品九色| 亚洲人成网站在线播放欧美日韩| 一级毛片久久久久久久久女| 国产精品野战在线观看| 国产精品无大码| 午夜精品在线福利| 白带黄色成豆腐渣| 狂野欧美激情性xxxx在线观看| 国产av一区在线观看免费| 又粗又爽又猛毛片免费看| 毛片一级片免费看久久久久 | 国产私拍福利视频在线观看| 老司机午夜福利在线观看视频| 成年女人看的毛片在线观看| 欧美成人a在线观看| 免费一级毛片在线播放高清视频| 九九久久精品国产亚洲av麻豆| 韩国av在线不卡| 黄色日韩在线| 嫩草影院新地址| 国产成人a区在线观看| 五月伊人婷婷丁香| 一级黄片播放器| 国产精品亚洲一级av第二区| 两个人视频免费观看高清| 99精品在免费线老司机午夜| 高清日韩中文字幕在线| 一级黄片播放器| 国产亚洲精品久久久久久毛片| 欧美一区二区亚洲| 看片在线看免费视频| 黄色女人牲交| 成人二区视频| 日韩欧美国产一区二区入口| 亚洲最大成人手机在线| 麻豆成人av在线观看| or卡值多少钱| 日日夜夜操网爽| 日韩欧美一区二区三区在线观看| 91麻豆av在线| 久久精品人妻少妇| 两个人视频免费观看高清| 看片在线看免费视频| www.色视频.com| 日本黄色片子视频| 亚洲一区二区三区色噜噜| 两个人视频免费观看高清| 国产精品野战在线观看| 少妇丰满av| 在现免费观看毛片| 亚洲av五月六月丁香网| 久久久久久大精品| 国产av麻豆久久久久久久| 一a级毛片在线观看| 亚洲欧美清纯卡通| 波野结衣二区三区在线| 国产伦人伦偷精品视频| 看片在线看免费视频| 久久久久久久久大av| 老司机午夜福利在线观看视频| 国产高清视频在线播放一区| 男插女下体视频免费在线播放| 亚洲无线观看免费| 国产精品爽爽va在线观看网站| 国产又黄又爽又无遮挡在线| 美女大奶头视频| 日韩 亚洲 欧美在线| 亚洲人成网站在线播放欧美日韩| 国产精品久久视频播放| 色综合色国产| 成人午夜高清在线视频| 亚洲精华国产精华液的使用体验 | 美女大奶头视频| 亚洲成人久久爱视频| 日本成人三级电影网站| 亚洲精华国产精华精| 成人永久免费在线观看视频| 俄罗斯特黄特色一大片| 国产精品一区二区免费欧美| 色综合亚洲欧美另类图片| 中文字幕精品亚洲无线码一区| av.在线天堂| 亚洲精华国产精华精| 国产免费男女视频| 校园人妻丝袜中文字幕| 午夜视频国产福利| 国产精品三级大全| 九色国产91popny在线| 草草在线视频免费看| 干丝袜人妻中文字幕| 97碰自拍视频| 国产麻豆成人av免费视频| 不卡一级毛片| 99riav亚洲国产免费| 成年版毛片免费区| 免费观看人在逋| 中文字幕高清在线视频| 狂野欧美激情性xxxx在线观看| 久久久精品大字幕| 国产成年人精品一区二区| 欧美高清性xxxxhd video| 国产一区二区三区av在线 | 男插女下体视频免费在线播放| 日韩欧美在线二视频| 精品久久久久久,| x7x7x7水蜜桃| 神马国产精品三级电影在线观看| 一本一本综合久久| 亚洲中文字幕日韩| 免费观看的影片在线观看| 国产白丝娇喘喷水9色精品| 亚洲七黄色美女视频| 欧美高清成人免费视频www| 天堂动漫精品| 又黄又爽又刺激的免费视频.| 草草在线视频免费看| 人妻久久中文字幕网| 亚洲美女黄片视频| 蜜桃亚洲精品一区二区三区| 亚洲国产精品sss在线观看| 成年免费大片在线观看| 亚洲美女黄片视频| 婷婷丁香在线五月| 国产一区二区三区av在线 | 高清毛片免费观看视频网站| 白带黄色成豆腐渣| 天天躁日日操中文字幕| 老熟妇乱子伦视频在线观看| 欧美激情在线99| 国产探花极品一区二区| 搡老妇女老女人老熟妇| 亚洲va日本ⅴa欧美va伊人久久| 最近视频中文字幕2019在线8| 小蜜桃在线观看免费完整版高清| 亚洲精品国产成人久久av| 成人一区二区视频在线观看| 琪琪午夜伦伦电影理论片6080| 免费在线观看日本一区| 波多野结衣高清作品| 观看免费一级毛片| 长腿黑丝高跟| 中文字幕久久专区| 亚洲精品粉嫩美女一区| 99久久精品一区二区三区| 床上黄色一级片| 成人美女网站在线观看视频| 十八禁网站免费在线| 99热这里只有是精品50| 精品久久国产蜜桃| av专区在线播放| 国产亚洲91精品色在线| 国产在线男女| 丰满乱子伦码专区| 国产成人一区二区在线| 亚洲av第一区精品v没综合| 国产精品乱码一区二三区的特点| 亚洲av熟女| 少妇高潮的动态图| 免费人成视频x8x8入口观看| 女同久久另类99精品国产91| 国产精品久久视频播放| 精品不卡国产一区二区三区| 国产精华一区二区三区| 亚洲第一区二区三区不卡| 一本久久中文字幕| 国产女主播在线喷水免费视频网站 | 国产蜜桃级精品一区二区三区| 人妻久久中文字幕网| 男人舔女人下体高潮全视频| 日本在线视频免费播放| 欧美黑人欧美精品刺激| 成人一区二区视频在线观看| 嫩草影院精品99| 国产亚洲精品av在线| 99九九线精品视频在线观看视频| 国产成人一区二区在线| 亚洲黑人精品在线| 一级黄色大片毛片| 在现免费观看毛片| 亚洲 国产 在线| 中文字幕精品亚洲无线码一区| 国产三级中文精品| 国产精品久久久久久久久免| 久久亚洲精品不卡| 一本精品99久久精品77| 五月玫瑰六月丁香| 久久久久久久久中文| 狂野欧美激情性xxxx在线观看| 91狼人影院| 日本免费a在线| 黄色一级大片看看| 亚洲五月天丁香| 欧美最新免费一区二区三区| 午夜福利视频1000在线观看| 国产高潮美女av| 午夜激情欧美在线| 国产精品无大码| 欧美另类亚洲清纯唯美| 日日撸夜夜添| 可以在线观看毛片的网站| 亚洲国产欧美人成| 亚洲性久久影院| 国产黄色小视频在线观看| 老熟妇乱子伦视频在线观看| 18禁裸乳无遮挡免费网站照片| 亚洲国产高清在线一区二区三| 亚洲最大成人手机在线| 此物有八面人人有两片| 久久久国产成人精品二区| 亚洲精品成人久久久久久| 亚洲av不卡在线观看| 免费av毛片视频| 老女人水多毛片| 天堂√8在线中文| 日日夜夜操网爽| 深夜精品福利| 直男gayav资源| 欧美黑人欧美精品刺激| 赤兔流量卡办理| 观看美女的网站| 色5月婷婷丁香| 少妇猛男粗大的猛烈进出视频 | 欧美绝顶高潮抽搐喷水| 丝袜美腿在线中文| 国产午夜福利久久久久久| 精品欧美国产一区二区三| 日韩欧美国产一区二区入口| 国产v大片淫在线免费观看| 久久精品久久久久久噜噜老黄 | 五月玫瑰六月丁香| 黄色欧美视频在线观看| 国产蜜桃级精品一区二区三区| 久久久久久久亚洲中文字幕| 亚洲国产欧美人成| 天天一区二区日本电影三级| 久久久久国内视频| 国产精品综合久久久久久久免费| 春色校园在线视频观看| 嫩草影视91久久| 成人无遮挡网站| 12—13女人毛片做爰片一| 一级黄片播放器| 黄片wwwwww| 日本在线视频免费播放| 精品午夜福利在线看| 波多野结衣巨乳人妻| 一级毛片久久久久久久久女| 亚洲av二区三区四区| 一本一本综合久久| 日本五十路高清| 亚洲男人的天堂狠狠| 免费不卡的大黄色大毛片视频在线观看 | 久久久久性生活片| 色噜噜av男人的天堂激情| av黄色大香蕉| 亚洲美女视频黄频| 黄色欧美视频在线观看| 欧美性猛交╳xxx乱大交人| 色5月婷婷丁香| 亚洲熟妇熟女久久| 国产伦一二天堂av在线观看| 久久久久九九精品影院| 欧美激情久久久久久爽电影| 最后的刺客免费高清国语| av在线蜜桃| 美女高潮的动态| 成人国产麻豆网| 黄色欧美视频在线观看| 深爱激情五月婷婷| 国产精品亚洲一级av第二区| 中文字幕精品亚洲无线码一区| 日本色播在线视频| 久久国产精品人妻蜜桃| 国产精品爽爽va在线观看网站| 少妇高潮的动态图| 久久久色成人| 美女大奶头视频| 一本精品99久久精品77| 国产一区二区三区在线臀色熟女| 99久久九九国产精品国产免费| 久久九九热精品免费| 神马国产精品三级电影在线观看| 色尼玛亚洲综合影院| 国产高清视频在线观看网站| 男人和女人高潮做爰伦理| 人人妻人人澡欧美一区二区| 又爽又黄a免费视频| 欧美性猛交黑人性爽| 老熟妇乱子伦视频在线观看| 成人av在线播放网站| 亚洲成人中文字幕在线播放| 国产高清三级在线| 免费观看人在逋| 熟女电影av网| 久久精品国产亚洲网站| 久久国产乱子免费精品| 欧美一级a爱片免费观看看| 听说在线观看完整版免费高清| 一个人看视频在线观看www免费| 一边摸一边抽搐一进一小说| 婷婷精品国产亚洲av在线| 午夜福利成人在线免费观看| avwww免费| 亚洲精品乱码久久久v下载方式| 有码 亚洲区| 欧美人与善性xxx| 男女视频在线观看网站免费| 少妇高潮的动态图| 狠狠狠狠99中文字幕| 一区二区三区激情视频| 97超级碰碰碰精品色视频在线观看| eeuss影院久久| 成人一区二区视频在线观看| 欧美成人性av电影在线观看| 三级国产精品欧美在线观看| 国产真实乱freesex| 国产 一区精品| 乱码一卡2卡4卡精品| 极品教师在线免费播放| 亚洲国产高清在线一区二区三| aaaaa片日本免费| 久久99热这里只有精品18| 午夜久久久久精精品| 欧美一区二区国产精品久久精品| 亚洲色图av天堂| 简卡轻食公司| 男人舔女人下体高潮全视频| 真人做人爱边吃奶动态| 69av精品久久久久久| 精品人妻偷拍中文字幕| 国产精品久久电影中文字幕| 色哟哟·www| 色综合色国产| 能在线免费观看的黄片| 午夜a级毛片| 级片在线观看| 俄罗斯特黄特色一大片| 色综合色国产| 精品无人区乱码1区二区| 国产精品一及| 国产成人一区二区在线| 好男人在线观看高清免费视频| 美女免费视频网站| 亚洲三级黄色毛片| 欧美激情在线99| 男女啪啪激烈高潮av片| 国产精品久久电影中文字幕| 狂野欧美激情性xxxx在线观看| 亚洲人成网站在线播放欧美日韩| 久久99热6这里只有精品| 亚洲自偷自拍三级| 亚洲最大成人中文| 亚洲人与动物交配视频| 久久人人精品亚洲av| 久久国产精品人妻蜜桃| 99九九线精品视频在线观看视频| 国产老妇女一区| 久久久国产成人精品二区| 国产成年人精品一区二区| 黄色一级大片看看| 一进一出抽搐动态| 香蕉av资源在线| 亚洲成av人片在线播放无| 日本一二三区视频观看| 精华霜和精华液先用哪个| 亚洲在线观看片| 一区二区三区四区激情视频 | 国产av麻豆久久久久久久| 亚洲欧美日韩卡通动漫| 亚洲成人久久性| 精品久久久久久成人av| 综合色av麻豆| 欧美三级亚洲精品| 特大巨黑吊av在线直播| a级毛片a级免费在线| 国产熟女欧美一区二区| 免费在线观看成人毛片| 国产私拍福利视频在线观看| 特级一级黄色大片| 国产美女午夜福利| 免费av毛片视频| 特级一级黄色大片| 精品一区二区三区视频在线| 99久久精品热视频| 内射极品少妇av片p| 日本一二三区视频观看| 日本与韩国留学比较| 成人综合一区亚洲| 午夜福利在线观看吧| 亚洲 国产 在线| 国产又黄又爽又无遮挡在线| 亚洲欧美日韩卡通动漫| 成人特级黄色片久久久久久久| 欧美3d第一页| 亚洲内射少妇av| 女同久久另类99精品国产91| 特大巨黑吊av在线直播| 久久久久久久午夜电影|