• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的建構(gòu)與應(yīng)用建議

    2021-08-14 15:55:00趙慧臣張雨欣李皖豫李月盂麗娜
    中國(guó)電化教育 2021年8期
    關(guān)鍵詞:評(píng)價(jià)指標(biāo)人工智能

    趙慧臣 張雨欣 李皖豫 李月 盂麗娜

    摘要:人工智能不僅加快數(shù)字化學(xué)習(xí)工具的發(fā)展,而且支持?jǐn)?shù)字化學(xué)習(xí)工具的教育應(yīng)用。人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具由多媒體時(shí)代的知識(shí)表征多元和網(wǎng)絡(luò)時(shí)代的內(nèi)容生產(chǎn)、個(gè)體學(xué)習(xí)拓展到大規(guī)模學(xué)習(xí)和社會(huì)化協(xié)同。其研究應(yīng)該在多媒體時(shí)代和網(wǎng)絡(luò)時(shí)代的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究基礎(chǔ)上,進(jìn)一步凸顯人工智能時(shí)代學(xué)習(xí)工具的特色。該文參考美國(guó)數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn),構(gòu)建了人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的層次模型和互動(dòng)模型,分別從技術(shù)支持、功能保障、教育應(yīng)用三個(gè)層次,技術(shù)性、可訪問(wèn)性、移動(dòng)設(shè)計(jì)、功能性、數(shù)據(jù)安全、社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感、認(rèn)知臨場(chǎng)感八個(gè)維度建構(gòu)數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型;并在數(shù)字化學(xué)習(xí)工具評(píng)價(jià)關(guān)系矩陣的基礎(chǔ)上,探討數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型在學(xué)校、教育管理機(jī)構(gòu)、信息化企業(yè)中的應(yīng)用策略。

    關(guān)鍵詞:人工智能;數(shù)字化學(xué)習(xí)工具;評(píng)價(jià)模型;評(píng)價(jià)指標(biāo)

    中圖分類(lèi)號(hào):G434

    文獻(xiàn)標(biāo)識(shí)碼:A

    新一輪人工智能技術(shù)的發(fā)展呈現(xiàn)出數(shù)據(jù)規(guī)模增加、計(jì)算能力增強(qiáng)和行業(yè)應(yīng)用能力提升等顯著特征[1]。人工智能極大地改變著教育生態(tài),有助于變革教育模式與教育形式、為學(xué)生提供個(gè)性化服務(wù)、為教師提供精準(zhǔn)化教學(xué)、為學(xué)校提供科學(xué)化管理[2]。在人工智能技術(shù)支持下,數(shù)字化學(xué)習(xí)工具在提高學(xué)習(xí)效率、改善學(xué)習(xí)效果方面發(fā)揮著重要作用。然而,人工智能時(shí)代數(shù)字化學(xué)習(xí)工具“分類(lèi)不明確”“缺乏規(guī)范的建設(shè)標(biāo)準(zhǔn)”“信息安全存疑”等問(wèn)題不斷出現(xiàn),造成了師生在選擇和使用時(shí)的被動(dòng)局面。在學(xué)習(xí)工具趨向智能化的背景下,如何評(píng)價(jià)種類(lèi)繁多的數(shù)字化學(xué)習(xí)工具,如何利用評(píng)價(jià)更好地推動(dòng)人工智能時(shí)代的數(shù)字化學(xué)習(xí),成為需要探討的問(wèn)題。

    一、人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究的反思

    人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究應(yīng)該在多媒體時(shí)代和網(wǎng)絡(luò)時(shí)代的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究基礎(chǔ)上,進(jìn)一步凸顯人工智能時(shí)代學(xué)習(xí)工具的特色。梳理數(shù)字化學(xué)習(xí)工具及其評(píng)價(jià)研究,總結(jié)已有的研究進(jìn)展,反思存在的問(wèn)題和局限,可以為人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究提供參考。

    (一)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的研究

    在基本功能方面,數(shù)字化學(xué)習(xí)工具具備獲取信息化、開(kāi)放化、網(wǎng)絡(luò)化和高效率等特點(diǎn)。學(xué)習(xí)工具整體有向開(kāi)放化、免費(fèi)化、網(wǎng)絡(luò)化、社會(huì)化、面向?qū)W習(xí)對(duì)象的粒度微型化等發(fā)展的趨勢(shì)[3]。在網(wǎng)絡(luò)環(huán)境下數(shù)字化學(xué)習(xí)工具的發(fā)展趨勢(shì)是高效率、易使用、低成本、交互強(qiáng)和開(kāi)放源代碼及二次開(kāi)發(fā)[4]。

    在教學(xué)應(yīng)用方面,數(shù)字化學(xué)習(xí)工具主要用于支持信息化教學(xué)乃至智能教育。例如,劉建軍結(jié)合實(shí)際口譯教學(xué)介紹BlackBox學(xué)習(xí)軟件的特點(diǎn)、功能及其在口譯自主學(xué)習(xí)中的應(yīng)用[5];顧連忠等介紹了概念圖評(píng)估和學(xué)習(xí)工具COMPASS的結(jié)構(gòu)體系,分析了利用COMPASS概念圖開(kāi)展學(xué)習(xí)診斷的情況[6]。劉艷艷等提出采用自然語(yǔ)言處理、情感分析技術(shù)等智能課堂助手與學(xué)生自然語(yǔ)言交互的課堂教學(xué)架構(gòu),并實(shí)現(xiàn)課堂教學(xué)具體應(yīng)用[7]。

    在設(shè)計(jì)開(kāi)發(fā)方面,融合新的教學(xué)理念和新興技術(shù)的數(shù)字化學(xué)習(xí)工具設(shè)計(jì)與開(kāi)發(fā)愈發(fā)成熟。例如,馮銳等利用基于案例的推理(CBR)的教學(xué)建議,設(shè)計(jì)、開(kāi)發(fā)了促進(jìn)學(xué)生深度學(xué)習(xí)的CBR經(jīng)驗(yàn)學(xué)習(xí)工具[8];潘征宇等分析了智慧教育中開(kāi)展個(gè)性化學(xué)習(xí)所需要的學(xué)習(xí)環(huán)境和支撐工具,并對(duì)個(gè)性化學(xué)習(xí)工具進(jìn)行設(shè)計(jì)及應(yīng)用研究[9];鮑賢清等開(kāi)展了場(chǎng)館環(huán)境中介性學(xué)習(xí)工具的設(shè)計(jì)與開(kāi)發(fā)[10],面向個(gè)體的學(xué)習(xí)需求,以新穎的思路設(shè)計(jì)數(shù)字化學(xué)習(xí)工具的功能,成為人工智能時(shí)代數(shù)字化學(xué)習(xí)工具發(fā)展的方向。

    面向多媒體、網(wǎng)絡(luò)和人工智能等不同時(shí)代的數(shù)字化學(xué)習(xí)工具發(fā)展歷程,我們可以從學(xué)習(xí)資源、交互方式、學(xué)習(xí)空間、應(yīng)用場(chǎng)景四個(gè)方面來(lái)闡釋數(shù)字化學(xué)習(xí)工具的特點(diǎn),如表1所示。首先,在學(xué)習(xí)資源方面,多媒體時(shí)代的學(xué)習(xí)工具主要關(guān)注單向的、適量的數(shù)字化學(xué)習(xí)資源;網(wǎng)絡(luò)時(shí)代的學(xué)習(xí)工具重點(diǎn)關(guān)注超媒體性和海量的學(xué)習(xí)資源;人工智能時(shí)代的學(xué)習(xí)工具關(guān)注學(xué)習(xí)資源的生成性、交互性、動(dòng)態(tài)性,支持人機(jī)協(xié)同學(xué)習(xí)和工作。其次,在交互方式上,多媒體時(shí)代的學(xué)習(xí)工具以圖形界面為主,網(wǎng)絡(luò)時(shí)代的學(xué)習(xí)工具以多點(diǎn)觸控為主,人工智能時(shí)代學(xué)習(xí)工具的交互則包括體感交互、腦機(jī)接口、多模態(tài)交互等。再次,在學(xué)習(xí)空間的要求上,多媒體時(shí)代的學(xué)習(xí)工具通常在封閉的物理空間下支持教學(xué)活動(dòng),網(wǎng)絡(luò)時(shí)代的學(xué)習(xí)工具則進(jìn)一步拓展到虛擬空間,人工智能時(shí)代的學(xué)習(xí)工具能夠適配虛實(shí)融合的無(wú)邊界學(xué)習(xí)空間。最后,在應(yīng)用場(chǎng)景方面,人工智能時(shí)代的學(xué)習(xí)工具由多媒體時(shí)代的知識(shí)表征多元和網(wǎng)絡(luò)時(shí)代的內(nèi)容生產(chǎn)、個(gè)體學(xué)習(xí)拓展到大規(guī)模學(xué)習(xí)和社會(huì)化協(xié)同。

    (二)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的研究

    數(shù)字化學(xué)習(xí)工具評(píng)價(jià)研究主要集中在評(píng)價(jià)框架和指標(biāo)體系兩方面。在評(píng)價(jià)框架方面,孫洪濤等從技術(shù)選擇、教學(xué)應(yīng)用和能動(dòng)性等視角,提出了包括操作可用、聯(lián)結(jié)構(gòu)建、信息獲取、內(nèi)容加工、交流協(xié)作等5個(gè)維度的遠(yuǎn)程學(xué)習(xí)工具分析框架[11]。在評(píng)價(jià)指標(biāo)體系方面,杜華等從界面、技術(shù)、內(nèi)容、功能、學(xué)生體驗(yàn)五個(gè)層面設(shè)計(jì)了移動(dòng)學(xué)習(xí)工具的指標(biāo)體系,并據(jù)此對(duì)場(chǎng)館APP進(jìn)行了評(píng)測(cè)[12];錢(qián)東明等將學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)分為可用性、友好度、實(shí)用性、趣味性、可擴(kuò)展性五個(gè)主要維度[13]。

    隨著人工智能時(shí)代的到來(lái),人機(jī)關(guān)系進(jìn)入新階段,數(shù)字化學(xué)習(xí)工具的評(píng)價(jià)也隨之變遷,如圖1所示。多媒體時(shí)代的數(shù)字化學(xué)習(xí)工具的評(píng)價(jià)側(cè)重于從人機(jī)交互的角度評(píng)價(jià)學(xué)習(xí)工具的主要性能。網(wǎng)絡(luò)時(shí)代的數(shù)字化工具評(píng)價(jià)更多從人機(jī)共生關(guān)系的角度來(lái)評(píng)價(jià)學(xué)習(xí)工具的網(wǎng)絡(luò)互動(dòng)特征。人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具的評(píng)價(jià)則關(guān)注通過(guò)智能交互方式實(shí)現(xiàn)智能化內(nèi)容的形成和學(xué)習(xí)質(zhì)量的提高,以最大程度上發(fā)揮人機(jī)協(xié)同的效益。

    (三)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的反思

    隨著以人工智能技術(shù)為代表的新興技術(shù)不斷發(fā)展,人工智能技術(shù)不斷應(yīng)用于數(shù)字化學(xué)習(xí)工具中,形成人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型就顯得尤為必要。一方面,人工智能時(shí)代的數(shù)字化學(xué)習(xí)工具需要更高的評(píng)價(jià)標(biāo)準(zhǔn),來(lái)判斷數(shù)字化學(xué)習(xí)工具是否與人工智能發(fā)展一致、能否實(shí)現(xiàn)智能化的交互活動(dòng)、是否有助于群體知識(shí)建構(gòu)、師生間是否可以人機(jī)協(xié)同等。另一方面,人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型能夠指導(dǎo)師生選擇高質(zhì)量的數(shù)字化學(xué)習(xí)工具,為數(shù)字化學(xué)習(xí)工具的設(shè)計(jì)與開(kāi)發(fā)給予指導(dǎo),為數(shù)字化學(xué)習(xí)工具的性能改進(jìn)提供參考。

    二、人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的建構(gòu)

    美國(guó)西北大學(xué)(Western University)教學(xué)中心(Centre for Teaching and Learning)的兩位教授(LaurenM.Anstey&CJavan P.L.Watson)面向教師和員工開(kāi)發(fā)了數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)(Rubric for e-LearningTool Evaluation),可以作為評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的參考框架[14]。該標(biāo)準(zhǔn)支持對(duì)數(shù)字化學(xué)習(xí)工具的功能、技術(shù)和教學(xué)方面的多維評(píng)價(jià)。本文參考該評(píng)估標(biāo)準(zhǔn)的評(píng)價(jià)維度,結(jié)合人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)特點(diǎn),構(gòu)建人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的評(píng)價(jià)模型。

    (一)數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)的反思

    數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)提出了技術(shù)性、可訪問(wèn)性、移動(dòng)設(shè)計(jì)、功能性、數(shù)據(jù)安全、社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感和認(rèn)知臨場(chǎng)感等8個(gè)維度。(1)功能性(Functionality)指數(shù)字化學(xué)習(xí)工具支持學(xué)生學(xué)習(xí)的功能服務(wù)。(2)可訪問(wèn)性(Accessibility)指數(shù)字化學(xué)習(xí)工具能否支持任何人使用。(3)技術(shù)性(Technical)指數(shù)字化學(xué)習(xí)工具的技術(shù)易用程度。(4)移動(dòng)設(shè)計(jì)(Mobile Design)指數(shù)字化學(xué)習(xí)工具能夠在移動(dòng)設(shè)備上使用,并發(fā)揮應(yīng)有功能。(5)隱私數(shù)據(jù)的維護(hù)和權(quán)限(Privacy Data Protection and Rights)指數(shù)字化學(xué)習(xí)工具的數(shù)據(jù)安全防護(hù)性能和對(duì)個(gè)人隱私的保護(hù)程度。(6)社會(huì)臨場(chǎng)感(Social Presence)指數(shù)字化學(xué)習(xí)工具幫助學(xué)生創(chuàng)設(shè)交互的環(huán)境,支持學(xué)生開(kāi)展協(xié)作學(xué)習(xí)、交互式教學(xué)的情況。(7)教學(xué)臨場(chǎng)感(TeachingPresence)指數(shù)字化學(xué)習(xí)工具支持學(xué)生教學(xué)過(guò)程的形成,以實(shí)現(xiàn)學(xué)習(xí)行為的個(gè)性化分析、干預(yù)與管理。(8)認(rèn)知臨場(chǎng)感(Cognitive Presence)指數(shù)字化學(xué)習(xí)工具支持學(xué)生高階思維的訓(xùn)練與養(yǎng)成。

    盡管該數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)提出了具體的評(píng)價(jià)維度和評(píng)價(jià)指標(biāo),但并未對(duì)各項(xiàng)指標(biāo)重新歸類(lèi)解讀,應(yīng)用中難免會(huì)出現(xiàn)指向不明等問(wèn)題。因此.如何在已有數(shù)字化學(xué)習(xí)工具評(píng)價(jià)標(biāo)準(zhǔn)的基礎(chǔ)上,形成更為科學(xué)合理的數(shù)字化工具評(píng)價(jià)模型,成為需要解決的問(wèn)題。

    (二)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的層次模型

    本文以“戴爾經(jīng)驗(yàn)之塔”為參考,從技術(shù)支持、功能保障和教育應(yīng)用三個(gè)層面對(duì)數(shù)字化學(xué)習(xí)工具評(píng)價(jià)維度進(jìn)行分類(lèi),形成由下至上抽象程度越來(lái)越高的數(shù)字化學(xué)習(xí)工具評(píng)價(jià)層次模型,如圖2所示。首先,技術(shù)支持層作為數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型中的基礎(chǔ)層,涵蓋了系統(tǒng)性能、可訪問(wèn)性和移動(dòng)設(shè)計(jì)三個(gè)維度,為功能保障層和教學(xué)應(yīng)用層提供支持。其次,功能保障層作為數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的中間層,包含用戶(hù)體驗(yàn)和數(shù)據(jù)安全兩個(gè)維度,體現(xiàn)了數(shù)字化學(xué)習(xí)工具給師生提供的基礎(chǔ)功能和支持服務(wù)。最后,教育應(yīng)用層作為數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的核心層,涵蓋了社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感和認(rèn)知臨場(chǎng)感三個(gè)維度,是學(xué)習(xí)工具發(fā)揮教學(xué)功能的最重要的因素。

    (三)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的互動(dòng)模型

    數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的層次模型中評(píng)價(jià)要素間存在一定關(guān)系。其中,技術(shù)支持層、功能保障層支撐教育應(yīng)用層中教育臨場(chǎng)感的實(shí)現(xiàn),同時(shí)教育應(yīng)用層影響技術(shù)支持層和功能保障的設(shè)計(jì)優(yōu)化。因此,數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的三個(gè)層面既相對(duì)獨(dú)立,又相互作用,形成了數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的互動(dòng)模型,

    首先,技術(shù)支持層作為數(shù)字化學(xué)習(xí)工具的功能保障層和教育應(yīng)用層的支撐。技術(shù)支持層通過(guò)系統(tǒng)性能、可訪問(wèn)性的實(shí)現(xiàn)以及移動(dòng)設(shè)計(jì)來(lái)支持功能保障層,也在一定程度上影響教育應(yīng)用層。系統(tǒng)性能解決了功能保障層必備的技術(shù)要求;可訪問(wèn)性支持不同能力、不同硬件基礎(chǔ)配置條件下學(xué)生使用學(xué)習(xí)工具;移動(dòng)設(shè)計(jì)解決了學(xué)習(xí)工具在移動(dòng)設(shè)備上的運(yùn)行問(wèn)題,更好地保證學(xué)習(xí)工具在移動(dòng)學(xué)習(xí)環(huán)境中發(fā)揮作用。

    其次,功能保障層銜接數(shù)字化學(xué)習(xí)工具的技術(shù)支持層和教育應(yīng)用層。其中,用戶(hù)體驗(yàn)保證了形成社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感和認(rèn)知臨場(chǎng)感必備的資源、支持和服務(wù),數(shù)據(jù)安全則幫助學(xué)生形成對(duì)學(xué)習(xí)工具的信任感,為應(yīng)用學(xué)習(xí)工具支持有效學(xué)習(xí)提供了更大可能。

    最后,教育應(yīng)用層引領(lǐng)數(shù)字化學(xué)習(xí)工具的功能保障層和技術(shù)支持層的優(yōu)化。教育應(yīng)用層中的社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感、認(rèn)知臨場(chǎng)感的實(shí)現(xiàn)有賴(lài)于技術(shù)支持層和功能保障層的支持,同樣也反過(guò)來(lái)從教育教學(xué)的角度指導(dǎo)技術(shù)支持層的不斷優(yōu)化和持續(xù)改進(jìn)。

    三、人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的指標(biāo)設(shè)計(jì)

    數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型由不同層次和維度組成,不同評(píng)價(jià)維度又可以細(xì)分為不同的指標(biāo)。鑒于數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的可操作性,從技術(shù)支持、功能保障、教育應(yīng)用三個(gè)層面對(duì)評(píng)價(jià)指標(biāo)和效果適用程度進(jìn)行具體闡述,有助于促進(jìn)數(shù)字化學(xué)習(xí)工具評(píng)價(jià)的良好開(kāi)展。

    (一)技術(shù)支持層:體現(xiàn)數(shù)字化學(xué)習(xí)工具的基礎(chǔ)性能

    技術(shù)支持層應(yīng)當(dāng)保證技術(shù)可用性,并盡可能減少學(xué)生的技術(shù)負(fù)擔(dān)、時(shí)間成本等,并通過(guò)移動(dòng)設(shè)計(jì)滿足學(xué)生泛在學(xué)習(xí)需求。評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的技術(shù)支持層,應(yīng)當(dāng)從系統(tǒng)性能、可訪問(wèn)性和移動(dòng)設(shè)計(jì)三方面展開(kāi),并按照“存在嚴(yán)重問(wèn)題、存在較小的問(wèn)題、效果好”的程度形成評(píng)價(jià)量規(guī),如表2所示。

    1.系統(tǒng)性能:評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的底層設(shè)計(jì)

    數(shù)字化學(xué)習(xí)工具的系統(tǒng)性能決定了功能保障層和教育應(yīng)用層提供的服務(wù)類(lèi)型。首先,可拓展性體現(xiàn)在數(shù)字化學(xué)習(xí)工具是否具備其他應(yīng)用程序訪問(wèn)的接口、能否支持?jǐn)?shù)據(jù)互通、是否允許與外部環(huán)境進(jìn)行信息傳遞。特別是在人工智能時(shí)代,可拓展性較強(qiáng)的數(shù)字化學(xué)習(xí)工具打通不同應(yīng)用程序的數(shù)據(jù)接口,可以支撐教學(xué)流程的全過(guò)程收集。其次,兼容性體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否在不同版本操作系統(tǒng)和瀏覽器中運(yùn)行和使用。最后,技術(shù)更新體現(xiàn)在數(shù)字化學(xué)習(xí)工具的更新周期以及更新效果。根據(jù)用戶(hù)需求定期更新的數(shù)字化學(xué)習(xí)工具更受人工智能時(shí)代師生的喜歡。

    2.可訪問(wèn)性:強(qiáng)調(diào)數(shù)字化學(xué)習(xí)工具的學(xué)生參與便捷度

    可訪問(wèn)性較差的數(shù)字化學(xué)習(xí)工具會(huì)影響部分學(xué)生的參與。評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的可訪問(wèn)性可以從可達(dá)性、以學(xué)生為中心的參與度、所需設(shè)備三個(gè)指標(biāo)展開(kāi)。首先,可達(dá)性體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否匹配不同輸入、輸出方式以滿足視覺(jué)、聽(tīng)覺(jué)、肢體、言語(yǔ)、認(rèn)知障礙等不同類(lèi)型學(xué)生的需求。其次,以學(xué)生為中心的參與度體現(xiàn)在數(shù)字化學(xué)習(xí)工具提供的服務(wù)能否滿足學(xué)生多樣化的需求。最后,需要固定物理環(huán)境和專(zhuān)用硬件設(shè)備的數(shù)字化學(xué)習(xí)工具限制了學(xué)生參與,甚至?xí)巡糠謱W(xué)生拒之門(mén)外。

    3.移動(dòng)設(shè)計(jì):關(guān)注數(shù)字化學(xué)習(xí)工具的應(yīng)用場(chǎng)景

    移動(dòng)終端不僅滿足了學(xué)生泛在環(huán)境下的學(xué)習(xí)需求,而且極大延伸了學(xué)習(xí)的交互性。首先,學(xué)生訪問(wèn)體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否支持學(xué)生使用多種類(lèi)型的移動(dòng)操作系統(tǒng)和移動(dòng)設(shè)備。其次,移動(dòng)設(shè)計(jì)表現(xiàn)在不同終端之間功能適配有無(wú)顯著區(qū)別和能否實(shí)現(xiàn)不同學(xué)習(xí)終端上學(xué)習(xí)進(jìn)程的連續(xù)性。師生更傾向于選擇多終端一體化且兼容性較強(qiáng)的數(shù)字化學(xué)習(xí)工具。最后,離線功能要能夠滿足學(xué)生在沒(méi)有網(wǎng)絡(luò)環(huán)境中使用數(shù)字化學(xué)習(xí)工具的需求。

    (二)功能保障層:面向數(shù)字化學(xué)習(xí)工具的教學(xué)支持

    數(shù)字化學(xué)習(xí)工具的功能保障層要能提供滿足學(xué)生需求的服務(wù)、技術(shù)支持和幫助,同時(shí)解決學(xué)生隱私和知識(shí)所有權(quán)的問(wèn)題。功能保障層主要的評(píng)估指標(biāo)為用戶(hù)體驗(yàn)和數(shù)據(jù)安全,按照“存在嚴(yán)重問(wèn)題、存在較小的問(wèn)題、效果好”的程度來(lái)形成評(píng)價(jià)量規(guī),如下頁(yè)表3所示。

    1.用戶(hù)體驗(yàn):體現(xiàn)數(shù)字化學(xué)習(xí)工具的系統(tǒng)功能設(shè)計(jì)

    人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的用戶(hù)體驗(yàn)可以從應(yīng)用規(guī)模、易用性、可用性和超媒體性四個(gè)指標(biāo)來(lái)進(jìn)行評(píng)價(jià),首先,應(yīng)用規(guī)模體現(xiàn)在數(shù)字化學(xué)習(xí)工具是否可以靈活擴(kuò)展,以及能否靈活地創(chuàng)建學(xué)習(xí)小組和實(shí)踐共同體。其次,易用性體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否面向?qū)W生群體的心理特征和認(rèn)知特點(diǎn),提供人機(jī)友好的交互設(shè)計(jì)、美觀的頁(yè)面設(shè)計(jì)和簡(jiǎn)單的操作邏輯。其次,可用性較強(qiáng)的數(shù)字化學(xué)習(xí)工具支持語(yǔ)音識(shí)別、手勢(shì)識(shí)別、眼動(dòng)追蹤等類(lèi)型的用戶(hù)界面,提高沉浸感的同時(shí)使人機(jī)交互形式更多元、自然。最后,超媒體性體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否支持學(xué)生按照學(xué)習(xí)需要不斷重組教學(xué)序列,以多種維度表征知識(shí)、揭示知識(shí)的關(guān)聯(lián)關(guān)系;是否支持學(xué)生自主選擇學(xué)習(xí)資源和學(xué)習(xí)路徑,并反思和重構(gòu)知識(shí)內(nèi)容的結(jié)構(gòu)、關(guān)系。

    2.數(shù)據(jù)安全:評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的數(shù)據(jù)防護(hù)與管理服務(wù)

    人工智能時(shí)代數(shù)字化學(xué)習(xí)工具在隱私方面的評(píng)價(jià)主要考慮數(shù)據(jù)的維護(hù)和權(quán)限,體現(xiàn)在登錄/注冊(cè)、數(shù)據(jù)安全、數(shù)據(jù)管理等方面。首先,登錄/注冊(cè)個(gè)人信息時(shí)的隱私保護(hù)情況、機(jī)構(gòu)審核、第三方團(tuán)體收集等方面可能存在問(wèn)題,進(jìn)而給學(xué)生帶來(lái)個(gè)人信息泄露的隱患。其次,數(shù)據(jù)安全體現(xiàn)在學(xué)生在使用學(xué)習(xí)工具過(guò)程中產(chǎn)生數(shù)據(jù)的知識(shí)產(chǎn)權(quán)、資料所有權(quán)和版權(quán)的保留情況。最后,數(shù)字化學(xué)習(xí)工具能否提供便捷的數(shù)據(jù)管理服務(wù),以幫助學(xué)校、教師、學(xué)生和家長(zhǎng)掌握教學(xué)情況,也是其數(shù)據(jù)安全評(píng)價(jià)的重要方面。

    (三)教育應(yīng)用層:聚焦數(shù)字化學(xué)習(xí)工具的育人效果

    評(píng)價(jià)數(shù)字化學(xué)習(xí)工具的教育應(yīng)用層不僅要判斷能否有效支持學(xué)生展開(kāi)有意義的學(xué)習(xí)活動(dòng),也要判斷支持學(xué)生展開(kāi)高階思維活動(dòng)的情況。教育應(yīng)用層的評(píng)價(jià)主要從社會(huì)臨場(chǎng)感、教學(xué)臨場(chǎng)感和認(rèn)知臨場(chǎng)感三個(gè)維度,按照“存在嚴(yán)重問(wèn)題、存在較小的問(wèn)題、效果好”的程度來(lái)形成評(píng)價(jià)量規(guī),如表4所示。

    1.社會(huì)臨場(chǎng)感:面向?qū)W習(xí)工具支持師生交互情況

    社會(huì)臨場(chǎng)感指數(shù)字化學(xué)習(xí)工具支持學(xué)生人際交互時(shí)創(chuàng)設(shè)多元學(xué)習(xí)情境,來(lái)提高學(xué)生的學(xué)習(xí)體驗(yàn)。人工智能時(shí)代的數(shù)字化學(xué)習(xí)環(huán)境正在由個(gè)體學(xué)習(xí)向協(xié)作學(xué)習(xí)轉(zhuǎn)換,應(yīng)該針對(duì)協(xié)作技術(shù)、學(xué)習(xí)問(wèn)責(zé)和傳播程度的標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià)。首先,面向協(xié)作技術(shù)的評(píng)價(jià)主要體現(xiàn)為數(shù)字化學(xué)習(xí)工具是否支持同步異步的社交互動(dòng)、可用的知識(shí)表征形式以及能否支持大規(guī)模社會(huì)化協(xié)同學(xué)習(xí)。社會(huì)臨場(chǎng)感可提供基于學(xué)習(xí)行為及學(xué)生活動(dòng)的同步或異步的社交互動(dòng),并支持大規(guī)模社會(huì)化協(xié)同。其次,學(xué)習(xí)問(wèn)責(zé)方面的評(píng)價(jià)體現(xiàn)在數(shù)字化學(xué)習(xí)工具支持教師對(duì)學(xué)生匿名情況的掌握程度,和能否為學(xué)生學(xué)習(xí)行為負(fù)責(zé)提供解決方案。最后,社會(huì)傳播程度評(píng)價(jià)主要體現(xiàn)為學(xué)生對(duì)數(shù)字化學(xué)習(xí)工具是否熟悉及熟悉程度、是否有使用基本功能的能力等。學(xué)生更偏向于使用有一定了解、有部分操作基礎(chǔ)的數(shù)字化學(xué)習(xí)工具。

    2.教學(xué)臨場(chǎng)感:體現(xiàn)學(xué)習(xí)工具對(duì)教學(xué)行為的支持作用

    教學(xué)臨場(chǎng)感指數(shù)字化學(xué)習(xí)工具給師生帶來(lái)的教學(xué)體驗(yàn),可以從師生交互、用戶(hù)定制和學(xué)情分析三方面進(jìn)行評(píng)價(jià)。首先,師生交互體現(xiàn)為數(shù)字化學(xué)習(xí)工具能否支持師生有效建立和維護(hù)對(duì)話,并通過(guò)管理、監(jiān)控、參與和反饋來(lái)提高師生交流。其次,用戶(hù)定制體現(xiàn)為數(shù)字化學(xué)習(xí)工具對(duì)學(xué)生情況的適應(yīng)性、能否定制以及定制的難易度。良好的數(shù)字化學(xué)習(xí)工具能適應(yīng)學(xué)習(xí)環(huán)境并支持白適應(yīng)推薦與個(gè)性化定制,既能支持自主學(xué)習(xí)、協(xié)作學(xué)習(xí)等多種學(xué)習(xí)模式,也能支持混合式教學(xué)等多種教學(xué)模式。最后,學(xué)情分析表現(xiàn)在數(shù)字化學(xué)習(xí)工具在數(shù)據(jù)收集類(lèi)型、呈現(xiàn)形式、反饋時(shí)間等方面的情況。人工智能時(shí)代數(shù)字化學(xué)習(xí)工具應(yīng)能充分收集教師、學(xué)生、家長(zhǎng)在教學(xué)過(guò)程中的多模態(tài)數(shù)據(jù),并以自動(dòng)化的方式提供可視化的學(xué)習(xí)分析,幫助教師和家長(zhǎng)發(fā)現(xiàn)學(xué)生學(xué)習(xí)的隱性問(wèn)題,進(jìn)而選擇和調(diào)整教學(xué)策略。

    3.認(rèn)知臨場(chǎng)感:面向?qū)W習(xí)工具支持學(xué)生深度學(xué)習(xí)的情況

    認(rèn)知臨場(chǎng)感體現(xiàn)學(xué)習(xí)工具支持學(xué)生深度學(xué)習(xí)的情況,可以從認(rèn)知任務(wù)強(qiáng)化、高階思維和元認(rèn)知參與三個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。首先,評(píng)價(jià)認(rèn)知任務(wù)的強(qiáng)化體現(xiàn)為數(shù)字化學(xué)習(xí)工具能否通過(guò)有效的方式提供易于學(xué)習(xí)的框架和輔助性幫助。其次,高階思維體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否有效支持智能診斷與預(yù)測(cè),形成有效的支架或者提供優(yōu)質(zhì)的資源,以幫助學(xué)生開(kāi)展高級(jí)思維活動(dòng)。最后,元認(rèn)知參與的評(píng)價(jià)體現(xiàn)在數(shù)字化學(xué)習(xí)工具能否為學(xué)生定期或周期性地提供反饋、以及反饋是否形式化。較好的數(shù)字化學(xué)習(xí)工具提供在線學(xué)習(xí)過(guò)程的實(shí)時(shí)反饋、學(xué)習(xí)活動(dòng)的自動(dòng)記錄、自評(píng)工具、反思工具等,支持學(xué)生自主優(yōu)化學(xué)習(xí)行為,輔助學(xué)生提高自我監(jiān)控水平。

    四、人工智能時(shí)代數(shù)字化學(xué)習(xí)工具評(píng)價(jià)模型的應(yīng)用建議

    根據(jù)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的評(píng)價(jià)模型,我們可以建立數(shù)字化學(xué)習(xí)工具評(píng)價(jià)核心要素和關(guān)鍵維度之間的關(guān)系矩陣,如表5所示。其中,“+”代表著核心要素與關(guān)鍵維度之間的強(qiáng)相關(guān)性, “一”代表核心要素與關(guān)鍵維度之間的弱相關(guān)性。該矩陣可以為學(xué)校選擇應(yīng)用數(shù)字化學(xué)習(xí)工具和教育管理機(jī)構(gòu)規(guī)劃數(shù)字化學(xué)習(xí)工具發(fā)展提供依據(jù),為企業(yè)設(shè)計(jì)開(kāi)發(fā)數(shù)字化學(xué)習(xí)工具提供參考。

    首先,科學(xué)選擇數(shù)字化學(xué)習(xí)工具,支持智能化教學(xué)設(shè)計(jì)。學(xué)校應(yīng)根據(jù)人工智能時(shí)代師生教學(xué)活動(dòng)對(duì)學(xué)習(xí)工具的需求,選擇支持教學(xué)個(gè)性化、學(xué)習(xí)自主化、管理自動(dòng)化的數(shù)字化學(xué)習(xí)工具。

    其次,結(jié)合智慧校園建設(shè)基礎(chǔ)和規(guī)劃,選擇相適應(yīng)性的數(shù)字化學(xué)習(xí)工具,以實(shí)現(xiàn)人工智能時(shí)代多模態(tài)數(shù)據(jù)的收集整合和師生一站式服務(wù);對(duì)教師進(jìn)行智能化教學(xué)設(shè)計(jì)培訓(xùn),打造面向智能教育的專(zhuān)業(yè)化教學(xué)設(shè)計(jì)團(tuán)隊(duì),以實(shí)現(xiàn)數(shù)字化學(xué)習(xí)工具高效應(yīng)用于教學(xué)實(shí)踐。

    最后,關(guān)注學(xué)生數(shù)據(jù)安全問(wèn)題,考慮智能環(huán)境下多模態(tài)數(shù)據(jù)的知識(shí)產(chǎn)權(quán)問(wèn)題。當(dāng)涉及到隱私信息和知識(shí)產(chǎn)權(quán)問(wèn)題時(shí),學(xué)校要統(tǒng)一處理師生相關(guān)信息的導(dǎo)人、導(dǎo)出以及存檔,建立完善的教務(wù)管理系統(tǒng),確保師生教學(xué)活動(dòng)安全有序進(jìn)行。

    (二)作為教育管理機(jī)構(gòu)制定數(shù)字化工具相關(guān)行業(yè)政策的決策依據(jù)

    一方面,制定數(shù)據(jù)安全防護(hù)的政策法規(guī),確保學(xué)習(xí)工具在教育中的有序應(yīng)用。加快出臺(tái)人工智能教育應(yīng)用的法規(guī)制度建設(shè),解決人工智能背景下的數(shù)據(jù)安全問(wèn)題;建立線上線下相結(jié)合的網(wǎng)絡(luò)安全培訓(xùn)機(jī)制,著力防范化解網(wǎng)絡(luò)安全的重大風(fēng)險(xiǎn);建立市區(qū)校教師在線實(shí)踐共同體,聯(lián)合打造智能化的在線學(xué)習(xí)空間,構(gòu)建市區(qū)校協(xié)同的應(yīng)用生態(tài)系統(tǒng)[15]。

    另一方面,加強(qiáng)相關(guān)高校與教育信息化企業(yè)合作,建立智能時(shí)代數(shù)字化學(xué)習(xí)工具的應(yīng)用標(biāo)準(zhǔn)。教育管理機(jī)構(gòu)結(jié)合人工智能時(shí)代的技術(shù)要求和潛在的風(fēng)險(xiǎn),盡快完善相關(guān)的教育法律法規(guī);制定管理標(biāo)準(zhǔn)和應(yīng)用指南,將評(píng)價(jià)指標(biāo)納入數(shù)字化學(xué)習(xí)工具的標(biāo)準(zhǔn)體系;引導(dǎo)人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的有效應(yīng)用,促進(jìn)數(shù)字化學(xué)習(xí)工具在教學(xué)中發(fā)揮更大作用。

    (三)作為企業(yè)開(kāi)發(fā)與設(shè)計(jì)數(shù)字化學(xué)習(xí)工具的技術(shù)參考

    一方面,開(kāi)發(fā)兼具“技術(shù)性、功能性、教育性”的數(shù)字化學(xué)習(xí)工具,滿足智能時(shí)代師生的教學(xué)需求。信息化企業(yè)應(yīng)當(dāng)著眼于未來(lái)教育的發(fā)展需求,結(jié)合人工智能時(shí)代的技術(shù)發(fā)展,從教育教學(xué)視角設(shè)計(jì)數(shù)字化學(xué)習(xí)工具的體系架構(gòu);應(yīng)用大數(shù)據(jù)、人工智能、學(xué)習(xí)分析等技術(shù)開(kāi)發(fā)能夠支持精準(zhǔn)教學(xué)的數(shù)字化學(xué)習(xí)工具;完善數(shù)字化學(xué)習(xí)工具的育人功能,盡量減小數(shù)字化學(xué)習(xí)工具的使用成本;升級(jí)數(shù)據(jù)安全防護(hù)技術(shù),保證師生個(gè)人信息安全;持續(xù)增加學(xué)生對(duì)學(xué)習(xí)工具的認(rèn)可度,擴(kuò)大數(shù)字化學(xué)習(xí)工具的使用范圍。

    另一方面,推動(dòng)教育信息化產(chǎn)學(xué)研深度融合,共創(chuàng)精品智能化學(xué)習(xí)工具。信息化企業(yè)應(yīng)尋求與教育科研機(jī)構(gòu)、教育領(lǐng)域相關(guān)專(zhuān)家、一線教師等多方合作,融合人工智能領(lǐng)域前沿技術(shù),探索導(dǎo)師系統(tǒng)、評(píng)分系統(tǒng)、學(xué)習(xí)預(yù)測(cè)與分析技術(shù)等智能教育新樣態(tài),研發(fā)有效支撐人機(jī)協(xié)同的數(shù)字化學(xué)習(xí)工具,探索人工智能時(shí)代數(shù)字化學(xué)習(xí)工具的應(yīng)用模式、方法與策略。

    參考文獻(xiàn):

    [1]劉德建,杜靜等.人工智能融入學(xué)校教育的發(fā)展趨勢(shì)[J].開(kāi)放教育研究,2018,(4):33-42

    [2]宋靈青,許林.人工智能教育應(yīng)用的邏輯起點(diǎn)與邊界——以知識(shí)學(xué)習(xí)為例[J].中國(guó)電化教育,2019,(6):14-20.

    [3]錢(qián)冬明,郭瑋等.從學(xué)習(xí)工具的發(fā)展及應(yīng)用看e-Learning的發(fā)展——基于Topl00學(xué)習(xí)工具近五年的排名數(shù)據(jù)[J].中國(guó)電化教育,2012,(5):135-139.

    [4]張力.數(shù)字化學(xué)習(xí)T具的發(fā)展對(duì)信息化教學(xué)的作用分析[J]電化教育研究,2008.(9):27-30.

    [5]劉建軍.計(jì)算機(jī)輔助學(xué)習(xí)工具BLuk Box在口譯自主學(xué)習(xí)中的應(yīng)用[J].現(xiàn)代教育技術(shù),2011,(4):102-106.

    [6]顧連忠,劉建軍等.一種適于Web的概念圖評(píng)估和學(xué)習(xí)工具[J]電化教育研究,2010,(10):61-64.

    [7]劉艷艷,黃雙根等.智能課堂助手:人工智能背景下的教學(xué)工具[J]軟件導(dǎo)刊,2019.(9):217-220+224.

    [8]馮銳,董利亞等.運(yùn)用CBR原理設(shè)計(jì)經(jīng)驗(yàn)學(xué)習(xí)工具的研究[J]電化教育研究,2011.(11):46-52.

    [9]潘征寧,鐘紹春等.個(gè)性化學(xué)習(xí)工具設(shè)計(jì)及應(yīng)用研究[J].中國(guó)電化教育,2015,(6):86-91.

    [10]鮑賢清,毛文瑜等.場(chǎng)館環(huán)境中介性學(xué)習(xí)T具的設(shè)計(jì)與開(kāi)發(fā)——以上海科技館學(xué)習(xí)單設(shè)計(jì)研究為例[J].中國(guó)電化教育,2011.(10):40-47.

    [11]孫洪濤,陳麗等遠(yuǎn)程學(xué)習(xí)工具交互性研究[中國(guó)遠(yuǎn)程教育,2017,(4):33-41.

    [12]杜華,楊曉宏.移動(dòng)學(xué)習(xí)工具評(píng)價(jià)指標(biāo)體系研究——以場(chǎng)館APP評(píng)價(jià)為例[J].中國(guó)遠(yuǎn)程教育,2018,( 8):63-69.

    [13]錢(qián)冬明,羅安妮等.數(shù)字化學(xué)習(xí)工具標(biāo)準(zhǔn)研究與框架設(shè)計(jì)[Jl.電化教育研究,2019,(2):62-67.

    [14] Lauren M.Anstey.Gavan P.L.Watson..Ruhric for eLearning ToolEvaluation [EB/OL].https://teaching.uwo.ca/pdf/elearning/Rubric-for-eLearning-TooI-Evaluation.pdf, 2020-03 -20.

    [15]張惠敏,梁為等.面向未來(lái)的新型教育教學(xué)組織體系構(gòu)建與實(shí)施路徑研究——深圳市長(zhǎng)周期“停課不停學(xué)”實(shí)踐反思[J].中國(guó)電化教育,2020,(8):33-40.

    作者簡(jiǎn)介:

    趙慧臣:教授,博士生導(dǎo)師,系主任,研究方向教育信息化、STEM教育與創(chuàng)客教育。

    張雨欣:在讀碩士,研究方向?yàn)樾畔⒒虒W(xué)設(shè)計(jì)。

    李皖豫:在讀碩士,研究方向?yàn)樾畔⒒虒W(xué)設(shè)計(jì)。

    *本文系國(guó)家社會(huì)科學(xué)基金教育學(xué)國(guó)家一般課題“面向STEM教育的教師教學(xué)能力的評(píng)價(jià)與提升研究”(課題編號(hào):BCA180089)階段性研究成果。

    The Construction and Application of Evaluation Model of Digital Learning Tools in the Era

    of Artificial Intelligence

    Zhao Huichenl.2, Zhang Yuxinl, Li Wanyul, Li Yue1, Meng Linal

    (1.Education College, Henan University, Kaifeng 475004, Henan; 2.The Research Center of Education Informatizatio

    Development of Henan Province, Kaifeng 475004, Henan)

    Abstract: Artificial Intelligence not only supports the development of digital learning tools, but also accelerates the educationalapplication of digital learning tools. The leaming tools in the artificial intelligence era have expanded from the multiple representationsof knowledge in the multimedia era and content production and individual learning in the Internet era to large-scale leaming andsocial collaboration. Its research should further highlight the characteristics of leaming tools in the age of artificial intelligence basedon the evaluation of digital chemical tools in the multimedia age and the Intemet age. This paper constructs a hierarchical model andinteractive model for the evaluation of digital leaming tools in the era of artificial intelligence based on the evaluation standards ofdigital leaming tools in the United States, which concludes the three levels: technical support, functional guarantee, and educationalapplication, and eight dimensions: technical. accessibility, mobile design, functionality, data security, social presence, teachingpresence, and cognitive presence, and discusses the application strategies of the evaluation model of digital leaming tools in schools,education management institutions, and information enterprises on the basis of the evaluation relationship matrix of digital leamingtools.

    Kevwords: Artificial Intelligence; digital learning tools; evaluation model; evaluation index

    收稿日期 : 2021年3月8日

    責(zé)任編輯:李雅瑄

    猜你喜歡
    評(píng)價(jià)指標(biāo)人工智能
    我校新增“人工智能”本科專(zhuān)業(yè)
    2019:人工智能
    商界(2019年12期)2019-01-03 06:59:05
    人工智能與就業(yè)
    數(shù)讀人工智能
    小康(2017年16期)2017-06-07 09:00:59
    旅游產(chǎn)業(yè)與文化產(chǎn)業(yè)融合理論與實(shí)證分析
    中國(guó)藥品安全綜合評(píng)價(jià)指標(biāo)體系研究
    第三方物流企業(yè)績(jī)效評(píng)價(jià)研究綜述
    商(2016年33期)2016-11-24 23:50:25
    基于UML的高校思想政治教育工作評(píng)價(jià)系統(tǒng)的分析與研究
    公共文化服務(wù)體系評(píng)價(jià)指標(biāo)的國(guó)際經(jīng)驗(yàn)與啟示
    資源型企業(yè)財(cái)務(wù)競(jìng)爭(zhēng)力評(píng)價(jià)研究
    亚洲综合精品二区| 777米奇影视久久| 你懂的网址亚洲精品在线观看| 又黄又爽又刺激的免费视频.| 热99国产精品久久久久久7| 日韩av免费高清视频| 国产精品国产三级专区第一集| 日本黄色日本黄色录像| 国产乱人偷精品视频| 国产在视频线精品| 亚洲精品色激情综合| 午夜日本视频在线| 伦精品一区二区三区| 亚洲三级黄色毛片| 欧美精品高潮呻吟av久久| 大又大粗又爽又黄少妇毛片口| 秋霞伦理黄片| 日韩精品免费视频一区二区三区 | 五月开心婷婷网| 国产男女超爽视频在线观看| 亚洲国产精品一区二区三区在线| 亚洲精品日韩在线中文字幕| 3wmmmm亚洲av在线观看| 亚州av有码| 亚洲情色 制服丝袜| 日韩欧美精品免费久久| 51国产日韩欧美| 国产91av在线免费观看| av专区在线播放| 久久久久久久久久久免费av| 亚洲欧美一区二区三区黑人 | 99精国产麻豆久久婷婷| 亚洲国产精品一区二区三区在线| 欧美精品一区二区大全| 久久久亚洲精品成人影院| 男女啪啪激烈高潮av片| 纵有疾风起免费观看全集完整版| 我的老师免费观看完整版| 国产女主播在线喷水免费视频网站| 亚洲av日韩在线播放| 制服丝袜香蕉在线| 国产欧美另类精品又又久久亚洲欧美| 亚洲精品视频女| 亚洲欧美精品自产自拍| 亚洲欧美精品专区久久| 国产成人免费观看mmmm| 亚洲精品色激情综合| 一区二区三区四区激情视频| 国产淫片久久久久久久久| 国产精品久久久久久精品古装| av在线老鸭窝| 国产精品不卡视频一区二区| www.av在线官网国产| 边亲边吃奶的免费视频| 黄片无遮挡物在线观看| 看非洲黑人一级黄片| 日本vs欧美在线观看视频 | 丝袜在线中文字幕| 免费黄网站久久成人精品| 久久久久久久久久久丰满| a 毛片基地| 国产成人免费无遮挡视频| 久久久国产一区二区| 国产精品一区二区在线不卡| 免费av中文字幕在线| 精品久久久久久电影网| 99热国产这里只有精品6| 亚洲欧美精品专区久久| 最新的欧美精品一区二区| av网站免费在线观看视频| 黑丝袜美女国产一区| 内射极品少妇av片p| 精品一区二区三卡| 自线自在国产av| 国产亚洲一区二区精品| 男人爽女人下面视频在线观看| 日韩免费高清中文字幕av| 一区二区三区免费毛片| 国精品久久久久久国模美| 久久ye,这里只有精品| xxx大片免费视频| 日韩 亚洲 欧美在线| 午夜福利影视在线免费观看| 性色avwww在线观看| 国产免费视频播放在线视频| 久久精品久久精品一区二区三区| 午夜久久久在线观看| 亚洲精品色激情综合| 日韩中文字幕视频在线看片| 精品国产一区二区久久| 3wmmmm亚洲av在线观看| 国产黄频视频在线观看| 国产成人精品无人区| 永久网站在线| 成年美女黄网站色视频大全免费 | 日韩熟女老妇一区二区性免费视频| 久久久久国产网址| 精品少妇黑人巨大在线播放| 伦精品一区二区三区| 免费看不卡的av| 少妇被粗大的猛进出69影院 | 亚洲精品aⅴ在线观看| 交换朋友夫妻互换小说| 国产精品一区二区性色av| 久久人妻熟女aⅴ| 天堂中文最新版在线下载| 人妻夜夜爽99麻豆av| 欧美日韩一区二区视频在线观看视频在线| 大香蕉久久网| 久久鲁丝午夜福利片| 日韩成人伦理影院| 两个人免费观看高清视频 | 国产一区二区在线观看日韩| 最新的欧美精品一区二区| 国产精品福利在线免费观看| 日本黄大片高清| 麻豆成人av视频| 黄色欧美视频在线观看| 男人狂女人下面高潮的视频| 国产精品久久久久久精品古装| 纯流量卡能插随身wifi吗| 自线自在国产av| 中文在线观看免费www的网站| 国产色爽女视频免费观看| 男人添女人高潮全过程视频| 两个人免费观看高清视频 | 日本猛色少妇xxxxx猛交久久| 久久久国产一区二区| 亚洲精品国产成人久久av| 久久午夜综合久久蜜桃| 青青草视频在线视频观看| 欧美性感艳星| av国产精品久久久久影院| 国产成人免费无遮挡视频| 七月丁香在线播放| 肉色欧美久久久久久久蜜桃| 精品熟女少妇av免费看| 永久免费av网站大全| 亚洲国产精品一区二区三区在线| 欧美精品一区二区大全| 2022亚洲国产成人精品| 久久99蜜桃精品久久| 观看av在线不卡| 看非洲黑人一级黄片| 久久精品国产自在天天线| 日本wwww免费看| 国产极品粉嫩免费观看在线 | 99re6热这里在线精品视频| 黄色配什么色好看| 国产精品一区二区在线观看99| av天堂中文字幕网| 久久99一区二区三区| 欧美精品人与动牲交sv欧美| 伊人亚洲综合成人网| 一区二区三区精品91| 国产 一区精品| 久久精品国产自在天天线| 日日撸夜夜添| xxx大片免费视频| 亚洲精品国产色婷婷电影| 成人18禁高潮啪啪吃奶动态图 | 国产真实伦视频高清在线观看| 一区在线观看完整版| 极品人妻少妇av视频| 亚洲情色 制服丝袜| 人妻少妇偷人精品九色| 涩涩av久久男人的天堂| 成年人免费黄色播放视频 | 一级毛片久久久久久久久女| 女性被躁到高潮视频| 乱人伦中国视频| 久久亚洲国产成人精品v| 欧美激情极品国产一区二区三区 | 亚洲精品成人av观看孕妇| 如何舔出高潮| 97在线人人人人妻| 乱码一卡2卡4卡精品| 久热这里只有精品99| 在线精品无人区一区二区三| 精品国产一区二区三区久久久樱花| 在线看a的网站| 亚洲av中文av极速乱| 观看av在线不卡| 国产精品国产三级国产av玫瑰| 有码 亚洲区| 国精品久久久久久国模美| 大香蕉97超碰在线| 久久人人爽人人片av| 内地一区二区视频在线| 精品亚洲成国产av| 国产在线男女| 亚洲久久久国产精品| 夫妻性生交免费视频一级片| 纵有疾风起免费观看全集完整版| 深夜a级毛片| 亚洲国产精品专区欧美| 色哟哟·www| 久久99热这里只频精品6学生| 一级毛片我不卡| 建设人人有责人人尽责人人享有的| av线在线观看网站| 日韩一区二区视频免费看| 精品酒店卫生间| 亚洲第一区二区三区不卡| 这个男人来自地球电影免费观看 | 亚洲av在线观看美女高潮| 亚洲国产毛片av蜜桃av| 人人妻人人爽人人添夜夜欢视频 | 69精品国产乱码久久久| 一区二区av电影网| 啦啦啦在线观看免费高清www| 在线观看国产h片| 丰满少妇做爰视频| 久久人人爽人人片av| 国产亚洲av片在线观看秒播厂| 97超碰精品成人国产| 亚洲经典国产精华液单| 日韩人妻高清精品专区| av播播在线观看一区| 我的女老师完整版在线观看| 亚洲精品国产成人久久av| 99九九在线精品视频 | 亚洲欧美精品自产自拍| 亚洲精品自拍成人| 日韩精品有码人妻一区| 多毛熟女@视频| 一区二区三区四区激情视频| 水蜜桃什么品种好| 九九爱精品视频在线观看| 亚洲国产毛片av蜜桃av| 精品人妻熟女毛片av久久网站| 夜夜看夜夜爽夜夜摸| 国产午夜精品久久久久久一区二区三区| 搡老乐熟女国产| 韩国高清视频一区二区三区| 亚洲人与动物交配视频| 久久国产精品男人的天堂亚洲 | 亚洲精品第二区| 美女中出高潮动态图| 岛国毛片在线播放| 人妻夜夜爽99麻豆av| 看非洲黑人一级黄片| 欧美另类一区| av不卡在线播放| videos熟女内射| 久热这里只有精品99| 九草在线视频观看| 亚洲精品视频女| 七月丁香在线播放| 在线观看美女被高潮喷水网站| 亚洲av免费高清在线观看| 香蕉精品网在线| 青春草视频在线免费观看| 性高湖久久久久久久久免费观看| 久久久久久久久久久久大奶| 美女国产视频在线观看| 国产日韩一区二区三区精品不卡 | 国产精品人妻久久久影院| 久久99热这里只频精品6学生| 国产黄色视频一区二区在线观看| 成年av动漫网址| 亚洲精品一二三| 成人毛片a级毛片在线播放| 久久精品国产自在天天线| 国产视频首页在线观看| 国内精品宾馆在线| 午夜精品国产一区二区电影| 18+在线观看网站| 国产有黄有色有爽视频| 日韩精品有码人妻一区| 人人澡人人妻人| 丝袜脚勾引网站| 国产日韩欧美亚洲二区| 国产毛片在线视频| 永久免费av网站大全| 国产成人91sexporn| 视频中文字幕在线观看| 99热6这里只有精品| 日韩视频在线欧美| 成人亚洲欧美一区二区av| 国产真实伦视频高清在线观看| 又粗又硬又长又爽又黄的视频| 卡戴珊不雅视频在线播放| 亚洲精品中文字幕在线视频 | 一级毛片黄色毛片免费观看视频| 国产欧美日韩综合在线一区二区 | 久久久久网色| 91成人精品电影| 伊人久久精品亚洲午夜| 亚洲精品视频女| 在线观看三级黄色| 一级毛片我不卡| 99热这里只有精品一区| 欧美人与善性xxx| 久久热精品热| 爱豆传媒免费全集在线观看| 国产成人a∨麻豆精品| 国产一级毛片在线| 97超碰精品成人国产| 亚洲精品乱码久久久久久按摩| 亚洲国产欧美在线一区| 一级毛片我不卡| 亚洲不卡免费看| 国产成人freesex在线| 婷婷色麻豆天堂久久| 大片电影免费在线观看免费| 国产精品久久久久成人av| 丝瓜视频免费看黄片| 人妻制服诱惑在线中文字幕| 国产午夜精品久久久久久一区二区三区| 丰满迷人的少妇在线观看| 国产69精品久久久久777片| 亚洲人成网站在线观看播放| 99视频精品全部免费 在线| 亚洲av成人精品一二三区| 日本av手机在线免费观看| 少妇熟女欧美另类| 在线观看一区二区三区激情| 亚洲av二区三区四区| 街头女战士在线观看网站| av一本久久久久| 麻豆成人午夜福利视频| 观看免费一级毛片| 波野结衣二区三区在线| 欧美精品一区二区免费开放| 伦理电影免费视频| 精品人妻熟女av久视频| 一个人免费看片子| 亚洲成色77777| 少妇被粗大猛烈的视频| 综合色丁香网| 国产中年淑女户外野战色| 国产欧美日韩精品一区二区| 国产熟女欧美一区二区| 国产一区二区在线观看av| 中文字幕av电影在线播放| 丰满饥渴人妻一区二区三| 少妇的逼水好多| 在线观看av片永久免费下载| 日韩av免费高清视频| 亚洲精品日本国产第一区| 国产精品麻豆人妻色哟哟久久| 欧美日韩综合久久久久久| 日韩制服骚丝袜av| 91精品伊人久久大香线蕉| 亚洲精品456在线播放app| 欧美+日韩+精品| 亚洲美女黄色视频免费看| 狂野欧美激情性xxxx在线观看| 欧美xxxx性猛交bbbb| 80岁老熟妇乱子伦牲交| 22中文网久久字幕| 国产国拍精品亚洲av在线观看| 免费看av在线观看网站| 亚洲电影在线观看av| 搡老乐熟女国产| 久久 成人 亚洲| 日韩一区二区三区影片| 高清午夜精品一区二区三区| 免费大片18禁| 在线观看一区二区三区激情| 日本色播在线视频| 国产精品嫩草影院av在线观看| 大香蕉久久网| 国产亚洲最大av| 又爽又黄a免费视频| 这个男人来自地球电影免费观看 | 国产日韩一区二区三区精品不卡 | 亚洲精品一区蜜桃| 亚洲欧美精品专区久久| 国产淫片久久久久久久久| .国产精品久久| 天堂8中文在线网| h视频一区二区三区| 免费不卡的大黄色大毛片视频在线观看| 美女视频免费永久观看网站| 亚洲av欧美aⅴ国产| 一本久久精品| av有码第一页| 在线观看美女被高潮喷水网站| 男女无遮挡免费网站观看| 99久久精品热视频| 天堂俺去俺来也www色官网| 三级国产精品欧美在线观看| av国产久精品久网站免费入址| 熟女av电影| 免费久久久久久久精品成人欧美视频 | 国产欧美日韩一区二区三区在线 | 日本色播在线视频| 女性被躁到高潮视频| 日韩欧美一区视频在线观看 | 水蜜桃什么品种好| 成人综合一区亚洲| 亚洲av日韩在线播放| 91精品伊人久久大香线蕉| 蜜桃在线观看..| 日日撸夜夜添| 欧美成人精品欧美一级黄| 欧美xxⅹ黑人| 免费观看性生交大片5| 男女无遮挡免费网站观看| 色婷婷av一区二区三区视频| 三级国产精品片| 欧美区成人在线视频| 国产视频首页在线观看| 成人美女网站在线观看视频| 3wmmmm亚洲av在线观看| 国产精品久久久久久精品电影小说| 女人久久www免费人成看片| 欧美性感艳星| 亚洲av成人精品一区久久| 少妇丰满av| 少妇 在线观看| 日本黄大片高清| 欧美日韩国产mv在线观看视频| 亚洲欧美日韩东京热| 亚洲精品国产成人久久av| 男人添女人高潮全过程视频| 日韩精品有码人妻一区| 欧美成人精品欧美一级黄| av在线观看视频网站免费| 久久久久国产精品人妻一区二区| 欧美xxⅹ黑人| 中文字幕av电影在线播放| 中文资源天堂在线| 成人特级av手机在线观看| 久久久国产欧美日韩av| 99热网站在线观看| 亚洲国产欧美日韩在线播放 | 18禁在线无遮挡免费观看视频| 欧美激情国产日韩精品一区| 成人特级av手机在线观看| 夜夜爽夜夜爽视频| av免费在线看不卡| 亚洲美女搞黄在线观看| 黄片无遮挡物在线观看| 热re99久久精品国产66热6| 亚洲精品久久久久久婷婷小说| 国产精品一区www在线观看| 日本-黄色视频高清免费观看| 精品卡一卡二卡四卡免费| 伦理电影大哥的女人| 视频中文字幕在线观看| 赤兔流量卡办理| 黑人猛操日本美女一级片| 99久久精品一区二区三区| 自拍欧美九色日韩亚洲蝌蚪91 | 十分钟在线观看高清视频www | 国产av精品麻豆| 好男人视频免费观看在线| 亚洲成色77777| a级毛片在线看网站| 少妇的逼好多水| 又黄又爽又刺激的免费视频.| 亚洲欧洲国产日韩| 婷婷色av中文字幕| 亚洲精品,欧美精品| 韩国高清视频一区二区三区| 一级,二级,三级黄色视频| 亚洲国产精品成人久久小说| 国产免费福利视频在线观看| 美女福利国产在线| 人妻制服诱惑在线中文字幕| 在线观看美女被高潮喷水网站| 亚洲国产精品999| 亚洲国产精品一区三区| 免费看不卡的av| 多毛熟女@视频| 精品视频人人做人人爽| 国产精品人妻久久久影院| 国产在线一区二区三区精| 日本wwww免费看| 亚洲不卡免费看| 婷婷色综合大香蕉| 超碰97精品在线观看| av在线观看视频网站免费| 人妻系列 视频| 这个男人来自地球电影免费观看 | 国产精品久久久久久av不卡| 中国美白少妇内射xxxbb| 男女国产视频网站| 国产日韩欧美在线精品| 久久久久久伊人网av| 中文字幕人妻熟人妻熟丝袜美| 亚洲av成人精品一二三区| 免费黄网站久久成人精品| 国产欧美日韩综合在线一区二区 | 性高湖久久久久久久久免费观看| 久久久久久久精品精品| 亚洲,欧美,日韩| 亚洲国产精品一区三区| 日韩在线高清观看一区二区三区| 免费不卡的大黄色大毛片视频在线观看| videos熟女内射| 国产精品成人在线| 国内精品宾馆在线| 岛国毛片在线播放| 亚洲精品国产成人久久av| 又黄又爽又刺激的免费视频.| 免费观看a级毛片全部| 欧美精品亚洲一区二区| 亚洲经典国产精华液单| 搡老乐熟女国产| 久久国产精品男人的天堂亚洲 | 蜜桃久久精品国产亚洲av| 最新的欧美精品一区二区| 插阴视频在线观看视频| 看免费成人av毛片| 国产亚洲最大av| 国产日韩欧美在线精品| av福利片在线| 麻豆精品久久久久久蜜桃| 亚洲av日韩在线播放| 大片免费播放器 马上看| 99re6热这里在线精品视频| 国产成人精品婷婷| 又爽又黄a免费视频| 国产一区二区在线观看日韩| 国产日韩欧美视频二区| 亚洲欧美一区二区三区黑人 | 王馨瑶露胸无遮挡在线观看| 久久毛片免费看一区二区三区| 日韩中文字幕视频在线看片| 丝瓜视频免费看黄片| 午夜av观看不卡| 男人爽女人下面视频在线观看| 欧美最新免费一区二区三区| 一级毛片久久久久久久久女| 在线观看免费视频网站a站| 人人妻人人澡人人看| 免费看日本二区| 2022亚洲国产成人精品| 久久久久精品性色| 在线天堂最新版资源| 国产精品久久久久久av不卡| 内射极品少妇av片p| 我要看日韩黄色一级片| 午夜免费观看性视频| 在线观看三级黄色| 在线观看人妻少妇| 99久久精品热视频| 狠狠精品人妻久久久久久综合| 只有这里有精品99| 久久人人爽人人片av| 少妇人妻一区二区三区视频| 女的被弄到高潮叫床怎么办| 日韩中字成人| 久久久久久久久久久丰满| 自拍欧美九色日韩亚洲蝌蚪91 | 亚洲熟女精品中文字幕| 香蕉精品网在线| 少妇人妻 视频| 少妇精品久久久久久久| 国产亚洲欧美精品永久| 少妇的逼水好多| 天堂8中文在线网| 亚洲av二区三区四区| 我要看黄色一级片免费的| 精品人妻偷拍中文字幕| 免费看av在线观看网站| 亚洲av成人精品一二三区| 国产高清三级在线| 欧美国产精品一级二级三级 | 国产黄片视频在线免费观看| 国产白丝娇喘喷水9色精品| 高清欧美精品videossex| 久久免费观看电影| 亚洲精品456在线播放app| 日本vs欧美在线观看视频 | 黑人猛操日本美女一级片| 精品少妇黑人巨大在线播放| 欧美日韩国产mv在线观看视频| 天天操日日干夜夜撸| 国产无遮挡羞羞视频在线观看| 极品人妻少妇av视频| 国产淫语在线视频| 少妇裸体淫交视频免费看高清| www.av在线官网国产| 我要看黄色一级片免费的| 这个男人来自地球电影免费观看 | 亚洲精品日本国产第一区| 最新的欧美精品一区二区| 三上悠亚av全集在线观看 | av线在线观看网站| 桃花免费在线播放| 人妻 亚洲 视频| 国产精品一区二区在线不卡| 久久久久国产网址| 插阴视频在线观看视频| 国内少妇人妻偷人精品xxx网站| 韩国高清视频一区二区三区| 久久精品久久久久久噜噜老黄| 中文字幕制服av| 桃花免费在线播放| 欧美精品高潮呻吟av久久| 在线观看三级黄色| 国产精品不卡视频一区二区| 欧美日韩视频高清一区二区三区二| 国产成人精品福利久久| 欧美日韩国产mv在线观看视频| 国产成人精品久久久久久| 狂野欧美激情性bbbbbb| av免费观看日本| 涩涩av久久男人的天堂| 久久久精品94久久精品| 国产一区二区三区综合在线观看 | 在线观看av片永久免费下载| 精品人妻熟女av久视频| 亚洲精品自拍成人| 免费黄色在线免费观看| 国产欧美日韩综合在线一区二区 | 久久久亚洲精品成人影院| 妹子高潮喷水视频| 最新中文字幕久久久久| 日本欧美视频一区|