教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的 設(shè)計(jì)與驗(yàn)證

馬秀麟 李小文 閔雅琴 蘇幼園 梁靜

摘 要：隨著“互聯(lián)網(wǎng)+教育”的推進(jìn)，教育類數(shù)字化產(chǎn)品層出不窮，在“以學(xué)生為主體”的教學(xué)中發(fā)揮了重要作用。但縱觀教育類數(shù)字化產(chǎn)品的發(fā)展與研究，能客觀地對(duì)其進(jìn)行評(píng)價(jià)的指標(biāo)體系卻較少，導(dǎo)致教育類數(shù)字化產(chǎn)品雖數(shù)量龐大，質(zhì)量卻難以保證。本研究在文獻(xiàn)整理、教育類數(shù)字化產(chǎn)品研發(fā)和教學(xué)應(yīng)用實(shí)踐的基礎(chǔ)上，探索了教育類數(shù)字化產(chǎn)品評(píng)價(jià)的維度及有效指標(biāo)體系，以期為教育類數(shù)字化產(chǎn)品的設(shè)計(jì)、開發(fā)及其教育應(yīng)用前景進(jìn)行評(píng)估，實(shí)現(xiàn)對(duì)其質(zhì)量和價(jià)值的約束及保證，并為產(chǎn)品研發(fā)、優(yōu)化提供指導(dǎo)性建議。

關(guān)鍵詞：教育類數(shù)字化產(chǎn)品；評(píng)價(jià)維度；評(píng)價(jià)指標(biāo)體系

中圖分類號(hào)：G202 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2018）23-0009-06

一、研究背景及問題

1.研究背景

（1）教育信息化2.0與人工智能的推進(jìn)，促生了大量教育類數(shù)字化產(chǎn)品

伴隨著信息與通訊技術(shù)的迅速發(fā)展，教育信息化逐漸成為世界各國(guó)廣泛關(guān)注的熱點(diǎn)，也成為世界各國(guó)推進(jìn)教育持續(xù)發(fā)展和變革的必由之路[1]。自1993年美國(guó)政府提出“信息高速公路”計(jì)劃后，世界各國(guó)和組織相繼提出了符合國(guó)情的教育信息化建設(shè)規(guī)劃，希望能有效利用信息技術(shù)，提升國(guó)家整體教育水平[2]。如聯(lián)合國(guó)教科文組織的“教育信息化促進(jìn)教學(xué)變革”計(jì)劃、韓國(guó)的“虛擬大學(xué)”計(jì)劃、新加坡的“智慧島”計(jì)劃等。中國(guó)在教育信息化方面也做出了諸多行動(dòng)，如 “校校通”和“班班通”、“電子書包”和“教育云”等項(xiàng)目啟動(dòng)并取得進(jìn)展，“三通兩平臺(tái)”的口號(hào)更是響徹全國(guó)各地[3]。在教育信息化大浪潮的帶動(dòng)下，服務(wù)于課堂教學(xué)和課后自主學(xué)習(xí)的教育類數(shù)字化產(chǎn)品也不斷地涌現(xiàn)出來。

人工智能技術(shù)的出現(xiàn)，加速了教育類數(shù)字化產(chǎn)品的產(chǎn)生和發(fā)展。2016年10月，網(wǎng)易科技聯(lián)合網(wǎng)易智能、烏鎮(zhèn)智庫發(fā)布了《烏鎮(zhèn)指數(shù)：全球人工智能發(fā)展報(bào)告（2016）》，該報(bào)告指出人工智能應(yīng)用于教育領(lǐng)域的主要形式有：智能評(píng)測(cè)、個(gè)性化輔導(dǎo)、兒童陪伴等。學(xué)者陳凱泉指出，智能識(shí)別、自然語言理解、學(xué)習(xí)分析、虛擬現(xiàn)實(shí)、教育機(jī)器人等五類人工智能技術(shù)被大量引入教學(xué)系統(tǒng)，使傳統(tǒng)數(shù)字化教學(xué)系統(tǒng)、一系列在線學(xué)習(xí)平臺(tái)及MOOC平臺(tái)不僅實(shí)現(xiàn)了學(xué)習(xí)資源呈現(xiàn)、作業(yè)批改與答疑、學(xué)習(xí)社區(qū)構(gòu)建、支持交互協(xié)作等功能[4]，還能夠在應(yīng)用人工智能之后對(duì)知識(shí)與內(nèi)容的表征形式實(shí)行智能化改造，并能即時(shí)捕捉與感知、分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)[5]。

（2）教育類數(shù)字化產(chǎn)品質(zhì)量良莠不齊，影響了用戶體驗(yàn)

筆者對(duì)市面上的教育類數(shù)字化產(chǎn)品調(diào)研后發(fā)現(xiàn)，教育類數(shù)字化產(chǎn)品數(shù)量雖多，卻存在著產(chǎn)品良莠不齊、產(chǎn)品功能重復(fù)、具有嚴(yán)重缺陷、不符合教育教學(xué)規(guī)律等問題。調(diào)查顯示，在每年出現(xiàn)的幾百萬個(gè)APP中，可能只有幾百個(gè)能在市場(chǎng)中生存下來，應(yīng)用市場(chǎng)中堆積了越來越多的沒有更新、沒有評(píng)價(jià)的“僵尸”APP。

因此，無論從產(chǎn)品研發(fā)角度出發(fā)，還是從用戶視角考慮，對(duì)教育類數(shù)字化產(chǎn)品進(jìn)行監(jiān)管和評(píng)價(jià)，并借助有效的評(píng)價(jià)指標(biāo)體系為教育類數(shù)字化產(chǎn)品研發(fā)提供指導(dǎo)，對(duì)確保教育類數(shù)字化產(chǎn)品的質(zhì)量和持久發(fā)展顯得尤為重要。

2.研究問題

筆者以“產(chǎn)品評(píng)價(jià)指標(biāo)體系”為主題在CNKI中進(jìn)行檢索，發(fā)現(xiàn)在電子商務(wù)、環(huán)境、旅游、銀行產(chǎn)品等方面均已有較為成熟的產(chǎn)品評(píng)價(jià)指標(biāo)體系及相關(guān)研究論文，而在教育類數(shù)字化產(chǎn)品方面，文章數(shù)量卻極少，且沒有形成一個(gè)較為成熟和廣泛應(yīng)用的評(píng)價(jià)指標(biāo)體系。所以，筆者認(rèn)為，為保證教育類數(shù)字化產(chǎn)品的質(zhì)量，構(gòu)建出一個(gè)對(duì)教育類數(shù)字化產(chǎn)品進(jìn)行評(píng)價(jià)判斷的體系是必要的。一方面，有利于用戶獲取到有價(jià)值的產(chǎn)品和信息；另一方面，又可以讓開發(fā)者在評(píng)價(jià)判斷中不斷發(fā)現(xiàn)問題和不足，在后續(xù)的開發(fā)中進(jìn)行修改和完善，開發(fā)出更加優(yōu)質(zhì)、符合標(biāo)準(zhǔn)的產(chǎn)品。

基于教育類數(shù)字化產(chǎn)品中存在的問題，以及筆者對(duì)文獻(xiàn)的查閱和研究，本課題的研究問題主要聚焦為以下兩個(gè)方面：

（1）結(jié)合教育及其數(shù)字化產(chǎn)品的自身特點(diǎn)，并借助行業(yè)專家的把關(guān)，制定一套適用于教育類數(shù)字化產(chǎn)品的評(píng)價(jià)指標(biāo)體系。

（2）在完成產(chǎn)品評(píng)價(jià)指標(biāo)體系的初步設(shè)計(jì)之后，先在實(shí)際評(píng)價(jià)中進(jìn)行驗(yàn)證、完善，通過多輪迭代，以保證指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性。

二、研究設(shè)計(jì)

1.研究思路

面對(duì)數(shù)量龐大的教育類數(shù)字化產(chǎn)品，從哪幾個(gè)方面入手和研究，才能制定出一套比較規(guī)范和有說服力的評(píng)價(jià)指標(biāo)體系，是本研究著重考慮的問題。

首先，鑒于教育類數(shù)字化產(chǎn)品數(shù)量龐大，各產(chǎn)品有自己的屬性和特點(diǎn)，所以，評(píng)價(jià)指標(biāo)體系的制定不應(yīng)以一概全，而是要按照其服務(wù)目標(biāo)進(jìn)行分類，有指向性和針對(duì)性。因此，本研究應(yīng)在對(duì)教育類數(shù)字化產(chǎn)品充分調(diào)研的基礎(chǔ)上，發(fā)現(xiàn)產(chǎn)品之間的共性與個(gè)性，進(jìn)而根據(jù)其個(gè)性進(jìn)行分類，即將共性產(chǎn)品分為一類，再制定屬于此類產(chǎn)品的評(píng)價(jià)指標(biāo)體系，從而做出有針對(duì)性的評(píng)價(jià)和管理。所以，本課題首要任務(wù)就是先確定教育類數(shù)字化產(chǎn)品的分類。

其次，教育類數(shù)字化產(chǎn)品作為產(chǎn)品的一種，其應(yīng)滿足軟件產(chǎn)品所應(yīng)具備的基本要求。除此之外，教育類數(shù)字化產(chǎn)品本身自帶的屬性之一就是應(yīng)滿足教育自身所應(yīng)有的特性，也就是說，在針對(duì)教育類數(shù)字化產(chǎn)品的評(píng)價(jià)指標(biāo)體系中，必須包含教育性質(zhì)的維度和指標(biāo)。只有滿足這兩方面要求，才能確定教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的維度和指標(biāo)，進(jìn)而形成初版的評(píng)價(jià)指標(biāo)體系[6]。

最終，筆者選擇幾款有代表性的產(chǎn)品進(jìn)行試評(píng)，以期在此過程中完善初版的評(píng)價(jià)指標(biāo)體系，形成較為規(guī)范的有代表性和推廣價(jià)值的評(píng)價(jià)指標(biāo)體系。

2.研究流程設(shè)計(jì)

基于以上研究思路，本課題的研究流程主要包括文獻(xiàn)閱讀與分析、確定產(chǎn)品評(píng)價(jià)的維度、確定教育類數(shù)字化產(chǎn)品的類型與及其評(píng)價(jià)維度、形成初步的教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系、試測(cè)、修改和完善等一系列環(huán)節(jié)，其主要工作流程如圖 1所示。

三、教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的初步設(shè)計(jì)

因本研究旨在建設(shè)一套適用于教育類數(shù)字化產(chǎn)品的評(píng)價(jià)指標(biāo)體系，為教育類數(shù)字化產(chǎn)品的質(zhì)量監(jiān)控提供支持。一方面，借助此指標(biāo)體系，能幫助開發(fā)人員發(fā)現(xiàn)其產(chǎn)品中存在的不足，以便及時(shí)地進(jìn)行改進(jìn)和完善；另一方面，幫助產(chǎn)品質(zhì)量管控部門、終端用戶更好地了解產(chǎn)品、評(píng)價(jià)產(chǎn)品。

1.對(duì)教育類數(shù)字化產(chǎn)品分類及評(píng)價(jià)的相關(guān)研究

（1）教育類數(shù)字化產(chǎn)品的常見分類方式

教育類數(shù)字化產(chǎn)品的分類決定著評(píng)價(jià)的依據(jù)和標(biāo)準(zhǔn)。在現(xiàn)階段，教育類數(shù)字化產(chǎn)品并沒有形成統(tǒng)一和唯一的分類機(jī)制。相比較之下，對(duì)教育類數(shù)字化產(chǎn)品較為清晰的分類是管佳在《中國(guó)在線教育發(fā)展現(xiàn)狀、趨勢(shì)及經(jīng)驗(yàn)借鑒》一文中提出的在線教育產(chǎn)品分類規(guī)則。該文指出，在線教育的產(chǎn)品分類可以從多個(gè)角度進(jìn)行：從開發(fā)機(jī)構(gòu)主營(yíng)行業(yè)角度，可以分為專業(yè)教育機(jī)構(gòu)和一般商業(yè)機(jī)構(gòu)；從學(xué)習(xí)者受教育階段角度，可以分為K12、職業(yè)教育、高等教育、繼續(xù)教育等在線教育產(chǎn)品；從所提供的產(chǎn)品或服務(wù)角度，可以分為資源類、工具類、平臺(tái)類等在線教育產(chǎn)品；從是否發(fā)放證書角度，可以分為學(xué)歷教育和非學(xué)歷教育[7]。

（2）教育類數(shù)字化產(chǎn)品的評(píng)價(jià)維度

2013年，唐沰等人對(duì)教育類數(shù)字化產(chǎn)品中的手機(jī)閱讀應(yīng)用類產(chǎn)品以產(chǎn)品性質(zhì)、產(chǎn)品功能、產(chǎn)品服務(wù)、內(nèi)容形態(tài)、內(nèi)容來源、收費(fèi)模式為標(biāo)準(zhǔn)進(jìn)行分類，并以iReader掌閱、91熊貓看書、QQ閱讀等10個(gè)案例進(jìn)行測(cè)評(píng)，發(fā)現(xiàn)影響手機(jī)閱讀應(yīng)用產(chǎn)品優(yōu)劣的主要方面為：手機(jī)閱讀軟件及內(nèi)容設(shè)置。軟件使用方不方便、功能是否能夠滿足廣大用戶的需求、可供閱讀的內(nèi)容海量與否、能不能參與社交討論是手機(jī)閱讀應(yīng)用產(chǎn)品研發(fā)商應(yīng)該重點(diǎn)考察的問題[8]。

2016年，黃煒等人在對(duì)移動(dòng)應(yīng)用程序評(píng)價(jià)指標(biāo)體系的研究中，通過德爾菲法和用戶問卷調(diào)查相結(jié)合的方法確定了應(yīng)用平臺(tái)、用戶體驗(yàn)、可視化前臺(tái)和網(wǎng)絡(luò)后臺(tái)這四個(gè)指標(biāo)為一級(jí)指標(biāo)，通過選取七款具有代表性的APP作為實(shí)證案例進(jìn)行驗(yàn)證，發(fā)現(xiàn)APP只有將軟件本身的“用戶體驗(yàn)”和“功能”這兩點(diǎn)做到最好，才能讓用戶得到真正的滿意，形成良好的口碑[9]。

還有很多學(xué)者只對(duì)某一個(gè)特定互聯(lián)網(wǎng)產(chǎn)品進(jìn)行評(píng)價(jià)指標(biāo)體系的制定，比如鄭錫華對(duì)“咪咕閱讀APP”進(jìn)行研究時(shí)，構(gòu)建了該APP的用戶體驗(yàn)評(píng)價(jià)體系，主要包括產(chǎn)品質(zhì)量、用戶體驗(yàn)、服務(wù)及網(wǎng)絡(luò)、市場(chǎng)表現(xiàn)等四類指標(biāo)[10]。

其中，在用戶體驗(yàn)方面，尼克森的十大可用性原則作為產(chǎn)品設(shè)計(jì)與用戶體驗(yàn)設(shè)計(jì)的重要參考標(biāo)準(zhǔn)，已得到廣泛研究和使用[11]，具體見表 1。

2.分別確立不同類別產(chǎn)品的評(píng)價(jià)維度

本課題主要從教育類數(shù)字化產(chǎn)品的分類、教育類數(shù)字化產(chǎn)品評(píng)價(jià)維度的生成、教育類數(shù)字化產(chǎn)品的評(píng)價(jià)指標(biāo)體系初步產(chǎn)生及其優(yōu)化與完善等幾個(gè)方面切入并展開。

（1）對(duì)教育類數(shù)字化產(chǎn)品的分類

從服務(wù)于教育的主流數(shù)字化產(chǎn)品看，既有以資源支持為主的教學(xué)平臺(tái)、題庫系統(tǒng)、微課系統(tǒng)，也有面向特定需求的功能性產(chǎn)品，比如教學(xué)論壇、視訊通、家校通等系統(tǒng)；另外，“一起作業(yè)吧”“百度作業(yè)幫”則屬于功能與資源并重的服務(wù)。

參考教育類數(shù)字化資源的常見分類方式，結(jié)合筆者團(tuán)隊(duì)對(duì)教育類數(shù)字化產(chǎn)品的研發(fā)與深度體驗(yàn)，本課題決定從產(chǎn)品服務(wù)的視角出發(fā)，將教育類數(shù)字化產(chǎn)品劃分為資源型產(chǎn)品、功能型產(chǎn)品、資源與功能并重型產(chǎn)品三大類，并在后續(xù)研究中，以此三類為標(biāo)準(zhǔn)分別制定評(píng)價(jià)指標(biāo)體系。

（2）確立教育類數(shù)字化產(chǎn)品的評(píng)價(jià)維度

從市場(chǎng)上主流教育類數(shù)字化產(chǎn)品的現(xiàn)狀來看，交互性缺失、對(duì)以教育理論為指導(dǎo)的服務(wù)模式重視不夠是部分產(chǎn)品的巨大缺陷。面對(duì)這些問題，筆者認(rèn)為教育類數(shù)字化產(chǎn)品理應(yīng)做到：充分發(fā)揮數(shù)字化產(chǎn)品應(yīng)有的優(yōu)勢(shì)，具有較強(qiáng)的交互性、趣味性，具備能讓學(xué)生快樂學(xué)習(xí)的任務(wù)和交互方式，以激發(fā)學(xué)生學(xué)習(xí)興趣、引導(dǎo)學(xué)生以探索未知為起點(diǎn)，承擔(dān)起教育類數(shù)字化產(chǎn)品應(yīng)有的責(zé)任[12]。

從先前研究者的研究結(jié)果與尼克森的十大可用性原則來看，對(duì)教育類數(shù)字化產(chǎn)品的評(píng)價(jià)最好包括功能、交互（狀態(tài)可見、撤銷重做、人性化幫助）、綜合設(shè)計(jì)（環(huán)境貼切、一致性、靈活高效、易用）、導(dǎo)航（防錯(cuò)、易用）、檢索（易取）等五個(gè)方面，且應(yīng)體現(xiàn)出產(chǎn)品的教育性。在此基礎(chǔ)上，還需綜合考慮產(chǎn)品內(nèi)容質(zhì)量、內(nèi)容組織方式與產(chǎn)品改進(jìn)建議（主觀題）等三個(gè)方面，共形成了八個(gè)維度的評(píng)價(jià)指標(biāo)。

因此，本課題擬形成的產(chǎn)品評(píng)價(jià)指標(biāo)體系將主要從功能、交互、綜合設(shè)計(jì)、導(dǎo)航、檢索、內(nèi)容質(zhì)量、組織方式與改進(jìn)建議（主觀題）等八個(gè)維度來設(shè)計(jì)。結(jié)合前面所探討的“教育類數(shù)字化產(chǎn)品分類”標(biāo)準(zhǔn)，進(jìn)行了維度的進(jìn)一步側(cè)重和劃分，如圖 2所示。

在一級(jí)維度確定的情況下，根據(jù)各維度應(yīng)包含的原則，以及競(jìng)品分析過程中發(fā)現(xiàn)的需求、業(yè)內(nèi)優(yōu)質(zhì)產(chǎn)品的特色與優(yōu)勢(shì)，細(xì)化為本研究的二級(jí)指標(biāo)。其中資源型產(chǎn)品評(píng)價(jià)的維度與關(guān)鍵指標(biāo)見表2，功能型產(chǎn)品評(píng)價(jià)的維度與關(guān)鍵指標(biāo)見表3。

資源與功能并重型產(chǎn)品的關(guān)鍵評(píng)價(jià)指標(biāo)應(yīng)綜合考慮表2和表3的結(jié)構(gòu)，由表2和表3組合而成。

3.教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系之初稿

基于已經(jīng)確定的教育類數(shù)字化產(chǎn)品分類標(biāo)準(zhǔn)和評(píng)價(jià)指標(biāo)的一級(jí)維度、二級(jí)指標(biāo)，并聽取行業(yè)內(nèi)專家的意見，分別形成了面向三類產(chǎn)品的評(píng)價(jià)指標(biāo)體系。其中，資源型產(chǎn)品評(píng)價(jià)指標(biāo)體系如表 4所示，功能型產(chǎn)品的評(píng)價(jià)指標(biāo)體系如表 5所示。

四、教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的優(yōu)化與完善

為保證本指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性，論證其信度和效度，筆者團(tuán)隊(duì)通過邀請(qǐng)行業(yè)專家把關(guān)，對(duì)現(xiàn)有產(chǎn)品試評(píng)價(jià)來檢查評(píng)價(jià)指標(biāo)體系中存在的不足，并進(jìn)一步優(yōu)化與完善。

1.以試評(píng)價(jià)檢查新指標(biāo)體系的科學(xué)性和不足

首先根據(jù)擬試評(píng)產(chǎn)品的定位，確定該產(chǎn)品的所屬類別；然后根據(jù)類別選擇相應(yīng)的評(píng)價(jià)指標(biāo)維度和指標(biāo)項(xiàng)，進(jìn)行相應(yīng)項(xiàng)目的打分。并在打分與評(píng)價(jià)過程中，隨時(shí)對(duì)評(píng)價(jià)指標(biāo)體系中的問題及不便之處匯總、修正。

（1）對(duì)參與試評(píng)價(jià)產(chǎn)品的說明

本研究主要對(duì)背單詞軟件“百詞斬”、一起作業(yè)旗下的“一起作業(yè)老師端”、中國(guó)移動(dòng)“和教育”的“高中單詞通”“錯(cuò)題本”“互動(dòng)學(xué)習(xí)卡”“家校視訊通”共6款產(chǎn)品和若干個(gè)學(xué)習(xí)支持平臺(tái)進(jìn)行試評(píng)。

（2）基于產(chǎn)品試評(píng)價(jià)所發(fā)現(xiàn)的問題

通過對(duì)上述10余款產(chǎn)品的試測(cè)，筆者發(fā)現(xiàn)了6個(gè)主要問題：

①無論何種類型的教育產(chǎn)品，都應(yīng)以“幫助”形式配置產(chǎn)品功能與使用說明書，以引導(dǎo)和幫助用戶進(jìn)行產(chǎn)品試用，提升用戶使用產(chǎn)品的順暢性，增加用戶粘性。但部分產(chǎn)品在這方面嚴(yán)重不足。

②部分產(chǎn)品僅以計(jì)算機(jī)軟件研發(fā)人員的思路制作產(chǎn)品，嚴(yán)重缺乏教育理論的指導(dǎo)，甚至違反基本的教育教學(xué)理論，嚴(yán)重影響了教學(xué)效果和產(chǎn)品使用。因此，應(yīng)把產(chǎn)品是否符合新教育理念作為教育類數(shù)字化產(chǎn)品評(píng)價(jià)的關(guān)鍵指標(biāo)項(xiàng)。

③對(duì)于資源型產(chǎn)品，應(yīng)高度關(guān)注資源的組織方式和導(dǎo)航，最好能在頂層構(gòu)造“綜合性模糊檢索”功能，以支持模糊關(guān)鍵詞、多關(guān)鍵詞檢索。

④部分產(chǎn)品的用戶體驗(yàn)很差，存在程序響應(yīng)慢、并發(fā)量大時(shí)卡頓等問題，有些產(chǎn)品過于關(guān)注界面的華麗而忽視了多用戶并發(fā)狀態(tài)下的健壯性，存在系統(tǒng)“bug”。因此，在產(chǎn)品評(píng)價(jià)時(shí)，必須把用戶體驗(yàn)效果、“響應(yīng)力及健壯性” “功能覆蓋度”等要素添加到新指標(biāo)體系中。

⑤為便于產(chǎn)品評(píng)測(cè)人員打分，所有分項(xiàng)指標(biāo)應(yīng)采用標(biāo)準(zhǔn)統(tǒng)一的分值（10分）。當(dāng)評(píng)測(cè)人員完成分項(xiàng)打分之后，由評(píng)價(jià)系統(tǒng)按照一級(jí)指標(biāo)所分配的權(quán)重自動(dòng)折合各個(gè)指標(biāo)項(xiàng)的分值，從而得到整個(gè)產(chǎn)品的最終得分。

⑥各一級(jí)指標(biāo)項(xiàng)的權(quán)重需依據(jù)該維度在指標(biāo)體系內(nèi)的重要程度來設(shè)置。

2.教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的優(yōu)化版

基于試評(píng)效果及專家反饋信息，課題組對(duì)初版指標(biāo)體系進(jìn)行了優(yōu)化和補(bǔ)充，新增了若干需要重點(diǎn)關(guān)注的指標(biāo)項(xiàng)，形成了終版評(píng)價(jià)指標(biāo)體系。其中，資源型產(chǎn)品評(píng)價(jià)指標(biāo)體系見表6。

3.教育類數(shù)字化產(chǎn)品評(píng)價(jià)指標(biāo)體系的信度效度驗(yàn)證

為了保證評(píng)價(jià)指標(biāo)的科學(xué)性和嚴(yán)謹(jǐn)性，課題組借助專家評(píng)估及訪談等方式保證了指標(biāo)體系的結(jié)構(gòu)效度與權(quán)威性；通過試評(píng)價(jià)和專業(yè)的可靠性分析，論證了評(píng)價(jià)指標(biāo)體系的信度。

（1）信度檢驗(yàn)

在產(chǎn)品試評(píng)價(jià)的基礎(chǔ)上，本研究借助SPSS18.0數(shù)據(jù)分析工具，分別對(duì)各一級(jí)維度內(nèi)的指標(biāo)項(xiàng)進(jìn)行了數(shù)據(jù)可靠性檢驗(yàn)，發(fā)現(xiàn)各個(gè)維度的克朗巴哈系數(shù)均在0.8以上，說明各個(gè)維度均有較好的信度。另外，在將所有維度的指標(biāo)項(xiàng)均納入到“可靠性檢驗(yàn)”的變量列表之后，發(fā)現(xiàn)總體指標(biāo)體系的克朗巴哈系數(shù)為0.931，說明本評(píng)價(jià)指標(biāo)在整體上具有較好的信度保證。

（2）以德爾菲方法保證結(jié)構(gòu)效度

為保證新指標(biāo)體系的科學(xué)性和權(quán)威性，在評(píng)價(jià)指標(biāo)體系初步形成后，筆者即邀請(qǐng)北京師范大學(xué)教育技術(shù)學(xué)院的鄔彤副教授、張慶利高級(jí)工程師對(duì)本指標(biāo)體系進(jìn)行了評(píng)估，并認(rèn)真聽取二位行業(yè)專家的改進(jìn)建議。與此同時(shí)，課題組選取了中移動(dòng)“和教育”的部分產(chǎn)品進(jìn)行試評(píng)，并邀請(qǐng)中國(guó)移動(dòng)“和教育”產(chǎn)品質(zhì)量管理部負(fù)責(zé)人閔雅琴、產(chǎn)品經(jīng)理寧博等人參與試評(píng)工作，請(qǐng)他們結(jié)合產(chǎn)品的評(píng)價(jià)情況進(jìn)一步補(bǔ)充和完善了指標(biāo)體系，形成了較為科學(xué)和嚴(yán)謹(jǐn)?shù)脑u(píng)價(jià)指標(biāo)體系。

五、研究總結(jié)與展望

本研究提出了符合教育特點(diǎn)并兼顧產(chǎn)品自身優(yōu)勢(shì)的產(chǎn)品評(píng)價(jià)指標(biāo)體系，對(duì)于教育類數(shù)字化產(chǎn)品的設(shè)計(jì)開發(fā)、評(píng)價(jià)及其良性發(fā)展都具有一定的引導(dǎo)作用。

盡管專家的參與已經(jīng)在一定程度上保證了本指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性，但由于試測(cè)產(chǎn)品數(shù)量不多且具有一定局限性，導(dǎo)致本指標(biāo)體系的普適性和科學(xué)性仍有待進(jìn)一步檢驗(yàn)，希望對(duì)后續(xù)產(chǎn)品的大批量測(cè)試能夠不斷地完善與補(bǔ)充，使本評(píng)價(jià)指標(biāo)體系更加全面和權(quán)威。

參考文獻(xiàn)：

[1]焦建利，賈義敏，任改梅.教育信息化的宏觀政策與戰(zhàn)略研究[J].遠(yuǎn)程教育雜志，2014，32（1）：25-32.

[2]張進(jìn)寶，黃榮懷，吳砥.國(guó)際教育信息化發(fā)展報(bào)告：內(nèi)容與結(jié)論[J].開放教育研究，2014，20（4）：76-83.

[3]劉鮮，王瑛，汪曉東，任改梅，焦建利.教育信息化進(jìn)程中基礎(chǔ)設(shè)施的發(fā)展戰(zhàn)略研究[J].遠(yuǎn)程教育雜志，2014，32（5）：24-33.

[4]陳凱泉，沙俊宏，何瑤.人工智能2.0重塑學(xué)習(xí)的技術(shù)路徑與實(shí)踐探索——兼論智能教學(xué)系統(tǒng)的功能升級(jí)[J].遠(yuǎn)程教育雜志，2017，35（5）：40-53.

[5]馬秀麟，蘇幼園，梁靜.移動(dòng)學(xué)習(xí)環(huán)境中注意力保持及學(xué)習(xí)行為控制模型的研究[J].遠(yuǎn)程教育雜志，2018，36（2）：56-66.

[6]馬秀麟，毛荷，岳超群，蔣珊珊.從實(shí)證分析的視角看MOOC的利與弊[J].中國(guó)教育信息化，2014（22）：3-6.

[7]管佳，李奇濤.中國(guó)在線教育發(fā)展現(xiàn)狀、趨勢(shì)及經(jīng)驗(yàn)借鑒[J].中國(guó)電化教育，2014（8）：62-66.

[8]唐沰.手機(jī)閱讀應(yīng)用產(chǎn)品評(píng)價(jià)指標(biāo)體系構(gòu)建及應(yīng)用[D].北京：北京印刷學(xué)院，2013.

[9]黃煒，李總苛，黃建橋.移動(dòng)應(yīng)用程序（APP）評(píng)價(jià)指標(biāo)體系研究[J].圖書與情報(bào)，2016（3）：110-117.

[10]鄭錫華.咪咕閱讀客戶端用戶體驗(yàn)評(píng)價(jià)體系構(gòu)建研究[D].長(zhǎng)春：吉林大學(xué)，2016.

[11]李珊珊.移動(dòng)互聯(lián)網(wǎng)產(chǎn)品試點(diǎn)的評(píng)價(jià)指標(biāo)體系研究[D].北京：北京郵電大學(xué)，2017.

[12]王玉.交互設(shè)計(jì)理念下的教育類數(shù)字化產(chǎn)品設(shè)計(jì)研究[J].大眾文藝，2018（2）：12-15.

（編輯：王曉明）