教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的設(shè)計與驗證*

馬秀麟，李小文 ，閔雅琴 ，蘇幼園，梁 靜

（1.北京師范大學(xué) 教育技術(shù)學(xué)院，北京 100875；2.“移動學(xué)習(xí)”教育部-中國移動聯(lián)合實驗室，北京 100875）

一、研究背景及問題

1.研究背景

（1）教育信息化2.0與人工智能的推進(jìn)，促生了大量教育類數(shù)字化產(chǎn)品

伴隨著信息與通訊技術(shù)的迅速發(fā)展，教育信息化逐漸成為世界各國廣泛關(guān)注的熱點，也成為世界各國推進(jìn)教育持續(xù)發(fā)展和變革的必由之路[1]。自1993年美國政府提出“信息高速公路”計劃后，世界各國和組織相繼提出了符合國情的教育信息化建設(shè)規(guī)劃，希望能有效利用信息技術(shù)，提升國家整體教育水平[2]。如聯(lián)合國教科文組織的“教育信息化促進(jìn)教學(xué)變革”計劃、韓國的“虛擬大學(xué)”計劃、新加坡的“智慧島”計劃等。中國在教育信息化方面也做出了諸多行動，如 “校校通”和“班班通”、“電子書包”和“教育云”等項目啟動并取得進(jìn)展，“三通兩平臺”的口號更是響徹全國各地[3]。在教育信息化大浪潮的帶動下，服務(wù)于課堂教學(xué)和課后自主學(xué)習(xí)的教育類數(shù)字化產(chǎn)品也不斷地涌現(xiàn)出來。

人工智能技術(shù)的出現(xiàn)，加速了教育類數(shù)字化產(chǎn)品的產(chǎn)生和發(fā)展。2016年10月，網(wǎng)易科技聯(lián)合網(wǎng)易智能、烏鎮(zhèn)智庫發(fā)布了《烏鎮(zhèn)指數(shù)：全球人工智能發(fā)展報告（2016）》，該報告指出人工智能應(yīng)用于教育領(lǐng)域的主要形式有：智能評測、個性化輔導(dǎo)、兒童陪伴等。學(xué)者陳凱泉指出，智能識別、自然語言理解、學(xué)習(xí)分析、虛擬現(xiàn)實、教育機(jī)器人等五類人工智能技術(shù)被大量引入教學(xué)系統(tǒng)，使傳統(tǒng)數(shù)字化教學(xué)系統(tǒng)、一系列在線學(xué)習(xí)平臺及MOOC平臺不僅實現(xiàn)了學(xué)習(xí)資源呈現(xiàn)、作業(yè)批改與答疑、學(xué)習(xí)社區(qū)構(gòu)建、支持交互協(xié)作等功能[4]，還能夠在應(yīng)用人工智能之后對知識與內(nèi)容的表征形式實行智能化改造，并能即時捕捉與感知、分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)[5]。

（2）教育類數(shù)字化產(chǎn)品質(zhì)量良莠不齊，影響了用戶體驗

筆者對市面上的教育類數(shù)字化產(chǎn)品調(diào)研后發(fā)現(xiàn)，教育類數(shù)字化產(chǎn)品數(shù)量雖多，卻存在著產(chǎn)品良莠不齊、產(chǎn)品功能重復(fù)、具有嚴(yán)重缺陷、不符合教育教學(xué)規(guī)律等問題。調(diào)查顯示，在每年出現(xiàn)的幾百萬個APP中，可能只有幾百個能在市場中生存下來，應(yīng)用市場中堆積了越來越多的沒有更新、沒有評價的“僵尸”APP。

因此，無論從產(chǎn)品研發(fā)角度出發(fā)，還是從用戶視角考慮，對教育類數(shù)字化產(chǎn)品進(jìn)行監(jiān)管和評價，并借助有效的評價指標(biāo)體系為教育類數(shù)字化產(chǎn)品研發(fā)提供指導(dǎo)，對確保教育類數(shù)字化產(chǎn)品的質(zhì)量和持久發(fā)展顯得尤為重要。

2.研究問題

筆者以“產(chǎn)品評價指標(biāo)體系”為主題在CNKI中進(jìn)行檢索，發(fā)現(xiàn)在電子商務(wù)、環(huán)境、旅游、銀行產(chǎn)品等方面均已有較為成熟的產(chǎn)品評價指標(biāo)體系及相關(guān)研究論文，而在教育類數(shù)字化產(chǎn)品方面，文章數(shù)量卻極少，且沒有形成一個較為成熟和廣泛應(yīng)用的評價指標(biāo)體系。所以，筆者認(rèn)為，為保證教育類數(shù)字化產(chǎn)品的質(zhì)量，構(gòu)建出一個對教育類數(shù)字化產(chǎn)品進(jìn)行評價判斷的體系是必要的。一方面，有利于用戶獲取到有價值的產(chǎn)品和信息；另一方面，又可以讓開發(fā)者在評價判斷中不斷發(fā)現(xiàn)問題和不足，在后續(xù)的開發(fā)中進(jìn)行修改和完善，開發(fā)出更加優(yōu)質(zhì)、符合標(biāo)準(zhǔn)的產(chǎn)品。

基于教育類數(shù)字化產(chǎn)品中存在的問題，以及筆者對文獻(xiàn)的查閱和研究，本課題的研究問題主要聚焦為以下兩個方面：

（1）結(jié)合教育及其數(shù)字化產(chǎn)品的自身特點，并借助行業(yè)專家的把關(guān)，制定一套適用于教育類數(shù)字化產(chǎn)品的評價指標(biāo)體系。

（2）在完成產(chǎn)品評價指標(biāo)體系的初步設(shè)計之后，先在實際評價中進(jìn)行驗證、完善，通過多輪迭代，以保證指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性。

二、研究設(shè)計

1.研究思路

面對數(shù)量龐大的教育類數(shù)字化產(chǎn)品，從哪幾個方面入手和研究，才能制定出一套比較規(guī)范和有說服力的評價指標(biāo)體系，是本研究著重考慮的問題。

首先，鑒于教育類數(shù)字化產(chǎn)品數(shù)量龐大，各產(chǎn)品有自己的屬性和特點，所以，評價指標(biāo)體系的制定不應(yīng)以一概全，而是要按照其服務(wù)目標(biāo)進(jìn)行分類，有指向性和針對性。因此，本研究應(yīng)在對教育類數(shù)字化產(chǎn)品充分調(diào)研的基礎(chǔ)上，發(fā)現(xiàn)產(chǎn)品之間的共性與個性，進(jìn)而根據(jù)其個性進(jìn)行分類，即將共性產(chǎn)品分為一類，再制定屬于此類產(chǎn)品的評價指標(biāo)體系，從而做出有針對性的評價和管理。所以，本課題首要任務(wù)就是先確定教育類數(shù)字化產(chǎn)品的分類。

其次，教育類數(shù)字化產(chǎn)品作為產(chǎn)品的一種，其應(yīng)滿足軟件產(chǎn)品所應(yīng)具備的基本要求。除此之外，教育類數(shù)字化產(chǎn)品本身自帶的屬性之一就是應(yīng)滿足教育自身所應(yīng)有的特性，也就是說，在針對教育類數(shù)字化產(chǎn)品的評價指標(biāo)體系中，必須包含教育性質(zhì)的維度和指標(biāo)。只有滿足這兩方面要求，才能確定教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的維度和指標(biāo)，進(jìn)而形成初版的評價指標(biāo)體系[6]。

最終，筆者選擇幾款有代表性的產(chǎn)品進(jìn)行試評，以期在此過程中完善初版的評價指標(biāo)體系，形成較為規(guī)范的有代表性和推廣價值的評價指標(biāo)體系。

2.研究流程設(shè)計

基于以上研究思路，本課題的研究流程主要包括文獻(xiàn)閱讀與分析、確定產(chǎn)品評價的維度、確定教育類數(shù)字化產(chǎn)品的類型與及其評價維度、形成初步的教育類數(shù)字化產(chǎn)品評價指標(biāo)體系、試測、修改和完善等一系列環(huán)節(jié)，其主要工作流程如圖1所示。

圖1 研究流程圖

三、教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的初步設(shè)計

因本研究旨在建設(shè)一套適用于教育類數(shù)字化產(chǎn)品的評價指標(biāo)體系，為教育類數(shù)字化產(chǎn)品的質(zhì)量監(jiān)控提供支持。一方面，借助此指標(biāo)體系，能幫助開發(fā)人員發(fā)現(xiàn)其產(chǎn)品中存在的不足，以便及時地進(jìn)行改進(jìn)和完善；另一方面，幫助產(chǎn)品質(zhì)量管控部門、終端用戶更好地了解產(chǎn)品、評價產(chǎn)品。

1.對教育類數(shù)字化產(chǎn)品分類及評價的相關(guān)研究

（1）教育類數(shù)字化產(chǎn)品的常見分類方式

教育類數(shù)字化產(chǎn)品的分類決定著評價的依據(jù)和標(biāo)準(zhǔn)。在現(xiàn)階段，教育類數(shù)字化產(chǎn)品并沒有形成統(tǒng)一和唯一的分類機(jī)制。相比較之下，對教育類數(shù)字化產(chǎn)品較為清晰的分類是管佳在《中國在線教育發(fā)展現(xiàn)狀、趨勢及經(jīng)驗借鑒》一文中提出的在線教育產(chǎn)品分類規(guī)則。該文指出，在線教育的產(chǎn)品分類可以從多個角度進(jìn)行：從開發(fā)機(jī)構(gòu)主營行業(yè)角度，可以分為專業(yè)教育機(jī)構(gòu)和一般商業(yè)機(jī)構(gòu)；從學(xué)習(xí)者受教育階段角度，可以分為K12、職業(yè)教育、高等教育、繼續(xù)教育等在線教育產(chǎn)品；從所提供的產(chǎn)品或服務(wù)角度，可以分為資源類、工具類、平臺類等在線教育產(chǎn)品；從是否發(fā)放證書角度，可以分為學(xué)歷教育和非學(xué)歷教育[7]。

（2）教育類數(shù)字化產(chǎn)品的評價維度

2013年，唐沰等人對教育類數(shù)字化產(chǎn)品中的手機(jī)閱讀應(yīng)用類產(chǎn)品以產(chǎn)品性質(zhì)、產(chǎn)品功能、產(chǎn)品服務(wù)、內(nèi)容形態(tài)、內(nèi)容來源、收費模式為標(biāo)準(zhǔn)進(jìn)行分類，并以iReader掌閱、91熊貓看書、QQ閱讀等10個案例進(jìn)行測評，發(fā)現(xiàn)影響手機(jī)閱讀應(yīng)用產(chǎn)品優(yōu)劣的主要方面為：手機(jī)閱讀軟件及內(nèi)容設(shè)置。軟件使用方不方便、功能是否能夠滿足廣大用戶的需求、可供閱讀的內(nèi)容海量與否、能不能參與社交討論是手機(jī)閱讀應(yīng)用產(chǎn)品研發(fā)商應(yīng)該重點考察的問題[8]。

2016年，黃煒等人在對移動應(yīng)用程序評價指標(biāo)體系的研究中，通過德爾菲法和用戶問卷調(diào)查相結(jié)合的方法確定了應(yīng)用平臺、用戶體驗、可視化前臺和網(wǎng)絡(luò)后臺這四個指標(biāo)為一級指標(biāo)，通過選取七款具有代表性的APP作為實證案例進(jìn)行驗證，發(fā)現(xiàn)APP只有將軟件本身的“用戶體驗”和“功能”這兩點做到最好，才能讓用戶得到真正的滿意，形成良好的口碑[9]。

還有很多學(xué)者只對某一個特定互聯(lián)網(wǎng)產(chǎn)品進(jìn)行評價指標(biāo)體系的制定，比如鄭錫華對“咪咕閱讀APP”進(jìn)行研究時，構(gòu)建了該APP的用戶體驗評價體系，主要包括產(chǎn)品質(zhì)量、用戶體驗、服務(wù)及網(wǎng)絡(luò)、市場表現(xiàn)等四類指標(biāo)[10]。

其中，在用戶體驗方面，尼克森的十大可用性原則作為產(chǎn)品設(shè)計與用戶體驗設(shè)計的重要參考標(biāo)準(zhǔn)，已得到廣泛研究和使用[11]，具體見表 1。

表1 尼克森的十大可用性原則

2.分別確立不同類別產(chǎn)品的評價維度

本課題主要從教育類數(shù)字化產(chǎn)品的分類、教育類數(shù)字化產(chǎn)品評價維度的生成、教育類數(shù)字化產(chǎn)品的評價指標(biāo)體系初步產(chǎn)生及其優(yōu)化與完善等幾個方面切入并展開。

（1）對教育類數(shù)字化產(chǎn)品的分類

從服務(wù)于教育的主流數(shù)字化產(chǎn)品看，既有以資源支持為主的教學(xué)平臺、題庫系統(tǒng)、微課系統(tǒng)，也有面向特定需求的功能性產(chǎn)品，比如教學(xué)論壇、視訊通、家校通等系統(tǒng)；另外，“一起作業(yè)吧”“百度作業(yè)幫”則屬于功能與資源并重的服務(wù)。

參考教育類數(shù)字化資源的常見分類方式，結(jié)合筆者團(tuán)隊對教育類數(shù)字化產(chǎn)品的研發(fā)與深度體驗，本課題決定從產(chǎn)品服務(wù)的視角出發(fā)，將教育類數(shù)字化產(chǎn)品劃分為資源型產(chǎn)品、功能型產(chǎn)品、資源與功能并重型產(chǎn)品三大類，并在后續(xù)研究中，以此三類為標(biāo)準(zhǔn)分別制定評價指標(biāo)體系。

（2）確立教育類數(shù)字化產(chǎn)品的評價維度

從市場上主流教育類數(shù)字化產(chǎn)品的現(xiàn)狀來看，交互性缺失、對以教育理論為指導(dǎo)的服務(wù)模式重視不夠是部分產(chǎn)品的巨大缺陷。面對這些問題，筆者認(rèn)為教育類數(shù)字化產(chǎn)品理應(yīng)做到：充分發(fā)揮數(shù)字化產(chǎn)品應(yīng)有的優(yōu)勢，具有較強(qiáng)的交互性、趣味性，具備能讓學(xué)生快樂學(xué)習(xí)的任務(wù)和交互方式，以激發(fā)學(xué)生學(xué)習(xí)興趣、引導(dǎo)學(xué)生以探索未知為起點，承擔(dān)起教育類數(shù)字化產(chǎn)品應(yīng)有的責(zé)任[12]。

從先前研究者的研究結(jié)果與尼克森的十大可用性原則來看，對教育類數(shù)字化產(chǎn)品的評價最好包括功能、交互（狀態(tài)可見、撤銷重做、人性化幫助）、綜合設(shè)計（環(huán)境貼切、一致性、靈活高效、易用）、導(dǎo)航（防錯、易用）、檢索（易?。┑任鍌€方面，且應(yīng)體現(xiàn)出產(chǎn)品的教育性。在此基礎(chǔ)上，還需綜合考慮產(chǎn)品內(nèi)容質(zhì)量、內(nèi)容組織方式與產(chǎn)品改進(jìn)建議（主觀題）等三個方面，共形成了八個維度的評價指標(biāo)。

因此，本課題擬形成的產(chǎn)品評價指標(biāo)體系將主要從功能、交互、綜合設(shè)計、導(dǎo)航、檢索、內(nèi)容質(zhì)量、組織方式與改進(jìn)建議（主觀題）等八個維度來設(shè)計。結(jié)合前面所探討的“教育類數(shù)字化產(chǎn)品分類”標(biāo)準(zhǔn)，進(jìn)行了維度的進(jìn)一步側(cè)重和劃分，如圖2所示。

圖2 教育類數(shù)字化產(chǎn)品分類及評價維度

在一級維度確定的情況下，根據(jù)各維度應(yīng)包含的原則，以及競品分析過程中發(fā)現(xiàn)的需求、業(yè)內(nèi)優(yōu)質(zhì)產(chǎn)品的特色與優(yōu)勢，細(xì)化為本研究的二級指標(biāo)。其中資源型產(chǎn)品評價的維度與關(guān)鍵指標(biāo)見表2，功能型產(chǎn)品評價的維度與關(guān)鍵指標(biāo)見表3。

資源與功能并重型產(chǎn)品的關(guān)鍵評價指標(biāo)應(yīng)綜合考慮表2和表3的結(jié)構(gòu)，由表2和表3組合而成。

3.教育類數(shù)字化產(chǎn)品評價指標(biāo)體系之初稿

基于已經(jīng)確定的教育類數(shù)字化產(chǎn)品分類標(biāo)準(zhǔn)和評價指標(biāo)的一級維度、二級指標(biāo)，并聽取行業(yè)內(nèi)專家的意見，分別形成了面向三類產(chǎn)品的評價指標(biāo)體系。其中，資源型產(chǎn)品評價指標(biāo)體系如表4所示，功能型產(chǎn)品的評價指標(biāo)體系如表5所示。

表2 資源型產(chǎn)品評價的一級維度與二級指標(biāo)

表3 功能型產(chǎn)品評價的一級維度與二級指標(biāo)

四、教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的優(yōu)化與完善

為保證本指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性，論證其信度和效度，筆者團(tuán)隊通過邀請行業(yè)專家把關(guān)，對現(xiàn)有產(chǎn)品試評價來檢查評價指標(biāo)體系中存在的不足，并進(jìn)一步優(yōu)化與完善。

1.以試評價檢查新指標(biāo)體系的科學(xué)性和不足

首先根據(jù)擬試評產(chǎn)品的定位，確定該產(chǎn)品的所屬類別；然后根據(jù)類別選擇相應(yīng)的評價指標(biāo)維度和指標(biāo)項，進(jìn)行相應(yīng)項目的打分。并在打分與評價過程中，隨時對評價指標(biāo)體系中的問題及不便之處匯總、修正。

表4 資源型產(chǎn)品評價指標(biāo)體系初版

表5 功能型產(chǎn)品評價指標(biāo)體系初版

（1）對參與試評價產(chǎn)品的說明

本研究主要對背單詞軟件“百詞斬”、一起作業(yè)旗下的“一起作業(yè)老師端”、中國移動“和教育”的“高中單詞通”“錯題本”“互動學(xué)習(xí)卡”“家校視訊通”共6款產(chǎn)品和若干個學(xué)習(xí)支持平臺進(jìn)行試評。

（2）基于產(chǎn)品試評價所發(fā)現(xiàn)的問題

通過對上述10余款產(chǎn)品的試測，筆者發(fā)現(xiàn)了6個主要問題：

①無論何種類型的教育產(chǎn)品，都應(yīng)以“幫助”形式配置產(chǎn)品功能與使用說明書，以引導(dǎo)和幫助用戶進(jìn)行產(chǎn)品試用，提升用戶使用產(chǎn)品的順暢性，增加用戶粘性。但部分產(chǎn)品在這方面嚴(yán)重不足。

②部分產(chǎn)品僅以計算機(jī)軟件研發(fā)人員的思路制作產(chǎn)品，嚴(yán)重缺乏教育理論的指導(dǎo)，甚至違反基本的教育教學(xué)理論，嚴(yán)重影響了教學(xué)效果和產(chǎn)品使用。因此，應(yīng)把產(chǎn)品是否符合新教育理念作為教育類數(shù)字化產(chǎn)品評價的關(guān)鍵指標(biāo)項。

③對于資源型產(chǎn)品，應(yīng)高度關(guān)注資源的組織方式和導(dǎo)航，最好能在頂層構(gòu)造“綜合性模糊檢索”功能，以支持模糊關(guān)鍵詞、多關(guān)鍵詞檢索。

④部分產(chǎn)品的用戶體驗很差，存在程序響應(yīng)慢、并發(fā)量大時卡頓等問題，有些產(chǎn)品過于關(guān)注界面的華麗而忽視了多用戶并發(fā)狀態(tài)下的健壯性，存在系統(tǒng)“bug”。因此，在產(chǎn)品評價時，必須把用戶體驗效果、“響應(yīng)力及健壯性”“功能覆蓋度”等要素添加到新指標(biāo)體系中。

⑤為便于產(chǎn)品評測人員打分，所有分項指標(biāo)應(yīng)采用標(biāo)準(zhǔn)統(tǒng)一的分值（10分）。當(dāng)評測人員完成分項打分之后，由評價系統(tǒng)按照一級指標(biāo)所分配的權(quán)重自動折合各個指標(biāo)項的分值，從而得到整個產(chǎn)品的最終得分。

⑥各一級指標(biāo)項的權(quán)重需依據(jù)該維度在指標(biāo)體系內(nèi)的重要程度來設(shè)置。

2.教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的優(yōu)化版

基于試評效果及專家反饋信息，課題組對初版指標(biāo)體系進(jìn)行了優(yōu)化和補充，新增了若干需要重點關(guān)注的指標(biāo)項，形成了終版評價指標(biāo)體系。其中，資源型產(chǎn)品評價指標(biāo)體系見表6。

3.教育類數(shù)字化產(chǎn)品評價指標(biāo)體系的信度效度驗證

為了保證評價指標(biāo)的科學(xué)性和嚴(yán)謹(jǐn)性，課題組借助專家評估及訪談等方式保證了指標(biāo)體系的結(jié)構(gòu)效度與權(quán)威性；通過試評價和專業(yè)的可靠性分析，論證了評價指標(biāo)體系的信度。

（1）信度檢驗

在產(chǎn)品試評價的基礎(chǔ)上，本研究借助SPSS18.0數(shù)據(jù)分析工具，分別對各一級維度內(nèi)的指標(biāo)項進(jìn)行了數(shù)據(jù)可靠性檢驗，發(fā)現(xiàn)各個維度的克朗巴哈系數(shù)均在0.8以上，說明各個維度均有較好的信度。另外，在將所有維度的指標(biāo)項均納入到“可靠性檢驗”的變量列表之后，發(fā)現(xiàn)總體指標(biāo)體系的克朗巴哈系數(shù)為0.931，說明本評價指標(biāo)在整體上具有較好的信度保證。

（2）以德爾菲方法保證結(jié)構(gòu)效度

為保證新指標(biāo)體系的科學(xué)性和權(quán)威性，在評價指標(biāo)體系初步形成后，筆者即邀請北京師范大學(xué)教育技術(shù)學(xué)院的鄔彤副教授、張慶利高級工程師對本指標(biāo)體系進(jìn)行了評估，并認(rèn)真聽取二位行業(yè)專家的改進(jìn)建議。與此同時，課題組選取了中移動“和教育”的部分產(chǎn)品進(jìn)行試評，并邀請中國移動“和教育”產(chǎn)品質(zhì)量管理部負(fù)責(zé)人閔雅琴、產(chǎn)品經(jīng)理寧博等人參與試評工作，請他們結(jié)合產(chǎn)品的評價情況進(jìn)一步補充和完善了指標(biāo)體系，形成了較為科學(xué)和嚴(yán)謹(jǐn)?shù)脑u價指標(biāo)體系。

表6 資源型產(chǎn)品評價指標(biāo)體系終版

五、研究總結(jié)與展望

本研究提出了符合教育特點并兼顧產(chǎn)品自身優(yōu)勢的產(chǎn)品評價指標(biāo)體系，對于教育類數(shù)字化產(chǎn)品的設(shè)計開發(fā)、評價及其良性發(fā)展都具有一定的引導(dǎo)作用。

盡管專家的參與已經(jīng)在一定程度上保證了本指標(biāo)體系的科學(xué)性和嚴(yán)謹(jǐn)性，但由于試測產(chǎn)品數(shù)量不多且具有一定局限性，導(dǎo)致本指標(biāo)體系的普適性和科學(xué)性仍有待進(jìn)一步檢驗，希望對后續(xù)產(chǎn)品的大批量測試能夠不斷地完善與補充，使本評價指標(biāo)體系更加全面和權(quán)威。