在線課程學習評價的RFM-DS模型

張 生 華

(揚州職業(yè)大學, 江蘇 揚州 225009)

隨著計算機和信息技術的迅猛發(fā)展,信息化教學在高等院校得到了廣泛的應用,幾乎所有高校都開展了“慕課”“微課”等各種在線課程平臺支持的信息化教學實踐[1]。在高職院校中,學生普遍存在學習基礎薄弱、學習興趣不足的現(xiàn)象,如何對他們在線學習的效果進行正確的打分和評價,提升在線學習任務的完成率和通過率,提升教學評價的質量,是廣大教育工作者都關注的問題。目前,大多數(shù)教師對學生在線學習的學習時間、學習頻率、討論交流等方面關注得不多,在進行綜合評價時對權重的設置較為主觀。這種注重最終性考核的主觀性評價機制很難真實反映學生在線學習的效果。文章在RFM模型的基礎上提出了一種改進的RFM-DS模型,并利用主觀賦權、客觀賦權的綜合集成方法對各項學習指標設置權重,對學生的在線學習行為進行科學的打分和評價,增強評價對教學反饋的影響力[2-7]。

1 RFM-DS模型

1.1 RFM模型

RFM模型是Hughes教授提出的一種劃分客戶的方法,其中包含3個指標:R(Recency)、F(Frequency)、M(Monetary),R表示客戶最近一次消費的時間間隔,F表示消費頻率,M表示消費金額。RFM模型大多被應用于對客戶的價值進行分類和預測,雖然學習者的在線學習行為不同于客戶的消費行為,但是兩者本質上具有一定的相似性,可以將學生的在線學習類比為客戶的消費行為,把學生在線學習時間看作客戶的消費金額。王銳、李荻等基于改進的RFM模型對MOOC學習者作了細分研究[8]。將RFM模型應用于在線學習行為的相關研究主要集中在R、F、M這三個指標,關注的重點在于根據(jù)學習者的自主學習行為劃分不同的學習風格,相對而言略顯片面和單調。

1.2 RFM-DS模型

除了學習時間間隔、學習頻率和學習時長這些自主學習行為以外,學習者在課程平臺上的互動、發(fā)帖討論等交互學習行為更加客觀地反映了他們在線學習的主動性、積極性和探索性,因此，將學習者在課程平臺上發(fā)言討論的次數(shù)作為評價的一個度量指標,記為D;學習者在線測試的成績真實而準確地反映了在線學習的效果,也是一個非常重要的度量指標,記為S。為此,在RFM模型的思想基礎上,文章提出了一個改進的RFM-DS模型,其度量指標含義：R為最近一次學習時間間隔(以下簡稱近因)，F(xiàn)為學習次數(shù)(以下簡稱頻數(shù))，M為學習時長(以下簡稱時長)，D為交流討論次數(shù)，S為章節(jié)測試平均成績(以下簡稱平均成績)。

通過對學習者在線學習行為數(shù)據(jù)進行抓取、整理和分析,利用RFM模型分別求出學習者的R、F、M、D、S這5項度量指標的得分,再借助主、客觀綜合賦權的方法確定各項指標的權重系數(shù),可以對學習者的在線學習情況進行打分和評價。

2 主、客觀綜合賦權方法

2.1 層次分析法(AHP)

主觀賦權法是根據(jù)決策者(專家)主觀上對各屬性的重視程度來確定權重的方法,其原始數(shù)據(jù)由專家根據(jù)經驗主觀判斷而得到,常用的主觀賦權法有專家調查法、層次分析法、有序二元比較量化法、最小平方法等,文章選用層次分析法。

利用層次分析法確定各變量權重的基本步驟是:(1)建立層次結構模型。將決策的目標、考慮的因素和決策對象按相關關系分為最高層、中間層和最低層。(2)構造判斷矩陣。各層次各因素采用相對尺度進行兩兩相互比較,按比較結果構成判斷矩陣。(3)特征向量和特征值計算。計算出判斷矩陣的最大特征值及對應的特征向量,利用特征向量計算各因素的權重,最大特征值用于下一步的一致性檢驗。(4)對判斷矩陣進行一致性檢驗分析。一致性檢驗使用一致性比率CR進行檢驗,如果CR值小于0.1,則說明通過一致性檢驗。(5)分析結論。如果已經計算出各因素的權重,并且判斷矩陣通過了一致性檢驗,則可以下結論并繼續(xù)進一步分析。層次分析法將人的主觀性評價用判斷矩陣這樣的數(shù)量形式表示出來,定性定量結合,更加科學合理,提高了決策的客觀性和有效性。

2.2 主成分分析法(PCA)

客觀賦權法主要根據(jù)原始數(shù)據(jù)之間的關系來確定權重,其原始數(shù)據(jù)由各屬性在決策方案中的實際數(shù)據(jù)形成,客觀性強,具有較強的數(shù)學理論依據(jù)。常用的客觀賦權法有主成分分析法、熵值法、離差及均方差法、多目標規(guī)劃法等,文章選用主成分分析法。

利用主成分分析法確定各變量權重的基本步驟是:(1)數(shù)據(jù)標準化。(2)對標準化后的數(shù)據(jù)進行因子分析(主成分方法)。(3)按式(1)計算出各主成分。(4)求出變量權重。變量Xj的權重wj由式(2)計算,j=1,2,…,n。

Fi=α1iX1+α2iX2+…+αniXn

(1)

式中，F(xiàn)i為主成分；i=1,2,…m;X1,X2,…Xn為各個變量;α1i,α2i,…αni為各變量在主成分Fi中的系數(shù)得分。

(2)

式中，λ1,λ2,…λm為對應于主成分F1,F2,…Fm的特征根，ei為主成分Fi的方差貢獻率。

2.3 主、客觀綜合賦權

主、客觀綜合賦權法有效且合理地兼顧了評價主體的主觀偏好性和評價客體的客觀真實性,使屬性的賦權達到主觀與客觀的有機統(tǒng)一,決策結果變得更加科學、真實、可靠。主、客觀綜合賦權常用的方法有乘法集成法和加法集成法,文章選用乘法集成法,其計算方法如式(3)所示,i=1,2,…n。

(3)

式中，wi表示第i個屬性的綜合權重，ai和bi分別表示第i個屬性的主觀權重系數(shù)和客觀權重系數(shù)。

3 模型應用

以揚州職業(yè)大學校級在線開放課程“高等數(shù)學”為研究對象,從超星泛雅學習平臺提取了2020年10月至2021年1月某個班級42名學生的高等數(shù)學在線學習行為數(shù)據(jù),包含了學生姓名、學號、學習平臺登陸時間、每次登陸學習時長、章節(jié)測試成績和交流討論次數(shù)等,數(shù)據(jù)合并整理后以SPSS格式保存。

3.1 主觀賦權

給出各項度量指標的主觀權重。在近因R、頻數(shù)F、時長M、交流討論次數(shù)D和平均成績S這5項度量指標對在線學習綜合成績評定影響的重要程度上,文章請3位高等數(shù)學教學領域的專家給出比較這5項度量指標的判斷矩陣,分別為:

利用和法分別求出判斷矩陣A1、A2、A3的最大特征值以及最大特征值對應的特征向量,進一步求出這三個判斷矩陣的一致性指標,計算方法如式(4)所示,i=1,2,3。

(4)

查判斷矩陣的隨機一致性指標表，得到5階判斷矩陣的指標RI5=1.12,計算這三個判斷矩陣的一致性比率,計算方法如式(5)所示。

(5)

判斷矩陣的各項指標如表1所示,由于表中3個判斷矩陣一致性比率均小于0.1,從而判斷矩陣A1、A2、A3均通過了一致性檢驗。再將最大特征值對應的特征向量(即權向量)求算術平均值,即可得到R、F、M、D、S這5項度量指標歸一化后的主觀權重向量為:(0.084,0.144,0.234,0.187,0.351)。

表1 判斷矩陣的各項指標及對應特征向量

3.2 客觀賦權

首先，在數(shù)據(jù)挖掘軟件Clementine12.0中利用RFM模型分別對每一位學習者的R、F、M、D這4項度量指標進行分類統(tǒng)計,將R、F、M、D指標的分箱數(shù)均設定為8,即這4項指標得分均介于1到8之間。

其次，將指標得分轉化為百分制,以便和用百分制度量的章節(jié)測試平均成績S相統(tǒng)一。方法是以60分作為基礎得分,將基礎得分60加上指標得分的5倍設定為該指標的百分制得分,例如某個學習者的時長M的指標得分為6,則轉化后的百分制得分為90分,將百分制得分仍以指標得分作為變量名存入原始數(shù)據(jù)集。

然后，利用極差法對這5項度量指標得分進行標準化,正向指標計算方法為:

負向指標計算方法為:

本例中,近因R越大,說明學習者最近一段時間沒有上線學習,因此R為負向指標;而頻數(shù)F、時長M、交流討論次數(shù)D和平均成績S越大,說明學習者經常學習,在線學習時間較長,交流討論次數(shù)較多，平均測試成績較高,因而均為正向指標。

最后，將標準化后的指標得分放入統(tǒng)計計算軟件SPSS24。使用分析—降維—因子分析,將標準化后的R、F、M、D、S這5項度量指標作為輸入變量,依次點擊描述“KMO”和“Bartlett球形檢驗”“抽取”“主成分分析”“旋轉”“最大方差法”“得分”“顯示因子得分系數(shù)矩陣”和“確定”,運行后整理得到表2所示的各成分初始特征值，其中成分1初始特征值大于1；表3所示為各指標在成分1中得分。

表2 各成分初始特征值

表3 各指標在成分1中得分

根據(jù)表2、表3數(shù)據(jù),利用式(2)求出R、F、M、D、S這5項指標歸一化后的客觀權重向量為(0.105,0.252,0.256,0.186,0.200)。

3.3 主客觀綜合賦權

根據(jù)以上求出的主、客觀權重向量,利用式(3),可以求出主、客觀綜合權重向量為(0.042,0.173,0.285,0.166,0.334),根據(jù)學習者在線學習的近因R、頻數(shù)F、時長M、交流討論次數(shù)D和平均成績S的得分數(shù)據(jù),利用式(6)可得出該學習者在線學習的綜合評分數(shù)據(jù)。

W=0.042R+0.173F+0.285M+

0.166D+0.334S

(6)

式中，W為綜合評分。

4 結論

文章針對在線學習課程教學評價問題,提出了改進的RFM-DS模型,綜合了層次分析法和主成分分析法,得到了各度量指標的主、客觀綜合權重,對學習者在線學習各因素進行綜合評價。該評價模型更側重于過程性考核,具有理論依據(jù),較傳統(tǒng)的純主觀化的教學考核形式更加優(yōu)化,評價結果更加科學、真實、可靠。