周曉燕 于海峰 張悅+曹潔
摘 要:Rui Wang等學者創(chuàng)造性地提出了智能GPA研究,發(fā)現(xiàn)了GPA和智能手機傳感數(shù)據(jù)自動推斷的一些行為之間有一些顯著的關系。提出了一些新的自動檢測方法來評估學生的學習和社會行為,包括聚會的情況和時間、學習時間和學習專注度。智能GPA研究深入分析了學習表現(xiàn),并提出了每個學生數(shù)據(jù)流時間序列分析,創(chuàng)造性地使用行為斜率和行為斷點來捕捉變化行為,以更好地了解成績高和成績低的學生之間的個人差異。此外,還提出了一個簡單的預測模型,采用線性回歸和Lasso正規(guī)化來預測成績。研究發(fā)現(xiàn)學生的談話持續(xù)時間的改變、學習的持續(xù)時間、責任心、積極的情緒水平和變化、壓力的變化是顯著的學習成績預測因子。本研究以一種全新的形式建設精細化的驗證預測模型,從多種屬性方面捕捉、量化學生的行為變化,進而引發(fā)新的提高學習成績的潛力干預措施,這對高校學業(yè)成績的評估而言具有創(chuàng)新性的意義,開啟了應用新的干預措施來提高學業(yè)成績的新時代。
關鍵詞:智能GPA;行為斜率;行為斷點;線性回歸;Lasso正規(guī)化
中圖分類號:G40-058.1 文獻標志碼:A 文章編號:1673-8454(2016)23-0006-09
大學生活是復雜的。除了課程學習,還有豐富的課外活動、繁忙的社交生活、因財務問題要去兼職工作、融入校園(大一新生)、與朋友和家人打交道等各種社會行為占用學生的時間與精力。因此,學生要在這些長期的工作消耗中努力保持身體的活躍和精神的健康,并在保持優(yōu)異的學習成績以及其他時間占用和能量需求之間尋求平衡。總之,要想在教育環(huán)境中持續(xù)保持勝利的姿態(tài)并不是件容易的事情。
提到“學習表現(xiàn)”時,我們通常將其與學生累積的平均分數(shù)(GPA)相聯(lián)系,即對學生在作業(yè)、測驗、考試結(jié)果,期中考試、期末考試和他們在學習過程中累積的學業(yè)成績進行連續(xù)性評價。以往的研究也發(fā)現(xiàn)學習表現(xiàn)與學生的求知欲和能力(例如用IQ來衡量)、學習動機與激勵、教育環(huán)境、健康、之前的測試成績(例如SAT),以及人格特質(zhì)(例如認真度)有關。然而,為什么擁有相似學術能力的學生有的成績會更好有的會更差一些呢?看起來學生日常行為模式(例如學習習慣、課堂出勤率、時間管理、睡眠模式、派對行為)顯著影響學生學業(yè)成績。這便引發(fā)了如下幾個問題:同一所大學里,成績好的學生(例如GPA≥3.5)和成績差的學生(如GPA≤3)在行為模式上是否有明顯的差異;如果這樣的行為差異存在,我們是否可以使用這些相關性作為預測學術表現(xiàn)的基礎;不同的心理特征,如人格、心理健康、情感等,是如何影響成績的。
在計算機科學界,先前已做了許多使用各種機器學習模型的嘗試,想要通過學生的自我報告數(shù)據(jù)和學習行為來預測成績。然而只有很少的研究關注學生的學習表現(xiàn)與感知行為之間的關系。據(jù)我們所知還沒有使用智能手機被動傳感器數(shù)據(jù)來預測學生成績的先例。
來自德克薩斯大學達特茅斯學院的幾位學者Rui Wang、Gabriella Harari、Peilin Hao、Xia Zhou和Andrew T. Campbell提出一種新的方法,即用智能手機的被動檢測來自動推斷學生學習行為(即學習時間和專注力)和社會行為(即聚會),使用不顯眼的縱向的學生的生活方式來預測學術表現(xiàn),富有創(chuàng)新意義。本文就是對Rui Wang、Gabriella Harari、Peilin Hao、Xia Zhou和Andrew T. Campbell幾位學者所做研究的介紹。
一、先前的研究
在教育和心理學領域,很多研究都注重大學生學習成績的預測算法。
(一)人格
采用五大人格框架研究學習成績和人格傾向間的關系,五大人格框架包括五大特質(zhì)——外向、親和力、盡責、神經(jīng)敏感、開放。對學術表現(xiàn)與人的性格分析研究表明,學生的學習表現(xiàn)與親和力、盡責性和開放性有關。然而,也有一些研究發(fā)現(xiàn)外向性和神經(jīng)敏感與成績呈負相關。一些研究人員認為,人格特質(zhì)差異會影響學業(yè)成績,例如通過修復神經(jīng)質(zhì)的行為、提高盡責性提高學業(yè)成績。
(二)體力活動
大多數(shù)學業(yè)成績和體育活動研究傾向認為,在中等強度的體力活動中健康達標的學生平均成績較高。然而,一個健康行為的大型研究對40所美國高校學生調(diào)查發(fā)現(xiàn)超過一半的學生(58%)不符合公共健康部門發(fā)布的中度強度的活動標準。另一個基于自我報告的研究發(fā)現(xiàn)體力活動與學生平均成績不相關。然而,這項研究主要集中于健康科學專業(yè)的研究生,這些學生的身體素質(zhì)符合或超過了成人推薦的水平,這表明研究結(jié)果可能無法推廣到其他學生群體。我們所知道的只有很少一些研究已經(jīng)發(fā)現(xiàn)了學習成績與基于傳感器的身體活動測量的關系。一項研究除了自我報告外,利用傳感器測量學生的體力活動,發(fā)現(xiàn)身體活動的變化與GPA相關。具體而言,總步數(shù)與GPA的提高相關,而中度體力活動與GPA 降低相關。學生生活研究利用學生的智能手機的數(shù)據(jù)加速度測量學生體力活動,發(fā)現(xiàn)較低的整體GPA與更大的活動耐力平均水平和變化度有關。
(三)社交
社交相關的行為(例如融入交談的持續(xù)時間或頻率、聚會、獨處時間或與其他人相處時間)很難研究,這導致了在社交研究中有各種不同方式。例如,一個高校成績預測算子元分析發(fā)現(xiàn),社會參與(例如社會整合、參與校園活動)高的大學生平均成績也高。不過晚上的活動(如聚會、電影等社會活動)與較差的學習成績相關。另外,社會支持與大學新生較高的學習成績相關。學生生活研究通過智能手機的麥克風收集的音頻數(shù)據(jù)推斷學生的社會性,它顯示了一個學期里,更大的會話持續(xù)時間與較高的GPA相關。
(四)睡眠
大多數(shù)的學習成績和睡眠模式研究似乎表明,有良好睡眠習慣的學生平均成績較高。然而,一項對40所美國高校學生健康行為的研究發(fā)現(xiàn),只有近1/4的學生(24%)符合公眾睡眠建議標準。此外,一些研究成績與睡眠時間關系的研究發(fā)現(xiàn)了學生自我報告的睡眠時間和學生的成績之間呈負相關關系。然而,其他研究發(fā)現(xiàn)成績(即累積GPA)和總睡眠持續(xù)時間的二次式關系,太少或太多的睡眠與成績差是相關的。其他研究發(fā)現(xiàn)起床和睡覺時間是影響成績重要的因素,晚睡晚起會導致成績較差。此外,睡眠行為的變化(例如入睡時間、起床時間、總睡眠時間)與成績相關,這樣大的變化會導致成績下滑。
(五)上課出勤與學習
在一般情況下,對學生行為的元分析發(fā)現(xiàn)相關學術技能(例如學習技能和習慣)與高的GPA相關。學術行為研究也發(fā)現(xiàn)曠課和班級出勤也可以預測學術表現(xiàn),例如按時上課的學生比不經(jīng)常上課的學生學習表現(xiàn)更佳。例如一項元分析研究分析了上課出勤和成績的關系,發(fā)現(xiàn)出勤率是與大學生班級的成績、個人平均成績密切相關的因素。然而,學生生活背景的研究卻發(fā)現(xiàn)課堂出勤率與學業(yè)表現(xiàn)無相關性。
(六)情感
相對較少的研究關注學業(yè)成績和積極情感之間的關系。那些專注于情感的研究發(fā)現(xiàn)正面的影響與分數(shù)升高和平均成績相關,在下半學年的負面影響與低成績和GPA相關。與之相反,學術表現(xiàn)與學生的壓力之間的關系得到了更多的關注?,F(xiàn)有的研究表明,中度的壓力與學生的平均成績減少相關,在學期結(jié)束時的壓力與較低的GPA是相關的。以前的研究發(fā)現(xiàn)壓力和成績之間的曲線關系,太小或太多的壓力都與較差的成績表現(xiàn)相關。
(七)成績預測
先前針對成績預測的研究使用了一個神經(jīng)網(wǎng)絡模型,通過分級考試成績來預測學生的成績。利用判別函數(shù)將種種數(shù)據(jù)錄入,來預測學生學業(yè)成就,提出了一個回歸模型通過統(tǒng)計信息和導師記錄預測學生的學習表現(xiàn)。電子學習系統(tǒng)應用網(wǎng)絡挖掘預測學生的期末考試成績。有人提出了一種利用多實例學習在電子學習環(huán)境下對學生成績進行預測的方法,最近的工作顯示他們可以使用縱向數(shù)據(jù),如用以前的測試成績和課程歷史記錄預測出一個學生有可能出現(xiàn)成績下滑的危險。
總體而言,現(xiàn)有的研究趨向于關注學生人格特質(zhì)(例如外向性、責任心)、生活方式(例如體育活動、社交、睡眠)和精神狀態(tài)(如壓力、情緒)對他們的課程成績或GPA是否有影響?,F(xiàn)有的研究發(fā)現(xiàn)主要是基于學生的自我報告(例如詢問身體活動或睡眠傾向的一次性調(diào)查),這可能會導致一系列的限制。例如自我報告的數(shù)據(jù)有明顯的弊端(如被破壞)、耗費時間、回憶偏見、記憶的局限性,以及社會理想的順從。
二、智能手機預測學生成績的創(chuàng)新性
首先,用智能手機的被動檢測來自動推斷學習(即學習時間和專注力)和社會行為(即聚會)的方法是一次全新的嘗試。其次,使用時間序列分析和學生行為狀態(tài)的分析,尋找什么行為顯著影響大學生平均成績。再次,為了理解學生在行為方面的變化,提出2個新的行為指標:①行為變化,該指標捕捉行為變化的方向(例如課堂出勤率的增加或減少)和行為變化的范圍(例如急劇變化或逐漸變化);②行為斷點,捕捉一個學生的行為模式顯示一個定向的變化(如出勤率增加或減少的點)的特定點。學生的行為數(shù)據(jù)流時間序列分析和這些變化的指標用于輸入到學習成績的相關分析和預測中。最后,首次提出了一個預測模型,可以使用智能手機上的自動行為感知數(shù)據(jù)預先預測學生的平均成績,即使用Lasso(最小絕對收縮和選擇算子)線性回歸模型作為預測模型。預測模型表明,成績更好的學生是更有責任心、多學習、體驗積極的情緒,但在期中考試后積極的情緒有一個下降點,隨著學期的進展,壓力逐漸減少,他們也是晚上社交不那么頻繁的學生。預測的平均成績與真實現(xiàn)象密切有關,與之相關的r=0.81,p<0.001, 平均絕對誤差(MAE)為0.179,R2= 0.559,衡量了一個模型的擬合優(yōu)度,并指出該模型解釋了56%的學生平均成績的變化。這項研究沒有使用任何之前傳統(tǒng)的用于學術評價的數(shù)據(jù),如智商和標準化的測試結(jié)果(例如SAT分數(shù))。因此,該工作打開了利用智能手機的被動遙感數(shù)據(jù)來預測學習成績的大門。
三、學術成績數(shù)據(jù)集
Rui Wang等使用學生生活數(shù)據(jù)集的一個子集來分析和預測學業(yè)成績。學生生活數(shù)據(jù)集是一個大的、縱向的公開數(shù)據(jù)集。數(shù)據(jù)集是對30名大學生和18名研究生在2013年春季進行為期10周的調(diào)查數(shù)據(jù)。由于研究生不考察GPA,因此,僅選取了30名大學生的數(shù)據(jù)集。每個學生每學期在達特茅斯大學上3門課。該數(shù)據(jù)集包括53 GB以上的來自智能手機的連續(xù)感知數(shù)據(jù),包括:①目標檢測數(shù)據(jù):睡眠(睡覺時間、睡眠持續(xù)時間、醒來)、面對面交談時間、面對面交談的頻率和身體活動(固定、行走、跑動);②位置數(shù)據(jù):位置、室內(nèi)/室外活動距離覆蓋;③其他手機數(shù)據(jù):光、藍牙、音頻、Wi-Fi、屏幕鎖定/解鎖、手機充電和應用程序使用。這個數(shù)據(jù)集還包括32000份日報告,報告覆蓋了情感、壓力、運動、情緒、孤獨感、社會和學習空間;前后期調(diào)查包括PHQ9抑郁篩查表(PHQ9 depression scale)、UCLA孤獨量表(UCLA loneliness scale)、正面和消極情感量表(PANAS)、感知壓力量表(PSS)、五大人格框架(Big five personality)、繁榮量表(Flourishing scale)、匹茲堡睡眠質(zhì)量指數(shù)(Pittsburgh sleep quality index)。最后,該數(shù)據(jù)集包括學術評估數(shù)據(jù),如班級信息、最后期限、學業(yè)成績(即分數(shù)、學期平均成績、累計平均成績)、課堂出勤率(從手機定位數(shù)據(jù)獲得),和學生就餐數(shù)據(jù)包括時間、地點、費用。
表1總結(jié)了研究人員從學生生活數(shù)據(jù)中獲得的自動傳感數(shù)據(jù)和EMA數(shù)據(jù)。自動傳感數(shù)據(jù)捕捉日常行為。EMA數(shù)據(jù)捕捉積極的影響和壓力水平。表2總結(jié)了使用心理調(diào)查的前和后數(shù)據(jù)。
四、評估學習和社會行為
學生生活數(shù)據(jù)集提供了大量的低水平行為,如體力活動、睡眠時間和基于面對面會話的社會性數(shù)據(jù),但沒有提供有可能影響學業(yè)成績的與學習和社會行為相關的更高層次的數(shù)據(jù)。研究人員為行為空間分配意義或語義,融合多元感知流和行為空間,提取高水平的行為,如學習(學習時間和專注度)和社會行為(例如派對),以更好地理解學習和社會行為。
(一)行為空間
學生生活數(shù)據(jù)集有兩種類型的定位數(shù)據(jù)——GPS定位數(shù)據(jù)和Wi-Fi位置。Wi-Fi位置是根據(jù)使用Wi-Fi網(wǎng)絡掃描,指示了Wi-Fi接入點(APs)來確定。APs然后映射到特定的建筑物或建筑區(qū)域(如圖書館)。每一個校園建筑都被賦予了具有語義意義的標簽,如研究領域(圖書館、學生學習的咖啡店)、希臘的住宅、教室、健身房。這些標簽提示學生的相關行為。重要的是,研究人員將一些屬性與行為空間關聯(lián)起來,賦予他們更多的情境意思,具體地說有:①停留時間:學生在這些地點的時間---學習區(qū)域,宿舍,聚會或社交空間;②活動:學生在特定的領域時,有固定標簽的領域的百分比;③音頻:所有音頻分類中,安靜的標簽的比例,例如在學習領域或教室、高水平的固定標簽(例如不看手機)可以被粗略地認為是學習“專注”或關注課堂學習,高水平的安靜標簽可能表明專注學習,反之亦然。使用行為空間及其屬性,可以更好地評估學習和社交行為。
(二)學習行為
每個學生上3門課,分別安排在每周的特定時期。課堂時間分三類:65分鐘,每周三次;50分鐘,每周四次;110分鐘,每周兩次。此外,每堂課有一個額外50分鐘的X時間,講師可以用也可以不使用。最早的課程開始于上午8:45時,最晚的課程是下午5:50。學生的成績單表明他們所上的課程。注冊處有課程表及上課地點。研究人員使用地點、日期(即周一至周五)和時間自動確定一個學生上課沒有,即在位置上的停留時間為至少90%的預定時間(例如110分鐘)。使用這個方法,電話可以自動確定學生參加的課程和他們的出勤率。圖1b顯示了一學期的上課出勤率。
使用行為空間信息來確定學習行為。研究人員試探性地規(guī)定一個學生在學習領域(例如圖書館、實驗室、學習室、咖啡館等)的停留時間是至少20分鐘(少于20分鐘則被認為不太可能是真正的學習)。除了停留時間,研究人員使用活動和音頻屬性,以確定一個學生在一個研究區(qū)域的專注程度?;顒拥膬r值指的是電話的移動頻率——表示人要么是在研究區(qū)內(nèi)移動,要么沒有移動但在使用電話。研究人員考慮了一些情境,如果一個學生在學習場所(例如圖書館)四處移動被認為這是不夠?qū)W⒌摹H绻娫挻蠖嗍枪潭ㄔ谝粋€研究領域,則認為這有助于集中精力。還使用音頻屬性來研究環(huán)境噪聲水平。研究人員認為安靜的環(huán)境可能有助于專注研究而噪聲環(huán)境不利于專注。圖1a顯示了所有學生的持續(xù)時間和專注力的變化。在專注力方面,更高的活動值表示學生的移動較少,從而學習專注度更高;更高的音頻值表明,學生在一個相對安靜的環(huán)境中,這是更有利于集中精力的一個條件。研究人員并不把這些值融合,而是把它們作為獨立變量進行分析。不可否認,該研究尚存不足之處,活動和音頻屬性只能是粗略的研究。例如,對有的學生來說,在咖啡館的噪音環(huán)境中學習可能更適應他們的個性,相比安靜的圖書館,噪音更有利于他們的學習。此外,研究也不能分辨學生是實際真正的學習還是在瀏覽在線社交網(wǎng)絡。此外,如果學生在小組中學習的話,會話數(shù)據(jù)會被認為是一個嘈雜的環(huán)境。最后,研究的推理精度建立在標記達特茅斯大學著名的研究區(qū)域的基礎上。對于學生在標記領域之外的學習,數(shù)據(jù)將不能反映。此外,如果一個學生在標記的學習領域靜靜地看體育博客或睡覺,數(shù)據(jù)也無法反應。即使有這些限制,我們認為行為空間與停留時間、活動和音頻屬性相結(jié)合的方法提供了一種新的研究學習時間和專注度的方式。
(三)社會行為
原始學生生活數(shù)據(jù)集使用的術語“社會行為”指學生之間面對面的交談,此項研究中擴大到包括其他更高水平社會性行為,如學生一周或一個學期內(nèi)聚會多少次、聚會多長時間。
達特茅斯位于漢諾威的小鎮(zhèn)上,達特茅斯學院有三個大型飲酒之夜大學生可以參加——星期三、星期五、星期六晚上。星期三的晚上是在希臘的住宅,星期五和星期六都是校園大派對。星期日是休息的日子,學生會回到學術上,以便在學術周開始之前取得進展,此外還會有朋友之間的聚會。
研究人員考察行為的空間(例如希臘的住宅、宿舍)和他們的屬性來推斷一個學生是否在聚會。如果一個學生是在聚會中,則認為他們將會來回移動,以及周圍有對話或音樂的聲音。此外還考察每周的兄弟會和聯(lián)誼會聚會(即星期三、星期五、星期六)。研究人員丟棄聚會地點的停留時間在30分鐘內(nèi)的數(shù)據(jù)。
研究人員把每個希臘房子停留期間劃分為10分鐘一個,計算音頻和活動屬性。假設音頻和活動屬性在學生聚會和不聚會時應該是有顯著不同的。使用K-均值聚類為音頻(例如音樂或被一大群人包圍)和活動(如跳舞)屬性找到聚會閾值。圖2a表明一個學生的音頻屬性(即沉默標簽的百分比)是低于40%時,更可能是在一個派對上。奇怪的是,研究人員沒有在活動屬性上發(fā)現(xiàn)有顯著差異。通過融合音頻,停留時間和位置,可以區(qū)分學生是否在聚會。為了驗證該聚會推理方法,研究者比較了每周聚會的持續(xù)時間與已知的學期內(nèi)聚會天數(shù)。圖2b顯示在10個星期的時間內(nèi)為所有學生統(tǒng)計的每個工作日的平均聚會數(shù)據(jù)。顯然星期三和星期五是校園里的大夜晚。此外,星期四和星期六也是很流行聚會的夜晚。星期日和星期一都不是派對之夜,學生有可能要趕學術任務。從智能手機得到的數(shù)據(jù)強烈支持了前面所討論的每周聚會模式。圖2c顯示一個學期內(nèi)聚會的趨勢。聚會的季節(jié)高峰在學期的第二周,此后直到學期中這段時間是穩(wěn)定地下降,第7周時回升, 因為有一個全校范圍的春季節(jié)日稱為“綠色關鍵周末”。最后,宿舍是另一個學生社交的地方。顯然,這些事件并不是大聚會。研究人員使用同樣的方法,如上面所討論的,以確定一個學生是否在宿舍參與社交。
五、捕捉行為變化
研究人員討論了從低級別的自動感應(例如睡眠時間)和EMA數(shù)據(jù)(如壓力)中得到的行為改變特征和高水平的學習和社會行為,為每個學生的每一個行為創(chuàng)造時間序列。使用數(shù)據(jù)預處理將不同形式的行為數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的時間序列格式。行為時間序列將每一天每一個行為作為樣本。數(shù)據(jù)預處理后,每個時間序列總結(jié)了不同的行為(例如身體活動、談話頻率和持續(xù)時間、睡眠、社會行為、學習行為)。為了理解學期內(nèi)行為的變化,研究者提出了兩種特點:行為斜率——捕捉整個學期內(nèi)改變的幅度(例如睡眠增加或減少);行為斷點——捕捉個人行為發(fā)生變化的特定的點,斷點的數(shù)量表明一個學生的變化頻率。除了看學生一天中的行為,研究人員把一天劃分為三期。具體而言,把凌晨至上午9點之間的時間標簽為夜間,上午9點到下午6點標記為白天,下午6點到次日上午12點為晚間。
(一)行為斜率
Rui Wang等感興趣的是在學期中量化學生的行為改變。例如,一個學生是否積極主動、勤奮好學、社會活躍度多少等。研究人員使用線性回歸為每個學生計算每個行為時間序列走勢捕捉其行為變化(例如室內(nèi)活動、壓力、影響)。斜率的價值指示行為改變的方向和強度。具有更大絕對值的正斜率表示行為改變(例如聚會)更快地提高。相比之下,具有更大絕對值的負斜率表示更快地降低行為級別(例如課堂出席率)。例如考慮一個學生在一個學期里每天獨立的對話數(shù)量,“斜率=0”意味著學生在一個完整的時期內(nèi)每一天有相同數(shù)量的對話,這是極度不可能的?!靶甭?lt;0”意味著學生在一學期里對話越來越少。最后,“斜率>0”指學生在學期內(nèi)有越來越多的對話。行為的斜率考慮行為的動態(tài)性和學生之間的個體差異。就像在學生生活的討論研究中說的,學期中期(如圖1b所示,第4和5周)是一個重要的里程碑。研究人員選擇“中期點”作為衡量行為斜率的一個點。這一點是10個星期中最中間的一天。學生的工作量比開始時增加了,如圖1b所示。期中過后學生有更多的項目和更大的任務,一直到期末考試。在學期中點對行為時間序列分區(qū),使用2條線性回歸擬合時間序列,從學期開始到期中考試(即上半學期),從期中到學期末(即下半學期)。使用“前斜率”和“后斜率”來表示學生在前半學期和后半學期的行為變化。此外,為全體學生計算一個“學期斜率”。
(二)行為斷點
前斜率和后斜率點被用于理解學生的行為改變。然而,許多學生會在學期中點之外的時間點改變行為。學生可以因很多不同的原因制定或改變經(jīng)歷(例如上課增加或減少、學習投入增加或減少)。例如,一些學生可能會在學期開始時改變學習行為,以適應不斷增加的工作量,而其他人可能會反應慢一些。研究人員使用行為時間序列為每個學生計算“行為斷點”。在這個學期里找到一天,在這一點上學生行為前后的行為模式不同,研究者稱這一天為行為中斷點。例如,假設一個學生每一天花了相似的時間學習,然而在某一天之后,學生花越來越多的時間學習。研究人員認為這一點變化是一個斷點。影響斷點的因素很多。不同的行為(例如壓力增加或減少、情感和學習)可能有不同的斷點。斷點的那一天可能會顯示一個學生因為一個事件而改變的速度有多快。使用2條線性回歸來測試數(shù)據(jù),使用貝葉斯信息準則(BIC)選擇最佳模型。BIC是一個模型選擇標準,使用盡可能少的模型參數(shù)選擇一個有良好預測性能的模型。較低的BIC值表示一個更好的模型。研究人員認為一個好的分段擬合模型是BIC最低的模型,低于單一回歸模型。如果選擇單一的回歸模型,斷點則被設置為“最后一天”。使用學生行為斷點可以分析學期內(nèi)發(fā)生變化的速度,了解個體差異。
六、相關性分析
為更好地理解學生行為、情緒、心理健康、個性與學術成績之間的關系,研究人員進行了皮爾森相關性分析,發(fā)現(xiàn)了一系列強大的和顯著的相關性。
(一)春季學期的GPA
春季學期成績平均為3.3306,標準偏差為0.7983。然而,偏斜是-1.7725,意味著大多數(shù)的學生獲得了高的GPA,只有小部分學生得到低分(圖3c)。在學生生活的研究中,發(fā)現(xiàn)春季學期GPA與室內(nèi)的活動性呈負相關,與談話頻率和持續(xù)時間呈正相關,如表3所示。研究人員發(fā)現(xiàn)學習和社會行為與GPA之間有顯著的相關性。在社會行為方面,發(fā)現(xiàn)學生花更多的時間在聚會、兄弟會或聯(lián)誼會上時,是不太可能有高的GPA的(r=-0.398;p=0.029)。此外,在期中考試點之前,學生的社交更多在他們的宿舍而不是在聯(lián)誼會時,更可能有更高的GPA(r=0.363;p=0.049)。在學習行為方面,發(fā)現(xiàn)花更多的時間在學習上的學生有更高的GPA(r=0.381;p=0.038)。此外,到期中時致力于學習的時間在不斷增加的學生,更有可能有更好的成績(r=0.397;p=0.030)。從自動感應中推斷出的其他行為,研究人員發(fā)現(xiàn),整個的體力活動減少與春季學期的GPA呈現(xiàn)負相關,特別是在期中以后(r=-0576;p=0:001),意味著那些體力活動減少的學生更可能有更高的GPA。研究人員在白天、晚上、夜間的時段里找到了類似的室內(nèi)移動趨勢和活動趨勢。有趣的是,有更高GPA的學生更傾向于在期中到來之前增加室內(nèi)的活動性(r=0.423;p=0.020),并減少了他們在中期點以后的室內(nèi)活動性(r=-0.515;p=0.004)。此外,這些成績高的學生整個學期下來往往在宿舍里要花費更多的時間(r=0.437;p=0.016)。最后,研究人員發(fā)現(xiàn)了感知的壓力規(guī)模與春季學期成績呈負相關,意味著壓力較小的學生更可能有高的GPA(r=-0.405;p=0.050)。
(二)累積GPA
累積GPA平均為3.4215和標準偏差為0.3978。GPA分布見圖1c。在學生生活的研究中,研究人員發(fā)現(xiàn)累積GPA與活動持續(xù)時間和室內(nèi)流動性呈負相關,并與藍牙協(xié)同定位的數(shù)量呈正相關,如表4所示。
研究人員發(fā)現(xiàn)學習和社會行為與GPA之間有顯著的相關性。花更多時間學習的學生更可能有更高的GPA(r =0.518;p =0.003)。此外,在他們的活動(即他們的電話是更固定的,r=0.430;p=0.018)和音頻(即在安靜環(huán)境中學習,r=0.380;p=0.038)屬性上更專注的學生更可能有更高的GPA。然而,學習的專注趨勢顯示,擁有更高平均成績的學生往往有在期中考試前呈現(xiàn)專注力減弱(即活動屬性)和喜歡在不安靜的地方(例如咖啡廳)學習的趨勢。出席率不與GPA相關。不過研究發(fā)現(xiàn),在中期考試前的出勤率正向變化與GPA相關,即學生在期中考試之前出勤率的增加更可能有高的GPA(r=0.470;p=0.009)。
從自動感應中推斷出的其他行為,研究人員發(fā)現(xiàn)GPA和行為變化趨勢之間的相關性較大。在中期以前體育活動水平增加(r=0.418;p=0.022)或在中期以后減少(r=-0.449;p=0.015)的學生更可能有更高的GPA。同樣,在中期前室內(nèi)移動多(r=0.425;p=0.019)或中期后室內(nèi)移動增多的學生(r=-0.426;p = 0.021)更可能獲得更高GPA??磳W生的總體行為變化,其在整個學期中室內(nèi)移動速度慢慢增加或減少,更可能有更高的GPA(r=-0.387;p=0.035)。在日常會話方面,在中期后不斷增加會話持續(xù)時間的學生更可能有更高的GPA(r=0.443;p=0.016)。關于會話頻率,學生有較晚的斷點(即在學期內(nèi)改變他們的日常會話頻率模式更晚)可能有更高的GPA。
從調(diào)查的心理特征數(shù)據(jù)來看,發(fā)現(xiàn)PHQ-9 評分與GPA呈負相關(r=-0.470;p=0.027),這意味著更沮喪的學生往往有較低的成績。在大五項框架調(diào)查中更為認真的學生往往有較高的GPA(r=0.551;p=0.004),傾向于神經(jīng)質(zhì)的學生更有可能有較低的GPA(r=-0.423;p=0.035)。
七、預測分析
研究人員提出了一個簡單的預測GPA的模型。使用線性回歸和Lasso正則化從大量的輸入特征中確定非冗余的預測因子。這些預測因子包括自動感測時間序列的行為數(shù)據(jù)(即會話和學習特征)、EMA時間序列數(shù)據(jù)(例如正影響和壓力)、心理健康數(shù)據(jù)(如抑郁癥)和個性數(shù)據(jù)(即責任心)。
(一)預測模型
預測成績是一個回歸問題:從一組輸入因子中預測結(jié)果變量(即GPA)。研究人員使用交叉驗證評估各種回歸模型,如線性回歸、回歸樹,支持向量回歸。選擇Lasso(最絕對的收縮和選擇算子)正規(guī)化線性回歸模型作為預測模型。Lasso是一種用于線性回歸的方法,Lasso與系數(shù)的絕對值上限結(jié)合,使平方誤差最小化。考慮到有大量的功能,需要解決多重共線性。有2類方法解決共線性——特征選擇和特征變換。Lasso正則化是其中的一個特征選擇方法。
Lasso解決了下面的最優(yōu)化問題:
min((yi-βo-xT
iβ)2+λβj)
N是觀察的數(shù)量,yi為i的觀察地面真值;xi是i觀察的p等級特征向量;λ是一個非負正則化參數(shù),控制β的非零因素(即所選特征的數(shù)目);β0 是攔截;β是權重向量。正則化參數(shù)λ選擇使用交叉驗證。本質(zhì)上的優(yōu)化問題是最大限度減少均方誤差N
i=1(yi-βo-xT
iβ)2,同時還要盡量保持模型的簡單(即選擇最小數(shù)量的特征,避免過度擬合)。因此,Lasso會自動選擇相關的功能(即預測算子)和丟棄冗余功能,避免過度擬合。
(二)評價指標
研究人員使用平均絕對誤差(MAE)、決定系數(shù)(R2)和皮爾森的關系衡量結(jié)果預測的性能。MAE測量算子和預測結(jié)果的相近程度。平均絕對誤差由M|AE=N
i=1yi-βo-xT
iβ算出。MAE值越小越好,因為它表明該預測更接近地面真相。R2是衡量模型擬合優(yōu)度的,并指出模型解釋的方差有多大。R2的范圍從0到1,其中1表示數(shù)據(jù)與模型的完美擬合。R2可以看作是對不明變量的相關方差,如果特征向量X并沒有什么結(jié)果,那么R2=0。研究者使用皮爾森相關性測量地面真值與預測結(jié)果之間的線性關系。
(三)GPA的預測結(jié)果
研究者使用交叉驗證來確定Lasso的參數(shù)和每個特征的權重。為了使權重正規(guī)化,每一個特征都限制在縮放范圍[ 0,1 ]。選定的特征含有非零權重。預測累積GPA的MAE是0.179,說明這些預測是在真實值的±0.179。R2為0.559,這表明特征可以解釋55.9%的GPA方差。預測成績與(r=0.81;p<0.001)的地面真值密切相關,這進一步表明,該預測可以使用給定的特征來捕捉成績差異。
表5顯示選定的特征來預測累積GPA及其權重。有趣的是,Lasso選擇了1個單一長期措施(即有責任心的人格特質(zhì))、2個自我報告時間序列特征(即情感和壓力)和3個自動感應數(shù)據(jù)行為(即會話和學習行為)。權重表明預測因子的強度。有更好平均成績的學生更認真,學習時間更多,情緒更積極(例如快樂、興趣、機敏),但在中期以后,顯示了正面情緒的下降,同時平均成績好的學生在學期內(nèi)呈現(xiàn)壓力逐漸減小的趨勢,在6-12點的晚間時談話較少,出現(xiàn)談話時長模式的變化(即行為的斷點)較晚。在春季學期GPA,Lasso不選擇特征來預測,相反,它選擇使用單獨的因子來預測春季學期GPA。它選擇了一個單值3.40預測所有MAE=0.53,中位絕對誤差0.38的學生。研究者認為這是由于春季學期的GPA偏斜,如圖3c所示。注意,一般春季學期的GPA是3.3306。Lasso選取的干擾因子接近平均GPA,與偏斜率相符。
八、結(jié)論
研究人員發(fā)現(xiàn)一些學生的行為改變模式(即斜率和斷點)與學業(yè)成績相關性顯著。通過行為變化建模,使用行為的斜率和斷點,可以了解不同的學生在他們的生活中如何反應。在本文中研究人員發(fā)現(xiàn),時間序列分析能夠量化個體行為在10周的差異。還發(fā)現(xiàn)斜率和斷點與成績很相關,在某些情況下是強大的影響因素。
在社交方面,研究人員的研究結(jié)果表明,學生談話持續(xù)時間的改變是顯著的成績預測因子。具體而言,晚間談話持續(xù)時間表現(xiàn)出較晚變化的學生有更高的GPA。在晚上談話持續(xù)時間上表現(xiàn)出減少的學生,也有較高的平均成績。這些發(fā)現(xiàn)是新穎的,擴展了以前的工作,演示了學術表現(xiàn)與社會參與的關系。研究者的研究結(jié)果表明學生的社交模式的改變是學習成績重要預測因子。例如,研究結(jié)果表明,對比那些較早改變了他們夜間社交時間的學生,較晚改變夜晚社會活動時間的學生學習表現(xiàn)較好。此外,相比那些增加了晚上社交時間的學生,晚上社交時間減少的學生學習表現(xiàn)較好。研究人員懷疑這些學生可能在為考試做準備,專注于在晚上的工作(例如學習),這可能導致在所觀察區(qū)域的談話時間的減少。此外,研究人員的研究結(jié)果與以前的研究是一致的,如發(fā)現(xiàn)晚上外出的大學生成績較低。
談到學術相關的行為,研究者的研究結(jié)果表明學習的持續(xù)時間是一個顯著的預測性能。更具體地說,相比于學習時間短的學生,平均學習時間較長的學生在學期結(jié)束的時候有較高的平均成績。這一發(fā)現(xiàn)和發(fā)現(xiàn)學習技能(例如學習技巧和習慣)與GPA相關的研究是一致的。該研究結(jié)果超越了學生自我報告的學習方法,發(fā)現(xiàn)一些潛在的學習習慣(例如通過WiFi和GPS捕捉的)也可以預測學生成績。與以往的研究相比,研究沒有發(fā)現(xiàn)上課出勤率是一個顯著的成績預測性能,并沒有觀察到其他研究表明的課堂出勤率和平均成績的簡單的相關性。如圖3所示,考察學生的成績分布情況和出勤率,發(fā)現(xiàn)有更高分數(shù)的學生出勤率或高或低,而那些低分的學生有中等出勤率。數(shù)據(jù)顯示,對一些成績高的人,參加講座不影響他們的成績。研究者相信學生的出勤率是按他們的課程確定的,成績高的學生可能不需要去上課也能獲得高分。
在個性方面,研究人員的研究結(jié)果表明,責任心是一個顯著的預測特征,比較那些自覺性較差的學生,自覺性高的學生有較高的平均成績。這一發(fā)現(xiàn)與大學生自我報告人格特質(zhì)與學業(yè)的關系心理研究相一致。雖然神經(jīng)質(zhì)不對學生的平均成績有顯著的預測作用,性格特點和GPA的簡單相關性研究顯示神經(jīng)質(zhì)與累計GPA成績呈負相關(r=-0.42),這表明神經(jīng)質(zhì)較高的學生有較低的平均成績。
在情緒方面,研究結(jié)果表明,積極的情緒水平和變化是顯著的預測性能。具體而言,學生具有較高的積極的平均情緒水平到學期結(jié)束時有較高的平均成績。在中期后減少積極情緒的學生也有更高的GPA。這些研究結(jié)果與以前的研究是一致的,表明更積極的影響和更高的成績與平均成績的關系。有趣的是,以前的研究已經(jīng)發(fā)現(xiàn)在下半年增加負面影響會導致低成績和GPA。然而,該研究發(fā)現(xiàn),積極的影響在下半年減少與較高的GPA相關。研究人員懷疑相比于沒有投入學習的學生,在下半年學生專注于他們的任務和性能時,不太可能報告感覺非常積極的情緒(例如興奮、熱情)。
在壓力方面,研究結(jié)果表明,壓力的變化是一個顯著的預測性能,學生在整個學期壓力不斷減少,期末有更高的GPA。這一發(fā)現(xiàn)與以前的研究發(fā)現(xiàn)學生壓力和平均成績之間的負相關關系是一致的。相比在課堂上表現(xiàn)不佳的學生,那些在課堂上表現(xiàn)出色的學生,隨著學期的進展,壓力越來越小。這與以往的研究是一致的。
據(jù)我們所知,該研究第一個,也是最好的一個使用智能手機自動遙感數(shù)據(jù)和時間序列的均線預測成績的。預測成績與地面真值密切相關(r=0.81;P<0.001),MAE為0.179,R2為0.559。該研究預測GPA不使用任何先驗信息,如SAT、智商測試結(jié)果,或已知的學生成績。通常,學生成績會通過他們的作業(yè)得分和期中考試來評測水平,研究結(jié)果表明,有一些其他成功的學業(yè)預測因素。預測模型表明,取得更好成績的學生是更認真、學習更多、積極的情緒更多,但在期中考試后的積極情緒出現(xiàn)下降、有較小壓力的學生,以及在晚上的談話中是不那么活躍的,并且在學期后談話時間模式發(fā)生了改變的學生。在本文中討論的相關性和預測模型,會引發(fā)新的提高學習成績的潛力干預措施。該項研究可以作為新的催化劑來促進實行新的干預形式,以幫助學生提高學習成績。研究以一種全新的形式建設精細化的驗證預測模型,從多種屬性方面捕捉、量化學生的行為變化,進而引發(fā)新的提高學習成績的潛力干預措施,這對高校學業(yè)成績的評估而言具有創(chuàng)新性的意義。
同時我們也看到了目前該項研究的局限性。雖然數(shù)據(jù)集是大的、豐富的,但在這項研究中學生的數(shù)量是小的(30個)。受這樣一個小數(shù)據(jù)集限制,不能使用更先進的預測模型或功能,因為它可能會導致過度擬合。預測結(jié)果中看到,Lasso從193個特點中只選擇7個特點,盡管研究發(fā)現(xiàn)了更多的相關性。再者,達特茅斯大學是常春藤聯(lián)盟的文科大學,學生都是在高中的佼佼者。因此,研究的樣本是偏向成績較好的學生。最后,樣本中的學生并不都是電腦科學專業(yè)的學生,因此都參加了相同的課程——安卓程序設計。因此,樣本可能局限于理科生,不代表文科學生。我們相信如果有一個更大規(guī)模、涉及更多不同大學的學生的跨機構研究可以提供更多樣化和更有代表性的樣本,能夠更好地細化和驗證預測模型。
參考文獻:
[1]Rui Wang, Gabriella Harari, Peilin Hao, Xia Zhou, Andrew T. Campbell. Smart GPA: How Smartphones Can Access and Predict Academic Performance of College Students. Dartmouth College, The University of Texas at Austin. 2015.
(編輯:王天鵬)