彭 程,常相茂,仇 媛
(南京航空航天大學(xué)計算機科學(xué)與技術(shù)學(xué)院,南京211106)
(?通信作者電子郵箱pengchenggold@163.com)
隨著生活節(jié)奏的加快,越來越多的人被睡眠問題所困擾。傳統(tǒng)的睡眠監(jiān)測通過用戶身體連接至多導(dǎo)睡眠監(jiān)測儀進行評估,隨著傳感器技術(shù)的發(fā)展,移動設(shè)備麥克風(fēng)、加速度計以及光敏傳感器被用來進行睡眠信息的采集,一些機器學(xué)習(xí)的方法也被用于信號的分析[1-6],例如文獻[6]使用序列連通度分析提取信號特征,利用最小二乘支持向量機進行睡眠分期。心率變異性分析在分析人的精神狀況以及睡眠分期取得了不錯的效果。然而,當前的研究大多依靠專業(yè)醫(yī)療設(shè)備,并且方向主要停留在信息的獲取上,例如對精神狀況以及睡眠階段分期的評估,缺乏對信息的實時利用即改善睡眠或緩解壓力的具體措施,因此,使用舒適、簡便的傳感器進行睡眠監(jiān)測以及通過具體措施對信息實時利用具有很重要的研究意義。
現(xiàn)代醫(yī)學(xué)認為,心率信號作為重要的生理指標之一,包含了人的精神狀況以及生理狀態(tài)等重要信息。研究者通過對心率變異性(Heart Rate Variability,HRV)信號進行分析,提取包括時域以及頻域多種特征,對用戶在不同環(huán)境以及任務(wù)下的情感、精神壓力狀況以及生理狀況進行評估。例如孫微[7]通過心率變異性分析構(gòu)建支持向量機對睡眠階段進行分期;Widasarie等[8]提取心率變異性不同頻帶標準化后能量,使用決策樹-支持向量機對睡眠階段進行分期;Okamura等[9]通過吸附在人體身體上傳感器采集的信號,分析人的入睡以及醒來時的時間;Hernando等[10]同時采集光電掃描計信號(PhotoPlethysmoGraphy, PPG) 以 及 心 電 圖 信 號(ElectroCardioGram,ECG),評估了在精神高壓環(huán)境下的心率變異性變化情況。雖然以上研究都取得了較好的分析效果,但都需要用戶佩戴專業(yè)的ECG設(shè)備進行信號采集,同時也僅停留在實驗后對信息的分析,缺乏實時性以及對信息的利用,例如睡眠質(zhì)量的評估以及精神狀況的調(diào)整。
Phasukkit等[11]通過比較人正常睡眠時以及聆聽音樂放松時的腦電圖(ElectroEncephaloGram,EEG)信號,判斷音樂推薦對人睡眠質(zhì)量的改善作用;France等[12]則統(tǒng)計了非傳統(tǒng)方法對兒童以及年輕人睡眠的影響,結(jié)果表明音樂推薦在大多數(shù)人群的睡眠中起到了積極的作用。然而以上研究都是基于群體的睡眠表現(xiàn),并沒有針對個體的睡眠和精神狀況作出專門的音樂推薦。
為了克服以上缺陷,本文將基于心率變異性分析的精神狀況分析以及睡眠分期相結(jié)合,提出了一種實時調(diào)整精神狀況以及改善睡眠質(zhì)量的睡眠音樂推薦系統(tǒng)。首先,相對于其他心率變異性研究需要使用專業(yè)設(shè)備進行采集的ECG信號,使用更加易于獲取的PPG信號進行心率變異性分析,并且在公開數(shù)據(jù)集上驗證了睡眠分期以及精神狀況分析方法的準確性;然后,針對當前心率變異性分析只停留在信息獲取的問題上,使用滑動窗口的方法將使用不同時程的睡眠分期和精神狀況分析相聯(lián)系,根據(jù)實時的信息變化進行睡眠音樂的推薦以及調(diào)整,達到緩解精神壓力以及改善睡眠質(zhì)量的目的;最后,通過實驗評估系統(tǒng)性能。結(jié)果證明,本文方法在使用移動平臺下更易獲取的PPG信號代替ECG信號的情況下,能夠準確進行睡眠分期以及精神狀況分析,同時利用這兩種信息,使用音樂緩解精神壓力以及改善睡眠質(zhì)量。
本文提出了一種基于心率變異性分析的音樂推薦系統(tǒng),如圖1所示,用戶通過佩戴智能手表采集PPG信號,手表通過藍牙將采集到的信號傳輸?shù)绞謾C。手機對心率進行實時計算,同時提取時域以及頻域特征,每30 s對用戶進行睡眠分期以及精神狀況分析。根據(jù)用戶的睡眠以及精神狀況,進行音樂的播放以及實時調(diào)整。最終根據(jù)用戶整晚的睡眠分期時長分布,進行睡眠質(zhì)量分析,評估音樂與用戶個體的適應(yīng)程度,進行音樂推薦。
圖1 睡眠音樂推薦系統(tǒng)流程Fig.1 Flowchart of sleep music recommendation system
在本章中,主要介紹如何使用PPG信號進行HRV分析,同時將PPG信號與ECG信號在HRV計算上進行對比。PPG是一種光學(xué)測量技術(shù),可用于檢測組織微血管中的血容量變化,并被廣泛認為可提供有關(guān)心血管系統(tǒng)的有價值信息。PPG波形由脈搏生理波形組成,主要包括由每次心跳造成心臟血容量的變化的交流信號,以及由于呼吸、交感神經(jīng)系統(tǒng)活動和體溫調(diào)節(jié)的各種較低頻率分量緩慢變化的直流信號[13]。本文通過對信號做頻譜分析,對信號進行帶通濾波后保留包含心率信息部分的信號。
本部分實驗數(shù)據(jù)來源于MESA(Multi-Ethnic Study of Atherosclerosis)數(shù)據(jù)庫[14-15]。使用了共計50個夜晚的實驗數(shù)據(jù),使用多導(dǎo)睡眠圖(PolySomnoGraphy,PSG)中的ECG信號(采樣率為256 Hz)以及PPG信號(采樣率為256 Hz),以及睡眠階段標注為使用信號。數(shù)據(jù)集由醫(yī)學(xué)專家進行標注,用作實驗分析的真值。
2.1.1 帶通濾波
PPG信號是非穩(wěn)態(tài)的微弱信號,為進行心率以及心跳間隔的計算,需要對原始信號進行濾波。圖2所示為原始信號時域圖以及快速傅里葉變換后的頻譜分布,信號存在高頻部分(如電源)以及低頻部分(如毛細血管密度和靜脈血容量的變化、溫度變化等)噪聲。為消除噪聲干擾,使用帶通濾波器進行濾波。正常人群安靜狀況下心率范圍在每分鐘40~160次,為此濾波器通阻帶設(shè)置為4 Hz,階數(shù)為4。
圖2 原始信號時域波形以及頻譜Fig.2 Original signal’s time domain waveform and spectrum
圖3所示為濾波后信號時域圖以及頻譜分布,信號濾波后,高頻部分的噪聲得到消除。
圖3 濾波后信號時域波形以及頻譜Fig.3 Filtered signal’s timedomain waveform and spectrum
2.1.2 移動平均
目標信號為從原始PPG信號中計算心率以及心跳間隔,為了方便峰值檢測以及測量峰值之間間隔,對信號進行移動平均處理,即原始信號減去K個采樣點均值,如式(1)所示:
圖4 移動平均后信號波形Fig.4 Signal waveform after moving average
2.2.1 基于PPG的心率變異性計算
心率變異性又稱為心率波動性,指的是逐次心跳周期差異的變化情況或者說是指心跳快慢的變化情況,由兩個相鄰的R-R間期時間長短決定,即從第一次心動周期至下一次心動周期間的微小差異。通過測試個體的心率變異性各種指標,能夠提供有關(guān)睡眠分期、精神狀況等方面的信息,本文使用局部最大值法找出0.5 s的滑動窗口內(nèi)波峰,用于計算每次心跳之間的間隔。標記出的波峰如圖5所示。
圖5 標記波峰Fig.5 Marked peaks
2.2.2 性能對比
現(xiàn)有研究的HRV計算主要使用ECG,用戶在使用心電圖機時,需要在人體不同的部位放置電極,在佩戴舒適度上以及使用方便程度上表現(xiàn)較差。而PPG信號可以通過智能手表采集,使用簡單且佩戴舒適,二者使用對比如圖6所示。
圖6 采集方式對比Fig.6 Comparison of acquisition methods
通過ECG信號進行HRV計算的方法與使用PPG信號相似,對信號進行濾波處理后,通過人工或者機器識別的方式標記R峰,通過計算R峰間隔來計算心跳間隔。本文使用MESA數(shù)據(jù)庫進行驗證,比較使用ECG信號以及PPG信號計算HRV的性能。其中30 s的計算結(jié)果如圖7所示,與使用ECG進行HRV計算相比,使用PPG計算結(jié)果相差極小,證明在HRV計算上,PPG是一種有效的方式,并且在佩戴舒適度以及使用方便性上有很大優(yōu)勢。
圖7 HRV計算結(jié)果對比Fig.7 Comparison of HRV calculation results
HRV的時域特征是通過分析心跳間隔(R wave intervals,RR)序列的一些指標來完成的。根據(jù)RR間期的持續(xù)時間長短,HRV時域分析分為短時程指標和長時程指標。為實時分析音樂對精神狀況的影響,使用短時程指標,間期大小為30 s,與睡眠階段的劃分窗口大小相同。時域分析大體通過以下兩個方向進行分析:一方面直接從RR間隔以及瞬時心率得出;另一方面從相鄰RR間隔差值得出。
時域分析統(tǒng)計指標如下:1)心率時間序列平均數(shù)(mean of RR intervals,meanRR);2)心跳間隔平均數(shù)(mean of Normalto-Normal intervals,meanNN);3)心跳間隔標準差(Standard Deviation of Normal-to-Normal intervals,SDNN);4)統(tǒng)計間期內(nèi)正常竇性心搏(Normal to Normal intervals,NN)間期差值的均方根(root mean Square Successive Difference,rmSSD)。
HRV的頻域分析有快速傅里葉變換(Fast Fourier Transform,F(xiàn)FT)和自回歸模型譜分析法(AutoRegressive model spectrum estimation,AR)兩類方法。通過對一定時間內(nèi)連續(xù)RR間期進行FFT或AR,得出到以頻率為橫坐標、功率譜能量為縱坐標的心率功率譜,它提供了能量隨頻率變化分布的基本信息。醫(yī)學(xué)上將功率譜頻帶劃分為3個頻段,各頻段下的面積可作為功率譜能量的測定值,其大小與HRV成正比,可用于評估波形所對應(yīng)的各個頻率頻段的相對功率。
頻域分析在短時程和長時程上分析的結(jié)果意義差異很大,短時程5 min頻域分析應(yīng)使用戶在平臥休息狀態(tài)下,控制用戶以及環(huán)境條件,避免其他因素對用戶精神狀況以及神經(jīng)活動的干擾。長時程24 h頻域分析則是針對用戶全天的心率變化狀況進行分析,因此無法做到對其余干擾因素的消除,是對全天整體的大致分析。因此本文選擇對用戶進行短時程頻域分析評估音樂對睡眠的影響。
頻域分析統(tǒng)計指標如下:1)總功率(Total Power,TP),頻段0~0.4 Hz;2)極低頻功率(Very Low Frequency,VLF),頻段0.003~0.04 Hz;3)低頻功率(Low Frequency,LF),頻段0.04~0.15 Hz;4) 標 準 化 低 頻 功 率(normalized Low Frequency,LFnorm),計算方法如式(2)所示;5)高頻功率(High Frequency,HF),頻段 0.15~0.4 Hz;6)標準化高頻功率(normalized High Frequency,HFnorm),計算方法如式(3)所示;7)低高頻功率比(Low Frequency/High Frequency,LF/HF)。
睡眠作為一個非勻質(zhì)過程,由快速眼動階段(Rapid-Eye-Move,REM)以及3個非快速眼動階段(Non-Rapid-Eye-Move,NREM)交替循環(huán)組成。睡眠研究的標準儀器是多導(dǎo)睡眠圖(PSG),它要求患者在睡眠實驗室中睡覺,其中有一系列傳感器連接至身體的不同部位,由專業(yè)醫(yī)療人員根據(jù)監(jiān)測參數(shù)對處于哪個睡眠階段進行劃分。研究者將研究重點放在使用盡可能少的傳感器信號進行睡眠階段診斷,而睡眠階段劃分基本上均涉及EEG頻譜分析,因此大部分研究都使用單通道EEG信號進行睡眠階段診斷?,F(xiàn)有HRV分析大多使用ECG信號進行睡眠階段診斷,提取HRV相關(guān)時域頻域特征,使用神經(jīng)網(wǎng)絡(luò)對每30 s的數(shù)據(jù)進行睡眠階段分類。
本文使用支持向量機分類器,一種可用于分類的監(jiān)督機器學(xué)習(xí)算法來對睡眠階段進行分類。它使用內(nèi)核方法分析多維數(shù)據(jù),在有限的樣本數(shù)據(jù)中,支持向量機具有較好的表現(xiàn)。對于50個夜晚數(shù)據(jù),在去除損失信號后,共有27468個30 s波形,提取2.3節(jié)以及2.4節(jié)中所述時域和頻域特征后,原始數(shù)據(jù)以及特征被隨機分為50%的訓(xùn)練集數(shù)據(jù)用于分類器訓(xùn)練,50%的測試集數(shù)據(jù)用于評估測試集表現(xiàn)。睡眠階段共劃分為醒著、輕度睡眠(N1、N2)、深度睡眠(N3)以及REM。最終分類準確率如表1所示。
表1 睡眠階段分類準確率 單位:%Tab.1 Classification accuraciesof sleep stages unit:%
從表1可以看出,分類器在數(shù)據(jù)集上的深度睡眠以及快速眼動階段具有較高的分類準確率,對于醒著以及輕度睡眠的劃分,分類的準確率在可接受范圍類,對于睡眠音樂推薦,較高的睡眠階段識別準確率具有很大幫助。睡眠音樂推薦系統(tǒng)使用在數(shù)據(jù)集上訓(xùn)練后的支持向量機分類器對用戶的睡眠狀況進行實時分析。智能手表采集PPG信號,經(jīng)藍牙傳輸至手機,每30 s計算2.3節(jié)以及2.4節(jié)所述時域以及頻域特征,將原始信號以及特征輸入支持向量機中對當前睡眠階段進行識別。若用戶處于入睡狀態(tài)(N1、N2、N3、REM),則停止當前音樂播放,若用戶處于醒著狀態(tài),則進入用戶精神狀況評估。
自主神經(jīng)系統(tǒng)控制著大多數(shù)器官的功能,并與應(yīng)激反應(yīng)相關(guān)。如果人處于緊張狀態(tài),自主神經(jīng)系統(tǒng)就會被觸發(fā),引發(fā)一系列反應(yīng),例如心率增加、血管收縮、瞳孔及肺部細支血管擴張和汗液分泌等。在人的精神壓力狀況發(fā)生變化時,交感神經(jīng)系統(tǒng)以及副交感神經(jīng)系統(tǒng)的興奮以及放松會導(dǎo)致許多HRV特征的顯著變化,因此,通過對HRV的短時程特征進行分析,能夠反映用戶的實時精神壓力。
精神緊張會導(dǎo)致人心臟負擔加重,大腦處于興奮狀態(tài),為滿足人體所需能量肝臟負荷加重,從而導(dǎo)致肝功能下降,且由于長時間緊張對人體各部分機能消耗大,影響人體入眠并使睡眠質(zhì)量下降。SDNN值代表全體NN間期的標準偏差,SDNN的值越大,說明心率信號變化的復(fù)雜程度越高,若SDNN的值下降,則代表人體自主神經(jīng)系統(tǒng)調(diào)節(jié)能力低下,精神處于焦慮緊張狀態(tài);同樣RMSSD值代表鄰近NN間期之差的均方根,是評估副交感神經(jīng)系統(tǒng)活性的較常用參數(shù),SDNN的下降,常伴隨RMSDD值下降。本文對數(shù)據(jù)庫中50個夜晚,監(jiān)測者入眠前(進入睡眠階段)5 min以及入眠后5 min HRV進行分析,如圖8、9所示。
圖8 入睡后5 min的SDNN散點圖Fig.8 SDNN scatter diagram at 5 min after goingtosleep
圖9 入睡后5 min的RMSSD散點圖Fig.9 RMSSDscatter diagramat 5 min after goingtosleep
圖8,9中每個點縱坐標代表該用戶入睡前5 min SDNN,RMSSD的值,橫坐標代表該用戶入睡后5 min SDNN,RMSSD的值。入睡前后5 min的SDNN以及RMMSD散點基本都落在方程Y=X上方,代表入睡后5 min SDNN以及RMMSD值均有上升,精神處于更加放松的狀態(tài)。
在HRV的頻域分析中,LF屬于相對的低頻成分,可用來代表人體副交感神經(jīng)系統(tǒng)的活性,但大部分情況是作為交感神經(jīng)系統(tǒng)活性指標來利用;HF作為相對高頻的成分,是與呼吸運動相關(guān)的成分,是評估副交感神經(jīng)系統(tǒng)活性的指標。二者比值LF/HF,代表交感神經(jīng)系統(tǒng)與副交感神經(jīng)系統(tǒng)之間,即整個自主神經(jīng)系統(tǒng)的平衡性。當交感神經(jīng)系統(tǒng)處于強勢時,機體往往處于焦慮、恐怖、易怒、注意力散漫、過度警覺的狀態(tài)。同樣對監(jiān)測者入眠前后5 min LF/HF進行分析,如圖10所示。
圖10 入睡后5 min的LF/HF散點圖Fig.10 LF/HFscatter diagramat 5 min after goingtosleep
圖10中每個點橫坐標代表用戶入睡后5 min LF/HF值,縱坐標代表該用戶入睡前5 min LF/HF的值。入睡前后5 min LF/HF散點基本都落在方程Y=X下方,這代表入睡后LF/HF值處于下降狀態(tài),精神狀況更加放松。對于本實驗的樣本來說,統(tǒng)計之后共有9個點不符合下降趨勢,92%的樣本在入眠后LF/HF都呈下降趨勢。
根據(jù)數(shù)據(jù)庫樣本的HRV分析,用戶在進入睡眠后,精神趨于放松狀態(tài),即SDNN以及RMSSD值上升,LF/HF值下降。因此在本音樂推薦系統(tǒng)中,采集的PPG信號經(jīng)藍牙傳輸至手機后,進行HRV分析,在大小為5 min的滑動窗口每30 s計算SDNN、RMSSD以及LF/HF值,若SDNN、RMSSD值呈上升趨勢,LF/HF值呈下降趨勢,則代表推薦音樂對用戶精神起到促進放松作用,反之則代表該音樂對用戶精神未起到促進放松作用,需要對音樂進行音量下調(diào)或切換音樂。
聽音樂會影響腦電波甚至增加α波的能量,而α波能量增加則代表更好的精神狀況以及更加放松的身體。而當為了休息閉上眼睛時也會出現(xiàn)相同的情況,α波能量增加,身體因休息而放松??梢钥闯?,聽音樂是為了緩解緊張情緒,放松,甚至與休息具有相同的功能。本文提出了一種基于HRV分析的睡眠音樂推薦框架,通過HRV分析用戶的實時睡眠狀態(tài)以及精神狀況來對音樂進行實時調(diào)整,最后根據(jù)整晚的睡眠質(zhì)量評估音樂對個體的適應(yīng)性,系統(tǒng)框架如圖11所示。
圖11 睡眠音樂推薦系統(tǒng)Fig.11 Sleep music recommendation system
如圖11所示,用戶智能手表采集PPG信號,傳輸至手機計算心率以及HRV分析。每30 s對用戶當前睡眠階段進行分析(S1,S2,…,S11),若用戶已入睡,則關(guān)閉音樂播放,繼續(xù)記錄心率以及HRV分析,結(jié)束睡眠后根據(jù)總睡眠時長以及各睡眠階段時長對音樂與該用戶適性進行分析;若用戶未入睡,則手機播放音樂,在5 min的滑動窗口內(nèi)每30 s對用戶精神狀況進行評估,若窗口2中用戶精神與窗口1相比更加緊張,則需要對音樂進行音量調(diào)低或音樂切換;若用戶精神放松,則繼續(xù)對用戶入睡狀態(tài)進行監(jiān)測,直至用戶入睡。
為了評估系統(tǒng)功效,選取7名在校大學(xué)生進行實驗,實驗個體均無相關(guān)睡眠疾病,實驗期間保持相同作息以及避免使用任何影響睡眠類藥品,佩戴華為Watch2采集相關(guān)信號,使用經(jīng)哈佛醫(yī)學(xué)院CDB中心測試認證的華為TruSleep技術(shù)作為睡眠質(zhì)量真值。每位實驗個體進行連續(xù)5個夜晚的睡眠監(jiān)測,實驗個體在實驗前3天中,僅佩戴智能手表進行睡眠監(jiān)測,每晚記錄淺度睡眠、深度睡眠以及快速眼動階段時長。在實驗后兩天中,用戶佩戴智能手表進行睡眠監(jiān)測,采集PPG信號傳輸至手機,手機的睡眠音樂推薦系統(tǒng)分析睡眠階段以及精神狀況,同時進行音樂播放以及調(diào)整,記錄每晚淺度睡眠,深度睡眠以及快速眼動階段時長。
圖12為用戶某晚整體睡眠時長以及具體睡眠階段時長分布,用戶在上午12:28分入睡,8:30分醒來。總睡眠時長7 h 19 min,其中深度睡眠2 h 10 min,淺度睡眠3 h 47 min,快速眼動階段1 h 22 min。
圖12 用戶整晚睡眠階段分布Fig.12 Distribution of user’s sleep stages through the night
圖13所示為7位用戶實驗期間的平均睡眠總時長變化情況。在無音樂的前3天,睡眠時長在7 h左右,且時長分布穩(wěn)定。使用音樂推薦系統(tǒng)后,第4天的睡眠時長明顯高于前3天,且保持穩(wěn)定,睡眠時長穩(wěn)定增長,約7.5 h。
圖13 用戶實驗期間平均睡眠總時長變化Fig.13 Average change of user’stotal sleep timeduring experiment
如圖14所示為用戶有無音樂推薦下各睡眠階段平均時長對比,音樂推薦系統(tǒng)主要使用戶的淺度睡眠以及快速眼動時長增加,對深度睡眠影響較小。用戶使用睡眠音樂推薦系統(tǒng)前,平均快速眼動、淺度睡眠以及深度睡眠時長分別為86 min、220 min和117 min。在使用音樂推薦系統(tǒng)后,平均快速眼動、淺度睡眠、深度睡眠時長對比使用系統(tǒng)前分別增長16 min、22 min、3 min,總體睡眠時長對比使用系統(tǒng)前增長11.0%。
圖14 用戶有無音樂下各睡眠階段平均時長變化Fig.14 Averageduration changesof user’seach sleep stagewith and without music
圖15所示為用戶實驗期間,各睡眠階段平均時長的變化情況。其中,在使用音樂推薦系統(tǒng)后,用戶的淺度睡眠時長以及快速眼動時長明顯增長,且使用后時長持續(xù)增長,而深度睡眠時長則基本保持不變。實驗結(jié)果證明系統(tǒng)主要使用戶的淺度睡眠以及快速眼動階段時長增加,而對深度睡眠的時長影響較小。
圖15 用戶實驗期間內(nèi)各睡眠階段平均時長變化Fig.15 Averageduration changesof user’s each sleep stage during experiment
本文提出了一種使用PPG信號代替ECG信號進行HRV分析,并根據(jù)分析得出的精神狀況以及睡眠階段,使用音樂緩解精神壓力以及輔助睡眠,同時對音樂進行動態(tài)調(diào)整的系統(tǒng)。在現(xiàn)有數(shù)據(jù)集上的實驗結(jié)果表明,PPG信號在HRV計算上的結(jié)果與ECG信號相近,并且獲取方法簡單,舒適度高。此外,音樂推薦系統(tǒng)能夠有效改善實驗個體睡眠質(zhì)量,使用系統(tǒng)后,睡眠總時長對比使用系統(tǒng)前增長11%。在未來的工作中,計劃將本系統(tǒng)在不同年齡用戶群體使用以及擴大實驗樣本數(shù)量,目標是在能改善各年齡層次的多數(shù)用戶的睡眠質(zhì)量;同時,優(yōu)化特征提取以及特征選擇,提高PPG信號在睡眠分期以及精神狀況的準確性,使用多種傳感器驗證結(jié)果。