iPPG技術(shù)及生理參數(shù)檢測(cè)的教育應(yīng)用綜述

鄭 鯤，孔江萍，周 晶，慈康怡，常 鵬

1.北京工業(yè)大學(xué) 信息學(xué)部，北京100124

2.北京工業(yè)大學(xué) 繼續(xù)教育學(xué)院，北京100124

成像式光電容積描記技術(shù)（imaging Photoplethysmography，iPPG）是近些年發(fā)展迅速的一種非接觸式生理參數(shù)檢測(cè)技術(shù)[1]，是在傳統(tǒng)單點(diǎn)接觸式光電容積描記技術(shù)（Photoplethysmography，PPG）上發(fā)展起來(lái)的。與傳統(tǒng)的接觸式PPG相比，iPPG技術(shù)具有無(wú)創(chuàng)、非接觸檢測(cè)人體的優(yōu)點(diǎn)。在現(xiàn)代醫(yī)學(xué)體系中，心率（Heart Rate，HR）、心率變異性（Heart Rate Variability，HRV）、呼吸率（Breathing rate，BR）、血氧飽和度（Oxygen saturation，SpO2）等生理參數(shù)的檢測(cè)對(duì)人體健康評(píng)估、疾病診斷等起著重要的作用。而生理參數(shù)檢測(cè)除了應(yīng)用在傳統(tǒng)的醫(yī)療場(chǎng)景中，也逐漸擴(kuò)展到智能教育等領(lǐng)域。比如，通過(guò)檢測(cè)教室空間里參與者的生理參數(shù)來(lái)進(jìn)行情緒識(shí)別[2]，可以及時(shí)評(píng)估學(xué)生的心理健康情況，同時(shí)對(duì)教師及時(shí)調(diào)整教學(xué)狀態(tài)也有很大的督促作用。而在傳統(tǒng)的教學(xué)課堂上，主要還是采用課堂觀察這一評(píng)估方式。課堂觀察是教師動(dòng)態(tài)捕捉教學(xué)現(xiàn)象，實(shí)時(shí)分析教學(xué)情況，獲得教學(xué)質(zhì)量反饋，以此對(duì)教學(xué)內(nèi)容、方法、狀態(tài)做出及時(shí)調(diào)整的重要手段。但這種評(píng)估方式是一種基于經(jīng)驗(yàn)的評(píng)價(jià)，主觀性較強(qiáng)，評(píng)價(jià)結(jié)果不夠精準(zhǔn)[3]。隨著大數(shù)據(jù)、人工智能的不斷發(fā)展，傳統(tǒng)教育領(lǐng)域的智能化將是一個(gè)必然的發(fā)展趨勢(shì)。同時(shí)近些年來(lái)，智慧教育越來(lái)越受到國(guó)家的重視。結(jié)合人工智能技術(shù)對(duì)學(xué)生的心理情緒進(jìn)行及時(shí)監(jiān)督，對(duì)教師的教學(xué)效果進(jìn)行及時(shí)測(cè)評(píng)，不僅可以為學(xué)生的心理健康發(fā)展提供支持，同時(shí)也可以為教師的客觀教學(xué)評(píng)估提供支持。

基于iPPG技術(shù)的生理參數(shù)檢測(cè)及其在教育領(lǐng)域應(yīng)用的研究和分析包括4部分。首先，介紹基于iPPG技術(shù)進(jìn)行生理參數(shù)檢測(cè)的起源及發(fā)展；其次，分析基于iPPG技術(shù)進(jìn)行生理參數(shù)檢測(cè)的原理和方法；然后，將生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用歸納為四個(gè)方面并分別做了介紹；最后，展望了iPPG技術(shù)在教育領(lǐng)域的應(yīng)用前景。

1 基于iPPG的生理參數(shù)檢測(cè)技術(shù)發(fā)展

通過(guò)身體的心血管脈搏波的檢測(cè)被稱為容積描記術(shù)。容積描記術(shù)（PPG）是20世紀(jì)30年代出現(xiàn)的一種方法，它使用光的反射或透射，是成本最低、使用簡(jiǎn)單的方法。之后在PPG的基礎(chǔ)上，研究又提出了成像式光電容積描記術(shù)（iPPG），實(shí)現(xiàn)了無(wú)創(chuàng)，非接觸的生理參數(shù)檢測(cè)。

2007年，日本的Takano等基于iPPG技術(shù)利用CCD相機(jī)采集的人體皮膚視頻研究出了一種非接觸式的心率與呼吸頻率采集裝置[4]。然而環(huán)境光照變化和大幅度運(yùn)動(dòng)干擾會(huì)嚴(yán)重影響該方法得到的心率信號(hào)的準(zhǔn)確性。

2008年由Verkruysse等[5]首次研究提出基于iPPG技術(shù)采用普通高清攝像頭進(jìn)行心率檢測(cè)。2010年，麻省理工學(xué)院的Poh提出了基于獨(dú)立成分分析（Independent Component Analysis，ICA）[6]的生理參數(shù)檢測(cè)系統(tǒng)。首先使用ICA將歸一化的原始信號(hào)分解為R、G、B三通道的獨(dú)立源信號(hào)，選擇第二分量作為源信號(hào)，最后利用快速傅里葉變換頻譜分析進(jìn)行心率值估計(jì)。該系統(tǒng)由于其低成本及較高的準(zhǔn)確性，引起了較為廣泛的關(guān)注。2012年Sun等提出了一個(gè)在環(huán)境光條件下應(yīng)用聯(lián)合時(shí)頻分析去遠(yuǎn)程測(cè)量心率的基本框架[7]。2014年，Li用自適應(yīng)濾波[8-9]來(lái)處理公共數(shù)據(jù)集MAHNOB-HCI視頻中的運(yùn)動(dòng)和照明干擾。雖然精度明顯比Poh等[6]的有所提高，但MAHNOB-HCI數(shù)據(jù)集的采集條件較理想，受試者沒(méi)有明顯的頭部運(yùn)動(dòng)。2016年Chwyl等基于貝葉斯估計(jì)提出了心率檢測(cè)方法[10-11]。但沒(méi)有考慮到在現(xiàn)實(shí)條件下不可避免的身體運(yùn)動(dòng)。這些非接觸式心率檢測(cè)方法在消除運(yùn)動(dòng)偽影上有一定的局限性，因此如何消除運(yùn)動(dòng)偽影成為研究者們急需解決的問(wèn)題之一。

近年來(lái)，研究人員開(kāi)始關(guān)注真實(shí)場(chǎng)景下如何消除運(yùn)動(dòng)偽跡的影響。

2017年，Alghoul等[12]比較了兩種提取心率變異性的方法，其中一種方法基于獨(dú)立成分分析（Independent Component Analysis，ICA），另一種方法基于歐拉視頻放大（Eulerian Video Magnification，EVM）。結(jié)論表明基于ICA的方法在高頻與低頻上的HRV結(jié)果更好，但是在運(yùn)動(dòng)情況下，基于EVM的方法結(jié)果更好。2018年，Prakash等[13]提出了一種用于運(yùn)動(dòng)估計(jì)和特征跟蹤的有界卡爾曼濾波技術(shù)，來(lái)減小運(yùn)動(dòng)偽影的影響，并實(shí)現(xiàn)了在不同光照環(huán)境下，受試者進(jìn)行自然的頭部運(yùn)動(dòng)和4英尺距離內(nèi)的身體移動(dòng)時(shí)的心率檢測(cè)。同年，Ghanadian等[14]在ICA盲源分離法的基礎(chǔ)上，增加了光均衡方案來(lái)減少時(shí)空光照變化對(duì)心率估計(jì)的影響，并使用機(jī)器學(xué)習(xí)方法選擇ICA模塊輸出的最精確信道，正確率達(dá)86.9%。2019年Yang等[15]針對(duì)人臉運(yùn)動(dòng)的情況，提出了一種基于面片融合的框架，可從人臉視頻中估計(jì)出準(zhǔn)確的心率。Qiu等[16]用時(shí)空濾波與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)了真實(shí)條件下心率的遠(yuǎn)程測(cè)量。

另外，還有研究通過(guò)皮膚像素選擇來(lái)提高iPPG信號(hào)質(zhì)量。Fouad等[17]通過(guò)濾除感興趣區(qū)域（Region of Interest，ROI）中包含的非皮膚像素來(lái)提高iPPG信號(hào)的質(zhì)量。與以往基于iPPG的實(shí)時(shí)檢測(cè)方法比較發(fā)現(xiàn)，先進(jìn)行皮膚分割然后定義額頭、左右臉頰為ROI會(huì)使心率檢測(cè)的準(zhǔn)確率更高。此外，比較每個(gè)步驟中不同方法的性能后，得出了Viola-Jones、KLT（Kanade-Lucas-Tomasi）和PCA（Principal Components Analysis）分別作為人臉檢測(cè)、人臉跟蹤和盲源信號(hào)分離方法效果最好的結(jié)論。

2 基于iPPG的生理參數(shù)檢測(cè)技術(shù)

2.1 iPPG技術(shù)原理

2.1.1 iPPG技術(shù)的生物學(xué)原理

人體的皮膚組織是由表皮、真皮、皮下組織三層構(gòu)成，如圖1所示。1981年，哈佛大學(xué)的Anderson和Parrish等發(fā)現(xiàn)了人體皮膚組織的光學(xué)特性[18]。研究表明，皮膚中對(duì)光吸收和傳輸?shù)闹饕课皇俏挥诒砥右韵碌恼嫫?，利用iPPG原理進(jìn)行生理參數(shù)檢測(cè)就是對(duì)真皮層的反射或投射光進(jìn)行檢測(cè)。

圖1 人體結(jié)構(gòu)皮膚組織

此外，對(duì)于入射光線的吸收散射效果，人體的不同組織和成分存在差異性。考慮到人體的肌肉、脂肪、骨骼等組織在短時(shí)靜止情況下對(duì)入射光的吸收效果基本不發(fā)生變化，而心臟的周期性搏動(dòng)使得人體血管內(nèi)的血容積呈現(xiàn)出周期性的變化，所以人體血管對(duì)于入射光線的吸收變化也呈現(xiàn)出周期性波動(dòng)。當(dāng)心臟收縮時(shí)，血液從心臟內(nèi)流出進(jìn)入動(dòng)脈和毛細(xì)血管，此時(shí)動(dòng)脈和毛細(xì)血管內(nèi)血液量顯著增加，對(duì)于入射光的吸收效果顯著提升，但人體其他組織對(duì)入射光的吸收效果基本不發(fā)生變化；在心臟舒張的時(shí)候，血管內(nèi)的血液流回心臟，從而導(dǎo)致血管內(nèi)的血液量驟減，同時(shí)動(dòng)脈血管和毛細(xì)血管對(duì)于光線的吸收能力也隨之降低，而其他組織對(duì)于光線的吸收能力基本不變。因此可以認(rèn)為在心臟整個(gè)收縮舒張周期中，血管內(nèi)血液容積對(duì)光線的吸收能力呈周期性變化[19]。

2.1.2 iPPG技術(shù)的光學(xué)原理

iPPG是在傳統(tǒng)的單點(diǎn)接觸式光電容積描記技術(shù)（PPG）上發(fā)展起來(lái)的，原理與PPG生理參數(shù)測(cè)量均為朗伯-比爾定律。郎伯-比爾定律闡述為：當(dāng)吸光介質(zhì)是透明介質(zhì)時(shí)，介質(zhì)的吸光程度和光線強(qiáng)度無(wú)關(guān)；吸光的分子數(shù)量越大，吸光量越高。在iPPG技術(shù)中，光的吸收量正比于人體真皮層里血管血液容積。

當(dāng)一束單色光I0射入吸光物質(zhì)時(shí)，透光強(qiáng)度I與入射光強(qiáng)度的關(guān)系如下：

I=I0e-ε(λ)CL

其中，ε(λ)為物質(zhì)對(duì)特定波長(zhǎng)的光的吸收率，稱為吸收系數(shù)，C為吸光物質(zhì)的濃度，L為光程，即光在物質(zhì)中經(jīng)過(guò)的距離。

在iPPG技術(shù)中，當(dāng)光源照射皮膚后，光照強(qiáng)度隨著血管中血液容量變化而發(fā)生改變，通過(guò)視頻采集設(shè)備檢測(cè)到的光照強(qiáng)度變化就包含了相應(yīng)的心臟周期活動(dòng)信息。

2.2 基于iPPG技術(shù)的生理參數(shù)檢測(cè)的基本框架

基于iPPG技術(shù)實(shí)現(xiàn)生理參數(shù)檢測(cè)的流程框圖如圖2所示。由于高靈敏度CMOS相機(jī)和低成本網(wǎng)絡(luò)攝像頭在測(cè)量心率的效果方面差別不大，所以一般主要關(guān)注視頻處理、容積波提取、生理參數(shù)提取等三個(gè)過(guò)程。

圖2 基于iPPG技術(shù)的生理參數(shù)檢測(cè)流程圖

2.2.1 視頻處理

由于在使用攝像頭進(jìn)行視頻采集時(shí)，頭部較難固定，因此容易引入運(yùn)動(dòng)偽跡的干擾。同時(shí)還會(huì)有待檢測(cè)人臉部位背景的干擾。這些干擾均會(huì)降低血液容積波信號(hào)（Blood Volume Pulse，BVP）的信噪比，從而使生理參數(shù)的檢測(cè)結(jié)果不夠準(zhǔn)確。所以需要對(duì)視頻進(jìn)行處理，去除BVP信號(hào)外的噪聲。

視頻處理過(guò)程通常包括人臉檢測(cè)與人臉跟蹤、ROI選取。常用的人臉檢測(cè)算法有Viola-Jones算法[20-22]，這是一種基于積分圖、級(jí)聯(lián)檢測(cè)器和AdaBoost算法的方法，利用Harr-like特征表示人臉屬性，然后通過(guò)Adaboost算法構(gòu)建級(jí)聯(lián)分類器。王春江等[23]在Viola-Jones算法基礎(chǔ)上，提出了基于拓展的Haar特征人臉檢測(cè)算法。拓展Haar分類器對(duì)于非正臉的特征識(shí)別有所提高，降低了誤檢率，有效改善了因?yàn)槿四樈嵌炔煌斐烧`檢漏檢的現(xiàn)象，提高了檢測(cè)的靈活性。汪秀軍等[24]使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）檢測(cè)人臉，鄭銀環(huán)等[25]提出了基于小濾波器的深卷積神經(jīng)網(wǎng)絡(luò)的人臉特征點(diǎn)檢測(cè)算法，在預(yù)測(cè)人臉5點(diǎn)特征點(diǎn)問(wèn)題上有很好的準(zhǔn)確性和魯棒性。Li等[8]、Sun等[26]以及王香榮等[27]采用基于MTCNN模型的人臉檢測(cè)算法。MTCNN模型是以深度學(xué)習(xí)算法為基礎(chǔ)，使用了三個(gè)CNN級(jí)聯(lián)算法結(jié)構(gòu)，將人臉檢測(cè)和人臉特征點(diǎn)檢測(cè)同時(shí)進(jìn)行。作為多任務(wù)級(jí)的人臉檢測(cè)深度學(xué)習(xí)模型，該模型中考慮了人臉邊框回歸和面部關(guān)鍵點(diǎn)檢測(cè)綜合性能?；贛TCNN的人臉檢測(cè)算法檢測(cè)速度快、檢測(cè)精度高，對(duì)于存在多個(gè)監(jiān)測(cè)目標(biāo)的視頻序列來(lái)說(shuō)，能夠滿足對(duì)于心率實(shí)時(shí)檢測(cè)的要求。

人臉檢測(cè)后，一般要進(jìn)行人臉跟蹤。常用的人臉跟蹤算法是KLT（Kanade-Lucas-Tomasi）算法[28-29]，通過(guò)跟蹤66個(gè)特征點(diǎn)的位移來(lái)跟蹤頭部移動(dòng)，最后輸出穩(wěn)定的人臉視頻?；贑T（Compressive Tracking）的跟蹤算法[30-31]是基于壓縮感知的跟蹤算法，首先提取圖像的Haar特征，然后對(duì)特征利用稀疏感知進(jìn)行降維。進(jìn)一步將降維特征送入貝葉斯分類器進(jìn)行訓(xùn)練，下一幀在目標(biāo)區(qū)域附近取框進(jìn)行分類。最后得到一個(gè)正樣本的圖片和若干個(gè)負(fù)樣本的圖片，并更新分類器，以此循環(huán)。由于每次更新只有一個(gè)正樣本，因此當(dāng)圖像噪聲比較大的時(shí)候可能會(huì)出現(xiàn)目標(biāo)框漂移。

人臉感興趣區(qū)域ROI的選擇方面，研究人員關(guān)注的區(qū)域主要包括整個(gè)面部ROI_1、前額ROI_2、眼睛下方嘴巴上方區(qū)域或臉頰ROI_3以及眼睛下方區(qū)域ROI_4四個(gè)區(qū)域，如圖3所示。很多研究者選擇前額、臉頰或者眼睛下方區(qū)域，因?yàn)檫@些區(qū)域的面部溫度相對(duì)恒定，而且靜止時(shí)，不會(huì)因眨眼、動(dòng)唇等輕微面部運(yùn)動(dòng)產(chǎn)生偽影，降低信號(hào)質(zhì)量。也有研究從多個(gè)ROI組合中提取iPPG信號(hào)，以提高信號(hào)強(qiáng)度。大量的實(shí)驗(yàn)證明，從ROI_3區(qū)域得到的BVP信號(hào)質(zhì)量更好，穩(wěn)定性更強(qiáng)。

圖3 人臉感興趣區(qū)域

ROI區(qū)域的選擇方式一般有手動(dòng)選擇感興趣區(qū)域和人臉檢測(cè)自動(dòng)選取兩種方法，如表1所示。

表1 ROI選取方式與選擇區(qū)域

2.2.2 容積波提取

基于人臉視頻提取出BVP信號(hào)的方法主要有兩種，一種是將面部提取的ROI區(qū)域的綠色通道（G通道）的變化進(jìn)行數(shù)字信號(hào)濾波獲得BVP信號(hào)[32]，另一種是使用獨(dú)立成分分析（ICA）算法從人臉視頻的RGB三通道中提取出BVP信號(hào)。如圖4所示。

圖4 BVP信號(hào)提取過(guò)程

2.2.3 生理參數(shù)提取

目前通過(guò)iPPG技術(shù)可以獲取的生理參數(shù)有心率、呼吸率、血氧飽和度、心率變異性、血壓等。其中前四個(gè)研究最多。

（1）心率、呼吸率提取

心率是人體最主要的生理參數(shù)之一，是人體心臟功能和健康狀況的可靠指標(biāo)。心率的檢測(cè)在醫(yī)學(xué)領(lǐng)域具有重要的意義。傳統(tǒng)接觸式的心率檢測(cè)方法有很多，如，動(dòng)脈壓力法、心電圖法、電阻法等，且已經(jīng)入臨床使用，所以早期iPPG非接觸式生理信號(hào)的檢測(cè)研究也集中在心率檢測(cè)上[5，33]。

由心臟的周期性收縮與舒展而引起動(dòng)脈的周期搏動(dòng)，使得iPPG信號(hào)也呈現(xiàn)周期性變化。人體正常心率范圍為1～1.67 Hz（60～100次/min），呼吸頻率范圍為0.05～0.75 Hz（3～45次/min）包含在iPPG信號(hào)的頻帶范圍內(nèi)。心率與呼吸頻率的提取過(guò)程通常都是先對(duì)iPPG信號(hào)進(jìn)行頻譜分析，然后根據(jù)正常人的心率與呼吸頻率范圍，用濾波器進(jìn)行濾波提取。目前iPPG技術(shù)中常用的對(duì)容積波進(jìn)行頻譜分析方法是傅里葉變換[6，20，24]與AR（Auto Regressive）模型[28]。榮猛等[34]等將頻域內(nèi)幅值最大處的頻率值對(duì)應(yīng)心率值，次波峰的頻率值對(duì)應(yīng)呼吸率的值。且王濤等[35]認(rèn)為其iPPG信號(hào)主峰主要受心率頻率影響，次波峰主要受呼吸等其余頻率影響。Ghodratigohar等[36]提出了一種在運(yùn)動(dòng)狀態(tài)下基于iPPG的呼吸頻率檢測(cè)算法，使用CEEMDAN（Complete Ensemble Empirical Mode Decomposition with Adaptive Noise）將ICA輸出信號(hào)分解為IMFs（Intrinsic Mode Functions），然后使用機(jī)器學(xué)習(xí)得到最能代表呼吸頻率的IMFs。這種方法在靜止?fàn)顟B(tài)下的RMSE能達(dá)到1.89次/min，在運(yùn)動(dòng)狀態(tài)下的RMSE能達(dá)到2.30次/min。

（2）血氧飽和度提取

健康的人體血氧飽和度一般在95%～99%范圍內(nèi)。接觸式PPG是借助光電手段檢測(cè)出血液容積的變換，根據(jù)朗伯-比爾定律，血氧飽和度可由兩種波長(zhǎng)的光的相對(duì)波動(dòng)振幅計(jì)算得到，利用雙波長(zhǎng)法[37]測(cè)量血氧飽和度的線性經(jīng)驗(yàn)公式如下：

其中，SpO2為血氧飽和度，A和B為經(jīng)驗(yàn)系數(shù)，IAC和IDC為光的交流分量和直流分量。從以上經(jīng)驗(yàn)公式中可以看出，血氧飽和度的提取主要是容積波信號(hào)中IAC和IDC的提取。

由于每個(gè)周期的容積波信號(hào)最大最小值存在差異，所以當(dāng)獲得的容積波信號(hào)波形較好時(shí)，通常是將紅、藍(lán)波的平均值作為IDC，而交流分量的提取通常采用的是峰谷值法[28，38]。但是在原始信號(hào)波形較差的情況下，無(wú)法獲取準(zhǔn)確的峰谷值波形。因此研究者通常采用紅、藍(lán)兩波的標(biāo)準(zhǔn)差（方差）作為IAC[34，37，39]，其平均值作為IDC。A與B是以接觸式血氧儀的同步測(cè)量結(jié)果為標(biāo)準(zhǔn)信號(hào)，與利用iPPG技術(shù)測(cè)得的結(jié)果經(jīng)過(guò)線性擬合得到的經(jīng)驗(yàn)系數(shù)。

（3）心率變異性提取

心率變異性是指每次心跳周期差異性的變化，是評(píng)估自主神經(jīng)控制的有效方法。臨床上對(duì)心率變異性的檢測(cè)主要通過(guò)心電信號(hào)分析。

有研究表明，心率變異性與脈搏變異性（Pulse Rate Variability，PRV）具有等價(jià)性[40]，因此，心率變異性可以通過(guò)脈搏變異性的檢測(cè)獲取。目前使用最多的脈搏變異性信號(hào)線性分析方法為時(shí)域分析、頻域分析以及時(shí)頻聯(lián)合分析方法。

Sun等[19]研究發(fā)現(xiàn)基于iPPG技術(shù)采集到的RR間期等心率變異性信息包含且可分析出部分的心率變異性信息。

2.3 數(shù)據(jù)處理技術(shù)

基于iPPG技術(shù)實(shí)現(xiàn)生理參數(shù)檢測(cè)的信息處理過(guò)程中涉及到的算法。

2.3.1 容積波信號(hào)提取相關(guān)算法

由于iPPG技術(shù)得到的BVP容易受到面部肌肉運(yùn)動(dòng)、頭部晃動(dòng)等不穩(wěn)因素的干擾。因此，如何在現(xiàn)實(shí)場(chǎng)景中準(zhǔn)確地提取BVP進(jìn)而提高心率檢測(cè)的準(zhǔn)確性，成為國(guó)內(nèi)外學(xué)者研究的難點(diǎn)和熱點(diǎn)。當(dāng)脈搏容積波信息得到后，可能會(huì)存在噪聲。因此需要對(duì)提取到的容積波信號(hào)進(jìn)行濾波去噪處理，常用的方法是使用濾波器對(duì)信號(hào)進(jìn)行處理。優(yōu)化去噪方法如表2所示。

表2 常用的優(yōu)化BVP的去噪方法

2.3.2 消除運(yùn)動(dòng)偽跡相關(guān)算法

早期基于iPPG的生理參數(shù)檢測(cè)基本都是在檢測(cè)對(duì)象處于靜止的情況下進(jìn)行的，因?yàn)榧词故禽p微的運(yùn)動(dòng)都會(huì)造成ROI和攝像頭、光源之間的距離和角度發(fā)生變化，從而帶來(lái)更大的干擾和噪聲。但現(xiàn)實(shí)場(chǎng)景下檢測(cè)對(duì)象不可能一直保持這種理想條件，因此越來(lái)越多的研究開(kāi)始關(guān)注如何去克服運(yùn)動(dòng)帶來(lái)的影響。表3為消除運(yùn)動(dòng)偽跡的一些相關(guān)算法。

表3 消除運(yùn)動(dòng)偽跡的方法

2.3.3 消除視頻壓縮偽影的相關(guān)算法

基于iPPG技術(shù)進(jìn)行生理參數(shù)檢測(cè)過(guò)程中由于采集到的原始視頻數(shù)據(jù)量巨大，難以上傳及下載，所以往往需要對(duì)視頻進(jìn)行壓縮預(yù)處理。利用視頻壓縮降低視頻的比特率，但同時(shí)也要保證視頻內(nèi)容的質(zhì)量。在McDuff等[53]的研究中，分析了兩種常用的編解碼器（X264和X265），比較了不同比特率下的脈沖回復(fù)率，結(jié)果表明，隨著比特率的降低，所提取的脈沖信號(hào)的信噪比有明顯的下降，即證明視頻壓縮會(huì)降低iPPG的檢測(cè)精度。在Zhao等[54]的研究中提出了一種基于感興趣區(qū)域的視頻壓縮算法來(lái)保持生理信號(hào)。首先將皮膚/非皮膚特征分類問(wèn)題建模為稀疏子空間聚類。然后將生理信號(hào)分配到感興趣（非感興趣）區(qū)域來(lái)保存。最后再基于感興趣區(qū)域進(jìn)行視頻壓縮。這種方法能夠有效地保存面部視頻的生理信號(hào)。Zhao等[55]還分析了壓縮對(duì)iPPG測(cè)量的影響。提出了基于單通道信號(hào)處理的iPPG脈沖提取框架。并對(duì)四種常用的壓縮方法（X264、X265、VP8和VP9）、兩種運(yùn)動(dòng)類型（靜止和運(yùn)動(dòng)）進(jìn)行了大量的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法提高了現(xiàn)有算法在靜態(tài)視頻中的性能，對(duì)低碼率下的運(yùn)動(dòng)視頻效果較好。脈沖信號(hào)的質(zhì)量隨著比特率的降低而降低。X265保留了最好的信號(hào)質(zhì)量，VP9的效果最差。

現(xiàn)有的iPPG方法幾乎都是基于未壓縮的視頻數(shù)據(jù)，限制了其在需要長(zhǎng)距離視頻傳輸?shù)膱?chǎng)景中的應(yīng)用。在處理運(yùn)動(dòng)場(chǎng)景以及復(fù)雜場(chǎng)景下的檢測(cè)等方面也存在一定的局限性，在以后的工作中需要進(jìn)一步研究。未來(lái)的研究工作之一將集中在運(yùn)動(dòng)魯棒性的視頻壓縮算法設(shè)計(jì)上。

2.4 數(shù)據(jù)集

很多基于視頻進(jìn)行生理參數(shù)檢測(cè)的方法使用未公開(kāi)數(shù)據(jù)進(jìn)行性能評(píng)估。而公開(kāi)的視頻數(shù)據(jù)集非常有限，使得很多方法無(wú)法充分地進(jìn)行性能評(píng)估。目前基于視頻進(jìn)行生理參數(shù)檢測(cè)研究使用較多的是MAHNOBHCI[56]，該數(shù)據(jù)集由27名受試者的527段視頻組成，記錄了包括心率在內(nèi)的面部視頻、音頻信號(hào)、眼睛注視和外周及中樞神經(jīng)系統(tǒng)生理信號(hào)。此外還有一些可用于心率檢測(cè)的公開(kāi)數(shù)據(jù)集如表4所示。

表4 用于生理參數(shù)檢測(cè)的視頻數(shù)據(jù)集

常用的非接觸式心率檢測(cè)評(píng)估指標(biāo)有五種，且都是基于測(cè)量誤差HRe=HRv-HRt，即從視頻中檢測(cè)出來(lái)的心率值HRv與真實(shí)值HRt的差。與SDe分別為測(cè)量誤差HRe的絕對(duì)平均值與標(biāo)準(zhǔn)方差，RMSE為均方根誤差，用來(lái)估計(jì)檢測(cè)值與真實(shí)值得誤差，MeRate為平均錯(cuò)誤率百分比表視頻總量，MeRate值越小表示檢測(cè)值越接近真實(shí)值。r為皮爾遜相關(guān)系數(shù)，用于評(píng)估心率的檢測(cè)值與真實(shí)值的之間的線性相關(guān)性，||r越大，相關(guān)程度就越高。在公共數(shù)據(jù)集MAHNOB-HCI上，不同的心率估計(jì)方法的性能比較結(jié)果如表5所示。

綜合表5可得，在頭部動(dòng)作幅度相對(duì)較小的情況下，非接觸式心率檢測(cè)的誤差絕對(duì)平均值可以降低到1.68次/min，均方根誤差降低到3.26次/min，檢測(cè)值與真實(shí)心率值的相關(guān)性達(dá)到了0.95。與指夾式脈搏血氧儀±1次/min的測(cè)量精度已經(jīng)十分接近。

表5 不同心率估計(jì)方法的比較

以上數(shù)據(jù)集結(jié)構(gòu)與分類還比較簡(jiǎn)單，大多以正臉靜止或小幅度運(yùn)動(dòng)為主，更為復(fù)雜的條件下的數(shù)據(jù)集有待整理。Hassan等[69]基于MAHNOB-HCI對(duì)27名不同膚色的受試者進(jìn)行了驗(yàn)證?；诮y(tǒng)計(jì)的量化指標(biāo)包括平均誤差、標(biāo)準(zhǔn)差、均方根誤差、皮爾遜相關(guān)系數(shù)和Bland-Altman分析等。Chen等[70]考慮了在頭部旋轉(zhuǎn)等較為復(fù)雜情況下的生理參數(shù)檢測(cè)。未來(lái)需要有更為豐富和開(kāi)放的數(shù)據(jù)集為復(fù)雜情況下的生理參數(shù)檢測(cè)方法的研究提供支持。

3 生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用

3.1 接觸式生理參數(shù)檢測(cè)在教育領(lǐng)域中的應(yīng)用

生理參數(shù)是反映學(xué)生學(xué)習(xí)狀態(tài)的重要信息，已經(jīng)有大量研究工作使用了接觸式的檢測(cè)方式對(duì)學(xué)生生理狀態(tài)進(jìn)行檢測(cè)，并將學(xué)習(xí)狀態(tài)數(shù)據(jù)用于教育相關(guān)研究。接觸式生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用流程如圖5所示。

圖5 接觸式生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用流程圖

待檢測(cè)學(xué)生使用接觸式的生理信號(hào)檢測(cè)儀器進(jìn)檢測(cè)，例如監(jiān)護(hù)儀、一次性電極傳感器、血氧飽和度儀、手指脈搏血氧儀等。教育研究人員對(duì)檢測(cè)到的生理信號(hào)進(jìn)行分析，可以獲得學(xué)生心率、心率變異性、血氧飽和度等生理參數(shù)。將檢測(cè)到的生理數(shù)據(jù)進(jìn)行匯總分析以反饋學(xué)生的學(xué)習(xí)、心理、身體狀態(tài)。

近年來(lái)隨著大數(shù)據(jù)與人工智能的不斷發(fā)展，國(guó)內(nèi)外研究者對(duì)生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用進(jìn)行了大量的研究。目的主要包括提高學(xué)生成績(jī)，學(xué)生情緒識(shí)別，體育藝術(shù)教育以及特殊人群教育四個(gè)方面。

3.1.1 生理參數(shù)檢測(cè)應(yīng)用于提高學(xué)生成績(jī)

生理參數(shù)對(duì)學(xué)生的學(xué)習(xí)成績(jī)有著直接或間接的影響。Scrimin等[71]將光電容積儀傳感器連接到受試者非常用手的食指尖上連續(xù)記錄BVP來(lái)檢測(cè)心率變異性（HRV）。并以心率變異性（HRV）為指標(biāo)，記錄學(xué)生在觀看學(xué)校相關(guān)壓力（School-Related Stressor，SRS）視頻之前、期間和之后的心理生理反應(yīng)，探討青少年對(duì)SRS的心理生理反應(yīng)。結(jié)果表明觀看SRS視頻片段時(shí)學(xué)生的HRV與其成績(jī)呈正相關(guān)。Cowley等[72]使用電極檢測(cè)心率變異性（HRV），通過(guò)研究分析在游戲過(guò)程中的生理參數(shù)及其與學(xué)習(xí)成績(jī)的關(guān)系，發(fā)現(xiàn)一定難度下HRV會(huì)預(yù)測(cè)到學(xué)習(xí)結(jié)果，如表6所示。

表6 生理參數(shù)檢測(cè)應(yīng)用于提高學(xué)習(xí)成績(jī)

3.1.2 生理參數(shù)檢測(cè)應(yīng)用于學(xué)生情緒識(shí)別

情緒的變化可以通過(guò)生理參數(shù)檢測(cè)反應(yīng)出來(lái)。Bland等[73]發(fā)現(xiàn)當(dāng)學(xué)生在接觸進(jìn)化論主題時(shí)會(huì)以生理變化的形式產(chǎn)生可檢測(cè)到的情緒反應(yīng)。Stavroulia等[74]通過(guò)腦電圖（Electroencephalogram，EEG）測(cè)量心率，利用心率記錄和自我報(bào)告的數(shù)據(jù)評(píng)估虛擬現(xiàn)實(shí)VR系統(tǒng)對(duì)參與者情緒和情緒狀態(tài)的影響。結(jié)果發(fā)現(xiàn)，參與者的負(fù)面情緒和情緒狀態(tài)發(fā)生了顯著變化，表明場(chǎng)景和VR體驗(yàn)對(duì)他們的影響很大。Versluis等[75]研究了基于智能手機(jī)的減少時(shí)間焦慮的培訓(xùn)是否可行并且是否改善了生理健康狀況即心率變異性增加。結(jié)果發(fā)現(xiàn)通過(guò)正念練習(xí)進(jìn)行的減少煩惱的及時(shí)訓(xùn)練和情緒記錄都可以使HRV增加。Cranford等[76]研究認(rèn)為心率可以用來(lái)測(cè)量學(xué)生認(rèn)知負(fù)荷的變化。Thompson等[77]使用3 mm傳感器進(jìn)行生理參數(shù)測(cè)量，結(jié)果表明心率變異性測(cè)量可用于推斷情感激活和情感價(jià)值。Calderón等[2]的研究中將血氧儀用于檢測(cè)研究生課程參與者中出現(xiàn)的情緒反應(yīng)。如表7所示。

3.1.3 生理參數(shù)檢測(cè)應(yīng)用于體育及藝術(shù)教育

學(xué)生在體育教育、舞蹈及音樂(lè)的藝術(shù)教育中伴隨著大量的生理特征的變化。通過(guò)對(duì)學(xué)生的生理參數(shù)的采集分析，可以找出學(xué)生學(xué)習(xí)狀態(tài)與生理參數(shù)的關(guān)系，適時(shí)地調(diào)整學(xué)習(xí)訓(xùn)練計(jì)劃。

表7 生理參數(shù)檢測(cè)應(yīng)用于學(xué)生情緒識(shí)別

Orman等[78]研究了生理參數(shù)檢測(cè)在音樂(lè)教育中的應(yīng)用，讓30名大學(xué)生分別聽(tīng)取了Billboard 100最受歡迎和最不喜歡的音樂(lè)流派的音樂(lè)選曲。每種音樂(lè)聆聽(tīng)之前，需要學(xué)生經(jīng)過(guò)兩分鐘的靜默，然后記錄心率變異性（HRV）。與靜默時(shí)相比，在聆聽(tīng)音樂(lè)時(shí)，所有HRV指標(biāo)均下降。在從事精神活動(dòng)時(shí)，HRV會(huì)降低。Marmeleira等[79]評(píng)估葡萄牙高中生在體育教學(xué)中的體育活動(dòng)（Physical Activity，PA）水平，將心率遙測(cè)和計(jì)步器測(cè)量用于評(píng)估PA水平。Fr?mel等[80]使用監(jiān)視設(shè)備ActiTrainer對(duì)捷克共和國(guó)的24所中學(xué)學(xué)生進(jìn)行心率檢測(cè)，參與者佩戴了ActiTrainer加速度計(jì)，該加速度計(jì)可監(jiān)測(cè)PA和心率。結(jié)果表明在參與學(xué)校教育能力評(píng)估的所有指標(biāo)和強(qiáng)度方面，參加體育課的學(xué)生比未參加體育課的明顯好得多。Menno等[81]對(duì)7～9年級(jí)（11～15歲）13個(gè)班的216名學(xué)生（90名女生；42%）進(jìn)行男女混合組和單性組的打籃球運(yùn)動(dòng)。同時(shí)采用心率監(jiān)護(hù)儀評(píng)估參與者的中高強(qiáng)度活動(dòng)對(duì)感知能力的影響。如表8所示。

表8 生理參數(shù)檢測(cè)應(yīng)用于體育及藝術(shù)教育

3.1.4 生理參數(shù)檢測(cè)應(yīng)用于特殊人群教育

對(duì)醫(yī)學(xué)特殊的學(xué)生進(jìn)行生理參數(shù)檢測(cè)，能夠進(jìn)行更有效的溝通，使他們得到更公平可靠的教育。

Dijkhuis等[82]通過(guò)對(duì)患有自閉癥的人進(jìn)行生理參數(shù)檢測(cè)得出患有自閉癥的年輕人心率變異反應(yīng)性較低，這表明他們不能有效地調(diào)節(jié)自己的壓力。Zamunér等[83]研究得出腦癱患兒的心率變異性指數(shù)較低，表明交感神經(jīng)不平衡。腦癱患兒心率變異性的降低與運(yùn)動(dòng)障礙水平有關(guān)。Heather等[84]對(duì)自閉癥患者的心率進(jìn)行檢測(cè)得出自閉癥患者在有無(wú)束縛時(shí)的心率變化：當(dāng)施加某種形式的約束時(shí)，心率通常在靜息心率范圍內(nèi)或附近；當(dāng)解除束縛或發(fā)出解除束縛的信號(hào)時(shí)，心率在短時(shí)間內(nèi)急劇增加；當(dāng)重新施加約束時(shí)，心率下降，并最終在幾分鐘內(nèi)恢復(fù)到靜止范圍。Zantinge等[85]評(píng)估29名自閉癥譜系障礙兒童和45名典型發(fā)育期兒童在挫折情境下情緒的生理喚醒和行為調(diào)節(jié)。Lauren等[86]通過(guò)電極檢測(cè)孩子心跳的IBI，并將其傳輸?shù)浇邮掌鳌Ｑ芯勘砻髟诟叨冉箲]狀態(tài)下孩子們均表現(xiàn)出明顯較高的心率。兒童社交恐懼癥也是教育中會(huì)遇到的特殊人群，特征是社交焦慮與過(guò)度的生理反應(yīng)。Krmer等[87]對(duì)照健康兒童，研究了社交恐懼癥兒童在主觀焦慮以及自主神經(jīng)和內(nèi)分泌壓力方面的情況。結(jié)果發(fā)現(xiàn)社交恐懼癥兒童表現(xiàn)出了慢性HR水平升高，這表明社交恐懼癥兒童存在普遍的自主神經(jīng)反應(yīng)過(guò)度。如表9所示。

表9 生理參數(shù)檢測(cè)應(yīng)用于特殊人群教育

3.2 非接觸式生理參數(shù)檢測(cè)在教育上的應(yīng)用

通過(guò)歸納分析接觸式生理參數(shù)和檢測(cè)的教育應(yīng)用，可知在教育領(lǐng)域中，生理參數(shù)檢測(cè)技術(shù)已經(jīng)應(yīng)用于情緒分析，而心率、心率變異性等指標(biāo)也成為支持教育領(lǐng)域應(yīng)用的重要數(shù)據(jù)。但是目前研究中大多是基于傳統(tǒng)接觸式的檢測(cè)方式，而基于視頻的非接觸式生理參數(shù)的檢測(cè)在教育領(lǐng)域的應(yīng)用幾乎空白，有很大的發(fā)展?jié)摿Α?/p>

首先，基于視頻的非接觸的方式便于學(xué)生的生理參數(shù)檢測(cè)。學(xué)生在學(xué)習(xí)過(guò)程中無(wú)需佩戴儀器就能獲取可靠的生理數(shù)據(jù)。

其次，基于視頻的非接觸式的生理參數(shù)檢測(cè)便于特殊人群的生理狀態(tài)獲取?；加凶蚤]癥或者社交障礙的學(xué)生可能會(huì)對(duì)一些接觸式的檢測(cè)儀器產(chǎn)生心理抵觸，導(dǎo)致檢測(cè)困難，同時(shí)也會(huì)對(duì)檢測(cè)到的數(shù)據(jù)造成影響。而非接觸式的生理參數(shù)檢測(cè)無(wú)需接觸學(xué)生，通過(guò)視頻采集就可以進(jìn)行生理參數(shù)的測(cè)量。

最后，基于視頻的非接觸式的生理參數(shù)檢測(cè)大多使用普通攝像頭即可滿足視頻采集的需求，無(wú)額外的硬件成本，有利于在教育領(lǐng)域大范圍推廣。

建議的基于視頻的非接觸式生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用流程圖如圖6所示。在學(xué)生學(xué)習(xí)或自然運(yùn)動(dòng)狀態(tài)時(shí)，使用監(jiān)控?cái)z像頭或筆記本攝像頭等設(shè)備采集學(xué)生面部視頻。對(duì)采集到的人臉視頻進(jìn)行處理分析，獲得學(xué)生的生理參數(shù)數(shù)據(jù)，將采集到的數(shù)據(jù)進(jìn)行分析，可為學(xué)生的學(xué)習(xí)狀態(tài)反饋提供數(shù)據(jù)支持。

圖6 非接觸式生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用流程圖

4 總結(jié)與展望

基于iPPG的生理參數(shù)檢測(cè)技術(shù)因其無(wú)接觸式的優(yōu)點(diǎn)一直吸引著很多研究者的關(guān)注，經(jīng)過(guò)十多年的研究，iPPG技術(shù)在非接觸式生理信號(hào)檢測(cè)上有很多優(yōu)勢(shì)，但仍存在不足。結(jié)合iPPG技術(shù)的特點(diǎn)和發(fā)展現(xiàn)狀，未來(lái)研究應(yīng)主要包括以下幾個(gè)方面：（1）運(yùn)動(dòng)偽影的消除。對(duì)真實(shí)場(chǎng)景下的移動(dòng)的人體生理參數(shù)檢測(cè)還不夠準(zhǔn)確。因此運(yùn)動(dòng)偽跡的消除仍是待解決的問(wèn)題之一。（2）在側(cè)臉狀態(tài)下或人臉局部信息缺失情況下檢測(cè)效果有待提高。（3）建立公開(kāi)的標(biāo)準(zhǔn)視頻數(shù)據(jù)集，包括測(cè)試對(duì)象距離、幀率、分辨率、照明條件以及膚色等方面都可以有針對(duì)性地分類采集。

iPPG的使用場(chǎng)景在逐漸接近真實(shí)場(chǎng)景，而且具有廣泛的應(yīng)用前景，尤其是與教育領(lǐng)域相結(jié)合，能夠?yàn)橹腔劢逃陌l(fā)展提供技術(shù)支持，是非常有潛力的一個(gè)研究方向。近十年來(lái)生理參數(shù)檢測(cè)在教育領(lǐng)域的應(yīng)用主要是基于接觸式的，需要被檢測(cè)人佩戴檢測(cè)設(shè)備。這在很多時(shí)候限制了應(yīng)用范圍，尤其是對(duì)特殊人群。同時(shí)接觸式測(cè)量也會(huì)給予被檢測(cè)學(xué)生一定的心理暗示與壓力，造成數(shù)據(jù)不夠客觀準(zhǔn)確從而影響檢測(cè)效果。而基于視頻的非接觸式檢測(cè)方式無(wú)需佩戴任何設(shè)備，使檢測(cè)過(guò)程具有可移動(dòng)性。同時(shí)對(duì)于被檢測(cè)人尤其是特殊人群來(lái)說(shuō)，非接觸式生理參數(shù)檢測(cè)過(guò)程友好，不易對(duì)其正常的活動(dòng)產(chǎn)生干擾，使檢測(cè)結(jié)果更具客觀性。但目前將基于視頻的非接觸式生理參數(shù)檢測(cè)應(yīng)用于教育領(lǐng)域的研究還在起步階段，可參考的成熟應(yīng)用幾乎空白。在智慧教育迅速發(fā)展的今天，將基于視頻的非接觸式生理參數(shù)檢測(cè)方式應(yīng)用于教育領(lǐng)域已經(jīng)成為研究重點(diǎn)。