基于自適應(yīng)變分模態(tài)分解的視頻心率檢測算法

陳龍保，歐衛(wèi)華，韓 杰

(貴州師范大學(xué) 大數(shù)據(jù)與計算機(jī)科學(xué)學(xué)院，貴州 貴陽 550025)

0 引言

心率是指人在安靜狀態(tài)下每分鐘心跳的次數(shù)，是人體健康狀況的重要指標(biāo)。傳統(tǒng)心率檢測方法需要皮膚接觸(如心電圖)，易造成不舒適、不衛(wèi)生等問題。視頻心率檢測是通過檢測心跳導(dǎo)致的人臉表皮微弱顏色變化實現(xiàn)心率檢測，屬于無接觸式檢測方法，在遠(yuǎn)程醫(yī)療、情緒分析、活體檢測等方面有廣泛的應(yīng)用前景[1-4]。

視頻心率檢測一般步驟如圖1所示。首先通過人臉檢測獲取感興趣區(qū)域(Region of interest,ROI)；其次計算ROI像素的空間均值及濾波等預(yù)處理得到含有噪聲的rPPG信號；然后，對rPPG信號進(jìn)行分解、濾波等處理提取心率信號；最后通過功率譜分析計算心率。由于皮膚血管分布不均勻、心率信號微弱，以及光照變化、運(yùn)動等因素影響[5]，與接觸式心率檢測方法相比，視頻心率檢測的魯棒性和準(zhǔn)確性離實際應(yīng)用仍然有一定差距。

圖1 視頻心率檢測流程

目前視頻心率檢測方法主要有傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。傳統(tǒng)方法的基本思想是構(gòu)造模型解耦心率信號和噪聲干擾。如主成分分析法[6]、色度特征法(Chrominance,Chrom)[7]、皮膚正交空間法(Plane-orthogonal-to-skin,POS)[8]等。這些方法通過建立皮膚光照模型，根據(jù)不同的先驗知識，選擇不同的投影方向?qū)⑿穆市盘柍煞菖c噪聲干擾分離[9]。但實際中心率信號非常微弱，同時受到光照、運(yùn)動、被測試者與攝像頭的距離、攝像頭的幀速率和分辨率等諸多因素影響，僅僅通過固定投影難以將各種耦合信號進(jìn)行分離。另外傳統(tǒng)方法需要興趣區(qū)域選擇、濾波等預(yù)處理和后處理，需要調(diào)節(jié)的參數(shù)太多。

隨著深度學(xué)習(xí)在計算機(jī)視覺、自然語言處理等諸多領(lǐng)域的成功應(yīng)用，近年來研究人員提出了端對端的深度學(xué)習(xí)網(wǎng)絡(luò)心率檢測算法。如petlík等[10]提出HR-CNN網(wǎng)絡(luò)，通過基于信噪比約束的二維卷積網(wǎng)絡(luò)獲取rPPG信號?？紤]到異常光照和運(yùn)動的影響，Chen等[11]引入注意力機(jī)制，通過構(gòu)造學(xué)習(xí)時空信息特征圖，提出了DeepPhys方法。為了能夠更好的表示顏色變化信息，Niu等[12]將RGB信號轉(zhuǎn)換到Y(jié)UV空間，提取心率的變化信息，將其轉(zhuǎn)化為時空圖進(jìn)行心率的檢測。以上方法使用2D卷積，為了解決2D卷積不能提取視頻時間信息，Artemyev等[13]提出使用3D時空卷積，提取視頻在時間和空間上的多重特征，利用豐富的特征信息提取rPPG信號。為了解決視頻壓縮對心率檢測的影響，Yu等[14]提出了rPPGNet方法，通過使用3D卷積增強(qiáng)視頻恢復(fù)rPPG信號。深度學(xué)習(xí)方法在現(xiàn)有公開數(shù)據(jù)集上獲得了較傳統(tǒng)方法更準(zhǔn)確的檢測結(jié)果，但模型復(fù)雜、計算量大，且模型泛化性弱、缺乏可解析性。

Demirezen等[15]利用非線性模態(tài)分解進(jìn)行心率信號的提取，并取得了不錯的效果。但如何選擇合適的模態(tài)數(shù)是算法有效的關(guān)鍵。選擇模態(tài)數(shù)過多會引起過分解，產(chǎn)生虛假信號對信號的合成造成干擾；過少會引起欠分解，導(dǎo)致信號分解不夠充分，出現(xiàn)模態(tài)混疊現(xiàn)象。欠分解現(xiàn)象如圖2所示，若分解模態(tài)數(shù)選擇固定值4時，合成的心率信號與PPG信號存在較大偏差，且存在噪聲殘余，表明欠分解未有效去除噪聲干擾。

圖2 欠分解示例

事實上，每個人的心率信號具有不同的特點，同時易受實際環(huán)境中運(yùn)動、光照等影響[16]，如何自適應(yīng)的選擇分解模態(tài)數(shù)是算法魯棒的難點。針對上述問題，本文設(shè)計了基于自適應(yīng)變分模態(tài)分解的心率信號提取算法。具體來說，首先將rPPG信號進(jìn)行經(jīng)驗?zāi)B(tài)分解獲取信號模態(tài)數(shù)；然后進(jìn)行變分模態(tài)分解為不同頻率和帶寬的模態(tài)；最后根據(jù)模態(tài)的中心頻率和心率頻率范圍合成心率信號。

1 相關(guān)工作

1.1 皮膚光照反射模型

視頻心率檢測的依據(jù)是心跳引起血液流動導(dǎo)致人臉表皮發(fā)生微弱顏色變化，該顏色變化中蘊(yùn)含了心率信息。具體的皮膚光照反射模型如圖3所示，光源照射在人臉表皮，一部分經(jīng)過鏡面反射直接被攝像頭采集，而另一部分滲透真皮和皮下組織，經(jīng)過血液吸收后反射回來形成漫反射。由于血液流動改變光的吸收量造成漫反射光有微弱的差別，因此漫反射光中含有心率信息。具體的皮膚光照反射模型如公式(1)所示。

圖3 皮膚光照反射模型

Ci(t)=I(t)*(Ss(t)+Sd(t))+Sn(t)

(1)

其中，Ci(t)為第i通道t時刻的像素值，I(t)為光照強(qiáng)度，Ss(t)為鏡面反射部分，Sd(t)為漫反射部分，Sn(t)為量化噪聲?；谄つw光照反射模型的心率信號提取方法的基本出發(fā)點是設(shè)計算法去除鏡面反射部分和光照強(qiáng)度，從Sd(t)中提取心率信號。

1.2 變分模態(tài)分解

變分模態(tài)分解是Dragomiretskiy等[17]在2014年提出的一種信號分解方法，其目標(biāo)是將一個輸入信號分解為若干不同的模態(tài)，每個模態(tài)具有不同的中心頻率和帶寬。

具體地，通過搜尋約束變分模型的最優(yōu)解來自適應(yīng)分解信號。每個模態(tài)的中心頻率和帶寬在求解過程中不斷迭代更新，最終根據(jù)信號的頻域特征將信號分解為不同的頻率和帶寬的子信號。其約束變分模型如式(2)所示：

(2)

其中，x為rPPG信號，uk(k=1,2,3,…,K)表示分解后模態(tài)的集合，ωk(k=1,2,3,…,K)為對應(yīng)模態(tài)中心頻率的集合，δ(t)為沖激函數(shù)，?t為對時間求偏導(dǎo)。

約束變分問題不易求解。因此，通過Lagrange乘子法將約束變分模型轉(zhuǎn)化為非約束變分模型，如式(3)所示。

(3)

然后利用交替方向乘子法[18]求解上述非約束變分模型，在頻域內(nèi)迭代更新子信號和中心頻率，其表達(dá)式如式(4)、(5)所示：

(4)

(5)

2 自適應(yīng)變分模態(tài)分解心率檢測算法

2.1 算法流程

自適應(yīng)變分模態(tài)分解算法流程如圖4所示，主要包含4個步驟。第一步對輸入的視頻幀進(jìn)行人臉檢測和皮膚檢測；第二步選擇人臉區(qū)域的皮膚像素作為ROI，計算ROI的像素平均值歸一化后作為源信號；第三步利用自適應(yīng)變分模態(tài)分解算法分解源信號，得到不同的頻率和帶寬的子信號；第四步根據(jù)心率頻率范圍選取子信號合成心率信號，對心率信號進(jìn)行功率譜密度分析計算心率。

圖4 算法流程

2.2 人臉檢測和皮膚檢測

ROI的選擇是視頻心率檢測算法魯棒的關(guān)鍵步驟，而人臉檢測是選擇合適ROI的重要前提。隨著計算機(jī)視覺技術(shù)的發(fā)展，人臉檢測技術(shù)已經(jīng)比較成熟，有多種不同的人臉檢測算法可供使用。考慮到運(yùn)行效率和魯棒性，本文采用Dlib工具箱中人臉檢測器進(jìn)行人臉檢測和特征點定位[19]。興趣區(qū)域選擇的出發(fā)點是保證所選區(qū)域有較豐富的心率信號。但實際中人臉皮膚血管分布不均，且人臉表面存在劉海、眼鏡等干擾因素影響。因此有效去除干擾區(qū)域是保證信號質(zhì)量的關(guān)鍵。皮膚檢測的目的是去除人臉區(qū)域的非皮膚像素?？紤]顏色特征在YCrCb顏色空間表示更合適，因此先將RGB空間轉(zhuǎn)換到Y(jié)CrCb空間。具體流程如圖5所示。首先，檢測視頻幀中的人臉；接著依據(jù)公式(6)將RGB顏色空間轉(zhuǎn)換到Y(jié)CrCb顏色空間；然后根據(jù)膚色范圍形成人臉皮膚掩碼；最后把掩碼下人臉圖像作為興趣區(qū)域。

圖5 皮膚檢測流程圖

(6)

人臉檢測及皮膚檢測結(jié)果如圖6所示，其中，(a)為Dlib人臉檢測器檢測人臉81個關(guān)鍵點，(b)為皮膚檢測結(jié)果，白色區(qū)域為皮膚像素，黑色區(qū)域為非皮膚像素。從圖中可以看出，皮膚檢測有效地去除了人臉區(qū)域的非皮膚像素，保障了原始rPPG信號的質(zhì)量。

(a) (b)

2.3 源信號計算

心跳引起的顏色變化極其微弱，且易受皮膚鏡面反射和運(yùn)動等噪聲的影響。為此，采用ROI空間像素均值和通道歸一化計算源信號。

首先，對每幀視頻中的皮膚像素在空間上按式(7)計算均值。然后，在時間上按式(8)[7]方法進(jìn)行歸一化以消除信號中的直流分量。

(7)

(8)

考慮到運(yùn)動對心率信號的影響較大，事實上運(yùn)動干擾影響所有通道，而心率信號在每個通道的強(qiáng)弱不同。血液中的血紅蛋白對綠光有較強(qiáng)的吸收，紅光次之[20]。因此，歸一化的綠色通道信號和紅色通道信號的比值受運(yùn)動的影響較小，可以提高rPPG信號質(zhì)量，如式(9)[7]所示。

(9)

2.4 自適應(yīng)變分模態(tài)分解

EMD算法[21]能夠自適應(yīng)對信號進(jìn)行循環(huán)迭代分解，其目標(biāo)是把混合信號x分解為n個模態(tài)，n個模態(tài)分別為n-1個子信號和1個殘差項。其目標(biāo)函數(shù)如式(10)所示。在變分模態(tài)分解中，變分問題的約束條件為所有模態(tài)可以重構(gòu)源信號。因此，本文在求解變分模態(tài)分解時，考慮引入EMD的模態(tài)數(shù)，解決變分模態(tài)分解需預(yù)設(shè)模態(tài)數(shù)問題。

(10)

考慮到每個人的心率信號分布在不同的頻率，且受到不同噪聲的影響。在針對不同的人進(jìn)行心率檢測時，應(yīng)當(dāng)能夠自適應(yīng)分解為合適的模態(tài)數(shù)?；谝陨戏治觯疚脑O(shè)計一種自適應(yīng)變分模態(tài)分解算法，具體步驟如下：首先，對提取到的rPPG信號自適應(yīng)進(jìn)行經(jīng)驗?zāi)B(tài)分解，獲得信號的模態(tài)數(shù)。然后，將經(jīng)驗?zāi)B(tài)分解的模態(tài)數(shù)作為變分模態(tài)分解的模態(tài)數(shù)K，對rPPG信號進(jìn)行自適應(yīng)變分模態(tài)分解。

算法1 自適應(yīng)變分模態(tài)分解

1.IMFs = EMD(rPPG).decompose()；//對rPPG信號進(jìn)行經(jīng)驗?zāi)B(tài)分解

2.IMFs_num = len(IMFs[:,0])；//獲取經(jīng)驗?zāi)B(tài)分解的模態(tài)數(shù)

3.U,U_f,C_f = VMD(rPPG,K = IMFs_num)；//對rPPG信號進(jìn)行變分模態(tài)分解，獲取信號的模態(tài)和中心頻率

自適應(yīng)變分模態(tài)分解結(jié)果如圖7所示。其中(a)為原始rPPG信號，(b)為變分模態(tài)分解后得到不同頻率和帶寬的模態(tài)，分解結(jié)果按照頻率由低到高依次排序。

圖7 變分模態(tài)分解示意圖

2.5 心率信號合成和功率譜分析

心率頻率范圍為0.75～4 Hz，對應(yīng)的心率為45～240 bpm。rPPG信號經(jīng)變分模態(tài)分解后得到不同中心頻率的子信號，根據(jù)每個子信號的中心頻率和心率頻率范圍選取子信號合成心率信號。然后對心率信號進(jìn)行功率譜分析計算心率，以最大功率對應(yīng)的頻率作為心率的頻率(fHR)。計算公式如式(11)[22]所示。

HR=fHR×60

(11)

合成心率信號和PPG信號對比如圖8所示,合成心率信號除存在時間偏移，基本上與PPG信號波形一致，表明本文方法所合成的心率信號較準(zhǔn)確。功率譜分析結(jié)果如圖9所示。

圖8 合成心率信號與PPG信號對比圖

圖9 功率譜分析

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集和評價指標(biāo)

1)PURE數(shù)據(jù)集[23]：該數(shù)據(jù)集由10名受試者(8男2女)在6種不同狀態(tài)下錄制60個視頻，6種狀態(tài)分別為：Steady,Talking,Slow Translation,Fast Translation,Slow Rotation and Medium Rotation。視頻的分辨率為640×480，幀速率為每秒30幀，視頻存儲格式為png。真實心率的測量使用采樣率為60 Hz的脈搏血氧儀收集。

2)UBFC數(shù)據(jù)集[24]：該數(shù)據(jù)集包含42名受試者錄制自然狀態(tài)下的42個視頻，受試者錄制視頻的同時配戴脈搏血氧儀指夾傳感器(Contec Medical CMS50E)用于真實心率的采集。視頻的分辨率為640×480，幀速率為每秒30幀，視頻時長為1 min。受試者距離攝像機(jī)1 m，視頻采集設(shè)備為Logitech C920 HD Pro，存儲格式為無壓縮的8位RGB格式。

PURE和UBFC數(shù)據(jù)集部分樣本圖片如圖10所示，第一行為UBFC數(shù)據(jù)集，第二行為PURE數(shù)據(jù)集。

圖10 數(shù)據(jù)集部分樣本圖片

本文采用平均絕對誤差(Mean absolute error,MAE)和均方根誤差(Root mean square error,RMSE)作為算法的評價指標(biāo)。平均絕對誤差衡量檢測結(jié)果和真實值之間的絕對誤差，均方根誤差衡量算法的精度。計算公式分別如式(12)、(13)所示。

(12)

(13)

其中，N為檢測的樣本總數(shù)，HR(T)為第T個樣本檢測心率值，HRtrue(T)為第T個樣本真實心率值。

3.2 實驗設(shè)置

本文在PyCharm平臺Python 3.7環(huán)境下進(jìn)行實驗，實驗設(shè)備CPU為Intel(R)Core(TM)i7-6500U，顯卡為NVIDIA GeForce 940M。

本文皮膚檢測采用YCrCb顏色空間閾值檢測，其中YCrCb顏色空間閾值設(shè)置為0

變分模態(tài)分解算法中懲罰因子α設(shè)置為2 000。PURE數(shù)據(jù)集進(jìn)行檢測時使用視頻的所有幀，UBFC數(shù)據(jù)集選取每個視頻1 200幀。

3.3 皮膚檢測實驗結(jié)果

皮膚檢測采用YCrCb顏色空間閾值檢測，并對比了無皮膚檢測和HSV顏色空間閾值檢測方法。其中，信號分解算法為本文所提自適應(yīng)變分模態(tài)分解方法，實驗結(jié)果如表1～表3所示。由表1～表3結(jié)果可見，YCrCb顏色空間的檢測結(jié)果優(yōu)于HSV顏色空間和未做皮膚檢測的結(jié)果。在PURE數(shù)據(jù)集的Steady狀態(tài)和Slow Translation狀態(tài)下，YCrCb顏色空間的檢測結(jié)果較HSV顏色空間檢測結(jié)果差。原因是空間閾值皮膚檢測方法較簡單，在出現(xiàn)不同強(qiáng)度的光照和偽影時，皮膚檢測結(jié)果可能影響原始rPPG信號的提取。

表1 PURE數(shù)據(jù)集皮膚檢測對比結(jié)果(MAE/bpm)

表2 PURE數(shù)據(jù)集皮膚檢測對比結(jié)果(RMSE/bpm)

表3 UBFC數(shù)據(jù)集皮膚檢測對比結(jié)果

3.4 心率檢測實驗結(jié)果分析

為了驗證本文方法的有效性，選擇與EMD、ICA、Chrom、POS、rPPG-NMD、PBV、LGI等方法進(jìn)行比較[3，6-8，15，25-26]。為了保證實驗結(jié)果的客觀公正，文中所對比的方法均采用同一種人臉檢測器和皮膚檢測方法。

PURE數(shù)據(jù)集實驗結(jié)果如表4和表5所示。結(jié)果可知，本文所提方法優(yōu)于基于模型的方法和EMD方法。在Talking狀態(tài)下，平均絕對誤差和均方根誤差均較大，原因是說話時人臉皮膚存在褶皺，造成提取到的rPPG信號質(zhì)量較差。在Fast Translation狀態(tài)下，由于快速旋轉(zhuǎn)，數(shù)據(jù)幀變得模糊，微小的顏色變化被模糊干擾，提取到的原始rPPG信號受干擾影響較大，造成實驗結(jié)果誤差較大。在Slow Translation狀態(tài)下，本文方法和文獻(xiàn)[8]方法的均方根誤差相同，表明在該狀態(tài)下，2種算法的魯棒性非常接近。在Medium Rotation狀態(tài)下，文獻(xiàn)[7]和文獻(xiàn)[8]的方法優(yōu)于本文方法，表明中度旋轉(zhuǎn)噪聲的頻率與心率信號的頻率相近，通過自適應(yīng)變分模態(tài)分解后合成的心率信號仍含有噪聲，本文方法不能很好的去除中度旋轉(zhuǎn)噪聲。PURE數(shù)據(jù)集檢測結(jié)果與真實值間的相關(guān)性如圖11所示。

表4 PURE數(shù)據(jù)集平均絕對誤差(MAE/bpm)

表5 PURE數(shù)據(jù)集均方根誤差(RMSE/bpm)

圖11 PURE數(shù)據(jù)集檢測結(jié)果相關(guān)性示意圖

UBFC數(shù)據(jù)集實驗結(jié)果如表6所示。由表可知，本文的方法優(yōu)于其他對比方法。文獻(xiàn)[3]的方法進(jìn)行心率信號合成時去掉2個高頻噪聲和殘差分量。經(jīng)驗?zāi)B(tài)分解得到的不同模態(tài)并非頻率固定，因此，去掉的高頻中可能含有心率信號。本文的方法得到具有物理意義的模態(tài)，頻率相對較為集中，因此獲得較好的結(jié)果。UBFC數(shù)據(jù)集檢測結(jié)果與真實值間的相關(guān)性如圖12所示。

表6 UBFC數(shù)據(jù)集檢測結(jié)果

圖12 UBFC數(shù)據(jù)集檢測結(jié)果相關(guān)性示意圖

4 結(jié)語

本文針對心率信號提取算法魯棒不強(qiáng)的問題，提出了一種自適應(yīng)變分模態(tài)分解算法。首先，采用EMD自適應(yīng)分解rPPG信號獲得信號模態(tài)數(shù)，將其作為VMD算法的模態(tài)數(shù)進(jìn)行信號分解，對分解后的信號根據(jù)心率頻率范圍和中心頻率提取心率信號。最后進(jìn)行功率譜分析計算心率。

在公開數(shù)據(jù)集PURE和UBFC上實驗結(jié)果表明，YCrCb顏色空間閾值皮膚檢測方法對于光照具有較高敏感性，可以進(jìn)一步研究光照變化，采取更加魯棒的皮膚檢測方法。對比經(jīng)驗?zāi)B(tài)分解、基于模型的信號提取算法具有更高的準(zhǔn)確性。未來的研究將注重在運(yùn)動噪聲對心率信號提取的影響，提高運(yùn)動情況下的算法魯棒性。