基于人臉視頻的心率參數(shù)提取

李曉媛，武 鵬，劉 允，司紅玉，王振龍

(1.鄭州大學(xué) 電氣工程學(xué)院，河南 鄭州 450001；2.鄭州大學(xué) 體育學(xué)院，河南 鄭州 450001；3.鄭州大學(xué) 生命科學(xué)學(xué)院，河南 鄭州 450001)

1 引 言

心率是指每分鐘心臟跳動(dòng)的次數(shù)，它作為人體最重要的生理參數(shù)之一，已經(jīng)被廣泛應(yīng)用于心律失常、心肌缺血、高血壓病、慢性心率衰竭等心血管疾病的診斷和情緒檢測當(dāng)中[1-5]。目前，心率測量的金標(biāo)準(zhǔn)是心電圖法(Electro Cardio Gram，ECG)，這種方法測量的準(zhǔn)確度雖然高，但是需要專業(yè)醫(yī)護(hù)人員在測試者皮膚表面粘貼電極，給測試者造成一定的不適，也會(huì)增加皮膚感染的風(fēng)險(xiǎn)，不適合長時(shí)間測量。此外，接觸式心率測量也不適用皮膚受損患者，新生嬰兒以及隱蔽式刑偵測謊等情形。

通過非接觸的方式來測量心率參數(shù)是近年來提出的一項(xiàng)新技術(shù)。2007年，Pavlidis等[6]通過分析面部熱紅外圖像成功提取到被試者的心率參數(shù)。2010年，路國華等[7]使用多普勒雷達(dá)測得了被試者的心率參數(shù)。但這些設(shè)備價(jià)格昂貴，而且需要復(fù)雜的硬件支持，很難推廣到實(shí)際應(yīng)用。Poh等[8]通過低成本的普通攝像頭配合獨(dú)立成分分析法(Independent Component Analysis，ICA)成功提取到了被試者的心率信號，證明了用低成本的攝像頭來提取心率信號的可行性。其原理是臉部皮膚表面的血液容積在心臟的作用下呈現(xiàn)周期性變化，因此可以通過提取臉部的光電容積脈搏波(Photoplethysmography，PPG)信號來獲得心率參數(shù)。2011年，Poh等[9]在原來研究的基礎(chǔ)上，利用計(jì)算波峰間隔(Interbeat Intervals，IBIs)算法來獲取心率參數(shù)。2013年，Bousefsaf等[10]利用Morlet小波變換算法重構(gòu)原始心率波形，并通過IBIs算法來獲得心率參數(shù)。2014年，Monkaresi等[11]將機(jī)器學(xué)習(xí)算法應(yīng)用于心率信號的提取，提出了ICA+KNN(K-Nearest Neighbor)的心率波形重構(gòu)算法，并使用快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)算法從重構(gòu)的波形中提取心率參數(shù)。2017年，吳慶甜等[12]用聯(lián)合近似特征對角化(Joint Approximate Diagnoalization of Eigenmatrices，JADE)算法和FFT算法提取駕駛員的心率信息，用于評估駕駛員的疲勞狀態(tài)。2019年，Martinez等[13]利用紅外攝像頭提取臉部PPG信號，并用短時(shí)傅里葉變換算法提取心率參數(shù)。

目前，研究人員已經(jīng)嘗試用多種方法從攝像頭錄制的視頻中提取高質(zhì)量的PPG信號；但是通過PPG信號計(jì)算心率參數(shù)的方法卻很少，大體可以分為兩類，一類是IBIs算法，一類是傅里葉變換算法。IBIs算法通過計(jì)算PPG信號波峰的時(shí)間間隔來獲取心率參數(shù)，但由于噪聲干擾的存在，會(huì)出現(xiàn)波峰偏移、漏檢、多檢等情形，這會(huì)嚴(yán)重影響心率參數(shù)測量的準(zhǔn)確性。而傅里葉變換只適合計(jì)算一段時(shí)間內(nèi)占主要成分的心率信息，不能夠得到心率變化的信息，即使利用短時(shí)傅里葉變換，在時(shí)域特性與頻域特性之間權(quán)衡時(shí)間窗的大小也是一項(xiàng)難題。針對上述問題，本文從YCbCrCg顏色空間Cg通路中提取高質(zhì)量的PPG信號，用Morlet復(fù)小波(Complex Morlet，CMOR)作為母波繪制小波能量譜圖，并根據(jù)心率參數(shù)的生理特性去除偽點(diǎn)噪聲，提取隨時(shí)間變化的心率參數(shù)。最后，通過計(jì)算靜息狀態(tài)和頭部運(yùn)動(dòng)狀態(tài)下非接觸式方法測量結(jié)果同標(biāo)準(zhǔn)儀器測量結(jié)果的平均絕對值誤差|Me|，誤差的標(biāo)準(zhǔn)差SDe和均方根誤差(Root Mean Square Error，RMSE)，并繪制兩種測量方法的Bland-Altman散點(diǎn)圖，驗(yàn)證該方法的準(zhǔn)確性。

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)原理

非接觸式心率測量原理在于當(dāng)心臟跳動(dòng)時(shí)，心室的收縮和舒張會(huì)引起血管內(nèi)血液容積的周期性變化，其反射光的強(qiáng)度會(huì)呈現(xiàn)周期性變化，人體臉部皮膚表面含有豐富的毛細(xì)血管，通過攝像頭記錄和特定算法提取分析臉部PPG信號的周期性變化，可以測得相應(yīng)的心率參數(shù)。

2.2 實(shí)驗(yàn)設(shè)計(jì)

本實(shí)驗(yàn)招募8名測試者對設(shè)計(jì)的非接觸式心率測量系統(tǒng)進(jìn)行驗(yàn)證，測試者的性別、年齡、膚色信息如表1所示，其中膚色根據(jù)Fitzpatrick膚色分型法[14]分為Ⅰ～Ⅵ型，Ⅰ型對應(yīng)于白色皮膚，Ⅵ型對應(yīng)于黑色皮膚。本實(shí)驗(yàn)分別在靜息狀態(tài)和頭部運(yùn)動(dòng)狀態(tài)下使用普通的網(wǎng)絡(luò)攝像頭(Logitech C920)對每位測試者錄制60 s視頻。靜息狀態(tài)時(shí)，測試者頭部面朝攝像頭盡量保持靜止。頭部運(yùn)動(dòng)狀態(tài)時(shí)，測試者頭部面朝攝像頭左右傾斜，傾斜角度約為45°。一個(gè)完整的運(yùn)動(dòng)周期為：頭部居中-傾斜至一側(cè)約45°-傾斜至另一側(cè)約45°-頭部居中，運(yùn)動(dòng)周期約為6 s。為保證攝像頭讀入幀率維持在20 frame/s，攝像頭的分辨率設(shè)為800×600 pixel。實(shí)驗(yàn)需關(guān)閉攝像頭的自動(dòng)白平衡功能來避免其自動(dòng)調(diào)節(jié)局部顏色從而引入噪聲信號。數(shù)據(jù)分析與處理在一款中檔臺(tái)式電腦上進(jìn)行(Intel core i5 處理器，運(yùn)行內(nèi)存為 8 G，系統(tǒng)為Windows 7)，所有實(shí)驗(yàn)均使用指夾式脈搏血氧儀同步記錄心率參數(shù)。

表1 測試者基本信息

注：M代表男性，F(xiàn)代表女性。

2.3 非接觸式心率測量系統(tǒng)介紹

非接觸式心率測量系統(tǒng)分為視頻圖像處理和信號分析兩部分。

2.3.1 視頻圖像處理

視頻圖像處理中，先通過攝像頭錄制一段包含人臉的視頻圖像(圖1(a))，并使用Kanade Lucas Tomasi(KLT)算法[15]對人臉進(jìn)行識(shí)別與跟蹤(圖1(b))，KLT算法返回矩形人臉框4個(gè)頂點(diǎn)的坐標(biāo)。如果頭部傾斜，則檢測到的矩形人臉框也是傾斜的，本文設(shè)計(jì)了相應(yīng)的角度轉(zhuǎn)換算法來提取傾斜的矩形人臉數(shù)據(jù)并對它進(jìn)行重構(gòu)。人體臉部皮膚表面含有豐富的毛細(xì)血管，其反射光構(gòu)成原始的PPG信號，因此將重構(gòu)的人臉圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間來進(jìn)行皮膚檢測(圖1(c))，轉(zhuǎn)換公式如式(1)所示：

(1)

其中：Y為像素的亮度分量，Cb和Cr分別為藍(lán)色和紅色的濃度偏移量成分。為提取信噪比較高的PPG信號，進(jìn)一步計(jì)算了Cg通道即綠色的濃度偏移量成分，如式(2)所示：

(2)

其中：Y′=Kr×R′+Kg×G′+Kb×B′，R′，G′，B′表示攝像頭錄制視頻的三個(gè)原始通道，Kb，Kr，Kg為權(quán)重因子，且Kb+Kr+Kg=1。參考ITU-R的BT.601協(xié)議，取Kb=0.114，Kr=0.299，則Kg=0.587，Y′=0.299×R′+0.587×G′+0.144×B′，代入式(1)和式(2)計(jì)算可得：

(3)

(4)

根據(jù)亞洲人的皮膚顏色特點(diǎn)，Y，Cb，Cr3個(gè)通道的皮膚顏色檢測閾值設(shè)置如下：

(5)

臉部皮膚表面的血液容積在心跳的作用下呈現(xiàn)周期性變化，這種變化是PPG信號交流分量的重要組成部分。研究表明，血液中紅細(xì)胞內(nèi)氧和脫氧血紅蛋白對510～590 nm光譜段最為敏感[16]，這段光譜對應(yīng)于可見光的綠/黃光部分，因此本文選擇光譜范圍較為接近的Cg顏色通道來提取心率信號。通過式(5)確定臉部皮膚位置(圖1(d))，提取Cg顏色通道中皮膚位置對應(yīng)點(diǎn)的像素(圖1(e))，對像素強(qiáng)度進(jìn)行平均得到原始PPG信號x(t)(圖1(f))。

圖1 通過圖像處理算法提取原始PPG信號.(a)攝像頭采集一段包含人臉的視頻；(b)從視頻中提取人臉部分圖像；(c)將提取到的圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間；(d)在YCbCr顏色空間進(jìn)行人臉皮膚檢測；(e)將Cg顏色通道的人臉圖像和檢測到的人臉皮膚位置進(jìn)行邏輯‘與’操作，提取Cg顏色通道中人臉皮膚位置對應(yīng)點(diǎn)的像素；(f)對像素強(qiáng)度進(jìn)行平均得到原始PPG信號

Fig.1 Original PPG signal extracted by image processing algorithm. (a)Camera captures a video containing the face；(b)Face images extracted from video；(c)Extracted images converted to YCbCr color space；(d)Face skin detection performed in YCbCr color space；(e)Logical ‘AND’ operation performed on the face image of theCgcolor channel and the detected face skin position， extracting the pixels corresponding to the position of the face skin in theCgcolor channel；(f)Original PPG signal obtained by averaging the pixel intensity

2.3.2 基于CMOR的心率信號分析

通過原始PPG信號x(t)提取心率數(shù)據(jù)時(shí)，首先對原始信號進(jìn)行帶通濾波，通帶頻率設(shè)置為[40/60，200/60] Hz，對應(yīng)于心率40～200 bpm(beats per minute)，濾除通帶外的噪聲信號。

小波變換能夠同時(shí)分析信號的時(shí)域分量和頻域分量，而傅里葉變換只能分析信號的頻域分量。短時(shí)傅里葉變換雖然能夠通過加窗操作同時(shí)觀察到信號的時(shí)域分量和頻域分量；但是短時(shí)傅里葉變換窗函數(shù)寬度一旦確定就不能改變，窗函數(shù)寬度選擇較窄，則頻域分辨率較差，窗函數(shù)寬度選擇較寬，則時(shí)域分辨率較差，因此窗函數(shù)寬度的選擇也是一項(xiàng)難題。小波變換由于其窗口形狀可變，可以同時(shí)在時(shí)域和頻域分析信號的細(xì)節(jié)變化，因而廣泛應(yīng)用于生物信號分析中[17-21]。小波變換中，子小波ψτ，s共軛后對PPG信號x(t)進(jìn)行卷積得到小波變換系數(shù)：

(6)

其中：*表示共軛，子小波ψτ，s(t)是通過母小波或基小波ψ(t)伸縮和平移得到的，如式(7)所示：

(7)

其中：s表示伸縮因子或尺度因子，對應(yīng)分析頻率，增大s時(shí)，分析頻率降低，減少s時(shí)，分析頻率升高；τ表示平移因子，對應(yīng)位移信息。小波分析是一種強(qiáng)有力的信號分析工具，想要得到理想的分析效果，根據(jù)輸入信號選取合適的母小波是一項(xiàng)至關(guān)重要的操作。本研究通過大量的實(shí)驗(yàn)對比，最終選定CMOR作為母小波來分析PPG信號x(t)，CMOR母小波的表達(dá)式為：

(8)

其中：fd為帶寬參數(shù)，fc為小波函數(shù)的中心頻率。根據(jù)PPG信號x(t)的生物特性，本研究中選擇fd=5，fc=3，代入式(8)可得：

(9)

它對應(yīng)的子小波函數(shù)為：

(10)

圖2(a)是提取的一段原始PPG信號x(t)，橫軸表示測試時(shí)間，縱軸表示像素強(qiáng)度。圖2(b)是對它進(jìn)行CMOR小波變換后生成的能量譜圖。本研究開發(fā)了相應(yīng)的算法來提取隨時(shí)間變化的心率參數(shù)，第一步提取能量譜矩陣中每列能量值最大的位置，第二步根據(jù)心率參數(shù)變化連續(xù)的生理特征去除偽點(diǎn)，并繪制隨時(shí)間變化的心率參數(shù)曲線，如圖2(c)所示。

(a)原始PPG信號x(t) (a)Original PPG signal x(t)

(b)小波變換能量譜 (b)Energy spectrum of wavelet transform

(c)心率變化曲線 (c)Heart rate curve圖2 由PPG信號x(t)中提取心率信號Fig.2 Heart rate signal extracted from PPG signal x(t)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 靜息狀態(tài)

本文利用提出的方法對所有的測試者進(jìn)行非接觸式心率信號檢測，并用標(biāo)準(zhǔn)指夾式脈搏血氧儀同步記錄心率參數(shù)進(jìn)行對比。其中，第三位測試者在靜息狀態(tài)下的測量結(jié)果如圖3所示(彩圖見期刊電子版)，紅色表示非接觸式算法的測量結(jié)果，藍(lán)色表示指夾式脈搏血氧儀的測量結(jié)果。

圖3 靜息狀態(tài)下兩種方法測量結(jié)果對比Fig.3 Comparison of results of two measurement methods in resting state

對于每一位測試者，每隔0.5 s取一次兩種方法的測量結(jié)果，計(jì)算靜息狀態(tài)下非接觸式算法測量結(jié)果同標(biāo)準(zhǔn)接觸式儀器測量結(jié)果的平均絕對值誤差|Me|，誤差的標(biāo)準(zhǔn)差SDe和RMSE，結(jié)果如表2所示。結(jié)果表明，對于所有測試者，兩種測量方法的|Me|均小于2 bpm，遠(yuǎn)低于中華人民共和國醫(yī)藥行業(yè)規(guī)定的誤差標(biāo)準(zhǔn)(誤差≤5 bpm)，SDe均小于2.5 bpm，RMSE均小于2.6 bpm，表明靜息狀態(tài)下本文提出的非接觸式算法同標(biāo)準(zhǔn)儀器的測量結(jié)果高度一致。

表2 靜息狀態(tài)下兩種測量方法的|Me|，SDe和RMSE 統(tǒng)計(jì)結(jié)果

圖4 靜息狀態(tài)下Bland-Altman一致性分析Fig.4 Bland-Altman consistency analysis in resting state

3.2 頭部運(yùn)動(dòng)狀態(tài)

對于每一位測試者，分別計(jì)算頭部運(yùn)動(dòng)狀態(tài)下非接觸式算法測量結(jié)果同標(biāo)準(zhǔn)接觸式儀器測量結(jié)果的|Me|，SDe和RMSE，結(jié)果如表3所示。結(jié)果表明，對于所有測試者，頭部運(yùn)動(dòng)狀態(tài)下兩種測量方法的|Me|均小于2.3 bpm，SDe均小于2.9 bpm，RMSE均小于2.9 bpm。與靜息狀態(tài)相比，頭部運(yùn)動(dòng)狀態(tài)下由于運(yùn)動(dòng)偽影等噪聲干擾的存在，非接觸式算法的測量誤差有所升高，但依然保持較高的測量精度。

表3 頭部運(yùn)動(dòng)狀態(tài)下兩種測量方法的|Me|，SDe和RMSE統(tǒng)計(jì)結(jié)果

Tab.3 Statistical results of |Me|， SDe and RMSE of two measurement methods in head moving state (bpm)

圖5 頭部運(yùn)動(dòng)狀態(tài)下Bland-Altman一致性分析Fig.5 Bland-Altman consistency analysis in head moving state

4 討 論

心率是一項(xiàng)極為重要的生理參數(shù)，被廣泛應(yīng)用于心血管疾病的診斷和情緒檢測中，本文提出了一種基于CMOR小波變換的非接觸式心率測量方法，用低成本的電腦攝像頭拍攝人臉來準(zhǔn)確檢測被試者的心率參數(shù)。并通過計(jì)算靜息狀態(tài)和頭部運(yùn)動(dòng)狀態(tài)下非接觸式算法測量結(jié)果同標(biāo)準(zhǔn)接觸式儀器測量結(jié)果的平均絕對值誤差|Me|，誤差的標(biāo)準(zhǔn)差SDe和RMSE，繪制兩種測量方法的Bland-Altman散點(diǎn)圖，證明本文提出的非接觸式方法測量結(jié)果同標(biāo)準(zhǔn)儀器測量結(jié)果具有較強(qiáng)的一致性。

在視頻圖像處理中，人臉皮膚檢測是一項(xiàng)重要的操作，KLT算法跟蹤提取到的矩形人臉像素中，存在頭發(fā)、眼睛、背景等像素引起的噪聲信號，直接提取到的PPG信號信噪比較低，如圖6(a)所示，經(jīng)過皮膚檢測后提取到PPG信號的信噪比較高，如圖6(b)所示。而目前的皮膚檢測算法基本都是通過在YCbCr顏色空間中設(shè)定Y，Cb，Cr 3個(gè)通道的閾值來確定的，但對于不同的膚色類型，如I型白色皮膚，Ⅵ型黑色皮膚，Y，Cb，Cr 3個(gè)通道的閾值需要重新設(shè)定才能夠檢測到皮膚像素，未來準(zhǔn)備開發(fā)針對臉部的自適應(yīng)膚色檢測算法，根據(jù)測試者臉部皮膚類型，算法自動(dòng)調(diào)整Y，Cb，Cr 3個(gè)通道的閾值，從而進(jìn)一步提高算法的準(zhǔn)確性和魯棒性。

(a)未經(jīng)過皮膚檢測提取到的PPG信號 (a)PPG signal extracted without skin detection

(b)經(jīng)過皮膚檢測提取到的PPG信號 (b)PPG signal extracted through skin detection

圖6 未經(jīng)皮膚檢測與經(jīng)過皮膚檢測提取到的PPG信號對比

Fig.6 Comparison of PPG signals extracted without skin detection with those extracted through skin detection

本文使用Cg顏色通路作為信號源來減少運(yùn)動(dòng)偽影等噪聲干擾信號的影響。例如，當(dāng)測試者頭部出現(xiàn)自然微小運(yùn)動(dòng)時(shí)(5 s和20 s)，原始RGB視頻中G顏色通路的PPG信號會(huì)有較大波動(dòng)，如圖7(a)所示；而Cg顏色通路的PPG信號基本不受影響，如圖7(b)所示，證明Cg顏色通路作為信號源能夠有效減少運(yùn)動(dòng)偽影等噪聲干擾的影響，這是本文提出的方法能夠在頭部運(yùn)動(dòng)狀態(tài)下保持較高精度的一個(gè)重要原因。其中，G顏色通路已經(jīng)被驗(yàn)證是R，G，B 3個(gè)通路中PPG信號信噪比最高的一個(gè)通路[23]。

(a)G顏色通路提取到的PPG信號 (a)PPG signal extracted from G channel

(b)Cg顏色通路提取到的PPG信號 (b)PPG signal extracted from Cg channel

圖7 G顏色通路和Cg顏色通路提取到的PPG信號對比

Fig.7 Comparison of PPG signals extracted from G channel with those extracted from Cg channel

在之前的研究中，大多數(shù)學(xué)者將濾波得到的PPG信號進(jìn)行傅里葉變換[24-26]，找到頻率域中幅值最大點(diǎn)，進(jìn)而確定該時(shí)間段的心率參數(shù)，如圖8(a)所示。本文使用CMOR小波算法來生成PPG信號的能量譜圖，同時(shí)分析信號的時(shí)域分量和頻域分量，并根據(jù)心率參數(shù)變化連續(xù)的生理特征去除偽點(diǎn)噪聲，提取隨時(shí)間變化的心率參數(shù)，測量精度高，克服了以往傅里葉變換只能提取時(shí)間段內(nèi)單一主心率參數(shù)的缺陷，如圖8(b)所示。前一種方法只適用于在心率平穩(wěn)時(shí)間段內(nèi)提取主心率參數(shù)，如果該時(shí)間段心率有一定波動(dòng)，則該方法也只能檢測到頻率域中幅值最大點(diǎn)對應(yīng)的單一心率參數(shù)；而本文提出的方法能夠得到隨時(shí)間變化的心率數(shù)據(jù)，且實(shí)驗(yàn)結(jié)果表明，本文方法的測量結(jié)果和標(biāo)準(zhǔn)儀器的測量結(jié)果具有較強(qiáng)的一致性。

(a)傅里葉變換提取到的心率參數(shù) (a)Heart rate parameters extracted by Fourier transform

(b)CMOR小波能量譜圖提取到的心率參數(shù) (b)Heart rate parameters extracted by energy spectrum of CMOR wavelet

圖8 傅里葉變換和CMOR小波能量譜圖提取到的心率參數(shù)對比

Fig.8 Comparison of heart rate parameters extracted by Fourier transform with those extracted by energy spectrum of CMOR wavelet

5 結(jié) 論