基于CEEMDAN-FastICA算法的非接觸心率檢測

凌六一 汪晴晴 周孟然

摘 要：為了降低照明變化、相機內(nèi)部等噪聲干擾對遠程光電容積描記法檢測心率的誤差，提出基于自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解（CEEMDAN）與快速獨立成分分析（FastICA）相結(jié)合的去噪方法，實現(xiàn)非接觸式心率準確檢測。首先對視頻圖像中人臉68個關(guān)鍵點進行檢測，獲得感興趣區(qū)域（ROI）并得到源信號;然后通過CEEMDAN對源信號進行分解并選取合適頻段內(nèi)的固有模式函數(shù)（IMF）進行重構(gòu)，對重構(gòu)信號進行FastICA盲源分離后將RGB各通道信號進行快速傅里葉變換，最終利用頻譜峰值對應(yīng)頻率計算得到心率。對10名不同性別和年齡的人員進行了實驗測量，并將測量結(jié)果與脈搏血氧檢測參考儀器進行了對比分析，測量均方根誤差和平均絕對誤差分別為0.72bpm 和0.60bpm。實驗結(jié)果表明，所提方法能夠有效去除心率檢測源信號中的噪聲，提高心率檢測的準確性。

關(guān)鍵詞：遠程光電容積描記法;心率檢測;CEEMDAN;FastICA

中圖分類號：TP391 文獻標志碼：A

文章編號：1672-1098（2021）02-0001-08

收稿日期：2020-12-15

基金項目：安徽省科技重大專項計劃項目（201903a07020013）

作者簡介：凌六一（1980-），男，安徽樅陽人，教授，博士，研究方向：檢測技術(shù)與智能信息處理。

Non-contact Measurement of Heart Rate Based on CEEMDAN-FastICA

LING Liuyi1，2，WANG Qingqing1，ZHOU Mengran1

（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan Anhui 232001， China;2.School of Artificial Intelligence， Anhui University of Science and Technology， Huainan Anhui232001， China）

Abstract：The accuracy of heart rate measurement based on remote photoplethysmography （rPPG） usually decreases due to the noise caused by lighting fluctuation and camera defects. In order to measure heart rate accurately， a de-noising method based on the complete ensemble empirical mode decomposition with adaptive noise （CEEMDAN） and fast independent component analysis （FastICA） is proposed， which is used firstly to obtain the region of interest （ROI） as well as source signal by establishing 68 key points in the face image from video stream， secondly to decompose the source signal with the CEEMDAN and then reconstruct it by making use of intrinsic mode function （IMF） within the appropriate frequency band， thirdly， to implement the based-FastICA blind source separation on the reconstructed signal to get independent RGB signal， and finally， to calculate the heart rate with the frequency， which is corresponding to magnitude peak in the frequency spectrum gotten by Fourier transform on the independent RGB signal. The heart rates of ten people of different gender and age are measured by the proposed method. The results are compared with those measured by standard pulse oximetry instrument， and the root mean square error （RMSE） and mean absolute error （MAE） are 0.72 bpm and 0.60 bpm respectively. The experimental results demonstrate the proposed method capable of effectively reducing the noise in the source signal and improving the accuracy of heart rate detection.

Key words：remote photoplethysmography; heart rate measurement; CEEMDAN; FastICA

人的心率（heart rate，HR），即心臟跳動的頻率，是臨床診斷和生命體征監(jiān)測中最重要的參數(shù)之一。人類心率一般為45～120次/min，傳統(tǒng)的接觸式心率檢測要求患者佩戴胸帶或電極，遠程光電容積描記法（remote photolethysmogracphic，rPPG）使用攝像機就可以監(jiān)測心率[1]。然而，rPPG技術(shù)的最大問題是噪聲干擾，測量過程中照明變化、相機內(nèi)在噪聲以及被測者的運動，包括頭部運動、面部表情、眨眼和說話等，這些都會給心率檢測帶來一定誤差。

一直以來，從視頻中提取心率經(jīng)常成為頂級計算機視覺會議[2-3]的主題，學(xué)者們致力于通過各種方法提高心率檢測的準確性[4-6]。例如，文獻[7]548將Kanade-Lucas-Tomasi算法跟蹤識別到的人臉視頻圖像轉(zhuǎn)換到Cg顏色通道來提取PPG信號，然后用Morlet復(fù)小波作為母波來提取隨時間變化的心率參數(shù)，實驗結(jié)果表明該方法能夠有效減少運動偽影等噪聲干擾的影響;文獻[8]利用經(jīng)驗?zāi)B(tài)分解（Ensemble Empirical Mode Decomposition，EEMD）提取心率信號，該方法降低了環(huán)境光變化的影響;文獻[9]1 422先對面部感興趣區(qū)域的綠色通道去趨勢化，然后使用聯(lián)合盲源分離和EEMD去除視頻中光照變化噪聲，實驗結(jié)果表明該方法有效減小了照明變化對心率測量的影響，然而他們所提方法的前提是假設(shè)面部ROI和背景有相同的光照變化;為避免光照影響，文獻[10]利用紅外攝像頭結(jié)合短時傅里葉變換提取心率，實驗表明該方法是可行的，但是如何去除運動偽影仍需進一步研究;文獻[11]使用無人機提取rPPG信號，采用自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）以及典型相關(guān)分析結(jié)合的方法有效減小了環(huán)境光和運動偽跡對視頻心率提取的影響。

針對照明變化、相機內(nèi)部噪聲等噪聲影響，本文提出CEEMDAN與快速獨立成分分析（fast independent component analysis ，F(xiàn)astICA）相結(jié)合的方法對心率源信號進行去噪來提取人體心率。通過與參考儀器檢測結(jié)果對比，并進行Bland-Altman一致性分析以驗證本文所提方法的有效性和準確性。

1 檢測原理與流程

rPPG原理是基于每次心跳帶來的血液流動會在人體皮膚組織的微血管中形成周期性變化，當(dāng)光線照射到皮膚時，皮膚對光線的吸收會有所不同，從而引起皮膚顏色的變化，這個變化可以由攝像機捕捉，因此通過檢測被測者面部連續(xù)的視覺圖像來提取人體的生理參數(shù)。

基于rPPG心率檢測流程由五個步驟組成，如圖1所示。第一步，利用攝像頭采集被測者正面視頻，對每一幀圖像進行基于Python的Dlib庫人臉檢測，并且利用68個關(guān)鍵特征點定位到所需要的感興趣區(qū)域（Region of Interest，ROI）;第二步，計算每一幀圖像ROI中紅色（Red，R）、綠色（Green，G）、藍色（Blue，B）三個通道像素平均值，得到三通道的源信號;第三步，通過預(yù)處理對源信號進行處理，其中預(yù)處理包括對數(shù)據(jù)進行三次多項式插值、去趨勢化、標準化和帶通濾波;第四步，通過CEEMDAN對信號進行模態(tài)分解，選擇合適頻段內(nèi)的固有模式函數(shù)（IntrinsicModeFunction，IMF）重構(gòu)信號，進行帶通濾波。然后對信號進行FastICA盲源分離，再進行帶通濾波，獲取去噪后的信號;第五步，對去噪后的信號進行快速傅里葉變換，選擇頻譜圖中最高功率對應(yīng)的頻率帶入公式計算出心率。

2 方法及實現(xiàn)

2.1 源信號獲取

對于非接觸式心率檢測而言，大部分源信號是通過人臉檢測獲得ROI并進行處理后得到。ROI是指含有心率源信號的像素區(qū)域，檢測ROI是為了找到最能反映出心率周期性變化的皮膚區(qū)域，因此，選擇合適的ROI對 rPPG信號質(zhì)量有重要影響?？紤]到人眼眨動、女生額頭劉海遮擋以及人臉運動偽跡等影響，本文選擇臉頰和鼻子連通區(qū)域作為ROI。利用基于Python的Dlib庫[12]實現(xiàn)人臉檢測，然后對人臉68個關(guān)鍵點進行定位，獲取眼睛、鼻子、嘴巴等關(guān)鍵部位的位置信息，根據(jù)這些位置信息可以擬合出臉部的多邊形區(qū)域，如圖2所示，黃色多邊形內(nèi)部為本文確定的某測試者的ROI。

得到ROI后，通過將ROI進行紅色（R）、綠色（G）、藍色（B）三通道基色分離，記錄各通道像素點的變化，即可得到包含心率的源信號。對ROI圖片的RGB三通道按照公式（1）分別進行像素平均操作，假設(shè)ROI區(qū)域包含M×N個像素點，則第n幀的平均像素值Pn為

Pn=∑MM=1∑NN=1Xn（x，y）M×N（1）

其中，Xn（x，y）是像素點（x，y）在第n幀的顏色強度值。對幀頻為30fps，時長為26s即780幀的視頻圖片進行像素平均操作，得到RGB三基色通道一維像素均值源信號，如圖3所示。對每個基色通道的源信號進一步進行處理，可以從中提取出心率信息。

2.2 基于CEEMDAN-FastICA算法的信號去噪

1）自適應(yīng)噪聲完備集合經(jīng)驗?zāi)B(tài)分解 經(jīng)驗?zāi)B(tài)分解（EmpiricalModeDecomposition，EMD）[13]是一種針對非平穩(wěn)信號處理的時頻域分析方法，通過EMD分解可得到一系列不同頻段的IMF，但是EMD存在模態(tài)混疊和端點效應(yīng)會影響分解效果，EEMD[14]則通過添加白噪聲來解決EMD帶來的模態(tài)混疊的問題，然而EEMD由于多次添加不同幅值的白噪聲導(dǎo)致信號中殘留噪聲會使信號出現(xiàn)誤差。CEEMDAN[15]則通過添加自適應(yīng)的白噪聲彌補了EEMD帶來的誤差問題，以及減輕了EMD的模態(tài)混疊現(xiàn)象。

添加滿足N（0，1）分布的高斯白噪聲ωi[n]（i=1，…，I，I為添加噪聲的次數(shù)）到信號y[n]中，EMDj（·）是對第j個模態(tài)進行EMD分解，則CEEMDAN具體步驟如下

Step1原始信號為y[n]+β0ωi[n]，其中β0是噪聲標準偏差，在本文中β0=0.2，對原始信號進行EMD分解得到第一個模態(tài)

IMF1[n]=1I∑Ii=1IMFi1[n]（2）

得到第一個剩余分量

r1[n]=y[n]-IMF1[n]（3）

Step2第二個模態(tài)為

IMF2[n]=1I∑Ii=1（EMD1（r1[n]+β1EMD1（ωi[n]）））（4）

則第k個剩余分量為

rk[n]=rk-1[n]-IMFk[n]（5）

Step3第（k+1）個IMF為

IMFk+1[n]=1I∑Ii=1（EMD1（rk[n]+βkEMDk（ωi[n]）））（6）

Step4一直重復(fù)step3～4直到剩余分量為單調(diào)函數(shù)，即不滿足EMD條件時，此時剩余分量為

R[n]=x[n]-∑Kk=1IMFk （7）

則原始信號表示為

y[n]=∑Kk=1IMFk+R[n]（8）

在進行CEEMDAN分解之前，為了便于提取心率信號，要對源信號進行預(yù)處理，預(yù)處理包括三次多項式插值、去趨勢化、標準化和帶通濾波。預(yù)處理之后，通過CEEMDAN將信號分解為具有瞬時振幅和頻率數(shù)據(jù)的IMF，每個通道信號分解得到11個IMF，圖4給出了某測試者視頻圖像G通道信號分解結(jié)果。分解獲得的IMF的頻率由高到低順序排列，對IMF做快速傅里葉變換，得到信號頻譜，根據(jù)頻譜得到每個IMF的頻譜峰值對應(yīng)頻率如表1所示。

人類的心率信號一般在0.7～3Hz（對應(yīng)心率42～180bpm）范圍內(nèi)，為了最大程度保留含有心率成分的源信號，選取IMF模態(tài)4、5、6重構(gòu)信號，重構(gòu)信號Y[n]為

Y[n]=IMF4[n]+IMF5[n]+IMF6[n]（9）

選擇IMF進行重構(gòu)得到的三個通道信號如圖5所示。

2）快速獨立成分分析 FastICA是一種收斂速度快、分離效果好的盲源分離算法，它能很好地從觀測信號中估計出相互統(tǒng)計獨立的、被未知因素混合的原始信號[16]。FastICA算法的基本思想如下

設(shè)S=[S1，S2，…，Sn]，其中S1，S2，…，Sn為源信號，X=[X1，X2，…，Xn]，其中X1，X2，…，Xn為觀測信號，假設(shè)存在模型的混合矩陣A使得

X=AS（10）

該算法目標是在源信號S和混合矩陣A未知情況下，以負熵最大作為搜尋方向，通過合適的非線性函數(shù)對其進行優(yōu)化迭代，找到解混矩陣W，即

W≈A-1（11）

式（12）是計算解混矩陣W的迭代公式[17]

W=E[xg（WTx）]-E[g′（WTx）]WW=W‖W‖（12）

式中：x為觀測矩陣，WT為W的轉(zhuǎn)置，E[g]為平均操作，g（y）為非線性函數(shù)，g′（y）為g（y）的導(dǎo)函數(shù)。本文中，非線性函數(shù)g（y）=-e-y22。

根據(jù)解混矩陣W來恢復(fù)源信號Y，Y=[y1，y2，…，yn]，即

Y=WX=WAS≈S（13）

利用FastICA算法進行盲源分離得到的三通道信號如圖6所示。

2.3 提取心率信號

根據(jù)心率信號的周期性，從信號的頻譜圖中可以計算出心率。對去噪后的心率信號進行快速傅里葉變換，找到頻譜圖中最高功率對應(yīng)頻率fmax，計算出心率HRm。計算心率公式如下

HRm=60×fmax（14）

圖7給出了某測試者心率信號頻譜圖，計算得到其心率為73.44 bpm。

3 結(jié)果與分析

3.1 實驗設(shè)計

實驗視頻在室內(nèi)白天自然光環(huán)境下和夜晚日光燈環(huán)境下拍攝，拍攝設(shè)備為HD Webcam PLUM，型號為PLUM-001，采樣頻率30fps，視頻為MP4格式。實驗共選取了10位測試者，他們都是在校大學(xué)生和老師，其中包括8名男性和2名女性，年齡23～40歲，測試者面部正對攝像頭，在拍攝過程中，測試者臉部應(yīng)避免較大運動，同時手上使用指夾式脈搏血氧檢測儀檢測心率作為參考值，視頻拍攝時長為30s左右。

3.2 實驗結(jié)果與分析

采用CEEMDAN- FastICA的方法去噪，通過快速傅里葉變換提取心率，并與EEMD-FastICA去噪方法所得的心率結(jié)果進行比較，兩種方法的測試結(jié)果和絕對誤差如表2所示。

從表2可以看到，基于CEEMDAN- FastICA方法的檢測結(jié)果都很接近血氧計值，其誤差都在2bpm以內(nèi)，其中最小誤差是0.09bpm，最大誤差是1.32bpm;EEMD-FastICA方法所測結(jié)果部分與血氧計值也比較接近，但是其中有三位參與者心率的絕對誤差分別達到了57.5bpm、48.4bpm和69.5bpm。與此方法相比，本文算法具有較強的魯棒性。

另外，在本次測試結(jié)果中，測試者5和10的心率絕對誤差高于EEMD-FastICA算法的絕對誤差。盡管如此，但是將兩位測試者數(shù)據(jù)進行時頻分析，并與血氧計的歷史記錄數(shù)據(jù)進行比較，發(fā)現(xiàn)隨著時間推移本文提出的算法測得心率更趨于穩(wěn)定，符合實際測得的值。如圖8所示，測試者5采用EEMD-FastICA算法獲得的心率值波動較大，而采用CEEMDAN- FastICA算法獲得的心率較為穩(wěn)定，如圖9所示。

Bland-Altman一致性分析[18]是評價兩種方法結(jié)果是否具有一致性的常用方法，利用Bland-Altman 法分別對血氧檢測儀與rPPG測量結(jié)果進行一致性評估，結(jié)果如圖10所示。圖中藍色實線代表兩者測量結(jié)果偏差均值，中間橙色虛線代表零偏差均值。兩種測量方法的一致性越高，藍色實線越靠近橙色虛線?？梢钥吹?，血氧檢測儀與 rPPG 測量結(jié)果的偏差均值為0.34bpm，相應(yīng)的95%一致性區(qū)間為[-0.97 1.65] bpm，表明兩種測量方法具有較高的一致性。

另外，采用均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute·Error，MAE）、平均誤差（Mean Error ME）、相關(guān)系數(shù)（Correlation coefficient ，CC）和標準差（Standard Deviation，SD）這五種評測指標與各文獻方法進行對比，對比結(jié)果如表3所示。

從表3中可以看到，本文提出的基于CEEMDAN- FastICA方法的均方根誤差為0.72bpm，平均絕對誤差為0.60bpm，平均誤差為0.34bpm，相關(guān)系數(shù)為0.996，標準差為0.635bpm，與其他方法對比可以看出本文方法的準確性較高。同時，本文方法的測試結(jié)果誤差遠低于中華人民共和國醫(yī)藥行業(yè)規(guī)定的誤差標準（≤5bpm誤差），表明了靜止?fàn)顟B(tài)下本文方法的有效性。

4 結(jié)論

本文提出基于Python的Dlib庫中人臉關(guān)鍵點檢測獲取ROI，結(jié)合基于CEEMDAN- FastICA的去噪方法非接觸式檢測心率，實驗結(jié)果的均方根誤差和平均絕對誤差分別為0.72 bpm 和0.60 bpm，解決了照明變化、相機內(nèi)部等噪聲的問題，同時該結(jié)果與接觸式設(shè)備有較高的一致性，驗證了本文方法的準確性和魯棒性。基于視頻的心率檢測方法簡單易實現(xiàn)，在日常生活中有一定實用性。接下來還可以針對人臉運動狀態(tài)下的心率檢測、利用深度學(xué)習(xí)進行心率的提取等進一步研究來提高心率檢測技術(shù)的實用性。

參考文獻：

[1] 許彥坤，石萍，喻洪流. 基于成像式光電容積描記技術(shù)的人體生理參數(shù)檢測研究進展[J]. 北京生物醫(yī)學(xué)工程， 2017， 36（6）：648-654.

[2]C S PILZ， J KRAJEWSKI， V BLAZEK. On the diffusion process for heart rate estimation from face videos under realistic conditions[C]//German Conference on Pattern Recognition. basel switzerland ： Springer， Cham， 2017：361-373.

[3]C S PILZ， S ZAUNSEDER， J KRAJEWSKI， et al. Local group invariance for heart rate estimation from face videos in the wild[C]//The IEEE Conference on Computer Vision and Pattern Recognition （CVPR） Workshops. Salt Lake City， USA ：IEEE Computer Society Conference， 2018： 1 254-1 262，

[4] 王慧泉，何森，田野，等. 基于rPPG的脈搏波提取及心率測量方法研究[J].計算機應(yīng)用研究， 2020， 37（S1）：172-174.

[5] 陳輝，鄭秀娟，倪宗軍，等. 基于面部視頻分析的生命體征檢測[J]. 北京航空航天大學(xué)學(xué)報， 2020， 46（9）：1 770-1 777.

[6] 周雙，楊學(xué)志，金兢，等. 采用自適應(yīng)信號恢復(fù)算法的非接觸式心率檢測[J]. 中國圖象圖形學(xué)報， 2019， 24（10）：1 670-1 682.

[7] 李曉媛，武鵬，劉允，等. 基于人臉視頻的心率參數(shù)提取[J].光學(xué)精密工程， 2020， 28（3）：548-557.

[8] CHEN D Y，WANG J J，LIN K Y，et al. Image sensor-based heart rate evaluation from face reflectance using Hilbert-Huang transform[J]. IEEE Sens J. 2015，15（1）：618-627.

[9] CHENG J，CHEN X，XU L，et al. Illumination variation-resistant video-based heart rate measurement using joint blind source separation and ensemble empirical mode decomposition[J]. IEEE Journal of Biomedical and Health Informatics， 2016（10）：1 422-1 433.

[10] MARTINEZ N，BERTRAN M，SAPIRO G，et al.Non-contact photoplethysmogram and instantaneous heart rate estimation from infrared face video[C]//Proceedings - International Conference on Image Processing. Taipei International Convention Center ： IEEE Computer Society， 2019：2 020-2 024.

[11] AL-NAJI A，PERERA A G，CHAHL J.Remote monitoring of cardiorespiratory signals from a hovering unmanned aerial vehicle[J]. Biomedical engineering online， 2017， 16（1）： 101-120.

[12] BOYKO N， BASYSTIUK O， SHAKHOVSKA N . Performance Evaluation and Comparison of Software for Face Recognition， Based on Dlib and Opencv Library[C]//Proceedings of the 2018 IEEE 2nd International Conference on Data Stream Mining and Processing. Sentosa，Singapore： Institute of Electrical and Electronics Engineers Inc，2018：478-482.

[13] NORDEN E HUANG，ZHENG SHEN，STEVEN R LONG.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proceedings Mathematical Physical & Engineering Sciences，1998， 454（1 971）：903-995.

[14] WU Z，HUANG N E.Ensemble empirical mode decomposition：a noise-assisted data analysis method[J]. Advances in Adaptive Data Analysis，2009，1（1）：1-41.

[15] LAHCEN E B，MOHAMMED K，ABDELLAH A .ECG signal filtering based on CEEMDAN with hybrid interval thresholding and higher order statistics to select relevant modes[J]. Multimedia Tools and Applications， 2019，78（6）：13 067-13 089.

[16] N HASSAN，D A RAMLI.A Comparative Study of Blind Source Separation for Bioacoustics Sounds based on FastICA， PCA and NMF[J].Procedia Computer science， 2018， 126：363-372.

[17] CAI K，YUE H，LI B，et al.Combining Chrominance Features and Fast ICA for Noncontact Imaging Photoplethysmography[J].IEEE Access，2020， 8：50 171-50 179.

[18] BLAND J M，ALTMAN D G.Statistical methods for assessing agreement between two methods of clinical measurement[J]. Lancet， 1986， 1： 307-310.

（責(zé)任編輯：丁 寒）