基于FastICA與ICEEMDAN的人臉視頻心率檢測(cè)

趙明康 王 鎮(zhèn) 齊晨成 王藝瀟 張 帥*

1（河北工業(yè)大學(xué)省部共建電工裝備可靠性與智能化國(guó)家重點(diǎn)實(shí)驗(yàn)室，天津 300130）

2（天津市生物電工與智能健康重點(diǎn)實(shí)驗(yàn)室，天津 300130）

引言

根據(jù)《中國(guó)心血管健康與疾病報(bào)告（2020年）》顯示，我國(guó)心血管病患病率處于持續(xù)上升態(tài)勢(shì)，目前患病人數(shù)約3.3 億，心率是監(jiān)測(cè)和評(píng)價(jià)心血管相關(guān)疾病的一項(xiàng)重要指標(biāo)。目前，根據(jù)設(shè)備是否與人體接觸，心率檢測(cè)方法分為接觸式和非接觸式。接觸式方法的傳感器需要與人體皮膚接觸，因此無(wú)法滿足在特定環(huán)境下和對(duì)特定人群的心率檢測(cè)。非接觸式檢測(cè)則避免了這些限制，目前，人臉視頻也被用于非接觸式心率檢測(cè)。

2008年，Verkruysse 等［1］首次發(fā)現(xiàn)人臉視頻中包含可以測(cè)量心率信號(hào)。Poh 等［2］首次提出通過(guò)面部視頻進(jìn)行非接觸式心率測(cè)量，他們使用獨(dú)立成分分析（ independent component analysis，ICA）從RGB三通道的原始信號(hào)中提取血液容積脈搏波（blood volume pulse，BVP），證明了低成本的攝像頭提取心率信號(hào)的可行性。Kumar 等［3］和Amelard 等［4］提出了可以自動(dòng)選擇感興趣區(qū)域（region of interest，ROI）的方法來(lái)提取心率信號(hào)。2017年，Wei 等［5］提出了一種基于盲源分離的非接觸測(cè)量心率的方法。Norwahidah 等［6］研究了不同面部區(qū)域不同測(cè)量距離對(duì)非接觸式心率檢測(cè)結(jié)果的影響。2019年，Richard等［7］提出了一種使用均方自相關(guān)和負(fù)熵作為目標(biāo)函數(shù)的多目標(biāo)優(yōu)化的遠(yuǎn)程心率測(cè)量方法。2019年，Martinez 等［8］利用紅外攝像頭提取臉部光電容積脈搏波（photoplethysmography，PPG） 信號(hào)，并用短時(shí)傅里葉變換算法提取心率參數(shù)。2020年，李曉媛等［9］從YCbCrCg 顏色空間Cg 通路中提取了高質(zhì)量的PPG 信號(hào)， 用 Morlet 復(fù)小波（complex morlet，CMOR）作為母波繪制小波能量譜圖，并根據(jù)心率參數(shù)的生理特性去除偽點(diǎn)噪聲，提取心率參數(shù)。

基于成像式光電容積脈搏波描記法（imaging photoplethysmography，IPPG）［10］的非接觸式心率檢測(cè)，能夠在不與受試者發(fā)生接觸的情況下，遠(yuǎn)程檢測(cè)出受試者的心率參數(shù)。同時(shí)，該方法具有低成本、操作簡(jiǎn)單、易實(shí)現(xiàn)等優(yōu)點(diǎn)。然而，在實(shí)際使用中，由于人頭部存在晃動(dòng)，易于產(chǎn)生運(yùn)動(dòng)干擾，以及后續(xù)的信號(hào)處理方法的不同，使得實(shí)際檢測(cè)結(jié)果存在差異。因此，如何設(shè)計(jì)出有效的信號(hào)處理方法以實(shí)現(xiàn)BVP 信號(hào)的準(zhǔn)確提取，成為心率檢測(cè)的熱點(diǎn)。

1 材料與方法

本研究提出一種基于快速獨(dú)立成分分析（fast independent component analysis，F(xiàn)ast ICA）［11］和改進(jìn)的自適應(yīng)噪聲完全集合經(jīng)驗(yàn)?zāi)B(tài)分解（improved complete ensemble empirical mode decomposition with adaptive noise，ICEEMDAN）［12］相結(jié)合的算法，應(yīng)用于人臉視頻的非接觸式心率測(cè)量，流程如圖1 所示。用攝像頭非接觸地采集人臉視頻，選取額頭作為感興趣區(qū)域（region of interest，ROI），并從中提取R、G、B 通道源信號(hào)，即皮膚顏色變化信號(hào)，分別求出該3個(gè)顏色通道的像素平均值，然后利用FastICA 對(duì)該3組像素平均值進(jìn)行解混，得到3 組獨(dú)立源信號(hào)，再用ICEEMDAN 將其中1 組獨(dú)立源信號(hào)進(jìn)行模態(tài)分解并選取合適頻段內(nèi)的固有模式函數(shù)（intrinsic mode function，IMF）估計(jì)心率信號(hào)，最后用頻譜分析計(jì)算得到心率。

圖1 心率檢測(cè)流程Fig.1 Heart rate detection flow chart

1.1 人臉檢測(cè)

根據(jù)成像式光電容積脈搏波描記法原理，人體心臟的周期性收縮和舒張功能可以改變血容量，而血容量的改變可以或多或少地改變吸收和反射光的強(qiáng)度，從而導(dǎo)致皮膚顏色的周期性變化。

為了提取人體膚色的周期性變化信息，采用綜合Adaboost 和Cascade（又稱為Harr-Cascade 人臉探測(cè)器）［13］的人臉檢測(cè)方法消除人臉背景區(qū)域、定位ROI，而且速度快。

1.2 感興趣區(qū)域選取

在非接觸心率測(cè)量過(guò)程中，常伴有各種干擾，例如人眼的眨動(dòng)、說(shuō)話時(shí)嘴的動(dòng)作等，ROI 的選擇應(yīng)盡可能規(guī)避這些干擾，從而提高檢測(cè)精度。去掉眼睛、嘴等部位后可以選取的區(qū)域有額頭及鼻梁部分。疫情防護(hù)需要佩戴口罩，遮擋了臉部大部分區(qū)域，鼻子可作為ROI 的皮膚面積相對(duì)較少，而額頭區(qū)域較為平整且不容易被遮擋，可作為ROI 的皮膚面積相對(duì)較多，且含有大量的毛細(xì)血管，所以選擇額頭作為ROI，如圖2 所示。

圖2 ROI 區(qū)域選取Fig.2 ROI area selection

1.3 RGB 通道分離及空間平均預(yù)處理

IPPG 系統(tǒng)直接采集的信息是包含脈搏信息的原始視頻圖像，但需要獲取高信噪比的BVP 信號(hào)。對(duì)每幀感興趣區(qū)域分離RGB 三通道數(shù)據(jù)，并分別做空間像素平均處理，即

式中，n為圖像幀數(shù)；N為視頻總的幀數(shù)；X（n） 為R、G 或B 通道的一維源信號(hào)；xi，j（n） 為像素點(diǎn)（i，j）在對(duì)應(yīng)通道的顏色強(qiáng)度值；h和w分別為圖像的高度和寬度。

如圖3 所示，空間像素平均值反映的是皮膚對(duì)光線的吸收反射情況，也是后續(xù)的心率信息?？臻g像素平均處理能夠有效地抑制噪聲從而提高BVP信號(hào)的信噪比。

圖3 RGB 三通道空間像素平均值。（a） 紅色通道；（b） 綠色通道；（c） 藍(lán)色通道Fig.3 RGB three-channel spatial pixel average value. （a） Red channel；（b） Green channel；（c）Blue channel

1.4 FastICA

FastICA 是獨(dú)立成分分析的一種，采用定點(diǎn)迭代的優(yōu)化算法，從RGB 濾波后的混合矩陣中提取脈搏波信號(hào)，使得收斂更加快速、穩(wěn)健，提高實(shí)時(shí)性，可以減少檢測(cè)誤差，提高心率檢測(cè)的準(zhǔn)確性。

FastICA 假設(shè)存在3 個(gè)相互獨(dú)立的源信號(hào)s（t）＝［s1（t），s2（t），s3（t）］T（未知），觀測(cè)信號(hào)是RGB 等3 個(gè)顏色通道信號(hào)，是源信號(hào)的線性組合，即

式中，t是視頻幀數(shù)序列，A∈R3×3是未知的非奇異混合矩陣。FastICA 的目的是找到一個(gè)解混矩陣，使得

圖4 FastICA 處理后的獨(dú)立源信號(hào)。（a） s1；（b） s2；（c） s3Fig.4 Independent source signal processed by FastICA. （a） s1；（b） s2；（c） s3

血液對(duì)綠色光線的吸收量最大，對(duì)紅色光的吸收量最小，因此采集的RGB 三通道信號(hào)中綠色信號(hào)最能反映出血液流動(dòng)的信息，將分離出的3 個(gè)獨(dú)立源信號(hào)s1、s2、s3分別與綠色通道信號(hào)做相關(guān)性分析，取皮爾遜相關(guān)系數(shù)絕對(duì)值最大的對(duì)應(yīng)的獨(dú)立源信號(hào)，進(jìn)行下一步的處理。FastICA 得到的3 個(gè)獨(dú)立源信號(hào)s1、s2、s3是無(wú)序的，為了從中選出需要的脈搏波信號(hào)，將它們分別與綠色通道信號(hào)（噪聲最小且與脈搏信號(hào)最相近）進(jìn)行相關(guān)性分析，得到的相關(guān)性最大成分即為含噪脈搏波信號(hào)。

1.5 ICEEMDAN

模態(tài)分解（empirical mode decomposition，EMD）［14］是一種時(shí)頻信號(hào)分析方法，具有小波變換多分辨分析的優(yōu)點(diǎn)，以自身為基波進(jìn)行分解，具有良好的自適應(yīng)性，非常適合處理人臉顏色信號(hào)。它依據(jù)信號(hào)的局部時(shí)間尺度特征，自適應(yīng)地將信號(hào)分解成頻率由高到低的IMF 和一個(gè)殘余分量，每個(gè)IMF 對(duì)應(yīng)不同的頻帶，對(duì)應(yīng)心率頻帶的模態(tài)分量即為脈搏波。

應(yīng)用基于自適應(yīng)噪聲的完全集合經(jīng)驗(yàn)?zāi)B(tài)分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）［15］仍然存在一定的缺點(diǎn)：分解的模態(tài)分量含有一些殘余噪聲以及在信號(hào)分解重構(gòu)的早期階段會(huì)產(chǎn)生虛假分量。本研究應(yīng)用的是改進(jìn)的CEEMDAN 算法，其在分解過(guò)程中加入一種特殊的白噪聲，即高斯白噪聲經(jīng)過(guò)EMD 分解后的第k階IMF 分量。每個(gè)模態(tài)分量計(jì)算信號(hào)加噪聲的局部均值，并將分解得到的IMF 定義為殘差信號(hào)與局部均值的差值。因此，ICEEMDAN 算法大大減少了IMF 分量中的殘余噪聲問(wèn)題，改進(jìn)了CEEMDAN 在分解重構(gòu)的早期階段容易產(chǎn)生虛假分量和模態(tài)混疊的不足。

根據(jù)ICEEMDAN 分解得到的IMF 分量由高頻到低頻依序排列，如圖5 所示。每個(gè)IMF 分量代表的是不同頻段的信號(hào)，選取能夠反映心率頻譜結(jié)構(gòu)特征（心跳頻帶集中在0.5 ～2.0 Hz）的IMF 分量估計(jì)心率信號(hào)，如圖6 所示，所得到的IMF4為脈搏波，頻率范圍在心跳頻帶內(nèi)。

圖5 獨(dú)立源信號(hào)s1 經(jīng)過(guò)ICEEMDAN 分解得到的IMFFig.5 IMF obtained by ICEEMDAN decomposition of independent source signal s1

圖6 根據(jù)IMF4 分量估計(jì)的心率信號(hào)Fig.6 Heart rate signal estimated from IMF4 component

1.6 心率計(jì)算

從血容量脈搏波形中提取心率值，其具體操作為，通過(guò)傅里葉變換將血液容積脈搏波信號(hào)轉(zhuǎn)換為頻域信號(hào)，功率譜密度最大峰值對(duì)應(yīng)的頻率為心率信號(hào)。每秒周期性變化的頻率作為x軸，功率譜密度作為y軸，功率譜曲線如圖7 所示。

圖7 心率信號(hào)的功率譜密度圖Fig.7 Power spectral density map of heart rate signal

選取頻率位于心跳頻帶內(nèi)的成分為估計(jì)的脈搏波，能量峰值對(duì)應(yīng)的頻率為心跳頻率fh，心率為

2 結(jié)果

在室內(nèi)自然光條件下（無(wú)額外光源，室溫25℃），利用CMOS 攝像頭（30 幀／s，圖像分辨率1 920像素× 720 像素）在距離鏡頭50 ～60 cm 處采集30 s測(cè)試者頭部輕微晃動(dòng)狀態(tài)下的視頻，一可滿足奈奎斯特采樣定理要求，也能滿足清晰度的要求，二可與設(shè)備的讀寫速度相匹配。在進(jìn)行人臉視頻采集的同時(shí)用多參數(shù)監(jiān)護(hù)儀（福斯特FM6501-J型）測(cè)量實(shí)際心率作為參考值，同步保存采集的人臉視頻。將通過(guò)本方法處理人臉視頻分析所得的心率結(jié)果與多參數(shù)監(jiān)護(hù)儀監(jiān)測(cè)所得的心率進(jìn)行對(duì)比。

人臉視頻檢測(cè)流程為：用攝像頭采集人臉視頻并從視頻提取R、G、B 通道源信號(hào)，分別求出RGB 這3 個(gè)顏色通道的像素平均值；然后利用FastICA 對(duì)RGB 這3 組像素平均值進(jìn)行解混，得到3 組獨(dú)立源信號(hào)，再用ICEEMDAN 將其中1 組獨(dú)立源信號(hào)進(jìn)行模態(tài)分解并選取0.5 ～2.0 Hz 頻段內(nèi)的IMF 估計(jì)心率信號(hào)，最后用頻譜分析計(jì)算得到心率。

對(duì)8 名人員進(jìn)行了人臉視頻檢測(cè)，并同步進(jìn)行了多參數(shù)監(jiān)護(hù)儀檢測(cè)作為對(duì)比。與此同時(shí)，為了全面評(píng)估所提出方法的效果，復(fù)現(xiàn)了FastICA 與小波變換、FastICA 與CEEMD 的心率算法用作對(duì)比分析。從表1 可以看出，F(xiàn)astICA 和ICEEMDAN 相結(jié)合的方法檢測(cè)出的心率結(jié)果非常接近多參數(shù)監(jiān)護(hù)儀檢測(cè)出的結(jié)果，其誤差都在1 beat／min 以內(nèi)，最大誤差是1 beat／min，F(xiàn)astICA 與小波變換、FastICA 與CEEMD 方法所得結(jié)果與多參數(shù)監(jiān)護(hù)儀所測(cè)值也比較接近，但是平均誤差和均方根誤差較大，因此通過(guò)表1 能夠得出所提出算法能夠有效濾除含噪脈搏波中的噪聲，在頭部晃動(dòng)狀態(tài)下實(shí)現(xiàn)BVP 信號(hào)的準(zhǔn)確提取，使檢測(cè)結(jié)果更加準(zhǔn)確。

表1 實(shí)驗(yàn)數(shù)據(jù)Tab.1 Experimental data

3 討論和結(jié)論

非接觸式心率測(cè)量是未來(lái)測(cè)量方式的趨勢(shì)，有助于實(shí)現(xiàn)舒適、簡(jiǎn)單、無(wú)創(chuàng)的人體心率測(cè)量，對(duì)日常監(jiān)護(hù)、遠(yuǎn)程醫(yī)療都具有重要的實(shí)用價(jià)值和應(yīng)用前景。近年來(lái)，利用IPPG 信號(hào)提取心率信息的相關(guān)研究不斷進(jìn)行，但頭部存在晃動(dòng)產(chǎn)生的運(yùn)動(dòng)干擾以及后續(xù)信號(hào)處理方法的不同，造成了與實(shí)際檢測(cè)結(jié)果的偏差。為實(shí)現(xiàn)BVP 信號(hào)的準(zhǔn)確提取，本文提出了一種基于FastICA 與ICEEMDAN 相結(jié)合的算法。其優(yōu)勢(shì)在于：FastICA 從RGB 濾波后的混合矩陣中提取脈搏波信號(hào)，使得收斂更加快速、穩(wěn)健，縮短了運(yùn)算時(shí)間，可以減少檢測(cè)誤差，提高心率檢測(cè)的準(zhǔn)確性；ICEEMDAN 可以將含噪脈搏波中的噪聲有效濾除，且避免了傳統(tǒng)線性濾波器在使用時(shí)復(fù)雜的參數(shù)選取過(guò)程，大大提高了算法的自適應(yīng)性，減少了工作量。測(cè)試結(jié)果顯示，平均誤差和均方根誤差均小于1 beat／min，這得益于Fast ICA 與ICEEMDAN相結(jié)合的信號(hào)處理方法，增強(qiáng)了濾除含噪脈搏波噪聲的效果，增加了檢測(cè)結(jié)果的準(zhǔn)確性。

本研究對(duì)基于人臉視頻的心率測(cè)量有效，可用于精確檢測(cè)人體的心率。IPPG 技術(shù)可以提高對(duì)象的舒適性。此外，本方法所涉及的操作過(guò)程簡(jiǎn)單快速，時(shí)間空間響應(yīng)迅速，適宜于長(zhǎng)期心率監(jiān)測(cè)?；诜桨福谖磥?lái)的研究中，將有助于探討用于測(cè)量呼吸速率、血紅蛋白飽和度等生理參數(shù)的方法。