基于圖像光電容積描記法的心率測(cè)量

李炳霖，葛輝瓊，劉振瑤，張爽，嵇曉強(qiáng)

（長春理工大學(xué) 生命科學(xué)技術(shù)學(xué)院，長春 130022）

長期進(jìn)行心率監(jiān)測(cè)可以對(duì)心血管疾病進(jìn)行有效的防治［1-2］。心率是疾病和死亡率的有力預(yù)測(cè)因子，心率的相對(duì)穩(wěn)定對(duì)于預(yù)防相關(guān)心臟疾病有重要意義［3-4］。

心率的測(cè)量方法包括心電描記法（electrocardiography，ECG）、光電容積描記法（photoplethysmograph，PPG），這兩種方法均屬于接觸測(cè)量方法，需要與人體皮膚接觸，這對(duì)敏感皮膚的受試者（如新生兒）和大面積燒傷患者不適用，最重要的是無法實(shí)現(xiàn)遠(yuǎn)程測(cè)量［5］。由光電容積描記技術(shù)（PPG）衍生而來的圖像光電容積描記（Imaging photoplethysmography，IPPG）成為近年來深入研究的熱點(diǎn)。視頻非接觸生理信號(hào)采集起源于2008年，Verkruysse等人［6］提出在正常光照條件下，環(huán)境光可以獲得描記信號(hào)，為圖像光電容積描記法提供了研究基礎(chǔ)。這一研究領(lǐng)域真正發(fā)展于2010年，由哈佛大學(xué)Poh等人［7-8］通過設(shè)定感興趣區(qū)域（ROI），采用了獨(dú)立成分分析（ICA）實(shí)現(xiàn)心率評(píng)估。為了這項(xiàng)研究更加地適用于日常生活，東北大學(xué)趙海等人［9］采用手機(jī)攝像頭完成了非接觸測(cè)量心率與血壓，基于手機(jī)的設(shè)計(jì)更加適用于生活，提高使用的便捷程度。在視頻非接觸測(cè)量技術(shù)的發(fā)展中，由于非接觸測(cè)量會(huì)存在較大的噪聲干擾，因此國內(nèi)外的研究人員針對(duì)這一問題在信號(hào)增強(qiáng)、通道選擇、ROI區(qū)域選取進(jìn)行了研究與改進(jìn)［10-12］。由于日常生活中，自然光線往往包含燈光頻閃與光線不均的問題，這會(huì)使得實(shí)驗(yàn)條件發(fā)生變化進(jìn)而影響實(shí)驗(yàn)結(jié)果。由于血液對(duì)不同光的吸收不同，因此不同的通道選擇也會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響，然而對(duì)于通道選擇、光線變化對(duì)心率計(jì)算的具體影響程度依舊沒有明確的說明。需要實(shí)驗(yàn)對(duì)比以得到準(zhǔn)確結(jié)論。

針對(duì)上述問題，通過采集環(huán)境光與均勻打光條件下的人臉面部視頻，對(duì)比不同光線和不同顏色通道的心率計(jì)算值，并與指夾式脈搏測(cè)量儀的心率進(jìn)行對(duì)比，探討光線和顏色通道對(duì)于心率檢測(cè)精度的影響。

1 IPPG技術(shù)原理

皮膚組織中的黑色素與血液中血紅蛋白是光的主要的吸收成分［13］，根據(jù)人體皮膚特性，位于皮膚最外側(cè)化0.05～0.15 mm的表皮層只能吸收光線，而不能散射光線；表皮層下0.4～4 mm是真皮層，光波長越長在皮膚中可以達(dá)到相對(duì)更深的深度［14］。真皮層中有著豐富的毛細(xì)血管，皮膚組織中光吸收和散射主要發(fā)生在真皮層。真皮層內(nèi)血液中的血紅蛋白是吸收可見光的主要成分。

由于血液與骨骼對(duì)于光線吸收的不同，經(jīng)皮膚散射后的光被傳感器探測(cè)，將其轉(zhuǎn)化為電信號(hào)時(shí)得到了直流與交流信號(hào)，選擇交流信號(hào)得到血液流動(dòng)的特點(diǎn)。這種方法被稱為光電容積脈搏波描記法（PPG）。圖像光電容積描記法是在PPG的基礎(chǔ)上，將難以察覺的皮膚光線變化以光學(xué)傳感器接收［5］。與PPG不同，IPPG不需要與皮膚接觸進(jìn)行采集，可以實(shí)現(xiàn)完全無接觸測(cè)量，原理圖如圖1所示。

圖1 圖像光電容積描記（IPPG）原理圖

2 視頻非接觸心率檢測(cè)算法

算法首先采集人臉面部視頻，進(jìn)行視頻轉(zhuǎn)幀圖片、人臉識(shí)別、對(duì)人臉圖像進(jìn)行面部皮膚提取，獲取感興趣區(qū)域（ROI），對(duì)ROI分成三個(gè)R、G、B通道，通過空間像素平均獲得特定時(shí)間內(nèi)的時(shí)間序列即IPPG原始信號(hào)，對(duì)原始信號(hào)進(jìn)行信號(hào)處理，通過帶通濾波與小波變換去除噪聲，得到純凈IPPG信號(hào)，通過快速傅里葉變換（FFT）獲得功率譜最大波峰，計(jì)算心率值。具體流程如圖2所示。

圖2 非接觸心率檢測(cè)方法流程圖

將采集到的人臉視頻使用人臉檢測(cè)器實(shí)現(xiàn)視頻人臉識(shí)別。通過循環(huán)讀取全部視頻幀，調(diào)取測(cè)試文件與實(shí)際圖層的權(quán)重，通過置信度是否大于0.5進(jìn)行過濾，若大于默認(rèn)值，則獲取位置信息并保存。

2.1 膚色檢測(cè)

由于人的面部包括眉毛、眼睛、嘴巴等五官，包含頭發(fā)遮擋等多個(gè)因素，使得提取到的信號(hào)噪聲變大。因此在人臉檢測(cè)之后需要提取面部感興趣區(qū)域。膚色檢測(cè)是ROI提取的熱門方法，其中選取的顏色空間包括YCrCb、HSV等。通過研究對(duì)比了兩種顏色空間（YCrCb、HSV）在面部膚色檢測(cè)中的實(shí)際性能，最終選擇基于HSV顏色空間H、S、V范圍篩選法。

HSV模型是一種直觀的顏色模型，其顏色參數(shù)分別是色調(diào)（H）、飽和度（S）和明度（V）。RGB與HSV之間的計(jì)算如式（1）所示。正常黃種人的H分量大約在7～20之間，S分量大約在28～256之間，V分量大約在50～256之間。根據(jù)上述范圍設(shè)置閾值，遍歷圖像，判斷HSV通道的數(shù)值，將符合閾值范圍的像素點(diǎn)置為255白色，其余點(diǎn)置為0黑色，由此得到皮膚的黑白二值圖像。皮膚檢測(cè)結(jié)果如圖3所示。

圖3 膚色檢測(cè)圖

通過對(duì)比可以發(fā)現(xiàn)，基于HSV顏色空間的H、S、V分量范圍篩選效果較YCrCb顏色空間在五官去除方面效果更好，因此使用HSV建立算法模型對(duì)人臉目標(biāo)區(qū)域進(jìn)行膚色檢測(cè)。

通過將人臉檢測(cè)圖片與膚色提取的結(jié)果進(jìn)行“與”運(yùn)算，得到了去除五官及頭發(fā)遮擋后的純凈人臉皮膚區(qū)域的RGB圖片，并以此作為最終研究選定的人臉感興趣區(qū)域。

2.2 顏色通道分離

將上述感興趣區(qū)域圖片進(jìn)行顏色通道分離，將其分離為R、G、B三個(gè)單通道圖像，如圖4所示。通過計(jì)算單通道內(nèi)ROI區(qū)域的像素均值，以時(shí)間為橫坐標(biāo)，像素均值為縱坐標(biāo)，繪制信號(hào)原始曲線。原始曲線如圖5所示。

圖4 顏色通道分離圖

圖5 原始曲線圖

2.3 信號(hào)去噪處理

由于原始信號(hào)往往包含了呼吸以及骨骼肌收縮的人體不自主運(yùn)動(dòng)等干擾，這使得信號(hào)中含有一定的低頻噪聲，與此同時(shí)環(huán)境中燈光的閃頻也會(huì)造成一定的噪聲，會(huì)導(dǎo)致周期分析無法得到所希望的結(jié)果。為了提高信號(hào)的信噪比，需要對(duì)原始信號(hào)進(jìn)行去噪處理，通過小波變換與帶通濾波相結(jié)合進(jìn)行去噪處理。

本文采用二進(jìn)制小波去噪分別對(duì)三通道原始信號(hào)進(jìn)行多尺度分析，得到了重構(gòu)的IPPG信號(hào)。由于本文采用手機(jī)攝像頭拍攝，采集頻率為30 fps，因此可采集到的頻率為0～15 Hz。采用db8小波基進(jìn)行5層小波分解，分解過程如圖6所示，由于本文需要計(jì)算心率，心率信號(hào)主要在第三、第四層中，因此將第三層與第四層相加得到重構(gòu)IPPG信號(hào)。

圖6 小波變換重構(gòu)IPPG信號(hào)圖

本文通過巴特沃斯帶通濾波器處理R、G、B三個(gè)通道的原始IPPG信號(hào)。帶通濾波器的作用是衰減高頻和低頻頻帶信息，保留感興趣頻域范圍的信息。根據(jù)人體的心率范圍是42～180次/分鐘（bpm），將感興趣頻帶范圍設(shè)置為［0.7，3］Hz，以覆蓋正常的心率范圍。

通過數(shù)字帶通濾波器濾除［0.7，3］Hz范圍外的絕大部分噪聲信號(hào)。信號(hào)去噪處理后波形圖如圖7所示。

圖7 去噪后結(jié)果圖

2.4 心率值提取

傅里葉原理表明任何連續(xù)測(cè)量的時(shí)序信號(hào)，都可以表示為不同頻率的正弦波信號(hào)的無限疊加。FFT是離散傅里葉變換的快速算法，可以將信號(hào)從時(shí)域變換到頻域。本實(shí)驗(yàn)中采集的人臉視頻持續(xù)時(shí)長平均在30 s左右，每幀人臉圖片的像素均值作為一個(gè)采樣點(diǎn)，且采樣頻率與原始IPPG信號(hào)頻率基本同步。

由于IPPG信號(hào)反映了人體心率的周期變化趨勢(shì)，因此，對(duì)去噪后的IPPG信號(hào)進(jìn)行FFT后，IPPG信號(hào)包含了與心率頻率相近的基礎(chǔ)振蕩頻率，根據(jù)頻域中能量的最大處對(duì)應(yīng)的頻率即為心率對(duì)應(yīng)的頻率。心率（Heart Rate，HR）計(jì)算公式如下：

fHR是頻域中能量最大處對(duì)應(yīng)的頻率。如圖8所示，以G通道為例，給出FFT變換后的頻譜圖。

圖8 G通道FFT變換頻譜圖

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)裝置與過程

實(shí)驗(yàn)采集使用手機(jī)自帶的攝像頭，采集的視頻持續(xù)時(shí)長為30 s左右，采樣頻率均為30 fps。自然光場(chǎng)景下存在光照不均勻與燈光頻閃的情況，因此實(shí)驗(yàn)設(shè)置在不均勻的自然光場(chǎng)景下和均勻打光場(chǎng)景下分別對(duì)10名參與者面部進(jìn)行視頻采集，要求被試者靜坐閉眼，受試者面部正對(duì)攝像頭并與之水平相距60 cm左右，同時(shí)使用透射式手指脈搏血氧儀采集心率作為本文的實(shí)際參考心率值，均勻光采集過程如圖9所示。

圖9 均勻打光采集示意圖

3.2 評(píng)價(jià)指標(biāo)

為了得到較為準(zhǔn)確的實(shí)驗(yàn)結(jié)果，需要對(duì)人臉視頻中預(yù)測(cè)得到的心率值與通過心率傳感器測(cè)量的心率結(jié)果進(jìn)行分析。同時(shí)還將使用在心率測(cè)量中的重要標(biāo)準(zhǔn)評(píng)估指標(biāo)來評(píng)估測(cè)量方法的準(zhǔn)確性，分別是皮爾森相關(guān)系數(shù)、平均絕對(duì)誤差、誤差的標(biāo)準(zhǔn)差、均方根誤差和平均誤差率。

（1）皮爾森相關(guān)系數(shù)

皮爾森相關(guān)系數(shù)用來評(píng)價(jià)非接觸測(cè)試心率與實(shí)際心率的線性相關(guān)程度，計(jì)算如下：

其中，r為皮爾森相關(guān)系數(shù)，系數(shù)越大，即兩變量的相關(guān)性越大；n為樣本數(shù)量；Xi、Yi為數(shù)據(jù)集中的第i個(gè)樣本；、表示樣本均值；σX、σY為樣本標(biāo)準(zhǔn)差。

（2）平均絕對(duì)誤差

平均絕對(duì)誤差的計(jì)算公式如式（5）所示。其中N是進(jìn)行心率檢測(cè)的樣本總個(gè)數(shù)；i為所計(jì)算的樣本序號(hào)。心率測(cè)量值（HRm）和心率實(shí)際值（HRg）的誤差如式（4）所示：

（3）標(biāo)準(zhǔn)差

誤差的標(biāo)準(zhǔn)差（Standard Deviation，SD），即心率檢測(cè)算法測(cè)量誤差值的標(biāo)準(zhǔn)差，表示心率誤差值之間的離散程度，計(jì)算公式如下所示。

（4）均方根誤差

誤差的均方根誤差（Root Mean Squared Error），記做RMSE，即心率檢測(cè)算法測(cè)量誤差值的平方和與進(jìn)行心率檢測(cè)視頻的樣本個(gè)數(shù)N比值的平方根，RMSE的數(shù)值反映了心率檢測(cè)算法的精確度。計(jì)算公式如下：

（5）平均誤差率

平均誤差率的計(jì)算公式如下：

3.3 實(shí)驗(yàn)結(jié)果與討論

為了探究顏色通道對(duì)于心率測(cè)量的實(shí)際影響，此項(xiàng)研究分析在不考慮光照的前提下進(jìn)行。將整體20名受試者的指尖脈搏心率實(shí)際值與算法評(píng)估得到的三通道心率測(cè)量值整體分析，并使用皮爾森相關(guān)系數(shù)來分別評(píng)價(jià)R、G、B三通道對(duì)檢測(cè)到的心率值和實(shí)際心率測(cè)量值之間的線性相關(guān)程度。計(jì)算得到的不同顏色通道對(duì)心率測(cè)量的實(shí)驗(yàn)分析結(jié)果如表1所示。

表1 不同顏色通道對(duì)心率檢測(cè)精度的影響結(jié)果（不考慮環(huán)境光線）

由上表可以看出，G通道對(duì)心率測(cè)量值的相關(guān)系數(shù)最大，即線性相關(guān)程度最高，因此G通道與R通道和B通道相比是作為心率參數(shù)檢測(cè)的最佳通道。這也與多數(shù)研究者提出的采用G通道測(cè)量相符合。由此給出了通道選擇對(duì)于心率計(jì)算的具體差異。

為了探究環(huán)境光線對(duì)于心率測(cè)量的實(shí)際影響，實(shí)驗(yàn)分別在自然光環(huán)境與均勻打光場(chǎng)景下進(jìn)行。根據(jù)上一實(shí)驗(yàn)結(jié)論，此處選擇G通道進(jìn)行光線比較。繪制了自然光環(huán)境下G通道心率測(cè)量值和均勻光環(huán)境下G通道心率測(cè)量值與真實(shí)值的線性相關(guān)比較圖，如圖10和圖11所示。

圖10 自然光下G通道心率測(cè)量效果擬合圖

圖11 均勻光下G通道心率測(cè)量效果擬合圖

不同光線條件下，G通道心率測(cè)量值分析如表2所示。在均勻光光線條件下，均方誤差與平均誤差率都要好于非均勻光條件。

表2 光線對(duì)心率檢測(cè)精度的影響結(jié)果

因此，可以得出實(shí)驗(yàn)環(huán)境中的光線對(duì)測(cè)量的準(zhǔn)確度有較大的影響，這也證明在心率測(cè)試過程中應(yīng)保證采光充足且均勻。

由此可以得到光線與通道均在一定程度上影響心率的測(cè)量，通過改善光線均勻程度并選取G通道計(jì)算心率，可以得到最為有效的測(cè)量效果。

為了進(jìn)一步驗(yàn)證算法的性能，將所得結(jié)果與當(dāng)前領(lǐng)域研究的其他文獻(xiàn)進(jìn)行了比較，通過皮爾森相關(guān)系數(shù)、誤差的標(biāo)準(zhǔn)差、均方根誤差的比較，衡量所提心率計(jì)算的有效性?；谏衔牡玫降慕Y(jié)果，由于均勻光線下綠色通道是最好的計(jì)算方法，因此將均勻光條件下的綠色通道計(jì)算心率方法與其他文獻(xiàn)計(jì)算結(jié)果進(jìn)行對(duì)比。相關(guān)結(jié)果如表3所示。

表3 心率檢測(cè)算法的比較結(jié)果

根據(jù)與文獻(xiàn)方法的結(jié)果對(duì)比，可以判斷視頻非接觸測(cè)量心率算法具有一定的測(cè)量精確度，通過散點(diǎn)圖比較了非接觸測(cè)量心率與手指脈搏血氧儀測(cè)量心率的結(jié)果，并通過散點(diǎn)繪制了最佳擬合線。如圖12展示了非接觸心率測(cè)量與手指脈搏血氧儀心率測(cè)量的相關(guān)性。通過Bland-Altman圖對(duì)計(jì)算心率與實(shí)際心率之間進(jìn)行一致性評(píng)估，如圖13所示。橫坐標(biāo)為實(shí)際心率與測(cè)量心率的平均值，縱坐標(biāo)為兩者差值，一致性區(qū)間為[m-1.96SD,m+1.96SD]，m為誤差均值，95%以上的數(shù)據(jù)差值落入?yún)^(qū)間表示具有良好的一致性。

圖12 均勻光下結(jié)果圖

圖13 均勻光下Bland-Altman一致性分析圖

4 結(jié)論

IPPG技術(shù)是一種可以遠(yuǎn)程非接觸測(cè)量人體生理參數(shù)指標(biāo)的方法，可以應(yīng)用于嬰兒的監(jiān)護(hù)、遠(yuǎn)程醫(yī)療以及居家護(hù)理，真正實(shí)現(xiàn)無接觸測(cè)量，對(duì)于醫(yī)療發(fā)展有著重要的研究意義。本文通過比較皮膚提取的方法獲取更好的全臉皮膚區(qū)域，給出了三個(gè)顏色通道對(duì)于非接觸心率計(jì)算的具體影響程度，這也與綠色光更容易被人體血液吸收的生理學(xué)知識(shí)相吻合。并給出了實(shí)際外在環(huán)境的光線對(duì)非接觸心率測(cè)量的影響程度。通過實(shí)驗(yàn)驗(yàn)證表明：均勻光條件下均方根誤差為1.14，平均誤差率為1.38%，心率測(cè)量精度滿足臨床測(cè)量要求。在未來的工作中將進(jìn)一步研究改善光照突變對(duì)于實(shí)驗(yàn)的影響，并將視頻非接觸測(cè)量生理信號(hào)應(yīng)用于更多指標(biāo)與更多領(lǐng)域的研究。