基于LBF的人臉視頻心率測量

李 偉，楊 庚

(1.南京郵電大學(xué) 計算機(jī)學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院，江蘇 南京 210023；2.江蘇省大數(shù)據(jù)安全與智能處理重點實驗室，江蘇 南京 210023)

0 引 言

心率即心臟每分鐘的跳數(shù)。在醫(yī)療應(yīng)用中，心率是衡量人體健康和心理狀況的重要指標(biāo)。伴隨著社會的發(fā)展，人們飲食和作息上的不規(guī)律導(dǎo)致心血管疾病的出現(xiàn)愈發(fā)頻繁[1]。作為檢驗心血管疾病的重要參考，日常心率的測量對人體心血管疾病的預(yù)測和預(yù)防具有重要意義[2]。

從目前來看，在醫(yī)療衛(wèi)生領(lǐng)域之中，心電圖(electrocardiogram，ECG)仍然是心率測量的首要選擇。雖然心電圖測量具有很高的準(zhǔn)確性，但是它需要在人體的特定部位放置電極，測量時會給人體帶來不適，并且還需要專業(yè)醫(yī)療人士的參與才能完成測量操作。非接觸的心率測量方法不僅可以減少上述問題，還可以應(yīng)對更加復(fù)雜的工作和生活場景。光電容積描記技術(shù)(photoplethysmography，PPG)是一種利用光學(xué)技術(shù)檢測血液容積變化從而實現(xiàn)非接觸測量心率的方法[3]，由于血液相較于周圍組織更容易吸收光，所以可以通過光強(qiáng)的變化來檢測血液容積的變化。Verkruysse等人[4]驗證了在環(huán)境光下可以通過數(shù)碼相機(jī)根據(jù)人臉視頻提取PPG脈搏信號，Poh等人[5-6]利用普通攝像頭實現(xiàn)了PPG脈搏信號的分離，Kwon等人[7]成功將人臉視頻心率測量應(yīng)用于智能手機(jī)上，開拓了非接觸心率測量的新的可能性。

文獻(xiàn)[8-10]回顧了非接觸視頻心率測量的一般框架。首先是對視頻進(jìn)行人臉檢測，其次是感興趣皮膚區(qū)域(region of interest，ROI)的選取，再通過顏色通道值形成脈搏信號，最后對信號過濾和分析來提取心率。

其中感興趣區(qū)域的提取結(jié)果將直接影響脈搏信號的獲取，從而影響心率測量的準(zhǔn)確性。Li等人[11]比較了各種感興趣區(qū)域提取的方法，不過這些比較都是基于整張人臉提取ROI，而臉部區(qū)域中眼睛的眨動和嘴巴的肌肉運(yùn)動會對脈搏信號的提取產(chǎn)生明顯的干擾。Cai等人[12]選擇眼睛和鼻子之間的區(qū)域作為ROI，但是在光照變化明顯的情況下，鼻子會在該區(qū)域形成陰影。Verkruysse等人[4]曾指出盡管在人體的各個部位都能檢測出脈搏信號，但是在人臉區(qū)域特別是額頭區(qū)域會更加明顯，這主要是由于在人臉區(qū)域中，額頭是毛細(xì)血管分布最密集的。Juan等人[13]提出了一種簡化的人臉視頻測量心率的框架，選擇額頭和兩頰作為ROI，并證實比使用整張人臉作為ROI具有更高的準(zhǔn)確性和穩(wěn)定性。

不過以上對ROI的提取都是在人臉檢測之后直接根據(jù)得到的人臉框來標(biāo)注ROI，對于人臉傾斜、人臉晃動及視頻拍攝角度傾斜等更加復(fù)雜的情況，ROI的選擇將出現(xiàn)明顯偏差，從而影響后續(xù)脈搏信號的提取，導(dǎo)致心率估計的準(zhǔn)確性和穩(wěn)定性降低。戚剛等人[14]提出了一種非合作情況下抗干擾心率檢測方法，一定程度上，能夠抵抗人臉晃動，但由于運(yùn)用了大量目標(biāo)檢測和跟蹤算法，時間復(fù)雜度較高。

針對上述問題，該文提出了一種基于局部二值特征(local binary features，LBF)[15]穩(wěn)定提取ROI的心率測量新方法。該方法主要在人臉檢測之后，使用局部二值特征的模型進(jìn)行人臉對齊，再對矯正后的人臉進(jìn)行ROI的準(zhǔn)確選取，然后根據(jù)所選ROI的顏色信息提取脈搏信號，從而實現(xiàn)非接觸的心率測量。

1 測量原理

1.1 人臉視頻測量心率的原理

人體心臟的跳動會引起血液容積的變化，心臟收縮，血液由心臟流入身體的血管，血管中的血液容積增大；心臟舒張，血液由血管流入心臟，血管中的血液容積減少。血液中的氧合血紅蛋白對光有一定的吸收作用，使得血液相較于周圍的皮膚、肌肉等組織對光的吸收量更多。而血液容積的變化會直接導(dǎo)致血液中的氧合血紅蛋白數(shù)量的變化，從而使得對光的反射量發(fā)生改變[16]。PPG技術(shù)便是利用這一點，測量皮膚組織對光反射強(qiáng)度的變化周期，提取出血管中血液容積周期性變化的信息，從而估算出人體心率。

人臉是最經(jīng)常暴露在空氣中的皮膚區(qū)域，擁有豐富且穩(wěn)定的特征信息,并且易于被攝像頭等儀器捕捉[17]。根據(jù)人臉視頻測量心率是以PPG原理為基礎(chǔ)，利用人臉特定的皮膚區(qū)域提取血液對光反射強(qiáng)度的微小變化。雖然這些微小變化人眼難以察覺，但是可以通過攝像頭的色彩傳感器進(jìn)行捕捉。因此，從特定皮膚區(qū)域的顏色變化中便可分析得到人體的心率信息。

考慮到根據(jù)人臉視頻進(jìn)行人體心率特征的提取易受ROI選取的影響，該文提出了一種基于LBF的心率測量方法，主要流程如圖1所示，具體的測量過程為：利用普通攝像頭采集人臉視頻；通過人臉檢測的方法提取出視頻圖像中的人臉框，根據(jù)LBF模型檢測出人臉的68個特征關(guān)鍵點，利用關(guān)鍵點進(jìn)行人臉對齊，提取ROI，以減少人體頭部運(yùn)動和傾斜的影響；對ROI進(jìn)行皮膚分割，結(jié)合皮膚區(qū)域的紅、綠、藍(lán)通道的通道值，使用色度模型進(jìn)一步抵抗運(yùn)動干擾，通過帶通濾波處理減少噪聲影響，計算分析形成脈搏信號；對脈搏信號進(jìn)行時頻分析，實現(xiàn)對心率的估計。

圖1 心率測量流程

1.2 LBF原理

為了實現(xiàn)人臉對齊，該文采用LBF模型來提取人臉的68個關(guān)鍵特征點，包括眉毛、眼睛、鼻子、嘴巴以及臉龐的輪廓點等，根據(jù)這些人臉特征點的坐標(biāo)信息，將人臉視頻圖像進(jìn)行旋轉(zhuǎn)，進(jìn)而實現(xiàn)準(zhǔn)確截取用于提取脈搏信號的感興趣區(qū)域。

LBF提取人臉特征點采用形狀回歸的方法通過不斷級聯(lián)預(yù)測人臉形狀S。對于初始形狀S0，通過逐級估算形狀增量ΔS，逐漸修正S，預(yù)測得到第t級迭代的形狀增量ΔSt為：

ΔSt=Wtφt(I,St-1)

(1)

式中，I為輸入圖像，St-1為前一級得到的人臉形狀，φt為特征映射函數(shù)，Wt為線性回歸矩陣，φt由I和St-1決定，則第t級的人臉形狀為：

St=St-1+ΔSt

(2)

每一個局部特征映射函數(shù)都可以根據(jù)特征點獨立學(xué)習(xí)得到，從而提取LBF，然后聯(lián)合所有的局部特征獲取全局特征映射函數(shù)φt，最后通過線性回歸學(xué)習(xí)得到Wt，實現(xiàn)對于人臉特征點的準(zhǔn)確定位。

1.2.1 LBF的提取

(3)

1.2.2 全局線性回歸特征模型

全局線性回歸能夠完成全局形狀約束，從而降低因模糊或遮擋引起的局部誤差。算法采用先局部后整體的思想，對于輸入圖像I，先通過訓(xùn)練好的隨機(jī)森林實現(xiàn)LBF的提取，從而得到特征映射函數(shù)φt，再利用全局線性回歸矩陣Wt回歸得到中間形狀，并不斷迭代獲得穩(wěn)定的人臉68個特征關(guān)鍵點的提取模型。

2 測量方法

2.1 人臉對齊及皮膚區(qū)域的提取

2.1.1 人臉對齊及感興趣區(qū)域的定位

對于人臉視頻，該文采用Viola-Jones人臉檢測器[20]檢測視頻圖像中的人臉矩形框。該算法是最為成功的可實用的人臉檢測算法之一，不僅具有較高的人臉檢測精度，還具有較快的檢測速度，能夠適用于實時檢測。2015年，賈海鵬等人[21]提出了在GPU上進(jìn)一步優(yōu)化該算法性能的方法。

在檢測出人臉矩形框之后，通過LBF模型提取人臉的68個特征關(guān)鍵點。該方法采用簡單的線性回歸構(gòu)建層級式回歸模型，利用以像素差為核心的圖像特征進(jìn)行特征提取，由于模型和特征上追求快速高效，能夠達(dá)到每秒3 000幀的圖像處理速度，實時性好[22]。在檢測得到的68個人臉特征關(guān)鍵點中，第36和第45個特征點的位置分別對應(yīng)人臉左右眼角的位置。圖2為人臉傾斜的幾何示意圖，點P、Q分別為由LBF模型檢測得到的左右眼角的關(guān)鍵點，點O為人臉矩形框的中心點，可以計算得到人臉的傾斜角度θ。

θ=arctan[(yq-yp)/(xq-xp)]

(5)

式中，xp、yp分別為P點的橫縱坐標(biāo)，xq、yq分別為Q點的橫縱坐標(biāo)。

圖2 人臉傾斜的幾何示意圖

將整張人臉視頻圖像的像素點按式(6)以點O為旋轉(zhuǎn)中心旋轉(zhuǎn)θ角度。

(6)

式中，xsrc，ysrc為原像素點的橫縱坐標(biāo)，xdst，ydst為旋轉(zhuǎn)變換后像素點的目標(biāo)橫縱坐標(biāo)，xo，yo為旋轉(zhuǎn)中心點O的橫縱坐標(biāo)。

重新確定人臉矩形框的尺寸，新的人臉矩形框的長與寬的長度都為原人臉矩形框的ε倍，ε的值由式(7)確定。經(jīng)過上述旋轉(zhuǎn)變換，得到的結(jié)果如圖3(a)所示，其中傾斜的矩形框為人臉檢測得到的結(jié)果，豎直的矩形框為重新標(biāo)注的人臉框。

ε=d/(xq-xp)

(7)

式中，d為原人臉框中左右眼角關(guān)鍵點P、Q的距離。

經(jīng)過人臉對齊，提取出端正的人臉區(qū)域，即可準(zhǔn)確定位用于提取脈搏信號的感興趣區(qū)域。為了實現(xiàn)感興趣區(qū)域的快速定位，該文參考文獻(xiàn)[13]的方法，選擇額頭和兩頰共計三塊區(qū)域作為提取皮膚像素的候選區(qū)域，圖3(c)為人臉對齊之后所得到的人臉區(qū)域，圖中標(biāo)注的三塊矩形區(qū)域為提取的感興趣區(qū)域。

圖3 人臉對齊

2.1.2 皮膚分割

經(jīng)過人臉對齊可以實現(xiàn)感興趣區(qū)域的精確提取，但是在現(xiàn)實生活中，不可避免地會出現(xiàn)光照不均勻、頭發(fā)和眼鏡遮擋感興趣區(qū)域等問題，這些情況都會對后續(xù)脈搏信號的提取產(chǎn)生干擾。因此，對三塊感興趣區(qū)域進(jìn)行皮膚分割，提取膚色區(qū)域，可以有效減少以上干擾所帶來的影響，使后續(xù)脈搏信號的信噪比得到提高。

為了對感興趣區(qū)域進(jìn)行膚色區(qū)域的提取，該文將圖像顏色空間由RGB轉(zhuǎn)到HSL。在HSL顏色空間中，對于皮膚像素的檢測不易受到光源和膚色范圍之外異常值的影響，能夠使檢測結(jié)果更加可靠。該文參考文獻(xiàn)[23]的方法，對于符合式(8)的像素點則認(rèn)為屬于皮膚像素，感興趣區(qū)域皮膚分割結(jié)果的二值圖像如圖3(d)所示。

(8)

式中，Hue、Saturation、Lightness為在HSL顏色空間下像素點色相、飽和度和亮度的屬性值。

2.2 脈搏信號的生成

2.2.1 色度模型

經(jīng)過膚色提取，便可得到感興趣區(qū)域中的所有膚色區(qū)域。臉部的運(yùn)動會導(dǎo)致入射光源與臉部間的角度發(fā)生改變，從而對臉部皮膚反射光產(chǎn)生影響。因此，該文采用由Haan提出的色度模型[24]提取脈搏信號以減少臉部運(yùn)動的影響，該方法應(yīng)用了RGB圖像各通道值的線性組合，具有較低的計算復(fù)雜度。

對于每一幀人臉圖像提取的三塊膚色區(qū)域，需要對RGB三個顏色分量取平均值。

(9)

式中各顏色通道的平均值C∈{R,G,B}，R，G，B分別表示紅色、綠色和藍(lán)色通道的均值，M表示膚色區(qū)域像素點的總數(shù)，Cm表示第m個像素點的各顏色通道值。

圖4 一段視頻各通道的平均值

經(jīng)過對一段視頻進(jìn)行上述處理后，可得到一段時間視頻流每一幀圖像各顏色通道的平均值，結(jié)果如圖4所示。隨后對上述得到的序列進(jìn)行標(biāo)準(zhǔn)化處理，有：

(10)

最后，色度信號Xs和Ys可由標(biāo)準(zhǔn)化后信號序列經(jīng)過式(11)計算得到。

(11)

2.2.2 帶通濾波

計算得到的色度信號需要進(jìn)行濾波去噪，才能夠通過計算得到用于心率估計的信號序列。該文采用巴特沃斯帶通濾波器對色度信號進(jìn)行濾波處理，去除皮膚表面反射光中由心跳引起的頻帶之外的部分，以減小由呼吸作用或光照變化引起的低頻噪聲和由人臉劇烈晃動引起的高頻噪聲。

通常人的心率范圍在30到200 bpm，靜息狀態(tài)下在60到130 bpm，所以所設(shè)計的濾波器對應(yīng)的通帶頻率范圍為1.00到2.16 Hz，通帶衰減為3 dB，阻帶寬度為0.50到3.33 Hz，阻帶衰減為10 dB。經(jīng)過對色度信號的濾波處理，脈搏信號U可由以下公式計算得到：

U=Xf-αYf

(12)

(13)

式中，σ( )表示信號的標(biāo)準(zhǔn)差，Xf，Yf是由色度信號Xs和Ys分別經(jīng)過帶通濾波器處理后得到的信號。

將圖4中各顏色通道值形成的序列經(jīng)過色度模型和巴特沃斯帶通濾波器的處理，得到的脈搏信號如圖5(a)所示。

圖5 信號處理

2.3 心率估計

經(jīng)過上述處理，所得到的脈搏信號可近似地被看成一個周期信號。為了提取脈搏信號的周期性特征，將其進(jìn)行離散傅里葉變換轉(zhuǎn)至頻域。在頻域中，能量譜峰值所對應(yīng)的頻率作為心率頻率fh，則心率值HR為：

HR=fh×60

(14)

將圖5(a)中的脈搏信號進(jìn)行離散傅里葉變換，得到的能量譜結(jié)果如圖5(b)所示，峰值能量對應(yīng)的心率頻率fh=1.1 Hz，則心率HR=1.1×60=66 bpm。

3 實驗分析

3.1 實驗設(shè)備和視頻采集

該實驗采用普通USB攝像頭采集人臉視頻，采集過程中，要求被測者坐在距離攝像頭約0.6 m的位置，避免大幅度運(yùn)動，同時佩戴指尖式脈搏血氧儀進(jìn)行同步心率測量，將脈搏血氧儀的測量值作為真實心率參考值。視頻的錄制時長為10 s，分辨率為960×540，存儲的格式為MP4，幀率為15幀/秒。實驗對12個被測者分別在人臉端正和人臉傾斜兩種情況下各采集5段視頻，以證實該方案的可行性和有效性。

3.2 實驗結(jié)果

為了衡量提出的心率測量方案的性能，將文中方案與Juan的方案[13]進(jìn)行對比實驗，分別將兩種方案的心率測量值和真實心率參考值進(jìn)行比較，從平均絕對誤差、均方根誤差、相關(guān)性和一致性的角度對實驗結(jié)果進(jìn)行分析。采用皮爾森相關(guān)性分析法來分析心率測量值和真實參考值之間的相關(guān)性，其相關(guān)系數(shù)的值越接近于1，表明正相關(guān)性越強(qiáng)；采用Bland-Altman法對心率測量值和真實參考值進(jìn)行一致性評估。

3.2.1 人臉端正情況下的心率測量

本次實驗要求被測者在人臉視頻采集過程中盡可能地保持臉部端正，即人臉的傾斜角度小于10度，實驗的測量結(jié)果以及真實心率參考值的折線對比圖如圖6(a)所示。對于實驗測量數(shù)據(jù)的分析結(jié)果如表1所示，相對于Juan的測量方法，文中方案的平均絕對誤差、均方根誤差上均較小，相關(guān)性上也有所提升，說明文中方案在人臉端正的情況下的心率測量誤差更小。

文中方案的測量值與真實心率參考值的Bland-Altman一致性分析結(jié)果如圖7(a)所示，誤差的均值為0.064 1，標(biāo)準(zhǔn)差為2.126 3，因此，95%的置信區(qū)間為-4.103 5到4.231 7。從圖中可以看出，98%以上的數(shù)據(jù)均處于95%的置信區(qū)間內(nèi)，說明在人臉端正的情況下文中方案的測量結(jié)果與真實參考值具有很好的一致性。

表1 人臉端正情況下測量結(jié)果對比

圖6 心率測量結(jié)果對比

3.2.2 人臉傾斜情況下的心率測量

本次實驗所采集的視頻中，人臉的傾斜角度均在15度到30度之間，圖6(b)為兩種測量方法在人臉傾斜狀態(tài)下的測量值和真實心率參考值的對比圖，對測量結(jié)果的分析如表2所示。從表2可以看出，文中方案的平均絕對誤差為2.205 0 bpm，均方根誤差為2.623 1 bpm，較于Juan的方案平均絕對誤差和標(biāo)準(zhǔn)方差分別下降了64.98%和63.81%。另外，文中方案的測量結(jié)果與真實心率參考值的相關(guān)系數(shù)為0.906，而Juan方法的相關(guān)系數(shù)僅為0.567，說明文中方案即使在人臉傾斜的情況下，仍然具有較小的心率測量誤差，與真實心率參考值具有較強(qiáng)的相關(guān)性。

表2 人臉傾斜情況下測量結(jié)果對比

人臉傾斜情況下對文中方案的測量值和真實心率參考值進(jìn)行Bland-Altman一致性分析，結(jié)果如圖7(b)所示，二者的誤差均值為-0.448 1，標(biāo)準(zhǔn)差為2.623 1，因此95%的置信區(qū)間為-5.589 4到4.693 2。從Bland-Altman散點圖中可以看出，大部分的實驗數(shù)據(jù)均在95%的置信區(qū)間內(nèi)，說明在人臉傾斜的情況下，文中的心率測量方案與脈搏血氧儀的心率測量方法仍具有很好的一致性。

圖7 兩種測量方法結(jié)果的Bland-Altman一致性分析

4 結(jié)束語

針對接觸式心率測量給人體所帶來的不便，以及非接觸式心率測量易受到人臉傾斜的影響，無法應(yīng)對更加復(fù)雜的生活場景，提出了一種基于LBF的人臉視頻心率測量方法。實驗結(jié)果證明，該方案在人臉傾斜的情況下的測量結(jié)果仍有較高的準(zhǔn)確性，與指尖脈搏血氧儀測量法具有很好的一致性，滿足了日常家庭生活中的心率測量需求，在遠(yuǎn)程醫(yī)療和家日常生活中具有廣闊的應(yīng)用前景。值得注意的是，實驗沒有考慮光照因素所帶來的影響，環(huán)境光照條件的劇烈變化將對測量結(jié)果產(chǎn)生較大干擾，如何排除光照的影響，進(jìn)一步提高心率測量結(jié)果的準(zhǔn)確性和穩(wěn)定性，將是未來工作的關(guān)鍵。