基于自適應感興趣區(qū)域的視頻心率測量

陳森路，劉育梁*，徐團偉

（1. 中國科學院 半導體研究所 光電系統(tǒng)實驗室，北京 100083；2. 中國科學院大學 材料與光電研發(fā)中心，北京 100049）

1 引 言

心率是指心臟一分鐘跳動的次數(shù)，是最重要的人體參數(shù)之一。心率數(shù)值是重要的生理指標，正常的心率在60～100 次/分，心率過高和過低都是異常表現(xiàn)［1］。實時監(jiān)測心率可以應用于心血管病的預防和治療。目前，心率測量的標準方法是心電圖法，但是心電圖需要使用電極接觸皮膚，會對人體產(chǎn)生不適，并且不適合皮膚病患者和嬰幼兒人群。以光電容積脈搏波（Photoplethysmo graphy，PPG）技術為基礎的心率測量是合適的替代方法。PPG 是一種低成本的非侵入性技術，測量由于血管容積變化導致的透射或者反射光強度變化，實現(xiàn)心率監(jiān)測、血氧監(jiān)測和血壓測量［2］。傳統(tǒng)的接觸式PPG 需要專用的光源和接觸式探頭，而基于人臉視頻的非接觸PPG 技術則僅使用數(shù)碼相機來實現(xiàn)PPG 功能，無需接觸探針和專用光源，實現(xiàn)舒適的心率監(jiān)測，相對于接觸式設備具有操作方便的優(yōu)點。

Verkruysse［3］發(fā) 現(xiàn) 人 臉 視 頻 的 像 素 變 化 可 以用于估計心率。Poh［4］研究出從人臉視頻提取PPG 的通用框架，選取人臉視頻的中部區(qū)域作為感興趣區(qū)域（Region of Interest，ROI），統(tǒng)計該區(qū)域的像素均值得到源信號，處理源信號得到非接觸PPG 信號和心率?；赗OI 的方法旨在從錄制的視頻中選擇良好的ROI，提供更高質(zhì)量的非接觸PPG 信號。但是，由于頭發(fā)密度，表皮厚度，毛細血管密度和面部特征等的差異，不同皮膚區(qū)域攜帶的PPG 信號的質(zhì)量也不同。研究發(fā)現(xiàn)，選取額頭和兩側臉頰作為ROI 的非接觸PPG 信號與接觸式PPG 信號的相關度更高［5-11］。許多研究以此為基礎對源信號處理方法進行改進，Wei［5］使用多種盲源分離算法處理源信號提取心率，誤差均值在2～3 次/分之間，Macwan［7］使用自相關系數(shù)改良獨立成分分析（Independent Component Analysis，ICA）算法處理原始像素序列，心率誤差均值為3.34 次/分，Tulyakov［12］使用矩陣補全的思想對臉頰ROI 的源信號處理得到心率，心率誤差為（3.19±5.81）次/分。王蒙軍［13］使用基于對角累積量算法處理人臉中部ROI 得到心率。此外，由于皮膚包含的信號質(zhì)量高于非皮膚區(qū)域，李曉媛［14］通過皮膚檢測選擇所有皮膚區(qū)域作為ROI 獲取源信號后處理，誤差均值在1～2 次/分之間。

現(xiàn)有研究都集中于PPG 信號提取方法的優(yōu)化上，存在心率誤差相對較大、PPG 質(zhì)量不高的缺點。對于ROI 選擇的研究較少，缺乏一種有效的方法來定量評估不同面部區(qū)域上的非接觸PPG 信號的質(zhì)量，以進行ROI 選擇，從提升源信號質(zhì)量的角度來提高心率的準確率。不同的面部皮膚區(qū)域提供不同質(zhì)量的非接觸PPG 信號，通過計算非接觸PPG 信號在面部上的質(zhì)量分布和各區(qū)域的相關程度，從包含高質(zhì)量非接觸PPG 信號和內(nèi)部相關性高的面部區(qū)域中提取PPG 信號，可以改善最終的非接觸PPG 信號質(zhì)量。

本文提出一種基于獨立向量分析（Independent Vector Analysis，IVA）和歸一化分割的方法（Normalized Cuts，Ncuts）實現(xiàn)自適應ROI 選取，提高非接觸PPG 信號質(zhì)量與心率的準確率。使用IVA 實現(xiàn)人臉的多區(qū)塊盲源分離，再通過歸一化分割算法根據(jù)源信號的信噪比和相關程度選定自適應ROI，進而提取心率和非接觸PPG 信號，通過實驗對比靜止和運動狀態(tài)下自適應ROI方法與其他ROI 方法的誤差，結果表明自適應ROI 方法能夠顯著提高心率的準確率。進一步對比與接觸式PPG 方法的一致程度，發(fā)現(xiàn)該方法與標準方法的一致性高，可用于日常和醫(yī)療場景，最后對比多種方法的非接觸PPG 信號的質(zhì)量，表明該方法明顯提高PPG 信號的質(zhì)量，可以進一步用于PPG 特征提取。

2 方 法

PPG 信號的原理為心臟的舒張與收縮會導致血液容積的周期性變化，皮膚反射和透射的光的強度也隨之周期性變化。人體臉部皮下毛細血管豐富，通過錄制視頻提取面部像素的變化，經(jīng)過算法處理可以得到非接觸PPG 信號。

非接觸心率與PPG 信號獲取的方法流程如圖1 所示。它包括區(qū)域劃分和空間均值，獨立向量分析和信號篩選，基于歸一化分割算法的自適應ROI 選定和PPG 信號獲取。

圖1 非接觸心率和PPG 信號提取的流程Fig.1 Flow chart for obtaining non-contact heart rate and PPG signal

2.1 區(qū)域劃分和空間均值

錄制人臉視頻后，在每一幀圖像中使用Viola-Jones 算法對人臉進行識別與跟蹤，獲得人臉區(qū)域后，使用開源圖像處理庫Opencv 和Dlib 的人臉檢測記錄特征點，根據(jù)特征點定位人臉的正中區(qū)域，劃分為4×4 的小區(qū)塊。初始ROI 區(qū)域的選取范圍不小于人臉的60%。選取面積過小對實驗結果有兩方面的影響：（1）相鄰幀之間的特征點存在偏差，ROI 位置相對人臉存在不穩(wěn)定性；（2）可能缺失含有高質(zhì)量PPG 信號的區(qū)域。

如圖2 所示，根據(jù)68 個人臉特征點獲取初始ROI。首先計算眼部基線和眉毛基線的縱坐標yeye和yeyebow，分別為：

圖2 初始ROI 獲取Fig.2 Obtain of initial ROI

式中p(i)x代表第i個特征點的橫坐標。

通過皮膚檢測得到皮膚區(qū)域的掩碼，將RGB空間轉換成YCbCr 空間（使用Opencv 庫函數(shù)cvtcolor（）），Y，Cb，和Cr 像素判斷依據(jù)為：

將原始圖像與皮膚掩碼與值運算后，計算各小區(qū)塊不為0 的像素平均值，得到初始信號。對于缺失人臉圖像的幀，使用上一幀的位置信息劃分。針對人臉位姿傾斜的情況，通過眼部的基線矯正位姿至水平，再進行區(qū)域劃分，整個過程如圖3 所示。

圖3 分區(qū)域初始信號獲取Fig.3 Acquisition of raw signal by divided block

2.2 獨立向量分析和信號篩選

2.2.1 獨立向量分析

ICA 是一種利用統(tǒng)計原理進行信號處理的方法。通過線性變化變換把數(shù)據(jù)或信號分離成非高斯的信號組合。在單區(qū)域的PPG 提取處理中得到較好的結果［4，9，13］，但對于將人臉分為多區(qū)域的源信號的場景，ICA 存在輸出信號順序不確定的缺點。為解決此問題，本文應用聯(lián)合盲源分離的思想采用IVA［15］的方法處理2.1 中得到的多區(qū)塊的統(tǒng)計信號。

假定有K個觀測數(shù)據(jù)集合，x[]k∈RL×N表示第k個觀測數(shù)據(jù)集合，L表示變量個數(shù)，N代表采樣點數(shù)（在本文中L=3，對應RGB 的3 個通道，N對應視頻的總幀數(shù)，K=16 對應16 個數(shù)據(jù)集合），IVA 可以寫成多個盲源分離的組合：

通過聯(lián)合盲源分離處理各區(qū)塊的觀測信號，保證輸出的每部分信號都是按順序對應的，從而更準確地篩選PPG 信號。如圖4 所示，受篇幅所限，只畫出前3 個區(qū)塊經(jīng)過IVA 分離后的對應結果，每列的3 個信號為同一區(qū)域的RGB 初始信號經(jīng)過IVA 得到。

圖4 同一區(qū)域的RGB 初始信號經(jīng)過獨立向量分析處理的結果Fig.4 Result for RGB initial signals in same area after independent vector analysis processing

POH［4］使 用ICA 后 的 第2 個 信 號 作 為PPG信號，這種方法具有明顯缺陷，因為ICA 的結果的順序是不固定的，本文使用信噪比來篩選出PPG 信號。

2.2.2 信號篩選

PPG 信號具有較強的周期性，頻率與心率重疊，因此以心率所在頻率附近的功率為有效功率［16］定義信噪比（Signal Noise Ratio，SNR），得到：

式中：S(fall)表示該信號全頻率波段的功率，S(fPPG)表示PPG 信號的功率，定為0.6～3.0 Hz。經(jīng)過IVA 處理后，針對每一個原信號集合s?[m]，計算每個成分的信噪比，標記信噪比最高的信號的序號，以該序號作為PPG 在原始信號集合的序號。該方法基于這樣一個事實，在計算信噪比的過程中，信噪比最高的成分在該集合的序號等于大部分原始信號集合中信噪比最高的成分的序號。

2.3 基于歸一化分割算法的自適應ROI 選定

2.3.1 原理

在圖論中，圖的分割定義為［17］：將一個圖G(V，E) 劃 分 為 兩 個 集 合A，B滿 足A∪B=V，A∩B=?，圖分割的目標為使得兩個集合的相異度cut(A，B)最小的集合解。

式中w(u，v)表示兩個成員之間的權重。但是僅使用cut(A，B)作為評判標準，很容易導致局部最優(yōu)而在非全局最優(yōu)的解，因此在歸一化圖分割算法中引入新的標準歸一化分割［17］，即有：

衡量該部分與整個圖的所有點的連接度，通過引入一個全局的度量找到全局最優(yōu)解。歸一化分割在滿足圖分割的目標的同時也要求同一子集間點的權重和最大，適用于選取多個小區(qū)域組合為自適應ROI。

2.3.2 自適應ROI 選定

使用歸一化分割方法處理篩選后的PPG 信號，兩個PPG 信號a(t)和b(t)的權重定義為：式中：ρa，b表示皮爾遜相關系數(shù)，SNR表示該信號的信噪比，γ為調(diào)整系數(shù)，r=1。選取信號個數(shù)最多的一組信號為輸出，根據(jù)該組信號與視頻對應的區(qū)域組合，作為自適應ROI。

本次處理中，輸入信號的個數(shù)為16，經(jīng)過歸一化分割處理后得到6 個集群。其中最大的集群中含有4 個信號，圖5（a）為該集群的4 個原始信號的波形，圖5（b）對應每一個信號的傅里葉變換頻譜圖。從頻譜圖可以發(fā)現(xiàn)，除去骨骼肌肉組織對應的低頻強度外，所有信號在1 Hz 左右對應于PPG 頻率的頻譜峰值f相等，表明該組信號之間的相關性更優(yōu)。求出每個信號在0.8～3.0 Hz 的波峰頻率fhr，計算心率得到：

圖5 歸一化分割結果Fig.5 Result of normalized cuts

式中HR表示心率。計算集群心率的平均值得到最終心率。然后，標記該組每個信號所對應的區(qū)域作為ROI，作為自適應的ROI，如圖6 所示。

圖6 自適應ROI 選定Fig.6 Select adaptive ROI

2.4 非接觸PPG 信號獲取

通過歸一化分割確定最大集群后，將集群中所有信號按照對應區(qū)域的像素數(shù)量加權平均得到源PPG 信號，通過0.6～3.0 Hz 的帶通濾波處理即得到非接觸PPG 信號。

3 實 驗

使用網(wǎng)絡攝像頭（480 pixel，30 frame/s）攝像頭正對實驗參與人員，距離鏡頭約25 cm，在外部光源穩(wěn)定的情況下錄制30 s 視頻，同時使用右手的食指尖通過指尖PPG 儀器記錄心率和接觸式PPG 信號。實驗參與人員13 名（8 名男性，5 名女性），每人錄制10 次，隨后參與者在頭部緩慢運動情況下錄制10 次視頻，運動路徑為在鏡頭內(nèi)在水平和垂直方向緩慢移動，共得到130 段靜止情況下的視頻和130 段運動情況的視頻。

使用自適應ROI、Sun［14］方法（選定人臉中部區(qū)域，通過主成分分析得到PPG 信號）和皮膚掩碼 方 法［18］計 算 心 率HRcal，與PPG 儀 器 測 量 得 到的心率HRstd做對比，計算實驗誤差HRerr=HRstd－HRcal。計算誤差的統(tǒng)計數(shù)據(jù)包括心率誤差的均值μ，標準差SD，根均方誤差（Root Means Square Error，RMSE）以及平均誤差率Mr。Mr定 義 為：

4 結果與分析

實驗從非接觸心率測量的準確性、一致性以及非接觸PPG 信號的質(zhì)量三個方面分析自適應ROI 方法的表現(xiàn)。

表1 展示多種方法的在靜坐情況下的心率誤差統(tǒng)計結果對比，誤差最小的數(shù)值用加粗表示，與固定ROI 的Sun 方法比較，自適應ROI 方法計算得到的心率的誤差從4.72 次/分降低至0.52次/分，標準差從6.46 次/分降低至1.49 次/分，RMSE 從7.96 次/分降低至1.50 次/分，平均誤差率從9.45% 降低至1.73%?？傮w上自適應ROI 方法的準確率和誤差分布得到了提高。表2列出運動情況下心率誤差統(tǒng)計，誤差均值和標準差為（1.02±2.91）次/分，自適應ROI 的平均誤差為2.43%，均比其他兩種方法降低50%以上，其中最大誤差率為7.7%，達到了中華人民共和國醫(yī)藥行業(yè)規(guī)定的誤差標準，即單次測量誤差不超過心率的±10%且最大不超過5 次/分。由此表明，自適應ROI 方法能夠顯著提高非接觸心率測量的準確率，在人臉靜止和運動情況下均降低了心率測量誤差，并且達到了國家相關標準，可以在醫(yī)療和日常場景下使用。

表1 靜坐條件下各方法的心率統(tǒng)計數(shù)據(jù)Tab. 1 Statistic result of different methods in static situation

表2 緩慢運動情況下各方法的心率數(shù)據(jù)對比Tab. 2 Statistic result of different methods in move situation

醫(yī)學檢測中使用Bland-Altman 圖分析新的測量方法與標準測量方法的一致程度。這里使用Bland-Altman 一致性分析方法對比自適應ROI 方法與接觸式PPG 方法的結果，如圖7 和圖8 所 示。Mean±1.96SD 代 表95% 置 信 區(qū) 間，Mean 值越接近于0，95%置信區(qū)間越小，誤差位于置信區(qū)間的數(shù)量越多，說明兩種測量方法結果的一致性越高。在靜坐情況下，自適應ROI 方法與接觸式PPG 方法測量結果差值的均值為0.52次/分，95%置信區(qū)間為-2.44～3.48 次/分，僅有兩次測量誤差位于置信區(qū)間以外。在運動情況下，自適應ROI 方法的置信區(qū)間為-2.76～4.79次/分，置信區(qū)間相對增大，但大多數(shù)誤差位于置信區(qū)間內(nèi)，該方法得到的心率與標準心率仍然表

圖7 人臉靜止情況下自適應ROI 方法心率與接觸式PPG 心 率 比 較 的Bland-Altman 圖Fig.7 Heart rate（HR）Bland-Altman plot of adaptive ROI and contact PPG in static situation

圖8 人臉運動情況下自適應ROI 方法心率與接觸式PPG 心 率 比 較 的Bland-Altman 圖Fig.8 Heart rate（HR）Bland-Altman plot of adaptive ROI and contact PPG in move situation

最后分析自適應ROI 方法提取的非接觸PPG 信號的質(zhì)量。圖9 展示3 種非接觸式PPG現(xiàn)出較高的一致性。兩種場景下的Bland-Altman分析表明，自適應ROI方法心率的一致性較高。信號與接觸式PPG 信號的波形和波峰數(shù)量。接觸式PPG 信號的波峰數(shù)量為23，與自適應ROI方法和皮膚掩碼ROI 方法的波峰數(shù)量相等，而固定ROI 方法的PPG 信號質(zhì)量最低，周期性不明顯，無法合理地標記和計算波峰數(shù)量。與皮膚掩碼ROI 方法相比，自適應ROI 方法提取的非接觸PPG 信號質(zhì)量最高，細節(jié)保留更完善，保留了PPG 波形的主峰以及從峰，單位周期的波形與接觸式PPG 信號的相似程度更高。這是由于自適應ROI 方法通過分區(qū)域評估中PPG 信噪比與相關程度，排除信號質(zhì)量低的區(qū)域后，選擇信號質(zhì)量最高的區(qū)域獲取PPG，避免了大面積均值導致的細節(jié)丟失，保留了PPG 信號的細節(jié)，得到更高質(zhì)量的PPG 信號，可以更好地做后續(xù)特征的分析。

圖9 四種方法的PPG 信號對比Fig.9 Comparison of PPG signals by four methods

5 結 論

本文針對非接觸式心率誤差大和PPG 信號質(zhì)量低的問題，提出一種新的提升非接觸心率獲取的準確率的方法，通過自適應地選取ROI，提升源信號的質(zhì)量來提升非接觸PPG 信號的質(zhì)量與心率的準確度。將人臉分區(qū)域統(tǒng)計像素信號后使用IVA 處理，再使用歸一化分割以信噪比和相關性為基準選取ROI，自適應地選取源信號質(zhì)量最高的ROI 提取非接觸PPG 信號和心率。相比于預選定ROI 的方法，自適應ROI 方法顯著提高非接觸心率的準確率，將心率誤差的均值和標準差從（4.72±6.46）次/分降低至（0.52±1.49）次/分，根均方誤差從7.96 次/分降低至1.50 次/分，平均誤差率從9.45%降低至1.73%。頭部運動狀態(tài)下該方法的誤差為（1.02±2.91）次/分，RMSE 為2.11 次/分，平均誤差率為2.43%。通過對該方法與標準接觸式PPG 設備得到的心率進行Bland-Altman 一致性分析，頭部靜止狀態(tài)下95% 置 信區(qū)間為-2.44～3.48 次/分，運動時為-2.76～4.79 次/分。該方法與接觸式PPG設備測量的心率有很高的一致性。通過對比非接觸PPG 信號與接觸式PPG 信號的波形，證明該方法提升了PPG 信號的質(zhì)量，對于遠程醫(yī)療和家用心率監(jiān)測有著重要意義。此外，在該方法的基礎上深入探索在人臉快速運動情況下的自適應ROI 選擇，消除運動偽影，進一步提升非接觸心率測量和PPG 信號獲取的適用場景。