基于視頻的人體睡眠狀態(tài)下心率及呼吸率的檢測(cè)

劉鴻程，王笑梅，陳桂安

?

基于視頻的人體睡眠狀態(tài)下心率及呼吸率的檢測(cè)

劉鴻程，王笑梅，陳桂安

（上海師范大學(xué)，上海 200000）

心率和呼吸率是人體的基本生理特征之一，兩者都是反應(yīng)人體生理健康的一個(gè)重要參數(shù)。嬰幼兒在睡眠時(shí)的檢測(cè)異常困難，既要不影響病人休息，又要隨時(shí)檢測(cè)呼吸異常的情況。大多數(shù)呼吸檢測(cè)都采用接觸式檢測(cè)，如果對(duì)患者進(jìn)行實(shí)時(shí)監(jiān)控，則需要患者一直穿戴檢測(cè)設(shè)備，這樣會(huì)給患者帶來不便，尤其會(huì)影響患者的休息。提出了一種非接觸式的檢測(cè)方法，利用歐拉視頻放大技術(shù)，實(shí)時(shí)監(jiān)控病人睡眠時(shí)的人體生理特征，而且成本較低，操作簡(jiǎn)單，不僅可以用在臨床醫(yī)療，也便于患者在家自我檢測(cè)，防止意外發(fā)生。

心率檢測(cè)；呼吸檢測(cè)；視頻放大；非接觸式檢測(cè)

1 引言

隨著科技的進(jìn)步和技術(shù)的發(fā)展，視頻監(jiān)控在現(xiàn)代生活中越來越普及。如何智能提取視頻中所需信息，并做出相關(guān)判斷越來越受到人們的重視。在醫(yī)學(xué)領(lǐng)域，心率和呼吸率是反映人體健康狀況的重要指標(biāo)。對(duì)長(zhǎng)期癲癇患者、被燒傷的患者、睡眠中患者等特殊情況進(jìn)行檢測(cè)，傳統(tǒng)的接觸式測(cè)量都會(huì)引起諸多不便。遠(yuǎn)距離、非接觸式的生理測(cè)量方法不僅不會(huì)造成患者身體的不適，還可以應(yīng)用在以上列舉的特殊情況下的監(jiān)測(cè)和治療。

光電容積描記技術(shù)（PPG）是一種低花費(fèi)的、通過傳輸反射光變化來測(cè)量人體血壓及心率的方法[1-2]，文獻(xiàn)[3]在傳統(tǒng)PPG的基礎(chǔ)上提出了一種新的方法，這種方法用紅外光照射皮膚表面，通過接收反射光，并通過計(jì)算每一幀圖像上的感興趣區(qū)域的灰度均值變化波形，可以得到反映測(cè)量皮膚區(qū)域血流變化的PPG信號(hào)。

非接觸式的人體生理特征檢測(cè)在國(guó)內(nèi)外已經(jīng)有許多研究，正在逐漸成為熱點(diǎn)課題。比如文獻(xiàn)[4]和[5]提出的用普通攝像頭，遠(yuǎn)距離的心率測(cè)量。文獻(xiàn)[6]提出用熱感圖像，檢測(cè)人體局部的血液流動(dòng)、心率以及呼吸率。文獻(xiàn)[7]中需要用紅外圖像來檢測(cè)紅外視頻，成本太高。文獻(xiàn)[8]提出用多普勒雷達(dá)光譜來進(jìn)行遠(yuǎn)距離、非接觸式的心率、呼吸率的測(cè)量。文獻(xiàn)[9-11]提出一種基于歐拉視頻放大算法和人臉識(shí)別的算法測(cè)量人體心率，這種方法可以在自然光下使用普通攝像頭進(jìn)行心率測(cè)量。文獻(xiàn)[12]提出一種基于視頻分析的呼吸檢測(cè)算法。本文主要介紹一種以數(shù)字圖像處理為基礎(chǔ)，基于歐拉放大算法，主要測(cè)量人體睡眠時(shí)的心率和呼吸率的算法。

2 基于普通攝像頭的心率呼吸率檢測(cè)系統(tǒng)的實(shí)現(xiàn)

2.1 歐拉視頻放大算法

歐拉視頻放大算法（EVM）是由麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室Hao-Yu提出的，歐拉視頻放大算法可以放大視頻中細(xì)微的運(yùn)動(dòng)和顏色改變。歐拉顏色放大是在所有像素點(diǎn)上考慮時(shí)域中的顏色值并且放大在感興趣的頻域序列上的顏色變化。歐拉視頻放大不僅可以放大顏色的變化也可以放大低振幅的運(yùn)動(dòng)[13-14]。本文呼吸檢測(cè)主要使用歐拉運(yùn)動(dòng)放大，用來放大人體呼吸時(shí)胸腹部較低振幅的運(yùn)動(dòng)。心率檢測(cè)則使用歐拉顏色變化，通過放大血液流過毛細(xì)血管時(shí)的面部顏色變化來判斷心率。

歐拉視頻放大假定整幅圖像都在變，只是變化的頻率和振幅不同，只需放大我們感興趣的運(yùn)動(dòng)頻率和振幅再和原視頻合成即可。歐拉視頻放大主要有空間濾波；時(shí)域?yàn)V波；放大濾波結(jié)果；視頻合成四個(gè)步驟。

2.1.1 空間濾波

歐拉視頻放大算法可以用拉普拉斯金字塔和高斯金字塔進(jìn)行濾波，如果放大動(dòng)作變化應(yīng)使用拉普拉斯金字塔，如果放大顏色變化，應(yīng)使用高斯金字塔。在本論文中，我們既要放大動(dòng)作變化，又要放大顏色變化。傳統(tǒng)的拉普拉斯金字塔圖像融合的核心思想是通過構(gòu)建分辨率逐層遞減的金字塔，對(duì)各層金字塔按照一定的規(guī)則進(jìn)行信息提取，并利用上層信息逐層重構(gòu)最終得到融合的圖像[15]。

2.1.2 時(shí)域?yàn)V波

歐拉視頻放大算法需要在每個(gè)空間帶上進(jìn)行時(shí)域?yàn)V波，在頻域上考慮時(shí)間序列的相關(guān)性，并且通過頻域?yàn)V波來獲取感興趣的頻帶和頻率特征，即為感興趣信號(hào)，感興趣信號(hào)將會(huì)在第三步中進(jìn)行放大。而我們所需的呼吸信號(hào)則是其中視頻的某一段頻段，所以采用二階IIR帶通濾波器。二階IIR濾波器的輸出形式為：

（）=0n+1n-1+2n-2－（1n+2n-2）. （1）

式（1）中：（）為輸出圖像；0，1，2，1，2為二階IIR濾波器的系數(shù)；n，n-1，n-2為輸入圖像。

2.1.3 放大和合成

經(jīng)過前面的步驟，我們已經(jīng)找出了視頻中所需要變化的部分，接下來是如何放大這個(gè)變化。這里以放大一維信號(hào)為例，假定現(xiàn)在有個(gè)信號(hào)，（，），在任意時(shí)間，得出公式：

（，）=[+（）]，>0. （2）

（，0）=（），=0. （3）

式（3）中：（）為變化信號(hào)，我們希望這個(gè)變化放大倍以后的結(jié)果。即：

（，）=[+（1+）（）]. （4）

我們用一階泰勒級(jí)數(shù)展開來逼近公式（2）和（3）表示的信號(hào)：

最后再把放大后的圖像與原圖進(jìn)行疊加，就可以得到我們需要的放大視頻。

2.2 幀差法

幀差法是一種常見的視頻分析技術(shù)，其優(yōu)點(diǎn)是原理簡(jiǎn)單，速度快，可實(shí)現(xiàn)實(shí)時(shí)分析。由于人體平靜狀態(tài)下的呼吸阻力主要為彈性阻力[16]，所以在呼吸運(yùn)動(dòng)呼吸交替時(shí)胸腹腔運(yùn)動(dòng)變化較小，而在呼和吸過程中胸腔運(yùn)動(dòng)變化較大。正常成年人的單次呼吸時(shí)長(zhǎng)為3～6 s。因此在每秒30幀的視頻上，每?jī)纱魏粑g會(huì)有一段相對(duì)較長(zhǎng)的靜止期，此時(shí)沒有像素點(diǎn)運(yùn)動(dòng)，所以我們使用幀差法檢測(cè)呼吸間隔，也就是使用幀差法以后所得到的移動(dòng)像素連續(xù)為0的幀，并根據(jù)不同的患者設(shè)定不同的呼吸間隔閾值，當(dāng)檢測(cè)出的呼吸間隔過大或過小均視為呼吸異常，將采取緊急措施。

2.3 心率檢測(cè)方法介紹

2.3.1 心率檢測(cè)主要實(shí)現(xiàn)步驟

本文中的心率檢測(cè)主要使用歐拉顏色放大來實(shí)現(xiàn)。主要步驟如下：①利用Adaboost算法鎖定目標(biāo)視頻中的人面部圖像；②利用歐拉顏色放大算法放大步驟①中人面部視頻圖像作為后續(xù)處理心率信號(hào)的提取區(qū)域；③將在被歐拉視頻處理后的圖像從RGB顏色空間轉(zhuǎn)換為L(zhǎng)ab顏色空間；④對(duì)提取出的信號(hào)進(jìn)行歸一化和帶通濾波處理，以消除噪聲的影響；⑤在b通道信號(hào)進(jìn)行FFT變換，計(jì)算對(duì)應(yīng)的功率譜密度，選取最大功率對(duì)應(yīng)的頻率作為預(yù)測(cè)頻率。測(cè)試者1睡眠時(shí)心率的功率譜密度如圖1所示。

2.3.2 人臉檢測(cè)技術(shù)

攝像頭拍攝一段視頻后，需要用人臉檢測(cè)來確定人臉位置，我們采用現(xiàn)在常見的AdaBoost人臉檢測(cè)技術(shù)來做人臉定位[17-18]。

AdaBoost人臉檢測(cè)方法是一種基于積分圖，具有魯棒性強(qiáng)、檢測(cè)率高、實(shí)時(shí)性等特點(diǎn)。利用幀差法獲得的呼吸時(shí)胸腹運(yùn)動(dòng)的像素點(diǎn)如圖2所示。

圖1 測(cè)試者1睡眠時(shí)心率的功率譜密度

圖2 利用幀差法獲得的呼吸時(shí)胸腹運(yùn)動(dòng)的像素點(diǎn)

3 實(shí)驗(yàn)與數(shù)據(jù)

實(shí)驗(yàn)利用matlab2015b編程軟件來實(shí)現(xiàn)。成人心率和呼吸率測(cè)試視頻都選用時(shí)長(zhǎng)約20 s，每秒30幀的視頻。我們做三組實(shí)驗(yàn)，第一組實(shí)驗(yàn)光照采用自然光，測(cè)量5個(gè)成年人的心率及呼吸率。另有兩組對(duì)比實(shí)驗(yàn)。第二組實(shí)驗(yàn)光照為日光燈（弱光源），第三組實(shí)驗(yàn)拍攝實(shí)驗(yàn)者的側(cè)面，第二、三組實(shí)驗(yàn)測(cè)量5名成年人的心率值，其中第一組數(shù)據(jù)分別對(duì)RGB顏色空間G通道實(shí)驗(yàn)和Lab顏色空間的b通道實(shí)驗(yàn)進(jìn)行對(duì)比。實(shí)驗(yàn)視頻通過普通手機(jī)拍攝，拍攝時(shí)盡量保證手機(jī)穩(wěn)定，以減少不必要的干擾。呼吸率參考值的測(cè)量我們采用計(jì)數(shù)的方式，心率參考值我們通過手環(huán)來測(cè)量。并對(duì)本文所述心率及呼吸率檢測(cè)結(jié)果和傳統(tǒng)的測(cè)量方法的檢測(cè)結(jié)果進(jìn)行Bland-Altman一致性評(píng)估，以評(píng)估本文提出的基于人臉視頻圖像心率檢測(cè)方法的有效性。

3.1 實(shí)驗(yàn)數(shù)據(jù)

3.1.1 自然光照下的正面視頻

參考值指用傳統(tǒng)方法測(cè)得的心率、呼吸率的值，測(cè)量值指的是用本文給出的方法測(cè)量的值。自然光下正面視頻心率值如表1所示。自然光下的呼吸值測(cè)量如表2所示。

由定義可知，在心率檢測(cè)中兩種方法差值的均值1=﹣0.33，標(biāo)準(zhǔn)差1=2.39，因此95%的置信區(qū)間為﹣5.01～4.35.由公式（1）所得每次實(shí)驗(yàn)結(jié)果一致性分析如圖3所示。

表1 自然光下正面視頻心率值

實(shí)驗(yàn)者編號(hào)心率參考平均值心率測(cè)量平均值心率平均誤差/（%）心率誤差標(biāo)準(zhǔn)差 188.487.51.011.99 263.263.80.952.49 36868.220.322.26 485.486.421.192.93 576.477.10.922.78

表2 自然光下的呼吸值測(cè)量

實(shí)驗(yàn)者編號(hào)呼吸參考平均值呼吸測(cè)量平均值呼吸率平均誤差/（%）呼吸率誤差標(biāo)準(zhǔn)差 120.219.24.950.76 216.215.91.850.57 317.416.83.450.42 420.820.41.920.65 519.419.82.060.65

圖3 歐拉視頻放大和傳統(tǒng)手環(huán)檢測(cè)結(jié)果的Bland-Altman圖

而在呼吸檢測(cè)中兩種方法的差值的均值2=﹣0.38，方差2=0.681，因此95%的置信區(qū)間為﹣1.74～0.98.歐拉視頻放大和傳統(tǒng)呼吸率檢測(cè)結(jié)果對(duì)比如圖4所示。

圖4 歐拉視頻放大和傳統(tǒng)計(jì)數(shù)方法檢測(cè)呼吸率的Bland-Altman圖

由于呼吸率的特殊性，有部分實(shí)驗(yàn)數(shù)據(jù)點(diǎn)重復(fù)，在誤差所允許的范圍內(nèi)。由Bland-Altman圖可以看出大部分實(shí)驗(yàn)結(jié)果都處于95%的置信區(qū)間內(nèi)，所以實(shí)驗(yàn)證明，本文所述方法可以達(dá)到日常檢測(cè)呼吸率的要求。

3.1.2 弱光源下的正面視頻心率值

弱光源下正面視頻心率值如表3所示。

表3 弱光源下正面視頻心率值

實(shí)驗(yàn)者編號(hào)心率參考平均值心率測(cè)量平均值心率平均誤差/（%）心率誤差標(biāo)準(zhǔn)差 168.870.82.914.01 287.6880.463.11 363.464.51.741.71 472.070.42.222.64 578.879.40.763.26

由表3可以看出，雖然弱光源下的檢測(cè)結(jié)果較之自然光下的檢測(cè)結(jié)果誤差較大，但仍在可接受的范圍內(nèi)。

3.1.3 自然光下側(cè)臉視頻心率值

自然光下側(cè)面視頻心率值如表4所示。

表4 自然光下側(cè)面視頻心率值

實(shí)驗(yàn)者編號(hào)心率參考平均值心率測(cè)量平均值心率平均誤差/（%）心率誤差標(biāo)準(zhǔn)差 168.670.42.593.33 263.264.11.423.36 388.889.50.792.94 471.672.51.262.20 579.079.91.391.27

由于不能用AdaBoost人臉檢測(cè)技術(shù)預(yù)先截取人體的側(cè)臉視頻，所以在這組實(shí)驗(yàn)中，我們對(duì)全部視頻畫面進(jìn)行處理。通過對(duì)這組數(shù)據(jù)的比對(duì)我們可以看出，使用側(cè)臉視頻進(jìn)行心率提取，雖然較之第一組實(shí)驗(yàn)有較大誤差，但仍在可接受的范圍內(nèi)。

3.2 顏色空間域的改進(jìn)

傳統(tǒng)的檢測(cè)方法中采用的是RGB顏色空間中的G通道。由于Lab空間域主要表示與設(shè)備無關(guān)的彩色模型，其中b通道表示從黃色到藍(lán)色的范圍，其值對(duì)BVP信號(hào)較為敏感，檢測(cè)精確度更高。我們復(fù)原了傳統(tǒng)的RGB空間域的G通道來作為對(duì)比。自然光下正面視頻的心率值RGB空間如表5所示。由對(duì)比實(shí)驗(yàn)可以看出Lab顏色空間下的b通道測(cè)量得出的心率值比RGB顏色空間下的G通道測(cè)量值得出的更為準(zhǔn)確。

表5 自然光下正面視頻的心率值RGB空間

實(shí)驗(yàn)者編號(hào)心率參考平均值心率測(cè)量平均值心率平均誤差/（%）心率誤差標(biāo)準(zhǔn)差 188.486.22.52.35 263.265.84.12.69 36869.82.652.66 485.488.53.621.69 576.477.41.302.52

4 結(jié)論

本文以歐拉影像放大技術(shù)為基礎(chǔ)，利用圖像金字塔，可以實(shí)時(shí)進(jìn)行呼吸及心率的檢測(cè)，其原理簡(jiǎn)單，滿足實(shí)時(shí)性要求，對(duì)硬件的要求較低，可應(yīng)用于人體睡眠時(shí)的呼吸率和心率檢測(cè)。改進(jìn)了接觸式的心率、呼吸率檢測(cè)方法，在精度要求不是很高的情況下，可以實(shí)現(xiàn)隨時(shí)監(jiān)控患者的呼吸及心率，并在患者出現(xiàn)身體特征異常的時(shí)候及時(shí)報(bào)警，避免意外情況發(fā)生。但是，此方法并沒有很好的排除干擾，比如當(dāng)人體在睡眠中翻身、無意識(shí)抽動(dòng)等，面部或胸腹部的遮擋都會(huì)一定程度上影響我們的檢測(cè)，具體解決辦法還需要進(jìn)一步的研究和實(shí)驗(yàn)。

［1］Allen J.Photoplethysmography and its application in clinical physiological measurement［J］.Physiological Measurement，2007，28（3）.

［2］Takano C，Ohta Y.Heart rate measurement based on a time-lapse image［J］.Medical Engineering & Physics，2007，29（8）：853-857.

［3］Hu S，Zheng J，Chouliaras V，et al.Feasibility of Imaging Photoplethysmography［M］.出版社不詳，2008.

［4］Poh M Z，Mcduff D J，Picard R W.Non-contact，automated cardiac pulse measurements using video imaging and blind source separation［J］.Optics Express，2010，18（10）.

［5］Poh M Z，Mcduff D J，Picard R W.Advancements in noncontact，multiparameter physiological measurements using a webcam［J］.IEEE transactions on bio-medical engineering，2011，58（1）：7-11.

［6］Garbey M，Sun N， Merla A，et al.ontact-free measurement of cardiac pulse based on the analysis of thermal imagery［J］.IEEE transactions on bio-medical engineering，2007，54（8）：1418.

［7］陳永康，侯振杰，陳宸，等.基于深度圖像的非接觸式呼吸檢測(cè)算法研究［J］.計(jì)算機(jī)測(cè)量與控制，2017，25（7）：213-217.

［8］Kazemi S，Ghorbani A，Amindavar H，et al.Cyclostationary approach to Doppler radar heart and respiration rates monitoring with body motion cancelation using Radar Doppler System［J］.Biomedical Signal Processing & Control，2014，13（11）：79-88.

［9］萬(wàn)錚結(jié).基于人臉視頻圖像的心率檢測(cè)研究［D］.杭州：浙江工業(yè)大學(xué)，2014.

［10］劉祎，歐陽(yáng)健飛，閆勇剛.基于普通攝像頭的心率測(cè)量方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2016，52（7）：210-214.

［11］馬良，劉琚.自然光條件下使用普通攝像頭實(shí)現(xiàn)心率測(cè)量［J］.信號(hào)處理，2017（Suppl 1）：73-78.

［12］潘今一，李杰，申瑜.基于視頻分析的呼吸檢測(cè)算法［J］.浙江工業(yè)大學(xué)學(xué)報(bào)，2017，45（2）：163-167.

［13］Wu H Y，Shih E，Shih E，et al.Eulerian video magnification for revealing subtle changes in the world［J］.Acm Transactions on Graphics，2012，31（4）：65.

［14］LIU C，TOORRALBA A，F(xiàn)REEMAN W T，et al.Motion magnification［J］.ACM transactions on graphics，2005，24（24）：519-526.

［15］余美晨，孫玉秋，王超.基于拉普拉斯金字塔的圖像融合算法研究［J］.長(zhǎng)江大學(xué)學(xué)報(bào)（自科版），2016，13（34）：21-26.

［16］陳華艷，劉最茂，黃溢華，等.人體呼吸系統(tǒng)物理建模與仿真［J］.醫(yī)學(xué)信息，2010，23（1）：27-29.

［17］Viola P，Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features［C］//Computer Vision and Pattern Recognition，2001.

［18］Lienhart R，Maydt J.An extended set of Haar-like features for rapid object detection［C］//International Conference on Image Processing，2002.

［19］史周華.醫(yī)學(xué)統(tǒng)計(jì)學(xué)［M］.北京：人民衛(wèi)生出版社，2012.

［20］Altman D G，Bland J M.Measurement in Medicine：The Analysis of Method Comparison Studies［J］.Journal of the Royal Statistical Society，1983，32（3）：307-317.

［21］Bland，Martin J，Altman，et al.Statistical methods for assessing agreement between two methods of clinical measurement［J］.Lancet，1986，327（8476）：307-310.

2095－6835（2019）05－0001－04

TP391.41

A

10.15913/j.cnki.kjycx.2019.05.001

〔編輯：嚴(yán)麗琴〕