利用熱成像技術(shù)對心率進(jìn)行無接觸檢測的研究

梁智敏，陳 騏，肖書明，馬 潔，甄慶凱

?

利用熱成像技術(shù)對心率進(jìn)行無接觸檢測的研究

梁智敏1，陳 騏2，肖書明2，馬 潔1，甄慶凱2

1.北京信息科技大學(xué)自動化學(xué)院,北京100192；2.國家體育總局體育科學(xué)研究所,北京100061

目前，在體育領(lǐng)域檢測運(yùn)動員心率的常用方法大多數(shù)是接觸式檢測，而接觸式檢測會使運(yùn)動員產(chǎn)生異物感，影響運(yùn)動員的真實運(yùn)動狀態(tài)。利用紅外熱成像技術(shù)，提出了一種非接觸式實時測量心率的新方法。對于靜態(tài)心率，采用圖像處理技術(shù)對視頻幀中感興趣區(qū)域進(jìn)行分割并追蹤，得到視頻中感興趣區(qū)域的整體灰度均值變化曲線，對采集到的信號采取小波分析去除信號中的噪聲，并進(jìn)行帶通濾波，最后利用小波包重構(gòu)實現(xiàn)心率的實時檢測，取得了較好的效果。對于動態(tài)心率變化，采用熱紅外圖像中感興趣區(qū)域的灰度均值的變化來分析動態(tài)心率的變化趨勢，這兩種方法在Bland-Altman分析中取得良好的一致性。

熱紅外圖像；心率測量；濾波；小波包分解與重構(gòu)

1 引言

運(yùn)動訓(xùn)練的生理學(xué)實質(zhì)，是通過所施加的訓(xùn)練負(fù)荷使運(yùn)動員身體各器官系統(tǒng)產(chǎn)生適應(yīng)性變化，從而提高其參與運(yùn)動競技的能力。在運(yùn)動員訓(xùn)練過程中，需要定期或不定期地檢測其生理指標(biāo)，根據(jù)運(yùn)動員的相關(guān)指標(biāo)，調(diào)控訓(xùn)練負(fù)荷，以改善運(yùn)動訓(xùn)練的效果。心率作為度量訓(xùn)練負(fù)荷的一個重要生理指標(biāo)，經(jīng)常用于運(yùn)動員身體機(jī)能的檢測和評定。目前，運(yùn)動員在運(yùn)動過程中心率的獲取一般都是采用心率帶、手環(huán)等接觸式的方式來實現(xiàn)，這種方式可以實現(xiàn)在運(yùn)動狀態(tài)中的心率實時采集，但在檢測心率的過程中都會與被檢測者產(chǎn)生一定的物理接觸，且長時間的測量會給被測試者帶來不適或異物感，影響運(yùn)動員的正常運(yùn)動狀態(tài)。

基于圖像的非接觸式檢測方法包括可見光成像和熱紅外成像。與可見光成像相比，熱紅外成像具有以下幾點(diǎn)優(yōu)勢：1）可以發(fā)現(xiàn)運(yùn)動員的潛在身體損傷；2）視頻采集過程中受光照變化影響?。?）可以實時、全面的獲得人體表面的溫度信息。利用熱紅外圖像進(jìn)行心率檢測最早是由美國休斯敦大學(xué)的教授Marc Garbey等[12]在2007年提出的，他采用自適應(yīng)濾波和快速傅里葉變換的方法來實現(xiàn)人體心率的測量，2010年，我國首都醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院的景斌等[2]利用熱紅外圖像并采用功率譜分析的方法也成功的檢測出了人體心率，2013年，美國路易斯維爾大學(xué)的Travis R.Gault等[11]利用熱成像中溫度的變化，采用兩種不同的方法測試了人在3種不同的狀態(tài)下的心率，并對兩種方法的精確度進(jìn)行了對比。

由以上文獻(xiàn)可見，利用熱成像中人體淺表動脈的溫度變化來檢測人體心率的方法是可行的。本研究利用熱紅外成像這種非接觸式的檢測技術(shù)并采用新的算法進(jìn)行心率檢測，非接觸式的測量方法可以從根本上消除異物感和不適感，新的算法則提高了心率檢測的精確度，以及獲得更真實有效的心率數(shù)據(jù)。此外，此類研究獲得的結(jié)論和方法，對于檢測更多其他人體生理參數(shù)具有潛在的技術(shù)價值。

在基于圖像檢測心率的數(shù)據(jù)處理算法中，常用的主要有功率譜分析，傅里葉變換[16]，人工智能[1]，獨(dú)立成分分析[6]等，經(jīng)典的傅里葉變換更適用于平穩(wěn)隨機(jī)信號，其特性不隨時間變化的信號[8]，因此，不適用于動態(tài)心率信號的處理。本研究中需要處理的信號是非平穩(wěn)的隨機(jī)信號，且信號中含有各種噪聲的干擾，所述噪聲一般是寬帶隨機(jī)信號，其頻帶和有用信號的頻帶存在重疊。目前，在實現(xiàn)非平穩(wěn)隨機(jī)信號的消噪中，小波分析被認(rèn)為是最好的方法[4]。因此，本研究利用小波進(jìn)行信號的去噪處理，并運(yùn)用小波包分解與重構(gòu)對信號進(jìn)行分析。

2 研究對象與方法

2.1 研究對象

靜態(tài)心率檢測實驗中研究對象8人，其中4男、4女，動態(tài)心率檢測實驗中研究對象20人，其中10男、10女，均為在校學(xué)生，年齡范圍在22~25歲。

2.2 研究方法

本研究所用熱紅外圖像的采集設(shè)備為上海斌瑞檢測技術(shù)服務(wù)有限公司的IRS S65-A，圖像的分辨率為384×288像素，紅外波長范圍為8~14，測溫范圍在-20°C~ +350°C，熱靈敏度＜0.05°C，測溫精度在±2°C或±2%，取其大值，由血液流經(jīng)面部造成的溫度變化范圍在0.1°C~0.5°C（此范圍由視頻中的溫度變化來獲取），在檢測精度范圍內(nèi)，滿足目標(biāo)的要求。實驗在室內(nèi)進(jìn)行，在靜止?fàn)顟B(tài)下，采集包含受試者面部的視頻，每人時長2 min，視頻格式為AVI，靜態(tài)實驗時的環(huán)境溫度為22.3°C。在運(yùn)動狀態(tài)下，同樣采集包含受試者面部的視頻，每人時長16 min，視頻格式也為AVI，動態(tài)實驗時環(huán)境溫度為23.7°C，運(yùn)動的過程如下：開始時，保持靜止?fàn)顟B(tài)1 min，然后在跑臺上跑動。為了對不同心率狀態(tài)進(jìn)行測試，逐步提升運(yùn)動負(fù)荷，跑臺速度按5個臺階逐步遞增，分別為：3 km/h、4 km/h、6 km/h、8 km/h、10 km/h，每個速度臺階持續(xù)3 min。靜態(tài)和動態(tài)試驗均采用德國運(yùn)動心肺功能測試系統(tǒng)Contex Metalyzer 3B（CPET）同步采集受試者的實時心率數(shù)據(jù)。

采集實驗數(shù)據(jù)時，如何使熱紅外圖像與心率采集設(shè)備實現(xiàn)數(shù)據(jù)采集的時間同步是一個非常重要的問題。本實驗時間同步的方法是為熱成像視頻設(shè)備和心率采集設(shè)備設(shè)置一個相同的時間起點(diǎn)基準(zhǔn)，利用能夠產(chǎn)生與環(huán)境溫度差別較大的物體（例如一個發(fā)熱設(shè)備）作為發(fā)令裝置，使熱成像視頻采集設(shè)備和心率采集設(shè)備在發(fā)令裝置指揮下，同時啟動采集工作。為了進(jìn)一步提高同步基準(zhǔn)點(diǎn)的一致性，再在兩種設(shè)備采集到的數(shù)據(jù)啟動點(diǎn)之后，延遲2 s，截取數(shù)據(jù)，再按照3.3.1中所述的方式來同步兩種設(shè)備采集到的信號。

3 原理及實現(xiàn)

3.1 物理原理

眾所周知，自然界中一切溫度高于絕對零度（-273 ℃）的物體均不斷向空間發(fā)射紅外輻射，且紅外輻射與物體溫度存在一定關(guān)系。當(dāng)物體表面具有相同的輻射率時，物體的溫度越高，其單位表面積的紅外輻射功率越強(qiáng)。紅外熱像儀的測溫原理，即為通過對紅外輻射功率的度量來獲得物體表面溫度的分布情況。

關(guān)于人體的皮膚溫度和心臟，通常認(rèn)為存在如下關(guān)系：皮膚溫度受皮膚血管內(nèi)的血流量的影響[7]，而皮膚血管內(nèi)的血流量又與心臟活動相關(guān)：心臟的各個心房和心室以一定的頻率收縮和舒張，把血液壓入動脈血管，以及促使血液從靜脈血管流回心臟。血液作為一種傳熱介質(zhì)，會將人體內(nèi)核部位的熱量傳遞到人的身體外層（包括皮膚）。理論上來說，血液帶來的熱量，會導(dǎo)致身體各處皮膚的溫度發(fā)生變化，1999年，中國中醫(yī)研究院針灸研究院的張棟等[5]利用紅外熱像的方法總結(jié)了面部皮膚溫度與面部血流量的關(guān)系，得到結(jié)論：在嚴(yán)格控制其他相關(guān)條件的情況下，溫度與血流量之間有著基本一致的對應(yīng)關(guān)系。因此判斷，皮膚溫度的變化與心臟的跳動之間存在潛在的相關(guān)關(guān)系。本研究依據(jù)上述的關(guān)系，通過對人體皮膚的熱紅外圖像特征進(jìn)行分析，來研究皮膚的溫度數(shù)據(jù)特征與心率之間的關(guān)系。

3.2 靜態(tài)心率的算法

3.2.1 心率檢測算法的整體設(shè)計

本實驗在采集人體臉部熱紅外圖像的同時，同步采集人體心率數(shù)據(jù)。首先，在熱紅外圖像中尋找潛在地與人體心率相關(guān)性較高的區(qū)域作為本次實驗的感興趣區(qū)域，然后對采集到的熱紅外圖像中的感興趣區(qū)域進(jìn)行追蹤。由于本實驗采集的是人體處于安靜狀態(tài)下的視頻，因此，經(jīng)典的Camshift算法[9]能夠滿足對感興趣區(qū)域的追蹤要求，對追蹤到的每個感興趣區(qū)域進(jìn)行運(yùn)算，得到感興趣區(qū)域（Region of Interesting，ROI）的灰度均值，然后對該灰度均值進(jìn)行小波去噪以及帶通濾波，最后對得到的濾波結(jié)果進(jìn)行小波包分解和重構(gòu)，得到對人體心率的估計數(shù)據(jù)。

3.2.2 視頻追蹤和數(shù)據(jù)獲取

根據(jù)熱紅外圖像中人臉區(qū)域亮度很高的特點(diǎn)，對圖像進(jìn)行二值化、腐蝕和圖像填充。然后進(jìn)行人工選擇，僅保留人臉和裸露的頸部區(qū)域（圖1）。

圖1 二值化、腐蝕、填充操作后取得的人臉區(qū)域示意圖

Figure1. Face Area Obtained after Two-valued, Corroded and Filled Operation

選擇了人臉和頸部區(qū)域之后，根據(jù)人臉的寬高比確定人臉的邊界（圖2）?？紤]到心臟跳動與動脈血管中的血流量存在的直接關(guān)系，以及動脈血管主要分布于口角兩側(cè)至鼻根區(qū)的三角區(qū)域的事實（圖3）。將熱紅外圖像中臉部的下1/3區(qū)域設(shè)定為所要跟蹤的感興趣區(qū)域（圖4），由此區(qū)域推算得到的心率數(shù)據(jù)，準(zhǔn)確性要高于由臉部其他區(qū)域。

圖2 人臉區(qū)域標(biāo)記示意圖

Figure2. Human Face Area Mark

為了演示本處理方法，以下給出針對一個人臉的熱紅外視頻的處理例子。在該視頻中，對感興趣區(qū)域的灰度作均值處理，得到該區(qū)域的灰度變化的時間序列。感興趣區(qū)域的灰度均值隨時間的變化如圖5所示。由彩色圖像轉(zhuǎn)化為灰度圖像的計算公式如下：

=0.2989×+0.5870×+0.1140×（1）

圖3 臉部動脈血管分布圖[13]

Figure3. Vascular distribution of facial arteries

圖4 選定的臉部感興趣區(qū)域示意圖（ROI）

Figure4. Selected Face Area of Interest

圖5 時間序列中灰度均值的變化圖

Figure5. Change of Gray Mean Value in Time Series

感興趣區(qū)域的灰度均值的計算公式如下：

為了考察感興趣區(qū)域的灰度均值隨時間變化的情況，對采集到的原始時間序列進(jìn)行一階差分，得到感興趣區(qū)域灰度均值的變化曲線。一階差分的計算公式如下：

C=（i）-（i-1） （i≥2） （3）

3.2.3 小波去噪

在獲取熱紅外圖像的過程中，由于受到檢測對象、工作環(huán)境、數(shù)據(jù)采集硬件的影響，圖像數(shù)據(jù)不可避免地存在噪聲。小波去噪可以在消除噪聲的同時，很好地保留有用信號。小波去噪效果的好壞，與小波基函數(shù)和閾值的選取有關(guān)。表1所示為幾種常用小波基函數(shù)的性質(zhì)對比。

表1 常用的小波基函數(shù)及其性質(zhì)

本研究采集的數(shù)據(jù)是離散數(shù)據(jù)。由表1可以排除Morlet、Mexician hat這些無法進(jìn)行離散小波變換的基函數(shù)。由于心率信號受噪聲干擾嚴(yán)重，為了能夠有效分離信號與噪聲，應(yīng)選取具有一定階次消失矩的基函數(shù)，因此，排除只有一階消失矩的Haar小波?；谝陨戏治龅贸觯篸b小波、sym 小波、coif 小波是適合本研究的小波基函數(shù)。從小波函數(shù)的分解來看，同一小波族的小波函數(shù)其序數(shù)越高，分解效果越好，最終選擇sym8作為小波基函數(shù)。常用的閾值估計方法有4種：固定閾值、自適應(yīng)閾值、啟發(fā)式閾值、極大極小閾值。其中，極大極小閾值和自適應(yīng)閾值規(guī)則比較保守，去噪不完全。計算實驗的結(jié)果說明，固定閾值法的效果較好，因此，本研究選用了固定閾值法。小波分解的層次越高去掉的低頻成分越多，去噪效果雖然越顯著，但失真度也相應(yīng)增大。經(jīng)過多次試驗，確定分解層數(shù)為2層。為了演示去噪效果，針對一個實際采集的熱紅外視頻的灰度均值利用式（3）所示公式作一階差分后進(jìn)行小波去噪（圖6）。

圖6 小波去噪的計算結(jié)果示意圖

Figure6. The Computational Results of Wavelet Denoising

根據(jù)人的正常心率范圍在0.8~3 Hz之間這個事實，認(rèn)為該頻帶之外的信號成分為噪聲，因此，以該頻帶為通帶，對小波去噪后的信號進(jìn)行帶通濾波，在保留心率信號的同時，消除信號中的噪聲成分。針對上述的小波去噪后的信號，進(jìn)行帶通濾波處理（圖7）。

圖7 帶通濾波后的信號示意圖

Figure 7. Signal after Bandpass Filtering

3.2.4 小波包分解與重構(gòu)

小波包分析能夠為信號提供一種更精細(xì)的分析方法，它將頻帶進(jìn)行多層次的劃分，對多分辨率分析沒有細(xì)分的高頻部分進(jìn)行進(jìn)一步分解，并能根據(jù)被分析信號的特征，自適應(yīng)地選擇相應(yīng)的頻帶，使之與信號頻譜匹配，從而提高了時頻分辨率。此處結(jié)合圖8來說明小波包分解的基本思想。在圖8中，S代表被處理的信號，A表示低頻，D表示高頻，末尾的序號表示分解層數(shù)。經(jīng)小波包分解后每個節(jié)點(diǎn)中保存有相應(yīng)頻段的系數(shù)，最后利用節(jié)點(diǎn)的系數(shù)對相應(yīng)頻帶的信號進(jìn)行重構(gòu)。

圖8 小波包分解樹示意圖

Figure8. Wavelet Packet Decomposition Tree

3.3 動態(tài)心率趨勢分析

3.3.1 數(shù)據(jù)獲取及處理

要進(jìn)行動態(tài)心率趨勢分析，必須采集人體運(yùn)動狀態(tài)下的熱紅外圖像，并設(shè)定需要追蹤的感興趣區(qū)域。熱紅外圖像中臉部的下1/3區(qū)域設(shè)定為所要跟蹤的感興趣區(qū)域（圖9）。此處所采用的感興趣區(qū)域跟蹤算法為TLD（Tracking-Learning-Detection）跟蹤算法[13]。

圖9 動態(tài)數(shù)據(jù)采集過程中感興趣區(qū)域示意圖

Figure9. The Area of Interest during Dynamic Data Collection

在實驗過程中，受試者在跑臺上跑動，紅外熱像儀集中拍攝人臉部視頻，同時采用運(yùn)動心肺功能測試儀同步采集運(yùn)動心率。運(yùn)動心肺功能測試儀每間隔5 s采集1次心率數(shù)據(jù)，而熱紅外圖像的幀率為每秒7幀，為了使二者同步，對采集的熱紅外視頻進(jìn)行重采樣（每35幀采樣一次），然后計算重采樣的熱紅外圖像中的感興趣區(qū)域的灰度均值。

4 結(jié)果及分析

4.1 靜態(tài)心率檢測結(jié)果

4.1.1 小波包重構(gòu)結(jié)果

針對上述帶通濾波后的信號（圖7）進(jìn)行小波包的分解與重構(gòu)，分解層數(shù)為2層，小波基函數(shù)選擇db8，熵的類型選擇shannon，重構(gòu)后第2層每個節(jié)點(diǎn)的信號分量如圖10所示。分析計算結(jié)果，認(rèn)為只有節(jié)點(diǎn)0的信號分量與心跳有較明顯的相關(guān)，而其他的3個節(jié)點(diǎn)的信號分量均為噪聲。并且，認(rèn)為節(jié)點(diǎn)0的信號分量中的每一個局部峰對應(yīng)于一次心跳。

圖10 小波重構(gòu)后第二層各節(jié)點(diǎn)的信號示意圖

Figure10. The Signal of the Second Layer after the Wavelet Packet Reconstructed

4.1.2 心率值的計算方法及結(jié)果

上述心率信號的提取過程是對人臉圖像中的感興趣區(qū)域進(jìn)行處理。為了得到實時性的心率信號估計，需要對每一次得到的感興趣區(qū)域的相應(yīng)數(shù)值進(jìn)行處理，利用公式（7）估計受試者每分鐘的心率：

=**60/（7）

其中表示當(dāng)前的幀數(shù)，表示經(jīng)小波包重構(gòu)后信號的波峰數(shù)，表示視頻的采樣頻率。

圖11 選擇不同感興趣區(qū)域時的結(jié)果對比圖

Figure11. Comparison on the Results of Different Areas of Interest

根據(jù)以上算法，得到了上述一個熱紅外視頻中，選定人臉的不同區(qū)域作為感興趣區(qū)域時的心率信號估計（圖11）。在圖11中，藍(lán)色曲線為以人臉的下部1/3區(qū)域為感興趣區(qū)域得到的心率估計信號，綠色曲線為以額頭為感興趣區(qū)域得到的心率估計信號。在本例中，實驗者1的平均心率為58，由圖可以看出，藍(lán)色曲線的誤差比綠色曲線的誤差小。因此，圖11的結(jié)果證明，以人臉的下部1/3區(qū)域（面動脈即分布在此區(qū)域）作為感興趣區(qū)域，能夠得到更準(zhǔn)確的心率估計，也驗證了3.2.2節(jié)的有關(guān)假定。

對于8位靜態(tài)受試者，心率實時結(jié)果如圖12所示，藍(lán)色曲線為本算法得出的實時心率值，紅色曲線表示運(yùn)動心肺功能測試儀實時采集到的心率均值：

Figure12. Real-time Calculation Results of Heart Rate

采集8名靜止仰臥狀態(tài)下的受試者的面部熱紅外視頻，設(shè)定感興趣區(qū)域并追蹤，并根據(jù)前述算法計算出安靜心率；以本研究方法和以運(yùn)動心肺功能測試儀得到的心率數(shù)據(jù)，分別計算它們在測試時間內(nèi)的均值，并將得到的均值進(jìn)行比較（表2）。

表2 本研究算法的心率計算結(jié)果和運(yùn)動心肺功能測試儀實測的心率數(shù)據(jù)

4.2 動態(tài)心率趨勢分析結(jié)果

首先分析其中10位男性受試者的動態(tài)心率變化趨勢，由于實驗者5的心率數(shù)據(jù)丟失，因此，在圖13中列出了9位受試者的心率變化趨勢。從圖13中可以看出，男性在運(yùn)動過程中面部皮膚的溫度變化較大，9名實驗者在運(yùn)動負(fù)荷不斷增大的情況下，灰度均值也隨之不斷增大，在心率小于130次/min時，根據(jù)熱紅外圖像計算得到的灰度均值曲線中的臺階變化，與運(yùn)動心肺功能測試儀實測心率的臺階變化基本趨勢一致。但當(dāng)心率超過130次/min時，計算心率曲線不再隨著實測心率的上升而上升，反而出現(xiàn)下降趨勢。這可能是由于人體在運(yùn)動過程中溫度不斷升高，人體表面的發(fā)射率（又稱為黑度，反映物體向外發(fā)射輻射的能力）會隨溫度的變化而變化，此時熱成像設(shè)備會根據(jù)現(xiàn)有的溫度輸出信號標(biāo)定曲線作為計算溫度的原始數(shù)據(jù)，從而對輸出視頻的灰度進(jìn)行調(diào)節(jié)修正，因此導(dǎo)致灰度均值在心率大于130次/min以后逐漸下降。

Figure13. Comparison of the Gray Mean of Thermal Imaging with the Real Heart Rate in 10 Male Subjects

Figure14. Contrast between the Gray Mean of Thermal Imaging and the Change of Real Heart Rate in Female Subjects

對10名女性受試者進(jìn)行分析，由于女性實驗者10采集的是側(cè)面的熱紅外視頻，無法提取本研究中感興趣區(qū)域的灰度均值，因此不做分析。對于剩余的9名女性受試者動態(tài)心率變化趨勢做出分析（圖14）?？梢钥闯?，女性在運(yùn)動過程當(dāng)中臉部的溫度變化不大，實驗者1、3、6、9同樣出現(xiàn)了運(yùn)動負(fù)荷增大，灰度均值反而下降的趨勢，并且男性和女性隨運(yùn)動負(fù)荷增加，灰度曲線變化的趨勢也明顯不同：女性受試者在增加運(yùn)動負(fù)荷時，灰度均值曲線都沒有太大的變化，也沒有明顯的隨心率不斷變化的趨勢，這一點(diǎn)與男性灰度均值曲線變化有明顯的差別。

圖13中男性實驗者10的兩組數(shù)據(jù)中心率變化的趨勢與灰度均值曲線的變化趨勢基本一致，只在心率大于130次/min時有差別，因此，進(jìn)一步對這兩組數(shù)據(jù)進(jìn)行統(tǒng)計學(xué)分析，其相關(guān)性達(dá)到了0.857 62，根據(jù)圖13中男性實驗者10的數(shù)據(jù)，對兩種方法的一致性進(jìn)行Bland-Altman分析，相關(guān)結(jié)果如圖15所示。Bland-Altman分析的基本思想是計算出兩種測量結(jié)果的一致性界限，并用圖形的方法直觀地反映這個一致性界限。在圖15中，上下兩條水平虛線代表95%一致性界限的上下限，中間的虛線代表差值的平均數(shù)，兩種測量方法的一致性程度越高，代表差值均數(shù)的虛線越接近均數(shù)0。圖中所示兩種測量方法的結(jié)果只有3個位于95%的界限以外，其余結(jié)果均位于界限內(nèi)。

圖15 Bland-Altman分析示意圖

Figure15. Bland-Altman Analysis

5 總結(jié)

由靜態(tài)實驗的結(jié)果可以看出，本研究采用的小波包分解與重構(gòu)的算法具有較高的時-頻分辨率，可以計算出人體靜態(tài)的實時心率，且具有較好的效果。在可見光領(lǐng)域，普通的成像受光照變化影響很大，而紅外熱成像受光照變化影響小，因而有更廣泛的適用性[14]。本研究采用的相關(guān)方法，實現(xiàn)了對心率的非接觸實時檢測，并且相關(guān)系數(shù)達(dá)到了0.873。在信號采集的過程中，由于人的面部血管的分布具有唯一性[15]，而在本實驗中對所有對象采用的是同一個感興趣區(qū)域，這可能是造成測量誤差的一個原因。也有其他相關(guān)研究利用紅外序列對心率進(jìn)行了檢測，雖然相關(guān)性達(dá)到了0.957[2]，但其要求受試者保持靜止?fàn)顟B(tài)，對實驗對象的約束較多，且沒有實現(xiàn)心率檢測的實時性。另外，受目前熱成像硬件設(shè)備限制，僅能夠使用已經(jīng)拍攝好的視頻進(jìn)行追蹤和計算，尚無法實現(xiàn)利用佩戴式心率表、可穿戴設(shè)備，以及基于普通CCD的實時心率數(shù)據(jù)反饋[3]。

由動態(tài)的實驗結(jié)果可以看出，利用動態(tài)熱紅外圖像的灰度均值與真實心率的對比，熱紅外圖像的灰度均值能很好地反映出運(yùn)動過程心率的變化趨勢，另外，對于男性實驗者10運(yùn)用這兩種方法得到的數(shù)據(jù)進(jìn)行Bland-Altman分析的實驗結(jié)果均落在了95%的置信區(qū)間內(nèi)，因此可以認(rèn)為，在評價心率變化趨勢時，利用熱紅外成像灰度均值和運(yùn)用運(yùn)動心肺功能測試儀這兩種方法具有較好的一致性。

另外，本研究提出的小波包分解與重構(gòu)算法同樣適用于動態(tài)心率的測量，原因是動態(tài)心率信號為非平穩(wěn)隨機(jī)信號，并且頻率是隨時間變化而逐漸增大的。小波包分析有很好的時頻特性，在分析動態(tài)心率時可以分析隨時間變化的心跳頻率變化，但計算心率值的算法與靜態(tài)心率的算法卻有所不同，這是因為在運(yùn)動過程中，心率的頻率是不斷變化的。因此，不可以運(yùn)用本文4.1.2中計算波峰數(shù)的方法來計算人體運(yùn)動狀態(tài)的實時心率，具體的動態(tài)心率算法還有待進(jìn)一步研究。

目前，利用紅外熱成像視頻來檢測動態(tài)心率為以非接觸式的方法檢測心率提供了新的思路和數(shù)據(jù)支持，也是以非接觸的方式檢測心率的最終目標(biāo)，并且在眾多的實驗中，有一位實驗者的溫度變化和心率變化具有很好的一致性，后續(xù)研究應(yīng)考慮各相關(guān)因素對皮膚溫度變化的影響，建立皮膚溫度變化模型，利用抗運(yùn)動干擾的算法對心率信號進(jìn)行提取，這也是本研究團(tuán)隊下一步的工作方向。

[1] 蔡成賢,王偉.基于人工智能的心率檢測算法[J].中國醫(yī)療器械雜志,2010,34(1):13.

[2] 景斌,李海云.基于紅外序列圖像的心率無損檢測方法研究[J].中國生物醫(yī)學(xué)工程學(xué)報,2010,(6):943-946.

[3] 劉蕾.基于視頻的實時心率測量算法研究[D].無錫:江南大學(xué), 2014.

[4] 張吉先,鐘秋海,戴亞平.小波門限消噪法應(yīng)用中分解層數(shù)及閾值的確定[J].中國電機(jī)工程學(xué)報,2004,24(2):118-122.

[5] 張棟, 薛立功, 魏正岫, 等.面部皮膚溫度與面部血流量關(guān)系的對照觀察[J].生物醫(yī)學(xué)工程學(xué)雜志,1999,(1):81-85.

[6] 周秦武,隋芳芳,白平,等.嵌入式無接觸視頻心率檢測方法[J].西安交通大學(xué)學(xué)報,2013,12:55-60.

[7] 朱大年 ,王庭槐. 生理學(xué)[M].北京:人民衛(wèi)生出版社, 2013:85-95,255-260.

[8] CHEKMENEV S Y, FARAG AA, MILLER W M,. Multiresolution approach for noncontact measurements of arterial pulse using thermal imaging[M]//augmented vision perception in Infared,2009:87-112.

[9] DONGARRA J. THe top 10 algorithms[J]. IEEE Comput Sci Eng,2000,2(1):22-23.

[10] DORLING KINDERSLEY. The Concise Human Body Book[M]. Dorling Kindersley, 2009:146-147.http://joyousoasis.com/wp-content/uploads/2013/02/CardiovascularSystem.gif.

[11] GAULT T R, FARAG A A.A fully automatic method to extract the heart-rate from thermal video[J]. IEEE Conf Comput Vis Pattern Recognit Workshops,2013,13(4):336-341.

[12] GARBEY M, SUN N,MERLA A,. Contact-free measurement of cardia-c pulse based on the analysis of thermal imagery[J]. IEEE Trans Biomed Engi,2007,54(8):1418-26.

[13] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Trans Pattern Anal Mach Intell, 2012,34(7):1409-1422.

[14] SOCOLINSKY D A, WOLFF L B, NEUHEISEL J D. Illumination invariant face recognition using thermal infrared imagery [C]// In: Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai:IEEE,2001:527-534.

[15] YANGJ, LIUL, JIANGT. A modified gabor filter design method for fingerprint image enhancement[J]. Pattern Recogn Lett2003, 24(12):1805-1817.

[16] ZENG W, ZHANG Q. Infrared video based non-invasive heart rate measurement[C]//IEEE Conference on Robotics and Biomimetics, Zhuhai, China, 2015:6-9.

Research on Non-contact Heart Rate Detection Using Thermal Imaging

LIANG Zhi-min1,CHEN Qi2,XIAO Shu-ming2,MA Jie1,Zhen Qing-kai2

1.Beijing Information Science & Technology University, Beijing 100192, China; 2. China Institute of Sport Science, Beijing 100061, China.

At present, the commonly used method to detect heart rate in the field of sports is contact detection, contact detection will affect the status of athlete. Therefore, a new method for non-contact measuring changes in heart rate in real time with infrared thermal imaging technology is proposed. For static heart rate, we using image processing technology to segmentation and tracking for region of interest in video frames, and get overall gray-scale average curve in video region of interest, and using wavelet to eliminate noise in the collected signals and band-pass filters, then wavelet packets reconstruction to achieve real-time heart rate detection, and achieved very good results. For dynamic changes in heart rate, we using gray-scale of ROI in thermal video to analyze dynamic change trend of heart rate, the two methods get good consistecy in the analysis of Bland-Altman.

G804.49

Ａ

1002-9826(2018)01-0136-10

10.16470/j.csst.201801019

2016-09-22；

2017-10-12

國家體育總局2014年度重點(diǎn)研究領(lǐng)域課題(2014B028);國家體育總局體育科學(xué)研究所基本科研業(yè)務(wù)費(fèi)項目(基本1434)。

梁智敏,女,在讀碩士研究生,主要研究方向為控制工程-圖像處理,Email：809916630@qq.com。

陳騏,男,副研究員,主要研究方向為體育工程學(xué),E-mail: chenqi@ciss.cn。