基于多尺度樣本熵方法分析歐拉視頻放大技術(shù)在非接觸式測量的作用

鮑凱林，陳兆學(xué)

上海理工大學(xué)醫(yī)療器械與食品學(xué)院，上海200093

前言

脈搏信號是人體最重要的生理信號之一，它包含大量生理病理信息，體內(nèi)各種狀態(tài)變化都會反映在脈搏信號中［1］。而脈搏信號的改變或雜音的出現(xiàn)，往往是人體各器官病癥的最早表征。脈搏信號的研究可以清楚地了解身體的生理特性，為疾病診斷提供重要依據(jù)。

目前，心電圖法是心率測量中應(yīng)用最廣、準(zhǔn)確度高的一種方法，但是由于這類接觸式測量法中傳感器設(shè)備需要與人體皮膚接觸，造成使用上的不便。由此，非接觸式測量方法的優(yōu)勢愈加明顯。隨著計算機(jī)視覺技術(shù)的發(fā)展，研究人員利用光電容積描記法原理對人體皮膚采集視頻進(jìn)行處理，從而實(shí)現(xiàn)對生理信號的非接觸測量，該方法也出現(xiàn)相關(guān)問題，如不能有效消除噪聲、準(zhǔn)確度不高等。Poh 等［2-3］和Pursche 等［4］采用獨(dú)立成分分析算法進(jìn)行盲源分離處理，對于測量對象人臉中非皮膚區(qū)域，發(fā)現(xiàn)眼睛眨動對處理結(jié)果產(chǎn)生干擾，且噪聲頻率和心率彼此接近，不易被濾除［5］。另外，盲源分離并沒有提供一個判斷方法來區(qū)分分離后哪一組獨(dú)立信號更接近于實(shí)際心率信號，從而影響到心率的最終計算精度［6］。文獻(xiàn)［7］通過臉部跟蹤和對臉部變化亮度矯正有效提高算法對移動和環(huán)境變化的魯棒性。文獻(xiàn)［8］根據(jù)建立皮膚模型和線性盲源分離從臉部多個局部區(qū)域提取的體積描記器信號，并使用多數(shù)投票法估計心率，進(jìn)一步提高對被測對象移動和環(huán)境亮度變化的魯棒性，一定程度上克服Li等［9］在復(fù)雜測量背景臉部變化亮度矯正可靠性低的不足。2012年，Wu 等［10］提出一種稱為歐拉視頻放大的方法，來放大視頻中物體的微小變化。該方法對時間序列上的每一幀圖像中像素點(diǎn)的亮度值進(jìn)行分析，選擇低頻部分進(jìn)行放大，然后與原始圖像疊加合成最終圖像，從而放大微弱的變化信息。由于不同的變化具有不同的頻率，歐拉視頻放大技術(shù)通過對不同的頻率進(jìn)行分析及放大處理，來實(shí)現(xiàn)這些微小變化的可視化。

由于樣本熵是一種非線性的分析方法，在整個時間序列中有較好的一致性，不會受數(shù)據(jù)長度的影響［11］，通過度量信號的復(fù)雜度反映它的非線性特征，樣本熵值越低，序列的自我相似性越高，序列越簡單［12］。本研究利用多尺度樣本熵算法［11］對由視頻圖像得到的脈搏波時間序列信號進(jìn)行分析，用來衡量相應(yīng)時間序列在不同尺度上的復(fù)雜度基于對其放大前后提取的信號進(jìn)行時間序列復(fù)雜度的計算，對實(shí)際處理效果進(jìn)行比較。

1 歐拉視頻放大技術(shù)原理

本研究采用歐拉視頻放大技術(shù)對視頻中橈動脈微小跳動進(jìn)行放大，使視頻中脈搏跳動更明顯，以便為后續(xù)的分析提供重要信息。在視頻中，橈動脈處跳動的幅度越大，其位置亮度變化越明顯［13］。利用這一特性，可將脈搏的變化由亮度的具體變化來表征。

歐拉影像放大的處理是建立視頻幀拉普拉斯金字塔對視頻幀空間進(jìn)行多分辨率分解，對視頻幀空間分辨率一樣的圖像層進(jìn)行時域處理［14］。歐拉視頻放大法是從流體力學(xué)的歐拉法角度來研究放大像素值隨時間的變化。下面來探究在光流法分析中經(jīng)常使用的一階泰勒級數(shù)展開法來實(shí)現(xiàn)并完成運(yùn)動放大的。下面僅簡單分析進(jìn)行平移運(yùn)動的一維信號，由此分析可以推廣到二維信號的局部平移運(yùn)動。用表示圖像在空間x處和在時間t處的強(qiáng)度，且用式（1）表示初始時刻：

由于圖像中伴隨著運(yùn)動，圖像像素值就會隨著時間發(fā)生變化［15］，若用δ(t) 代表位移函數(shù)，即從0 到t時刻x的變化，則在t時刻圖像強(qiáng)度可以表示為：

對于此一維信號假設(shè)可以用一階泰勒級數(shù)關(guān)于x展開，進(jìn)而得到式（3）：

把式（4）表示的帶通信號乘以放大因子放大后與原信號相加得到式（5）：

聯(lián)合式（5）得到式（6）：

最后再利用一階泰勒公式得到如式（7）所示的輸出信號：

這個過程將圖像亮度f(x) 在時間t的位移函數(shù)由δ(t)變?yōu)? 1 +α)δ(t)。此過程只針對完全在濾波器帶寬的視頻信號。

為了防止放大失真，對所構(gòu)造的金字塔中不同空間頻率基帶應(yīng)使用合理放大因子進(jìn)行限制，假設(shè)信號空間波長為λ= 2π/ω，其中ω為信號空間頻率，則放大因子α限制公式為：

至此，上述過程可實(shí)現(xiàn)對于橈動脈跳動部分進(jìn)行放大的功能，可利用像素點(diǎn)在亮度上的變化情況進(jìn)行提取生理信號［16］，從而得到相關(guān)時頻信息。

2 多尺度樣本熵計算

樣本熵不但具有抗噪、抗干擾的優(yōu)點(diǎn)，還避免因數(shù)據(jù)量問題產(chǎn)生的不一致問題［17］，其主要運(yùn)算思路如下：

（1）假設(shè)嵌入維數(shù)為m，矢量容量為r，則m維向量可以表示為：

（2）定義x是兩者對應(yīng)時間點(diǎn)差值的最大值，為：

（3）對每個i值，計算x(i)與其余矢量x(j)(j= 1,2,…,N-m;j≠i)間的距離。統(tǒng)計d[x(i),x(j)]小于r的數(shù)目以及此值與距離總數(shù)N-m- 1的比值，記作(r)，即：

（4）求(r)的平均值：

（5）再對維數(shù)m+1，即對m+1點(diǎn)矢量重復(fù)步驟（1）至步驟（4），得到(r)，進(jìn)而得到(r)。

（6）理論上此時間序列的多尺度樣本熵為：

當(dāng)N為有限數(shù)時，式（13）可表示為：

由式（14）可知，SampEn 的值與m、r取值有關(guān)。但目前研究還未給出相關(guān)明確值。所以，最后計算的SampEn 值就是表征此時間序列復(fù)雜度的程度，根據(jù)經(jīng)驗(yàn)［18］，一般?。簃=2，r=0.1SD～0.2SD，SD 是原始數(shù)據(jù)x(i) ,i= 1,2,…,m的標(biāo)準(zhǔn)差。由于多尺度樣本熵可以衡量信號的復(fù)雜度，樣本熵值越低，序列的自我相似性越高，序列越簡單。利用這一非線性特性，可用于對其脈搏波信號放大前后的對比，為更精準(zhǔn)地對比其時間序列上樣本熵的差距，利用瞬時心率的概念進(jìn)行統(tǒng)計，進(jìn)行實(shí)際效果的比對。

3 試驗(yàn)與分析

3.1 視頻數(shù)據(jù)收集與分析

首先進(jìn)行視頻數(shù)據(jù)采集，取10位測試志愿者，分成10組，對每組進(jìn)行非接觸式的視頻采集，采集部位是橈動脈處，為去除其他無關(guān)因素的干擾，所有試驗(yàn)組統(tǒng)一采用蘋果手機(jī)7 Plus，使其都放置在同一光照下，固定位置拍攝，手臂水平放置在桌面上，位置如圖1所示。

圖1 視頻采集時手臂的位置Fig.1 Position of the arm during video acquisition

歐拉視頻放大試驗(yàn)流程：步驟1，視頻采集，將10位測試志愿者，分成10組，對每個人進(jìn)行非接觸式的視頻采集，為考慮數(shù)據(jù)一致性，采集部位為左手手腕處，視頻時長為15 s，環(huán)境為自然光照；步驟2，歐拉視頻放大處理，對每個視頻進(jìn)行放大處理，視頻時域?yàn)V波截止頻率為人體的脈搏頻率范圍：0.3～3.0 Hz；步驟3，ROI的選取，選取橈動脈寸關(guān)尺的部位，為避免其他誤差的產(chǎn)生，使用同一位置進(jìn)行ROI的選取，記錄其具體的位置信息，使每一位測試者的位置都保持一致；步驟4，生成各通道脈搏波信號，由于彩色視頻空間模式為RGB，每個通道產(chǎn)生的信號略有不同，以便后期分析相關(guān)性。

本次試驗(yàn)中，為考慮多位測試者的因素，盡量使拍攝位置保持一致。視頻的空間信息為RGB，幀率為30 幀/s，拍攝時長為15 s，可獲得500 幀左右的圖像。如圖2所示為未做任何處理的視頻截圖。

圖2 橈動脈處視頻截圖Fig.2 A screenshot of the video of the radial artery

3.2 多尺度樣本熵參數(shù)設(shè)置

由上述可知，樣本熵的值與嵌入維數(shù)m、閾值r以及數(shù)據(jù)長度N有關(guān)。3 個參數(shù)的選擇不同，得到的樣本熵結(jié)果也隨之不同，選取合適的參數(shù)尤為重要。由于拍攝視頻時，每組視頻時長和幀率均相同，所以對應(yīng)每段視頻的圖片幀數(shù)均為一致，對于數(shù)據(jù)長度這一項(xiàng)，各試驗(yàn)組沒有差別。而嵌入維數(shù)m和閾值r需采取控制變量的辦法，選取樣本熵變化率最小的參數(shù)作為結(jié)果。

3.2.1 嵌入維數(shù)m 的選取這一參數(shù)一般取值范圍為1～4［14］。本研究采用其中5 位測試者的采集視頻，同樣經(jīng)過歐拉視頻放大處理后，分別對3通道的視頻進(jìn)行相同的ROI位置的處理，提取脈搏波信號。令閾值r固定（r=0.15Ds），其次分析當(dāng)m取不同值（m=1,2,3,4）時，樣本熵的變化情況，結(jié)果如表1所示（其中測試者以A、B、C、D、E代替）。

表1可以看出一些關(guān)于樣本熵的變化情況，其中變化情況是指數(shù)據(jù)浮動的范圍，以此判斷樣本熵的穩(wěn)定程度。經(jīng)計算，可以看出，在m=2時樣本熵的變化最小，這表明其對樣本熵的影響最小，所以本研究以m=2為嵌入維數(shù)的選擇參考值。

表1 測試者的樣本熵（閾值r值固定）Tab.1 Sample entropies of subjects(threshold r remain unchanged)

3.2.2 閾值r 的選取在對于閾值r的選取問題上，r的取值范圍一般為0.10Ds～0.25Ds［19］。本次試驗(yàn)中仍以5 位測試者的視頻進(jìn)行驗(yàn)證，令嵌入維數(shù)m=2，分析在不同的閾值r（r=0.10Ds、0.15Ds、0.20Ds、0.25Ds）的情況下，整體的樣本熵變化情況如表2所示。

表2 測試者樣本熵（嵌入維數(shù)m值固定）Tab.2 Sample entropies of subjects(the number of embedded dimensions m remained unchanged)

由表2可以看出，當(dāng)閾值r取0.15Ds時，其樣本熵的變化程度最小，所以，在本試驗(yàn)研究的背景下，閾值r取0.15Ds時，整個數(shù)據(jù)能得到最好的效果。

3.3 多尺度樣本熵計算

3.3.1 視頻通道的選擇為探究在本試驗(yàn)過程中應(yīng)用哪一通道可得到更好的試驗(yàn)效果，通過計算單一尺度下的樣本熵，判斷哪個通道可以作為提取信號的通道，依據(jù)上述試驗(yàn)過程，其中m=2，r=0.15SD（SD為原始序列的標(biāo)準(zhǔn)差），取10位測試志愿者，分成10組，進(jìn)行歐拉視頻放大，分別計算10位測試者對應(yīng)放大以后的視頻，R、G、B 3個通道，分別計算對應(yīng)每個視頻的R、G、B 3個通道中各自的樣本熵值，結(jié)果如圖3所示。

如圖3所示，其中X 軸上1、2、3 分別對應(yīng)R、G、B 3 個通道，Y 軸表示其樣本熵值。共10 組測試者，其中8 組數(shù)據(jù)在同一視頻試驗(yàn)組中都呈現(xiàn)出G 通道的樣本熵值最低，表明此通道信號的復(fù)雜度較低［13］。在選擇通道的問題上可以確定G 通道可作為提取視頻信號的通道。

圖3 測試者RGB通道樣本熵值Fig.3 Sample entropies in RGB channels of subjects

3.3.2 尺度因子的確定由于時間序列復(fù)雜度準(zhǔn)確性會隨著尺度的增加而減?。?0］，為確定合適準(zhǔn)確的尺度因子，以一組脈搏波信號為例進(jìn)行試驗(yàn)，試驗(yàn)結(jié)果如圖4所示，從圖中可以看出該試驗(yàn)的樣本熵在尺度小于4 的時候，變化情況較為穩(wěn)定，當(dāng)尺度從4 到10的時候，樣本熵的值增幅較大，不穩(wěn)定。所以，本試驗(yàn)的尺度因子為1～4較為合理。

圖4 多尺度樣本熵分析Fig.4 Multi-scale sample entropy analysis

3.3.3 心率測量比較為進(jìn)一步驗(yàn)證試驗(yàn)的準(zhǔn)確性，考量經(jīng)過歐拉視頻放大技術(shù)以后的脈搏信號能否提取到真實(shí)的心率信息，其試驗(yàn)結(jié)果（圖5和圖6）與接觸式脈搏血氧儀（魚躍牌電子血壓計，符合醫(yī)藥行業(yè)標(biāo)準(zhǔn)）同步進(jìn)行對比分析。取10組測試者，每人進(jìn)行非接觸式和同步接觸式心率測量各1次。對其所得脈搏數(shù)據(jù)采用Bland-Altman法對本試驗(yàn)與脈搏血氧儀進(jìn)行一致性評估，置信率取95%（1.96標(biāo)準(zhǔn)差），結(jié)果如圖7所示。

從圖7可以看出，對所測數(shù)據(jù)作符合度分析，標(biāo)準(zhǔn)方差為2.515，95%的置信區(qū)間為［-6.5,6.1］，可說明本文心率測量方法與脈搏血氧儀具有較好的一致性。在經(jīng)過歐拉視頻放大技術(shù)以后，脈搏信號可提取相應(yīng)心率的生理參數(shù)信息。

圖5 歐拉放大前的脈搏波信號Fig 5 Pulse wave signals before Euler amplification

圖6 歐拉放大后的脈搏波信號Fig.6 Pulse wave signals after Euler amplification

圖7 Bland-Altman 法估計兩種測量方法結(jié)果的一致性Fig.7 Consistency of the results of two measurement methods estimated by Bland-Altman method

3.3.4 放大前后的樣本熵比較為了更好地比較歐拉視頻放大技術(shù)在脈搏波信號分析尤其是動態(tài)心率檢測中的作用，將信號以波峰的位置為準(zhǔn)進(jìn)行處理，使其分成多個時間間隔，以表示每次搏動的時間間隔，由于在每次搏動中都存在微小變化，用瞬時心率的概念進(jìn)行檢測，即利用每次搏動的時間間隔的倒數(shù)表示其瞬時心率，對其進(jìn)行編碼并將每段數(shù)值進(jìn)行樣本熵分析，最終進(jìn)行放大前后效果的比對。使用Matlab 中的findpeaks 函數(shù)進(jìn)行運(yùn)算，將函數(shù)的波峰處進(jìn)行標(biāo)記，對每次搏動的時間間隔進(jìn)行計算并編碼。對其進(jìn)行樣本熵計算，由前面試驗(yàn)所知，設(shè)置參數(shù)閾值r取0.15Ds，嵌入維數(shù)m=2，尺度為4。計算結(jié)果如圖8所示。

圖8 放大前后的樣本熵Fig.8 Sample entropies before and after amplification

從圖8測試結(jié)果可以看出脈搏信號放大前后樣本熵的變化情況，兩者在整體數(shù)值上差別不大，整體趨勢相似，范圍為0.5～0.7，從數(shù)值上看，放大后的樣本熵數(shù)值比放大前略低。圖5～圖7的試驗(yàn)表明放大前后保持基本脈率，但信號的復(fù)雜度有所降低且放大以后更穩(wěn)定，呈現(xiàn)更為明顯的周期性。

3.4 試驗(yàn)分析

上述試驗(yàn)過程主要針對歐拉視頻放大技術(shù)在比較方面解決兩個問題：一個是通過應(yīng)用樣本熵的分析，確定在視頻RGB通道中，使用哪個通道能使信號熵值更低，效果更好；另一個是通過樣本熵這一數(shù)值比較放大前后的信號復(fù)雜度。通過以上試驗(yàn)得出以下結(jié)論：（1）從圖3可以明顯看出，在測試的10 位測試者中，在同一個視頻中提取的脈搏信號，G 通道的熵值最低，復(fù)雜度最低，也是最能表達(dá)信號穩(wěn)定性的狀態(tài)。（2）在研究脈搏信號的樣本熵分析過程中，數(shù)據(jù)長度在500 的時間序列，適合采用嵌入維數(shù)m=2，閾值r=1.5Ds，能取得較好的試驗(yàn)結(jié)果。通過將信號利用峰值點(diǎn)分割，計算瞬時心率，分段進(jìn)行樣本熵計算，與放大前的原始信號熵值進(jìn)行比對，熵值整體差別不大，但經(jīng)過放大處理后的信號熵值略低。表明經(jīng)過歐拉視頻放大技術(shù)前后保持基本脈率，歐拉視頻放大技術(shù)對數(shù)據(jù)的復(fù)雜度方面有較大的減弱作用，使其信號結(jié)果更加穩(wěn)定。

4 結(jié)語

本文研究了基于樣本熵的脈搏波信號比較算法，以歐拉視頻放大技術(shù)為核心，對其實(shí)現(xiàn)的原理和方法進(jìn)行理論定義和描述，從兩個方面進(jìn)行比較，一個是顏色空間通道RGB，比較哪一通道信號的效果最好；另一個是從視頻放大前后的角度，比較信號的樣本熵變化。通過上述過程，更加深刻地說明了樣本熵比較方法對于計算和衡量時間序列復(fù)雜度方面的價值。