RGB圖像高光譜重建的組織血氧飽和度評估

王雨晨,孔令琴,3*,趙躍進(jìn),3,董立泉,3*,劉 明,3,惠 梅

1. 北京理工大學(xué)光電學(xué)院,北京 100081 2. 精密光電測試儀器及技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室,北京 100081 3. 北京理工大學(xué)長三角研究院(嘉興),浙江 嘉興 314019

引 言

組織血氧飽和度(tissue oxygen saturation,StO2)是指組織微循環(huán)中的血氧飽和度,反映身體實(shí)時氧氣輸送和消耗情況,其范圍從靜脈血氧飽和度的60%到動脈血氧飽和度的98%。臨床上,StO2是血液灌注和血液氧合變化的重要指標(biāo),因此用作血管疾病或各種組織的血氧狀態(tài)監(jiān)測。如對肺和心血管功能的監(jiān)測,中樞低血容量和低血容量休克癥狀的評估,以及糖尿病足潰瘍的創(chuàng)口評估等。測量StO2的傳統(tǒng)方法要求探測器直接接觸被測組織,這對于臨床上多數(shù)有受傷創(chuàng)面的皮膚而言是不現(xiàn)實(shí)的,且在空間上不能對區(qū)域StO2信息有完整描述。

高光譜成像(hyperspectral imaging,HSI)作為一種新型的、非接觸式的光學(xué)診斷技術(shù),兼具空間與光譜高分辨率的特點(diǎn),在高精度生理參數(shù)測量以及相關(guān)疾病診斷方面具有明顯優(yōu)勢[1-2],其對StO2的測量結(jié)果可以以StO2空間分布圖的形式呈現(xiàn)。HSI結(jié)合成像和光譜的混合模式,在二維檢測器陣列的每個像素處收集光譜信息,產(chǎn)生空間和光譜信息的三維數(shù)據(jù)集。其豐富的圖像信息和光譜信息為臨床醫(yī)學(xué)提供了一種有效的輔助診斷手段,具有巨大的發(fā)展?jié)摿Α?/p>

由于生物組織中的含氧血紅蛋白、脫氧血紅蛋白、黑色素等生色團(tuán)對不同波長光的吸光度不同,導(dǎo)致其漫反射光譜存在明顯的光學(xué)特性差異。高光譜成像技術(shù)通過采集其高光譜圖像,采用特定的評估方法建立合適的高光譜成像人體皮膚組織評估模型可以得到組織區(qū)域中含氧血紅蛋白、脫氧血紅蛋白等人體組織發(fā)色團(tuán)的含量從而得到特定區(qū)域的StO2空間分布圖。Zuzak等利用高光譜成像系統(tǒng)可視化特定皮膚組織區(qū)域中氧合血紅蛋白和脫氧血紅蛋白百分比的空間分布[3]。Jakovels等使用多光譜成像系統(tǒng)Nuance 2.4(美國劍橋研究與儀器公司)進(jìn)行活體皮膚的光譜成像并分析得到含氧、脫氧血紅蛋白和黑色素相對濃度的二維圖譜[4]。然而高光譜設(shè)備通常結(jié)構(gòu)復(fù)雜,價格昂貴,且操作繁瑣,影響了其臨床推廣以及日常監(jiān)測的普及。

傳統(tǒng)工業(yè)相機(jī)獲取皮膚組織的RGB圖像空間分辨率高、但其光譜分辨率低,若能提高光譜分辨,則其實(shí)現(xiàn)高精度生理參數(shù)測量成為可能,因此很多學(xué)者展開了針對RGB圖像的高光譜重建方法的研究。RGB圖像可以看作高分辨光譜圖像在光譜維度上的積分。若已知高光譜圖像,則可以計(jì)算唯一與之對應(yīng)的低分辨光譜圖像,而已知低分辨光譜圖像,則可得到多個滿足條件的高分辨光譜圖像,高光譜重建是一個欠定問題。Kim等利用RGB圖像采用多元回歸的方法實(shí)現(xiàn)了高光譜圖像重建,并實(shí)現(xiàn)了區(qū)域血紅蛋白濃度的可視化[5]。Sang等基于統(tǒng)計(jì)學(xué)習(xí)的方法,從眼瞼區(qū)域RGB圖像中重建高光譜圖像,實(shí)現(xiàn)無創(chuàng)評估血液中的Hgb濃度[6]。但該研究重建的眼瞼部位特殊,其不受黑色素影響且圖像空間變化單一,同時采用淺層學(xué)習(xí)構(gòu)建的重建模型表達(dá)力有限,無法適用于空間變化復(fù)雜的其他皮膚區(qū)域。深度學(xué)習(xí)擁有強(qiáng)大的泛化能力和表達(dá)能力,隨著CNN(convolutional neural networks)在高光譜圖像的重建中的成功應(yīng)用,眾多團(tuán)隊(duì)嘗試使用多種網(wǎng)絡(luò)結(jié)構(gòu)來實(shí)現(xiàn)高光譜重建,如使用生成對抗網(wǎng)絡(luò)[7]、深度殘差網(wǎng)絡(luò)[8]、自適應(yīng)加權(quán)注意力網(wǎng)絡(luò)[9]等,這些研究使得深度學(xué)習(xí)在高光譜重建上的表現(xiàn)越來越強(qiáng)大。基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的皮膚組織區(qū)域光譜重建進(jìn)而實(shí)現(xiàn)生理參數(shù)評估的方法也被提出。Sharma等利用深度學(xué)習(xí)的方法對手臂皮膚區(qū)域RGB圖像在近紅外光譜波段進(jìn)行重建用以實(shí)現(xiàn)靜脈可視化[10]。Jolivot等利用人工神經(jīng)網(wǎng)絡(luò)為從皮膚區(qū)域多光譜數(shù)據(jù)到高光譜信息的重建提供了結(jié)合二維空間信息的皮膚光學(xué)反射光譜數(shù)據(jù)[11],但并沒有針對重建的反射光譜開展后續(xù)的生理參數(shù)評估,同時其輸入是多光譜數(shù)據(jù),成像系統(tǒng)也較為復(fù)雜。目前,使用深度學(xué)習(xí)方法將RGB圖像重建為高光譜圖像用于區(qū)域StO2成像方面的研究報道較少。

基于此,我們提出了一種基于RGB圖像高光譜重建的區(qū)域StO2測量方法。該方法通過不同固緊時長控制手指的StO2狀態(tài),采集不同人在不同血氧含量狀態(tài)下的手部RGB和高光譜圖像對作為訓(xùn)練集,基于深度學(xué)習(xí)構(gòu)建了RGB圖像到高光譜圖像的重建模型,獲得了高物理可靠性皮膚組織高光譜圖像,并利用改進(jìn)的朗伯比爾模型,最終實(shí)現(xiàn)了區(qū)域StO2評估。

1 理論與方法

1.1 RGB三通道到高光譜的重建

實(shí)現(xiàn)人體組織RGB圖像的漫反射光譜重建,首先需要明確低維RGB圖像與高維高光譜圖像關(guān)系。工業(yè)相機(jī)所拍攝的手部三色圖像中的某點(diǎn)(x,y)的光譜與高光譜圖像中該點(diǎn)的光譜有如式(1)關(guān)系

r(x,y)3×1=S3×Nt(x,y)N×1

(1)

式(1)中,r(x,y)3×1代表了該點(diǎn)R、G、B三通道的顏色強(qiáng)度值,r(x,y)3×1=[I(R),I(G),I(B)];S是一個3×N矩陣,它來自于三色傳感器的光譜響應(yīng);t(x,y)N×1是光譜反射強(qiáng)度隨波長變化的N×1向量,其中N代表了高維反射光譜的離散光譜通道數(shù)。因此,由R,G,B三通道獲取N個光譜通道反射光譜的過程可以用如式(2)模型表述

t(x,y)N×1=XN×3r(x,y)3×1

(2)

式(2)中,XN×3=(S3×N)-1。

基于上述分析可知,只要求得變換矩陣XN×3,就可以實(shí)現(xiàn)RGB到高光譜圖像的轉(zhuǎn)化,但X的求解是一個欠定問題,即一組RGB值對應(yīng)多組可能的光譜數(shù)據(jù)。同時不同光譜成分和不同光線入射角度的變化,使得從RGB三通道值計(jì)算反射光譜成為一個十分困難的問題。深度學(xué)習(xí)方法以良好的表達(dá)能力和較強(qiáng)的泛化能力,在高光譜重建的求解上表現(xiàn)出更好的性能。具體而言,深度學(xué)習(xí)方法通過采集大量RGB—高光譜數(shù)據(jù)對的集合,將該欠定方程轉(zhuǎn)換為可通過回歸方法求解的超定問題,即

TN×m=XN×3R3×m

(3)

式(3)中,TN×m和R3×m是通過將m個不同測量值tN×1和r3×1(即訓(xùn)練數(shù)據(jù)集)疊加而成。通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型求解該映射關(guān)系,即可從新的RGB信號r中預(yù)測出其對應(yīng)的皮膚漫反射光譜t。

HRNet(hierarchical regression network)模型是一個4層分層回歸網(wǎng)絡(luò)[12],其中像素混合層作為層間交互。采用剩余密集塊去除真實(shí)世界RGB圖像的偽影,并采用剩余全局塊建立注意機(jī)制來擴(kuò)大感知場,可被用于室外大場景可見光波段數(shù)據(jù)集的RGB圖像光譜重建。而皮膚組織的光譜特性有別于室外可見光場景,重建的光譜模型在皮膚發(fā)色團(tuán)的特征光譜區(qū)域需要具備更高的精確度才能基于重建光譜實(shí)現(xiàn)生理參數(shù)的準(zhǔn)確檢測。因此,適用于人體皮膚組織的模型建立是更為復(fù)雜的。本工作基于HRNet模型采集并處理得到了適合于非接觸成像評估StO2的皮膚組織RGB-HSI數(shù)據(jù)集,訓(xùn)練了新的重建模型。

為了評估整個數(shù)據(jù)集的測量反射光譜和重建反射光譜之間的相似性,使用擬合良好度指標(biāo)平均絕對誤差(mean absolute error,MAE)和均方誤差(root mean square error,RMSE)來評價重建模型的性能:

MAE是計(jì)算生成的光譜圖像Yr和真值Ygt的所有光譜通道之間的平均絕對值誤差,表示網(wǎng)絡(luò)的構(gòu)造質(zhì)量。

(4)

式(4)中,N表示光譜圖像的不同光譜通道數(shù)。在此N取31。

RMSE是真值和重建光譜圖像在N個光譜通道之間的均方根誤差。

(5)

1.2 基于重建的高光譜圖像評估StO2

從重建后的高光譜圖像中提取StO2信息,現(xiàn)有的方法主要有蒙特卡洛仿真[13]、高斯疊加[4]、模糊聚類[14]、最小二乘[15]等,本研究中采用了基于朗伯比爾模型的最小二乘算法,該方法相對于其他StO2評估方法,處理高光譜數(shù)據(jù)的計(jì)算量較小且限制條件較少,適用場景廣泛,被較多用于StO2的非接觸監(jiān)測[15-16]。朗伯比爾定律如式(6)所示

A=εceff

(6)

式(6)中,ε是材料的摩爾消光系數(shù)(cm-1·mol-1·L-1),ceff是吸收劑的有效濃度(10-3mol·cm-2),代表每單位面積吸收劑的摩爾濃度?？梢姽庵两t外范圍內(nèi)(400～1 000 nm),人體皮膚組織的主要發(fā)色團(tuán)有脫氧血紅蛋白、含氧血紅蛋白、黑色素。故式(6)展開為

A=εHbCHb+εHbO2cHbO2+εmelanincmelanin

(7)

由于光子在被散射到非均勻人體組織內(nèi)的不同路徑中其中一些光子在多次散射后丟失,只留下一小部分光子沿著路徑被探測器收集。因此基于改進(jìn)的朗伯比爾定律,則吸光度A被進(jìn)一步表達(dá)為

A=εHbcHb+εHbO2cHbO2+εmelanincmelanin+G

(8)

本工作中,高光譜相機(jī)采集的各個波長對應(yīng)的含氧血紅蛋白、脫氧血紅蛋白和黑色素的摩爾消光系數(shù)εHb,εHbO2,εmelanin均來自之前研究者測量的標(biāo)準(zhǔn)數(shù)據(jù)[17-18]經(jīng)過插值后得到。G是由于散射而損失的光子部分,是一個常數(shù),與波長無關(guān)。每一像素點(diǎn)中各個波長的吸光度A(x,y,λ)由高光譜相機(jī)測得

(9)

式(9)中,R(x,y,λ)是被測組織在實(shí)驗(yàn)照明系統(tǒng)下的反射光譜,It(x,y,λ)是被測組織在實(shí)驗(yàn)照明系統(tǒng)下的高光譜圖像,B(x,y,λ)是鏡頭完全關(guān)閉下的高光譜圖像(黑板),Ic(x,y,λ)是標(biāo)準(zhǔn)反射率白板在實(shí)驗(yàn)照明系統(tǒng)下的高光譜圖像,其在250～2 500 nm的光譜范圍內(nèi)反射率為0.98,x和y是像素坐標(biāo),λ是波長。高光譜圖像都是以14-bit數(shù)據(jù)超立方體的形式存儲。

通過使用最小二乘法(the least mean squares method)解等式(6)從而得到各發(fā)色團(tuán)的有效濃度ceff和常數(shù)G

cmod=(E′E)-1E′A

(10)

式(10)中,cmod是一個模擬的有效濃度矩陣,包括發(fā)色團(tuán)的有效濃度(cHb、cHbO2、cmelanin)和散射常數(shù)(G),E是摩爾消光系數(shù)矩陣,A是高光譜相機(jī)得到對應(yīng)的各個光譜通道下的吸光度集合。StO2最終由式(11)計(jì)算得出

(11)

綜上所述,我們提出的基于RGB圖像高光譜重建的StO2評估方法流程如圖1所示。利用高光譜相機(jī)與可見光相機(jī),通過手指不同固緊時長下的固緊實(shí)驗(yàn)獲得不同血氧狀態(tài)下的RGB-HSI數(shù)據(jù)對,將其作為數(shù)據(jù)集。構(gòu)建基于深度學(xué)習(xí)的RGB到皮膚反射光譜的重建模型,進(jìn)而獲得皮膚漫反射光譜。然后通過改進(jìn)的朗伯比爾模型最終獲得區(qū)域StO2空間分布圖。

圖1 基于RGB圖像高光譜重建的StO2評估方法流程圖Fig.1 Flow chart of StO2 assessment method based on hyperspectral reconstruction from RGB images

2 實(shí)驗(yàn)部分

2.1 儀器與樣本

圖2展示了整個RGB-HSI雙成像實(shí)驗(yàn)裝置示意圖以及實(shí)物圖。鹵素?zé)艄庠凑丈渲潦茉囌呤植?經(jīng)手部漫反射后的光由高光譜儀(Gaiafield Pro-V10中國雙利合譜)與普通工業(yè)相機(jī)(BFLY-U3-23S6C-C,FLIR)同時采集,采集到的數(shù)據(jù)經(jīng)數(shù)據(jù)線傳送至計(jì)算機(jī)(personal computer,PC)進(jìn)行處理。其中高光譜相機(jī)的光譜分辨率為3.5 nm,掃描速度為15 s·cube-1,有效光譜通道數(shù)為360個,光譜波長范圍387～999 nm。

圖2 (a) 獲取高光譜和RGB圖像數(shù)據(jù)的雙成像系統(tǒng)示意圖;(b) 獲取高光譜和RGB圖像數(shù)據(jù)的雙成像系統(tǒng)實(shí)物圖,它包括一個實(shí)驗(yàn)臺、RGB-HSI雙成像裝置、一臺PC機(jī)、一個朝著拍攝區(qū)域照亮場景的鹵素?zé)鬎ig.2 (a) Schematic of a dual-imaging system for acquiring hyperspectral and RGB image data;(b) a physical image of a dual-imaging system for acquiring hyperspectral and RGB image data,including a test bed,an RGB-HSI dual-imaging device,a PC,and a halogen lamp to illuminate the scene toward the shooting area

實(shí)驗(yàn)中,采集了49名健康受試者的高光譜圖像,其中男性28名,女性21名,年齡在20～30歲之間。受試者均為亞洲人,可忽略膚色差異。實(shí)驗(yàn)中,高光譜相機(jī)與可見光相機(jī)置于離受試部位30 cm處。受試者被要求盡量保持受試部位(手部)靜止,同時,采用鹵素?zé)糇鳛樘綔y光源。每位受試者均采集受試部位、白板及鏡頭關(guān)閉后黑板的高光譜圖像。

我們采用橡皮筋固緊手指的方式,通過固緊時長來控制手指的含氧量,以獲得不同含氧狀態(tài)下的圖像數(shù)據(jù),拓展數(shù)據(jù)集中StO2含量的多樣性,提高模型的泛化能力。具體為在食指第一指關(guān)節(jié)部位捆綁橡皮筋以切斷靜脈回流。對于中指,將橡皮筋通過向下擠血的動作使之固緊在中指第三指關(guān)節(jié)部位。其他手指則不做操作用作健康的參考手指。共采集了49位受試者處于4種不同狀態(tài)下(正常狀態(tài)、固緊30 s,固緊90 s,固緊150 s)共188組手部高光譜和RGB圖像有效實(shí)驗(yàn)數(shù)據(jù)。該實(shí)驗(yàn)方案符合相關(guān)倫理規(guī)程,并經(jīng)過北京理工大學(xué)醫(yī)學(xué)和實(shí)驗(yàn)動物醫(yī)學(xué)倫理委員會批準(zhǔn),批準(zhǔn)代碼為2021-004。

2.2 高光譜重建模型的構(gòu)建

2.2.1 高光譜圖像預(yù)處理

高光譜相機(jī)采集到387～999 nm數(shù)據(jù)光譜,含360個光譜通道,數(shù)據(jù)量較大,這將為神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練帶來巨大的運(yùn)算量,且原始光譜中噪聲較多。為降低數(shù)據(jù)冗余度并減小運(yùn)算量便于后續(xù)重建,在考慮原有發(fā)色團(tuán)光譜特征的基礎(chǔ)上,對原始高光譜數(shù)據(jù)進(jìn)行降采樣,最終降維獲得該波段范圍內(nèi)的123個光譜通道數(shù)據(jù)。針對圖像中椒鹽噪聲較多的問題,我們采用了3×3模板的中值濾波器對高光譜圖像進(jìn)行濾波。

在理論與方法一節(jié)中提到,基于改進(jìn)朗伯比爾模型以及最小二乘法擬合來從高光譜數(shù)據(jù)中提取StO2信息。為此選擇一個合適的波段子集尤為重要,不同的波段子集會對最小二乘法的擬合影響較大。已有研究結(jié)果表明,脫氧血紅蛋白(deoxyhemoglobin)與含氧血紅蛋白(oxyhemoglobin)兩個發(fā)色團(tuán)有不同的光譜吸收特征,兩者的標(biāo)準(zhǔn)消光系數(shù)曲線存在差異,這一差異在500～600 nm波段最為明顯,如圖3(a)所示。本工作通過手指捆綁實(shí)驗(yàn)驗(yàn)證了這點(diǎn),如圖3(b)為實(shí)驗(yàn)中食指第一指關(guān)節(jié)與中指第三指關(guān)節(jié)通過捆綁產(chǎn)生缺氧狀態(tài)、其余指為正常狀態(tài)下的可見光圖片。鑒于活體皮膚漫反射光譜受脫氧血紅蛋白、含氧血紅蛋白發(fā)色團(tuán)的調(diào)制,正常狀態(tài)與缺氧狀態(tài)下的漫反射光譜存在差異。如圖3(c)分別對應(yīng)圖3(b)中A、B、C三點(diǎn)的反射光譜。正常手指A(normal)處組織含氧量較高,其500～600 nm的反射光譜特征與含氧血紅蛋白的吸收光譜特對應(yīng),存在明顯的“W”峰,如圖3(c)中紅色曲線。缺氧指B(abnormal1)、C(abnormal2)處組織含氧量較低,其500～600 nm的反射光譜與脫氧血紅蛋白的吸收光譜特征相對應(yīng),無明顯“W”峰,如圖3(c)中藍(lán)、綠色曲線所示。

圖3 (a) 脫氧血紅蛋白(deoxyhemoglobin)和含氧血紅蛋白(oxyhemoglobin)的標(biāo)準(zhǔn)消光系數(shù)曲線[19];(b) 手部可見光圖片(食指第一指關(guān)節(jié)與中指第三指關(guān)節(jié)通過固緊產(chǎn)生缺氧,其余指正常);(c) 圖3(b)中A、B、C三點(diǎn)對應(yīng)的皮膚漫反射光譜Fig.3 (a) Standard extinction coefficient curves of deoxyhemoglobin and oxyhemoglobin [19];(b) visible-light pictures of the hand (the first finger joint of the index finger and the third finger joint of the middle finger are hypoxic by fastening,and the other three fingers are normal) ;(c) the skin diffuse reflectance spectra of the parts A,B and C at fingers as shown in Fig.3(b)

基于脫氧血紅蛋白、含氧血紅蛋白的特征反射光譜在500～600 nm這一事實(shí),為了盡可能包含更多皮膚組織光譜信息,同時考慮到450 nm以下的光可能無法穿透皮膚組織足夠深以到達(dá)血管,而600 nm以上皮膚組織的光反射率急劇上升[如圖3(c)],在這個波段提取血氧濃度信息對實(shí)際測量精度要求較高,因此選擇450～600 nm波段(含31個光譜通道)作為重建波段實(shí)現(xiàn)StO2的評估,即可減小模型擬合的誤差,同時有效減少數(shù)據(jù)量,提高重建速度。

將高光譜相機(jī)采集獲得的不同含氧狀態(tài)下的手部高光譜圖像,利用改進(jìn)的朗伯比爾模型,可以生成該波段下(450～600 nm)的StO2空間分布圖。圖4為正常狀態(tài)(normal hand)以及不同固緊時長狀態(tài)下的手部RGB圖像[圖4(a)]及利用高光譜圖像生成的StO2空間分布圖[圖4(b)]。從圖中可以明顯看出隨著捆綁時間的增加,被束縛手指部位StO2值逐漸下降,其最終缺氧狀態(tài)值接近經(jīng)驗(yàn)估計(jì)值(30%左右),其余正常手指部位含氧量正常(90%以上),該實(shí)驗(yàn)表明,證明了本文選取的450～600 nm波段下高光譜圖像可有效評估StO2。

2.2.2 模型實(shí)施及訓(xùn)練

共采集了188組手部高光譜和RGB圖像有效數(shù)據(jù)。為避免背景區(qū)域?qū)ζつw區(qū)域重建效果的影響,通過閾值處理的方法對圖像進(jìn)行預(yù)處理去除背景噪聲。同時,為了減少網(wǎng)絡(luò)的過擬合,得到泛化能力更強(qiáng)的網(wǎng)絡(luò),進(jìn)行了數(shù)據(jù)集增廣,通過在空間上對RGB和高光譜圖像分別進(jìn)行鏡面、旋轉(zhuǎn)90°以及鏡面組合旋轉(zhuǎn)90°的三種空間處理方式來擴(kuò)充數(shù)據(jù)集,將數(shù)據(jù)集擴(kuò)展到原來四倍。將獲得的188×4=752組RGB-HSI數(shù)據(jù)對隨機(jī)劃分訓(xùn)練集和測試集,其中訓(xùn)練集含有720組樣本,測試集含有32組樣本,每組樣本含有一張RGB圖像和與其區(qū)域?qū)?yīng)的31個光譜通道的高光譜圖像。

在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練配置上設(shè)置batchsize為16,初始學(xué)習(xí)率0.000 1,epoch=3 000,學(xué)習(xí)率衰減系數(shù)為0.5,每1 000輪衰減一次。該模型在Pytorh中實(shí)現(xiàn),并在4個具有12 GB內(nèi)存的NVIDIA TITAN GPU上進(jìn)行訓(xùn)練。

3 結(jié)果與討論

3.1 高光譜重建模型性能評估

首先對總體高光譜重建模型進(jìn)行了驗(yàn)證分析,對測試集中的32組測試集樣本進(jìn)行了評估。32組樣本的平均MAE為0.009 38,平均RMSE為0.014 81。

之后對重建特征點(diǎn)的光譜細(xì)節(jié)進(jìn)行了評估。如圖5所示,其中圖5(a)為測試集中某一組樣本的RGB圖片,其中食指第一指關(guān)節(jié)與中指第三指關(guān)節(jié)通過捆綁產(chǎn)生缺氧狀態(tài)、其余指為正常狀態(tài)。圖5(b)為選擇手部3個手指對應(yīng)了3個不同含氧狀態(tài)的位置(A,B 和C)的重建反射光譜(Reconstruction),與3點(diǎn)真值的反射光譜(ground truth,GT)進(jìn)行比較。兩者在數(shù)值和趨勢上都大致相同,從圖5(b)中可以看出,藍(lán)色對應(yīng)區(qū)域的重建光譜整體有少量偏移,主要原因是這一區(qū)域亮度較高,而重建模型對于光強(qiáng)整體亮度的變化并不敏感所致,這在今后的重建模型中有待改進(jìn)。

圖5 (a) 食指第一指關(guān)節(jié)與中指第三指關(guān)節(jié)通過捆綁產(chǎn)生缺氧狀態(tài)、其余指為正常狀態(tài)下的手部可見光圖片;(b) 選擇手部不同手指對應(yīng)不同含氧狀態(tài)的三點(diǎn)的重建反射光譜(Reconstruction)以及真值的反射光譜(GT)進(jìn)行比較(450～600 nm)Fig.5 (a) The visible light image of a hand in the test set. It shows the first knuckle of index finger and the third knuckle of middle finger being hypoxia by fastening and other three fingers being normal;(b) Reconstructed reflectance spectra of three parts of hand with different levels of oxygen in blood and their measured reflectance spectra (GT) for comparison (450～600 nm)

為進(jìn)一步說明重建光譜準(zhǔn)確性,對三個不同位置(position)點(diǎn)的重建光譜與真實(shí)光譜之間的MAE和相關(guān)系數(shù)(correlation coefficient)做了評估,如表1所示,可知兩者在相關(guān)性(相關(guān)系數(shù))與數(shù)值(MAE)上都十分接近,驗(yàn)證了模型的可靠性。

表1 根據(jù)圖5(a)中(A、B、C)三個位置處重建光譜與真實(shí)光譜數(shù)據(jù)計(jì)算得到的兩者之間的MAE和相關(guān)系數(shù)Table 1 MAE and correlation coefficients between the reconstructed spectra and the real spectra at the three positions (A,Band C) in Fig.5(a) are calculated

3.2 兩種成像裝置生成的StO2空間分布圖對比

在評估兩種成像裝置生成的StO2空間分布圖之前,首先分別對脫氧血紅蛋白和含氧血紅蛋白的重建進(jìn)行了評估,圖6為由高光譜數(shù)據(jù)直接得到與RGB數(shù)據(jù)重建后得到的脫氧血紅蛋白含量分布圖(deoxyhemoglobin map)以及含氧血紅蛋白含量分布圖(oxyhemoglobin map)。由圖6(a)高光譜圖像直接得出的脫氧血紅蛋白以及含氧血紅蛋白含量分布中可以看出,食指上部由于橡皮筋阻止了血液流動造成了血瘀和組織高吸氧,這使得局部區(qū)域脫氧血紅蛋白含量大幅上升(0～0.5之間),含氧血紅蛋白含量降低(0～0.4之間),整體血氧飽和度降低。而中指固緊150秒后,脫氧血紅蛋白含量有少量增加(0～0.3之間),含氧血紅蛋白含量則幾乎完全消耗殆盡。這是由于將血液排空并阻斷靜脈回流。但考慮到實(shí)驗(yàn)中用橡皮筋并未能完全排空血液加之局部氧合現(xiàn)象導(dǎo)致該區(qū)域脫氧血紅蛋白含量略有增加。而這些現(xiàn)象在圖6(b)由RGB重建圖像得到的脫氧血紅蛋白、含氧血紅蛋白含量分布中也有明顯體現(xiàn)。

在此基礎(chǔ)上,對比分析了RGB重建高光譜圖像與直接采集到的高光譜圖像生成的StO2空間分布圖。圖7為某一受試者手部在正常狀態(tài)、捆綁30 s、捆綁90 s、捆綁150 s下,原始RGB圖像[圖7(a)]、直接采集的高光譜圖像生成的StO2含量分布圖[圖7(b)]與經(jīng)過RGB圖像高光譜重建后生成的StO2含量分布圖[圖7(c)]。對比圖7(b)與圖7(c)可以發(fā)現(xiàn),RGB圖像與高光譜圖像獲得的StO2圖一致,StO2隨捆綁時間變長而降低。

圖7 某一受試者手部在正常狀態(tài)、捆綁30 s、捆綁90 s、捆綁150 s下的RGB圖像和StO2空間分布圖(a):RGB相機(jī)拍攝到的圖像;(b):由高光譜數(shù)據(jù)得到的StO2空間分布圖;(c):RGB圖像光譜重建后生成的StO2空間分布圖Fig.7 RGB images and StO2 spatial distributions of a subject’s hand in normal state,fastened for 30 seconds,90 seconds and 150 seconds(a):Image taken by an RGB camera;(b):StO2 spatial distribution map from hyperspectral data;(c):StO2 spatial distribution map based on spectral reconstruction of RGB image

同時,通過計(jì)算32組測試樣本的StO2空間分布圖的二維相關(guān)系數(shù)(2D correlation coefficient)對二者的相似性進(jìn)行了定量評估,其結(jié)果如圖8所示,圖中橫坐標(biāo)表示二維相關(guān)系數(shù)區(qū)間,縱坐標(biāo)表示該區(qū)間下的樣本數(shù)。從圖中可以看出樣本重建均處于可靠范圍內(nèi)(大于94%)。上述結(jié)果表明了本文提出的基于可見光重建的StO2評估方法具有較高的準(zhǔn)確性。

圖8 針對測試集(32組手部RGB-HSI數(shù)據(jù)對)中原始高光譜圖像生成的StO2空間分布圖與RGB重建高光譜圖像生成的StO2空間分布圖的二維相關(guān)系數(shù)直方圖Fig.8 The two-dimensional correlation coefficient histogram of StO2 spatial distribution map generated from original hyperspectral images in the test set (32 sets of hand RGB-HSI data pairs) and the StO2 spatial distribution map generated from RGB reconstructed hyperspectral images

4 結(jié) 論

提出并實(shí)驗(yàn)驗(yàn)證了基于RGB高光譜重建的區(qū)域StO2測量方法?；谏疃葘W(xué)習(xí)方法構(gòu)建了RGB圖像到皮膚組織高光譜圖像的重建模型,獲得了高物理可靠性皮膚組織高光譜圖像,并利用改進(jìn)的朗伯比爾模型,實(shí)現(xiàn)了區(qū)域StO2評估。手指捆綁實(shí)驗(yàn)結(jié)果表明,該方法可獲得不同血液灌注狀態(tài)下的StO2空間分布圖。同時對比實(shí)驗(yàn)結(jié)果表明,本文提出的RGB高光譜重建的區(qū)域StO2測量與高光譜相機(jī)測量結(jié)果一致。該研究利用普通彩色相機(jī)實(shí)現(xiàn)了區(qū)域StO2評估,為各種疾病的臨床診斷和監(jiān)測提供了一種簡單低成本的StO2監(jiān)測方法。在未來的工作中,作者將進(jìn)一步分析探測光源光強(qiáng)和入射角度變化對光譜重建以及StO2可視化所帶來的影響,提高StO2測量的精度及系統(tǒng)的穩(wěn)健性。