趙紫陽,林文偉,羅冠泰,曾亮,張陳濤*
(1.廈門大學(xué)航空航天學(xué)院,廈門 361102;2.福建(泉州)哈工大工程技術(shù)研究院,泉州 362000)
傷口測(cè)量是臨床醫(yī)學(xué)研究中一項(xiàng)重要的工作。在研究傷口愈合過程中,傷口尺寸是評(píng)價(jià)傷口愈合的關(guān)鍵指標(biāo),其精確性直接影響傷口愈合情況的評(píng)估及醫(yī)生治療方案的制定。
現(xiàn)有傳統(tǒng)的傷口測(cè)量方法有數(shù)格子法、直尺法、數(shù)碼相機(jī)測(cè)定法[1]。數(shù)格子法是將帶有網(wǎng)格透明紙覆蓋在被測(cè)傷口上,通過計(jì)算格子數(shù)量計(jì)算傷口尺寸這種接觸測(cè)量方式易導(dǎo)致傷口二次感染。直尺法采用直尺、軟尺等測(cè)量工具測(cè)量傷口長(zhǎng)度、寬度,測(cè)量誤差較大。數(shù)碼相機(jī)測(cè)定法采用彩色相機(jī)采集傷口圖像,再通過圖像處理計(jì)算傷口面積。Biagioni等[2]設(shè)計(jì)了基于智能手機(jī)的傷口區(qū)域測(cè)量軟件,通過識(shí)別特定標(biāo)定物及人工選取傷口區(qū)域,實(shí)現(xiàn)傷口面積的測(cè)量。Chino等[3]采用分割網(wǎng)絡(luò)將傷口區(qū)域與背景圖像進(jìn)行分割,實(shí)現(xiàn)了傷口測(cè)量。Foltynski[4]設(shè)計(jì)了應(yīng)用于傷口測(cè)量的一款手機(jī)軟件,通過手機(jī)鏡頭采集圖像,結(jié)合測(cè)量工具實(shí)現(xiàn)傷口尺寸測(cè)量。Privalov等[5]基于區(qū)域掩膜卷積神經(jīng)網(wǎng)絡(luò)技術(shù)(mask region-based convolutional neural network,Mask R-CNN)實(shí)現(xiàn)二維圖像上的傷口自動(dòng)分割與測(cè)量?;诙S圖像的機(jī)器視覺方法雖然可對(duì)傷口進(jìn)行非接觸式測(cè)量,避免對(duì)傷口造成二次傷害與感染,但缺少傷口的深度信息,無法對(duì)于復(fù)雜的三維傷口定性定量分析。三維點(diǎn)云比二維圖像能夠提供更多的傷口信息,能夠更為準(zhǔn)確、全面的進(jìn)行傷口評(píng)估[6-8]。David等[9]和劉春暉等[10]采用從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)技術(shù) (structure from motion,SFM)對(duì)體表傷口進(jìn)行三維重建,通過單攝像頭進(jìn)行三維傷口的定量測(cè)量,但SFM技術(shù)存在效率低且三維點(diǎn)云質(zhì)量不穩(wěn)定的問題,導(dǎo)致該方法測(cè)量速度慢、測(cè)量結(jié)果精度差。Damir等[11]采用深度相機(jī)對(duì)傷口進(jìn)行三維測(cè)量,在彩色圖像上通過顏色直方圖檢測(cè)傷口區(qū)域,再映射到深度圖上計(jì)算傷口參數(shù),該方法可自動(dòng)提取傷口區(qū)域,但測(cè)量結(jié)果易受外界環(huán)境光干擾。Ekare Inc[12]發(fā)布了一款基于深度相機(jī)和iPad的三維傷口掃描儀,測(cè)量誤差為5%,但該設(shè)備處理時(shí)間較長(zhǎng),完成一次傷口測(cè)量及報(bào)告需要約10 min,臨床使用多有不便,并且測(cè)量精度上仍有一定的優(yōu)化空間。
提出一種基于圖像分割和孔洞修復(fù)的三維傷口測(cè)量方法,通過非接觸式三維測(cè)量的方法解決現(xiàn)有傷口測(cè)量方法精度不足、穩(wěn)定性差、易造成傷口二次傷害、測(cè)量時(shí)間較長(zhǎng)的問題。該方法同時(shí)獲取傷口的彩色圖像與深度圖像信息,通過異源圖像對(duì)齊算法進(jìn)行數(shù)據(jù)融合,解決異源圖像由于視差導(dǎo)致的像素錯(cuò)位問題,再通過改進(jìn)的區(qū)域生長(zhǎng)法進(jìn)行交互式傷口區(qū)域分割,并使用RBF神經(jīng)網(wǎng)絡(luò)復(fù)原傷口表面,通過復(fù)原前后的傷口表面差異進(jìn)行三維測(cè)量。
測(cè)量傷口的流程如圖1所示,通過傷口表面三維信息精確計(jì)算傷口長(zhǎng)度、寬度、面積、最大深度及體積等信息。首先從彩色相機(jī)數(shù)據(jù)流中獲取傷口彩色圖像,從深度相機(jī)中的數(shù)據(jù)流中獲取傷口深度圖像;基于兩異源坐標(biāo)系間的轉(zhuǎn)換關(guān)系,結(jié)合相機(jī)內(nèi)外參標(biāo)定算法,將深度相機(jī)獲取的深度圖和移動(dòng)終端獲取的彩色圖進(jìn)行像素對(duì)齊;接著,采用交互式傷口區(qū)域分割方法精準(zhǔn)分割出傷口區(qū)域,計(jì)算傷口長(zhǎng)度、寬度和面積;最后,對(duì)傷口皮膚復(fù)原,計(jì)算傷口的最大深度和體積。
圖1 傷口測(cè)量方法流程Fig.1 Flow diagram of the wound dimensions measurement
從深度相機(jī)與彩色相機(jī)中分別采集傷口的深度圖像與彩色圖像,由于兩個(gè)相機(jī)的位置差異,所采集的圖像將產(chǎn)生由于視差導(dǎo)致的像素錯(cuò)位。由于需要建立彩色圖像和深度圖像間的像素映射關(guān)系,首先必需將異源相機(jī)間的圖像對(duì)齊。
世界坐標(biāo)系是描述真實(shí)世界的三維坐標(biāo)系,將鏡頭的光學(xué)中心設(shè)為原點(diǎn)。圖像坐標(biāo)系是指描述圖像傳感器成像平面的二維坐標(biāo)系,取圖像左上角的像素為原點(diǎn)。世界坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)化關(guān)系可表示為
(1)
對(duì)式(1)進(jìn)行轉(zhuǎn)化,得(u,v)和(x,y)之間的換算關(guān)系為
(2)
異源相機(jī)間的坐標(biāo)系轉(zhuǎn)換通常需要經(jīng)過3個(gè)步驟:①將深度相機(jī)采集的深度圖從圖像坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系,轉(zhuǎn)換關(guān)系見式(3),其中KD為深度相機(jī)內(nèi)參;②進(jìn)行深度相機(jī)與彩色相機(jī)之間的世界坐標(biāo)系轉(zhuǎn)換,轉(zhuǎn)換關(guān)系見式(4),其中(R,T)為兩相機(jī)間的外參;③將圖像從彩色相機(jī)的世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系,轉(zhuǎn)換關(guān)系見式(5),其中KC為彩色相機(jī)內(nèi)參。
(3)
(4)
(5)
相機(jī)內(nèi)參變量KD、KC為固定值;兩相機(jī)間的外參(R,T)會(huì)由兩相機(jī)的相對(duì)位置決定。采用張正友棋盤格標(biāo)定方法對(duì)兩相機(jī)間的外參進(jìn)行快速標(biāo)定,再按照式(3)~式(5)進(jìn)行對(duì)齊變換。
深度相機(jī)采集的深度圖像如圖2(a)所示,彩色相機(jī)的彩色圖像如圖2(b)所示,直接將兩個(gè)相機(jī)按像素對(duì)齊后,存在的錯(cuò)位現(xiàn)象如圖2(c)所示。按照彩色圖像和深度圖像間的像素映射關(guān)系,進(jìn)行異源相機(jī)間的圖像對(duì)齊后效果如圖2(d)所示。
圖2 異源圖像對(duì)齊Fig.2 Heterologous image alignment
傷口區(qū)域分割的準(zhǔn)確性決定傷口尺寸的測(cè)量精度,人為參與傷口區(qū)域的分割能夠最大限度地保證分割結(jié)果準(zhǔn)確性。設(shè)計(jì)了一種交互式傷口區(qū)域分割方法,該方法通過人為在彩色圖上簡(jiǎn)單繪制特征區(qū)域自動(dòng)完成傷口分割,主要步驟如下:①人為簡(jiǎn)略繪制傷口外部包圍圈;②人為簡(jiǎn)略繪制傷口內(nèi)部包含部位;③傷口區(qū)域分割算法計(jì)算傷口邊界;④人為判定傷口邊界識(shí)別效果,若傷口區(qū)域識(shí)別效果不理想,可人為添加傷口內(nèi)部包含部位或者外部包含部位進(jìn)行微調(diào)傷口區(qū)域。圖3為交互式傷口區(qū)域分割示意圖。
圖3 區(qū)域分割示意圖Fig.3 Schematic diagram of image segmentation
主要采用基于區(qū)域生長(zhǎng)法的交互式圖像分割算法進(jìn)行傷口分割。區(qū)域生長(zhǎng)法是一種根據(jù)預(yù)先定義的準(zhǔn)則,將像素或者子區(qū)域聚合成更大區(qū)域的過程。對(duì)每一個(gè)區(qū)域要先指定一個(gè)種子點(diǎn)作為生長(zhǎng)的起點(diǎn),然后將種子點(diǎn)周圍領(lǐng)域的像素點(diǎn)和種子點(diǎn)進(jìn)行對(duì)比,將具有相似性質(zhì)的點(diǎn)合并起來繼續(xù)向外生長(zhǎng),直到?jīng)]有滿足條件的像素被包括進(jìn)來為止。區(qū)域生長(zhǎng)法的實(shí)現(xiàn)需要解決3個(gè)關(guān)鍵問題:①給定一組目標(biāo)區(qū)域的種子像素;②確定在生長(zhǎng)過程中能將相鄰像素包括進(jìn)來的準(zhǔn)則;③制定讓生長(zhǎng)過程停止條件。洪向共等[13]通過重新定義生長(zhǎng)準(zhǔn)則,獲得了較好的圖像分割效果。基于相似度函數(shù)改進(jìn)區(qū)域生長(zhǎng)法設(shè)計(jì)傷口區(qū)域分割算法,改進(jìn)區(qū)域生長(zhǎng)法設(shè)計(jì)如下。
(1)先通過在人為簡(jiǎn)略繪制的傷口外部包圍圈建立區(qū)域生長(zhǎng)法的感興趣區(qū)域(region of interest,ROI),再采用人工交互的方式在傷口內(nèi)部區(qū)域繪制初始種子像素。
(6)
式(6)中:ε1和ε2分別為定義的色調(diào)分量和飽和度分量權(quán)重系數(shù),色調(diào)分量相對(duì)于飽和度分量包含更多的顏色信息,取ε1=0.75,ε2=0.25。
(7)
(8)
(3)根據(jù)區(qū)域生長(zhǎng)準(zhǔn)則遍歷圖像ROI區(qū)域,直至不存在種子點(diǎn)就停止生長(zhǎng)。
醫(yī)學(xué)上傷口評(píng)估指標(biāo)主要包括傷口長(zhǎng)度、寬度、面積、體積及最大深度等,在完成異源圖像對(duì)齊和傷口區(qū)域準(zhǔn)確分割后計(jì)算傷口評(píng)估指標(biāo)。
1.3.1 長(zhǎng)度、寬度測(cè)量
醫(yī)學(xué)上定義,測(cè)量傷口時(shí),無論傷口在人體的任何部位,傷口的長(zhǎng)度方向應(yīng)沿著人體長(zhǎng)軸的方向,寬度應(yīng)沿著與長(zhǎng)軸垂直的方向測(cè)量[1]。三維傷口測(cè)量方法僅采集傷口局部的人體表面信息,無法確定傷口長(zhǎng)度方向。為此設(shè)計(jì)了一種交互式定長(zhǎng)軸的傷口長(zhǎng)寬測(cè)量方法,方法如下。
(1)在彩色圖上生成傷口區(qū)域的外接矩形作為起始矩形,標(biāo)記外接矩形的4個(gè)頂點(diǎn)分別為P1、P2、P3、P4,且定義P1P2為長(zhǎng)軸方向,定義為P2P3長(zhǎng)軸垂直方向。
(2)軟件界面向用戶開放一旋轉(zhuǎn)舵輪,用戶可根據(jù)舵輪手動(dòng)調(diào)整外接矩形角度,使P1P2方向?yàn)槿梭w長(zhǎng)軸方向,并重新生成符合的外接矩形。定義用戶旋轉(zhuǎn)角度為α,旋轉(zhuǎn)中心為(x0,y0),旋轉(zhuǎn)前點(diǎn)坐標(biāo)為(x1,y1),則旋轉(zhuǎn)后點(diǎn)坐標(biāo)(x2,y2)計(jì)算公式為
x2=(x1-x0)cosα-(y1-y0)sinα+x0
(9)
y2=(x1-x0)sinα-(y1-y0)cosα+y0
(10)
根據(jù)式(9)、式(10)計(jì)算獲得P′1、P′2、P′3、P′4,求取圖像坐標(biāo)系下傷口長(zhǎng)度l=|P′1P′2|,傷口寬度w=|P′1P′2|,單位為像素。
(3)計(jì)算世界坐標(biāo)系下傷口長(zhǎng)度L和寬度W,計(jì)算公式分別為
(11)
(12)
式中:f為彩色相機(jī)焦距;Sx、Sy分別為彩色相機(jī)的單個(gè)像元長(zhǎng)和寬;d1、d2、d3分別為圖像坐標(biāo)系下P′1、P′2、P′3點(diǎn)對(duì)應(yīng)的深度值。
1.3.2 面積測(cè)量
采用積分法的方式評(píng)估傷口面積Sarea,對(duì)彩色圖傷口區(qū)域進(jìn)行單像素網(wǎng)格劃分,計(jì)算傷口區(qū)域內(nèi)的像素個(gè)數(shù)N,其計(jì)算公式為
Sarea=?dXidYi
(13)
式(13)中:i=1,2,…,N;dXi為單像素區(qū)域水平方向長(zhǎng)度;dYi為單像素區(qū)域垂直方向長(zhǎng)度。
dXi、dYi滿足:
(14)
(15)
式中:di為單像素區(qū)域?qū)?yīng)的深度值。
1.3.3 最大深度、體積測(cè)量
傷口最大深度和體積的計(jì)算需要先對(duì)傷口區(qū)域皮膚進(jìn)行復(fù)原,通過當(dāng)前傷口表面與復(fù)原后傷口表面的比較計(jì)算傷口最大深度和體積。
(1)傷口皮膚復(fù)原。傷口區(qū)域皮膚的3D復(fù)原即為點(diǎn)云孔洞的修復(fù)。李月雯等[14]首先對(duì)輸入模型進(jìn)行全局曲面擬合,通過孔洞影響區(qū)域的法向量信息來調(diào)整修補(bǔ)曲面,該方法能夠準(zhǔn)確修復(fù)孔洞區(qū)域特征,但對(duì)于點(diǎn)云模型大面積孔洞的修補(bǔ)效果有待進(jìn)一步提升。Ramesh等[15]提出了一種基于學(xué)習(xí)的孔洞檢測(cè)與填充方式,采用深度學(xué)習(xí)框架檢測(cè)點(diǎn)云中的空洞,再通過擬合曲面和曲面上的插值點(diǎn)進(jìn)行孔洞填充,該方法具有較好的通用性,但模型較為復(fù)雜,算力資源開銷較大,不適用于移動(dòng)終端及算力較弱的設(shè)備運(yùn)行。設(shè)計(jì)一種基于RBF的三維點(diǎn)云孔洞修復(fù)算法,將傷口區(qū)域分割獲得的邊緣點(diǎn)集作為樣本點(diǎn)集,訓(xùn)練RBF神經(jīng)網(wǎng)絡(luò)[16],利用訓(xùn)練好的網(wǎng)絡(luò)模型預(yù)測(cè)缺失的人體表皮。
所設(shè)計(jì)的RBF神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖4所示,三層前向網(wǎng)絡(luò)組成,包含輸入層、隱藏層和輸出層。輸入層中設(shè)置兩個(gè)輸入神經(jīng)元,分別為x坐標(biāo)和y坐標(biāo),RBF隱藏層中神經(jīng)元的變換函數(shù)為徑向基函數(shù)φ1和φ2,對(duì)應(yīng)的權(quán)重為ω11和ω21,輸出層為單個(gè)輸出神經(jīng)元,輸出預(yù)測(cè)的結(jié)果z。
圖4 RBF神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 Structure diagram of RBF neural network
采用高斯函數(shù)作為基函數(shù),其表達(dá)式為
φ(Xk,Xi)=G(‖Xk,Xi‖)
(16)
‖Xk-Xi‖=(Xk-Xi)T(Xk-Xi)
(17)
神經(jīng)網(wǎng)絡(luò)輸出為
(18)
式中:Xk為第k個(gè)輸入矢量;Xi為隱藏層第i個(gè)高斯單元的中心矢量;第i個(gè)隱含節(jié)點(diǎn)的輸出為φi(X);X=[Xi1,Xi2,…,Xim]為基函數(shù)中心。
通過樣本訓(xùn)練獲取RBF函數(shù)中基函數(shù)的寬度參數(shù)σ、中心X以及輸出單元的權(quán)重ωki。
所設(shè)計(jì)的RBF神經(jīng)網(wǎng)絡(luò),將傷口區(qū)域待修復(fù)數(shù)據(jù)點(diǎn)集(x,y)坐標(biāo)作為輸入,根據(jù)訓(xùn)練模型預(yù)測(cè)其對(duì)應(yīng)的z值,完成傷口區(qū)域缺失的點(diǎn)云修復(fù)。傷口皮膚復(fù)原前表面如圖5所示,復(fù)原后效果如圖6所示。
圖5 傷口表面示意圖Fig.5 Schematic diagram of wound surface
圖6 傷口表面復(fù)原后示意圖Fig.6 Schematic diagram of wound surface reconstruction
(2)傷口最大深度獲取。采用遍歷法計(jì)算傷口最大深度,對(duì)彩色圖傷口區(qū)域進(jìn)行單像素網(wǎng)格劃分,計(jì)傷口區(qū)域內(nèi)存在N個(gè)單像素區(qū)域,計(jì)算并遍歷N個(gè)單像素區(qū)域傷口皮膚復(fù)原后與當(dāng)前傷口的高度差Zi,統(tǒng)計(jì)最大高度差作為傷口最大深度Hmax,其表達(dá)式為
Zi=Zfi-Zbi
(19)
式(19)中:Zfi、Zbi分別對(duì)應(yīng)單像素區(qū)域內(nèi)傷口皮膚復(fù)原后和當(dāng)前傷口的z值,i=1,2,…,N。
Hmax=max(Zi)
(20)
(3)傷口體積計(jì)算。采用積分法計(jì)算傷口體積,對(duì)單像素區(qū)域內(nèi)的高度差Zi進(jìn)行微分dZi,進(jìn)行積分獲得傷口體積,其表達(dá)式為
V=?dXidYidZi
(21)
傷口可能出現(xiàn)在人體表面的任意位置,因此傷口測(cè)量設(shè)備需具備較好的靈活性,并且便于醫(yī)生外出診療時(shí)攜帶以滿足多場(chǎng)景的使用需求?;谥悄芤苿?dòng)終端設(shè)計(jì)了一款手持式三維傷口測(cè)量設(shè)備,其硬件結(jié)構(gòu)主要由移動(dòng)終端、深度相機(jī)、保持架以及連接線組成,如圖7所示。
圖7 硬件構(gòu)成示意圖Fig.7 Schematic diagram of hardware components
所設(shè)計(jì)的測(cè)量設(shè)備中移動(dòng)終端采用小米4平板,深度相機(jī)采用Structure sensor,主要參數(shù)如表1所示。
表1 硬件系統(tǒng)主要參數(shù)Table 1 Main parameters of hardware
選取人體褥瘡護(hù)理模型作為試驗(yàn)對(duì)象,對(duì)人體褥瘡護(hù)理模型上的傷口進(jìn)行測(cè)量,并將本文方法所得的三維測(cè)量結(jié)果與逆向工程測(cè)量法、二維拍照測(cè)量法所測(cè)結(jié)果進(jìn)行精度比對(duì)詳細(xì)測(cè)量方法如下。
(1)逆向工程測(cè)量方法:使用LMI Gocator 3520三維雙目快照式傳感器對(duì)該傷口進(jìn)行逆向工程三維重建,設(shè)備精度±0.09 mm,并采用Geomagic Studio離線計(jì)算傷口各測(cè)量項(xiàng)目數(shù)值,重復(fù)建模掃描20組數(shù)據(jù)后取平均值。
(2)二維拍照測(cè)量方法:采用NIH ImageJ照相法[17],該方法使用彩色相機(jī)對(duì)傷口進(jìn)行拍照,拍照時(shí)固定角度和高度,傷口數(shù)據(jù)使用軟件計(jì)算,重復(fù)拍照計(jì)算20組數(shù)據(jù)后取平均值。
(3)三維掃描測(cè)量方法:使用所提出的三維傷口測(cè)量方法進(jìn)行測(cè)量,交互式分割傷口區(qū)域和確定人體長(zhǎng)軸方向,重復(fù)測(cè)量20組數(shù)據(jù)后取平均值。
3種測(cè)量方法的測(cè)量結(jié)果如表2所示。逆向工程測(cè)量方法相較于其他兩種方法使用更高精度的設(shè)備和復(fù)雜的離線測(cè)量方法,計(jì)算結(jié)果更貼近真實(shí)值,因此可將逆向工程測(cè)量法的結(jié)果作為傷口真實(shí)尺寸的參考值。從測(cè)量結(jié)果可知,本文方法相較于二維拍照測(cè)量方法精度更高所有傷口檢測(cè)項(xiàng)目誤差均小于3%,于優(yōu)國外同類型商用設(shè)備的5%的測(cè)量精度。
表2 傷口測(cè)量精度比較Table 2 Precision comparison of wound measurement
所提出一種基于圖像分割和孔洞修復(fù)的三維傷口測(cè)量方法,實(shí)現(xiàn)了傷口非接觸、高精度測(cè)量。得出如下結(jié)論。
(1)針對(duì)異源圖像由于視差導(dǎo)致的圖像像素錯(cuò)位問題,基于異源坐標(biāo)系間的轉(zhuǎn)換關(guān)系,結(jié)合相機(jī)內(nèi)外參標(biāo)定算法,將深度相機(jī)深度圖和移動(dòng)終端彩色圖進(jìn)行像素對(duì)齊。
(2)針對(duì)傷口區(qū)域分割精度要求高問題,設(shè)計(jì)了一種交互式傷口區(qū)域分割方法,采用基于相似度函數(shù)改進(jìn)的區(qū)域生長(zhǎng)法分割傷口區(qū)域,并通過人為輔助微調(diào)機(jī)制保證傷口分割的準(zhǔn)確性。
(3)針對(duì)傷口長(zhǎng)度、寬度、面積、最大深度以及體積的測(cè)量要求,設(shè)計(jì)了一整套測(cè)量算法,利用深度數(shù)據(jù)進(jìn)行長(zhǎng)度、寬度和面積計(jì)算,采用基于RBF的三維點(diǎn)云孔洞修復(fù)算法進(jìn)行傷口皮膚復(fù)原,在此基礎(chǔ)上進(jìn)行傷口最大深度和體積計(jì)算。
實(shí)現(xiàn)了非接觸式三維傷口高精度測(cè)量,但基于結(jié)構(gòu)光的深度相機(jī)受環(huán)境光干擾較大,從而導(dǎo)致深度圖深度數(shù)據(jù)丟失。后續(xù)將優(yōu)化深度圖數(shù)據(jù)預(yù)處理過程,通過深度數(shù)據(jù)填充以減少環(huán)境光的干擾。