面向低分辨率單目內(nèi)窺鏡圖像的三維多孔結(jié)構(gòu)重建

張建勛，韓明慧，代 煜*

(1.南開大學(xué) 人工智能學(xué)院，天津 300350； 2.南開大學(xué) 機(jī)器人與信息自動(dòng)化研究所，天津 300350)

1 引 言

內(nèi)窺鏡是一種可以經(jīng)由狹窄通道進(jìn)入人體器官或者是工業(yè)設(shè)備內(nèi)部進(jìn)行觀測(cè)的儀器。其產(chǎn)生和發(fā)展突破了人眼的視覺限制，為人體內(nèi)醫(yī)療疾病的診斷和工業(yè)設(shè)備內(nèi)部缺陷的檢測(cè)提供了諸多便利。內(nèi)窺鏡的應(yīng)用場(chǎng)景中經(jīng)常出現(xiàn)多孔結(jié)構(gòu)。類管道結(jié)構(gòu)的多次分支是形成多孔結(jié)構(gòu)的主要原因。在醫(yī)療領(lǐng)域，氣管進(jìn)入肺中層層分支形成支氣管，輸尿管進(jìn)入腎臟產(chǎn)生分支形成不同的腎盂和腎盞；在工業(yè)領(lǐng)域，使用內(nèi)窺鏡頻率較高的鍋爐供水管道和設(shè)備通風(fēng)排氣管道等管道設(shè)備也常常呈現(xiàn)出多分支的結(jié)構(gòu)。除此之外，工業(yè)檢測(cè)對(duì)象上的類孔缺陷、塊狀銹斑等也與本文研究的多孔結(jié)構(gòu)的概念相似。單目內(nèi)窺鏡雖然能獲取影像，但是在探頭尺寸的約束之下，其視野范圍非常有限，只能觀測(cè)到局部的二維圖像，在呈現(xiàn)多孔結(jié)構(gòu)的關(guān)鍵位置不利于分析和判斷。鑒于此，實(shí)現(xiàn)基于單目內(nèi)窺鏡圖像的三維重建，將有助于在復(fù)雜管道結(jié)構(gòu)中獲取孔洞的位置和尺寸等信息。

從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)算法(Structure from motion，SFM)已經(jīng)廣泛應(yīng)用于相機(jī)運(yùn)動(dòng)跟蹤和三維重建等研究中[1-4]，然而內(nèi)窺鏡的使用環(huán)境具有很強(qiáng)獨(dú)特性，對(duì)于傳統(tǒng)SFM算法的應(yīng)用存在以下缺陷：(1)受內(nèi)窺鏡直徑的限制，其輸出圖像的分辨率普遍較低；(2)人體器官內(nèi)和工業(yè)設(shè)備內(nèi)管道表面的紋理特征不明顯；(3)管道內(nèi)部、深孔等區(qū)域往往沒有良好的照明條件，因此內(nèi)窺鏡大多自帶光源進(jìn)行照明，容易出現(xiàn)照明不足或者過強(qiáng)的情況；(4)管道內(nèi)部常有氣泡、浮塵等漂浮雜質(zhì)[5]。國內(nèi)外關(guān)于內(nèi)窺鏡圖像的三維重建方面的研究已有一些成果。對(duì)于工業(yè)內(nèi)窺鏡，其三維成像的研究很少，郭俊鋒等[6]和楊東林等[7]均通過設(shè)計(jì)雙目光學(xué)系統(tǒng)獲得圖像的深度信息，這類方法的缺點(diǎn)是需要改變內(nèi)窺鏡的現(xiàn)有結(jié)構(gòu)，并且增加了內(nèi)窺鏡探頭的直徑。相比之下，關(guān)于醫(yī)用內(nèi)窺鏡三維重建的研究較多。Ben-Hamadou等[8]利用內(nèi)窺鏡實(shí)現(xiàn)了膀胱表面重建，但是為了降低特征提取的難度，需要額外投射激光點(diǎn)作為特征點(diǎn)。Sun等[9]利用SFM算法在從胃鏡視頻中進(jìn)行表面重建，但是需要借助電磁跟蹤裝置來估計(jì)相機(jī)位姿。Visentini-Scarzanell等[10]在CT數(shù)據(jù)上訓(xùn)練卷積神經(jīng)網(wǎng)，實(shí)現(xiàn)了對(duì)支氣管鏡圖像的深度估計(jì)，但是這類方法只能恢復(fù)單幅圖像的深度，不適用于重建完整的三維多孔結(jié)構(gòu)。Mahmoud等[11]在使用ORB-SLAM進(jìn)行稀疏重建的基礎(chǔ)上提出了一種對(duì)豬肝臟表面進(jìn)行稠密重建的方法，但重建對(duì)象表面的紋理密度會(huì)影響ORB特征點(diǎn)的密度，進(jìn)而影響相機(jī)位姿估計(jì)的準(zhǔn)確度。Turan等[12]改進(jìn)陰影恢復(fù)形狀算法用于胃腸表面重建，此方法假設(shè)表面沒有陰影區(qū)域且較為平滑，然而孔洞的存在會(huì)使表面梯度發(fā)生強(qiáng)烈的變化，灰度也會(huì)明顯降低，難以滿足算法的假設(shè)條件。以上現(xiàn)有工作的共同缺點(diǎn)是無法同時(shí)滿足以下兩個(gè)條件：不借助外部設(shè)備和工具且不改變內(nèi)窺鏡的硬件構(gòu)造；適用于弱紋理的多孔結(jié)構(gòu)。

考慮到以上問題，本文提出了一種適用于低分辨率單目內(nèi)窺鏡對(duì)多孔結(jié)構(gòu)進(jìn)行三維重建的完整方案，創(chuàng)新之處在于：

(1)引入重建前期的圖像預(yù)處理過程，基于加權(quán)引導(dǎo)濾波設(shè)計(jì)了多尺度圖像增強(qiáng)方法用于提升圖像的紋理細(xì)節(jié)，在不改變內(nèi)窺鏡結(jié)構(gòu)且不額外增加輔助工具的情況下提高弱紋理環(huán)境下特征點(diǎn)的密度。利用快速行進(jìn)算法(Fast Marching Method，F(xiàn)MM)修復(fù)漂浮雜質(zhì)和高強(qiáng)度照射引起的高亮區(qū)；

(2)在SFM過程中，提出了一種簡易快速剔除離群點(diǎn)對(duì)的方法，從而提高了低分辨率圖像特征點(diǎn)匹配結(jié)果的準(zhǔn)確性；

(3)由于尚未發(fā)現(xiàn)有研究工作涉及單目視覺下多孔結(jié)構(gòu)的重建，本文提出了一種基于模板匹配和最小二乘擬合的三維多孔結(jié)構(gòu)提取方法。

2 多孔結(jié)構(gòu)三維重建方法和流程

2.1 基于加權(quán)引導(dǎo)濾波的多尺度圖像細(xì)節(jié)增強(qiáng)方法

引導(dǎo)濾波[13-15]是一種需要引導(dǎo)圖的局部線性濾波模型。當(dāng)其引導(dǎo)圖設(shè)置為原輸入圖像時(shí)，就成為了一種具有保持邊緣能力的濾波器。在此基礎(chǔ)上，Li等[16]提出了加權(quán)引導(dǎo)濾波算法，通過對(duì)圖像上邊緣強(qiáng)度的檢測(cè)，自適應(yīng)地調(diào)整引導(dǎo)濾波中的參數(shù)設(shè)置，消除了“偽邊緣”現(xiàn)象，進(jìn)一步提高了算法對(duì)圖像邊緣保持的能力。

本文基于加權(quán)引導(dǎo)濾波設(shè)計(jì)了內(nèi)窺鏡圖像增強(qiáng)流程如圖1所示。首先將原彩色圖像按照RGB三通道分解成三幅單道圖像Ix(Ir，Ig，Ib)。

圖1 圖像增強(qiáng)流程Fig.1 Flow chart of image enhancement

多尺度分解：對(duì)各通道的圖像進(jìn)行加權(quán)引導(dǎo)濾波，獲得反映圖片整體輪廓特征的結(jié)構(gòu)圖層：

Lx=F(Ix)，

(1)

其中F(·)代表加權(quán)引導(dǎo)濾波操作。然后使用原單通道圖Ix減去其結(jié)構(gòu)圖層圖像Lx得到各通道的紋理細(xì)節(jié)圖層：

Rx=Ix-Lx.

(2)

接著對(duì)Lx進(jìn)行相同的分解操作，得到不同尺度下的結(jié)構(gòu)圖層和細(xì)節(jié)圖層：

(3)

其中：i代表分解的層級(jí)，Nm為其最大值。

圖像重構(gòu)：使用以下線性增強(qiáng)模型，實(shí)現(xiàn)對(duì)圖像紋理細(xì)節(jié)的增強(qiáng)：

(4)

其中：Zx為增強(qiáng)后的輸出圖像，β為增強(qiáng)系數(shù)，用來拉伸各尺度下的細(xì)節(jié)圖層，使紋理更加突出。

最后將RGB三通道增強(qiáng)后的圖像疊加合并成紋理增強(qiáng)的彩色圖像。此方法通過對(duì)圖像的多尺度分解與重構(gòu)過程，實(shí)現(xiàn)了在增強(qiáng)圖像細(xì)節(jié)的同時(shí)保持邊緣特性不變。

2.2 基于FMM的圖像復(fù)原

本文利用FMM算法[17]去除由于漂浮雜質(zhì)反光和內(nèi)窺鏡自帶光源直射導(dǎo)致圖像中產(chǎn)生的高亮區(qū)塊，減少對(duì)特征提取和匹配的干擾。設(shè)計(jì)的圖像修復(fù)流程如圖2所示。經(jīng)2.1節(jié)紋理增強(qiáng)后的圖像作為待修復(fù)圖像，經(jīng)過二值化和形態(tài)學(xué)膨脹操作生成的圖像作為修復(fù)模板，輸入FMM算法模型中。此修復(fù)方法可以在不影響圖像原始紋理結(jié)構(gòu)的情況下實(shí)現(xiàn)對(duì)內(nèi)窺鏡圖像中高亮區(qū)塊的去除。

圖2 圖像修復(fù)流程Fig.2 Flow chart of image inpainting

2.3 引入離群點(diǎn)對(duì)檢測(cè)的特征匹配與稀疏重建

本文采用基于SIFT特征的SFM算法進(jìn)行稀疏重建，其一般包括特征匹配、相機(jī)位姿估計(jì)以及三維稀疏點(diǎn)云生成三個(gè)步驟。在特征匹配階段，一般使用Ratio Test算法提高匹配的正確率。然而內(nèi)窺鏡圖像相比于一般的相機(jī)圖像清晰度低，即使經(jīng)過Ratio Test仍然極易產(chǎn)生錯(cuò)誤的匹配點(diǎn)對(duì)。因此本文提出了一種進(jìn)行離群點(diǎn)對(duì)檢測(cè)的方法，用在Ratio Test之后，進(jìn)一步刪除可信度低的匹配點(diǎn)對(duì)，優(yōu)化匹配結(jié)果。

由于相機(jī)運(yùn)動(dòng)的平滑性，在同一次特征匹配結(jié)果中，每對(duì)匹配點(diǎn)在像素坐標(biāo)系的X方向上的像素距離值原則上不會(huì)出現(xiàn)過大的差異，Y方向上亦如此。本文方法基于此假設(shè)，檢測(cè)像素坐標(biāo)關(guān)系表現(xiàn)比較異常的點(diǎn)對(duì)。圖3所示為X坐標(biāo)約束下的離群點(diǎn)檢測(cè)算法，流程中，假設(shè)兩幅圖像通過初始匹配得到N對(duì)匹配特征點(diǎn)，算法統(tǒng)計(jì)了每個(gè)匹配點(diǎn)對(duì)中兩點(diǎn)在像素坐標(biāo)系的X方向上的差值，然后設(shè)計(jì)了搜索策略來搜索和定位離群點(diǎn)。多次實(shí)驗(yàn)表明閾值α在2～4之間取值時(shí)效果最佳。

圖3 離群點(diǎn)檢測(cè)流程Fig.3 Flow chart of outlier detection

將此流程圖中的X都改為Y即可同理得到Y(jié)坐標(biāo)約束下的離群點(diǎn)檢測(cè)流程。在X坐標(biāo)約束和Y坐標(biāo)約束下標(biāo)記出的離群點(diǎn)都視為錯(cuò)誤匹配結(jié)果，進(jìn)行剔除。通過離群點(diǎn)對(duì)的檢測(cè)與刪除，能夠有效地去除特征相似但是位置關(guān)系異常的匹配點(diǎn)對(duì)，為下一步的相機(jī)位姿估計(jì)提供準(zhǔn)確度更高的數(shù)據(jù)源。

2.4 三維多孔結(jié)構(gòu)提取方法

現(xiàn)有的關(guān)于孔結(jié)構(gòu)提取的研究均是基于雙目視覺，如解則曉[18]等通過尋找極線與圓孔邊緣的交點(diǎn)進(jìn)行立體匹配重建圓孔輪廓。然而關(guān)于從單目SFM重建中提取多孔結(jié)構(gòu)的研究尚未發(fā)現(xiàn)有報(bào)道，因此本文提出了一種基于模板匹配和最小二乘擬合的多孔結(jié)構(gòu)提取方法。設(shè)計(jì)具體流程如下：

2.4.1 重建孔洞邊緣三維點(diǎn)云

如圖4所示，使用由SFM流程恢復(fù)的相機(jī)位姿信息，建立每對(duì)相鄰關(guān)鍵幀之間的極線約束。pi為孔洞邊緣上一點(diǎn)，將pi與其對(duì)應(yīng)的極線上的每一個(gè)點(diǎn)進(jìn)行模板匹配，使用零均值歸一化互相關(guān)(Zero Mean Normalized Cross Correlation，ZNCC)匹配算法[19]計(jì)算相關(guān)度，相關(guān)度值最大的點(diǎn)視為與pi的匹配點(diǎn)。為了加快搜索過程，定義最小搜索深度dmin和最大搜索深度dmax：

(5)

其中dmean和σ分別代表當(dāng)前幀對(duì)應(yīng)稀疏點(diǎn)云的深度值的均值和方差。

圖4 模板匹配過程Fig.4 Process of template matching

在已知所有圓孔邊緣點(diǎn)pi與其匹配點(diǎn)的條件下，結(jié)合已恢復(fù)的相機(jī)位姿信息，使用三角測(cè)量法即可得到孔洞邊緣的三維點(diǎn)云Vcloud={P1，P2，P3，…}。

2.4.2 點(diǎn)云分割

由于點(diǎn)云Vcloud中包含多個(gè)圓孔，本文設(shè)計(jì)圖5所示算法流程對(duì)點(diǎn)云進(jìn)行分割。在實(shí)際應(yīng)用時(shí)，可將P1與Vcloud中其余點(diǎn)的最短距離的3倍作為閾值e的取值。

圖5 點(diǎn)云分割Fig.5 Point cloud segmentation

2.4.3 計(jì)算圓孔的位置、大小和方向

本小節(jié)試圖用三維空間圓去擬合每一個(gè)孔洞的三維邊緣點(diǎn)集，從而獲得孔洞的尺寸和空間位置關(guān)系。其中涉及到多次空間坐標(biāo)系的變換，下面給出了各輔助坐標(biāo)系的定義和變換公式的推導(dǎo)。

步驟1 如圖6所示，利用最小二乘法對(duì)一個(gè)孔洞的三維點(diǎn)云進(jìn)行平面擬合，得到擬合平面方程：

ax+by-z+c=0，

(6)

法向量[a，b，-1]的方向則代表當(dāng)前圓孔的方向。將所有點(diǎn)[x，y，z]投影到擬合平面上得到[xp，yp，zp]，變換關(guān)系如下：

(7)

圖6 坐標(biāo)變換Fig.6 Coordinate transformation

步驟2 對(duì)圓的擬合一般要在二維平面上進(jìn)行，因此需要將三維點(diǎn)坐標(biāo)降維轉(zhuǎn)換到二維平面上。創(chuàng)建一個(gè)新的坐標(biāo)系Oc-XcYcZc，該坐標(biāo)系的Zc軸與擬合平面的法線平行，Oc與O重合。假設(shè)坐標(biāo)系O-XYZ繞X軸旋轉(zhuǎn)θx角度，繞Y軸旋轉(zhuǎn)θy角度可變換到坐標(biāo)系Oc-XcYcZc。那么旋轉(zhuǎn)矩陣表示為：

(8)

θy=arctan(-a)，

(9)

通過Pc=R-1P將投影到擬合平面的上的三維點(diǎn)轉(zhuǎn)換到Oc-XcYcZc坐標(biāo)系下，轉(zhuǎn)換后所有點(diǎn)的Zc坐標(biāo)值相同，因此可以在XcOcYc平面上進(jìn)行基于最小二乘的圓擬合。擬合圓的半徑即為當(dāng)前圓孔的半徑，擬合圓的圓心坐標(biāo)經(jīng)過P=RPc變換回初始O-XYZ坐標(biāo)系下，作為當(dāng)前圓孔的位置。

對(duì)重建圖像序列中包含的每個(gè)圓孔，重復(fù)上述流程，提取出所有圓孔的三維結(jié)構(gòu)。

2.5 重建方案小結(jié)

本文所提出的方案的完整流程如圖7所示，現(xiàn)有的基于SFM的三維重建算法一般包括特征提取和匹配、相機(jī)位姿估計(jì)、稀疏三維點(diǎn)云生成三部分。但其在不借助輔助工具的前提下不能適應(yīng)內(nèi)窺鏡圖像和應(yīng)用場(chǎng)景的特點(diǎn)，本文改進(jìn)了現(xiàn)有的基于SFM的重建流程，使其能夠在低分辨率的內(nèi)窺鏡圖像上正常工作，并且最終提取出三維多孔結(jié)構(gòu)。改進(jìn)點(diǎn)如下：(1)使用基于加權(quán)引導(dǎo)濾波的多尺度圖像增強(qiáng)算法，突顯內(nèi)窺鏡圖像的紋理細(xì)節(jié)，降低特征提取難度；(2)引入基于FMM圖像復(fù)原算法，減小雜質(zhì)對(duì)特征匹配的干擾；(3)在初始特征匹配后提出了離群點(diǎn)對(duì)檢測(cè)算法，通過像素坐標(biāo)位置關(guān)系的差異排除錯(cuò)誤匹配結(jié)果；(4)提出了一種三維多孔結(jié)構(gòu)提取算法。

圖7 本文重建流程總結(jié)Fig.7 Summary of reconstruction process

3 實(shí)驗(yàn)結(jié)果與分析

本文通過兩組實(shí)驗(yàn)對(duì)提出的重建方法進(jìn)行驗(yàn)證。第一組實(shí)驗(yàn)使用工業(yè)內(nèi)窺鏡對(duì)3D打印的多孔半球面進(jìn)行重建，因模型參數(shù)已知，方便驗(yàn)證重建結(jié)果的準(zhǔn)確性。第二組實(shí)驗(yàn)使用醫(yī)用內(nèi)窺鏡對(duì)真實(shí)腎內(nèi)多孔結(jié)構(gòu)進(jìn)行重建，驗(yàn)證本文方法的可行性。兩種內(nèi)窺鏡均為單目內(nèi)窺鏡。實(shí)驗(yàn)的軟件環(huán)境為Visual Studio 2015，64位Windows操作系統(tǒng)，C++語言編程，硬件采用Intel(R) Core(TM) i5-4590 CPU @ 3.30 GHz，8.00 GB內(nèi)存。

3.1 利用工業(yè)內(nèi)窺鏡的多孔半球面重建實(shí)驗(yàn)

本文設(shè)計(jì)了直徑為150 mm的多孔半球面，球面上的圓孔位置隨機(jī)分布，直徑取值為5～13 mm不等，如圖8(a)所示。在半球面上粘貼了密度較為稀疏的紋理圖。然后使用Anyty型號(hào)為3R-MFXS55的內(nèi)窺鏡對(duì)圖8(a)中標(biāo)號(hào)的8個(gè)圓孔進(jìn)行拍攝，得到分辨率為720×480 pixel的圖像序列。重建流程和結(jié)果見圖8(b)～圖8(h)。

圖8 多孔半球面重建過程和結(jié)果Fig.8 Process and result of reconstruction on porous hemisphere

3.1.1 圖像增強(qiáng)與復(fù)原結(jié)果分析

實(shí)驗(yàn)時(shí)參數(shù)設(shè)置為：Nm=3，β=2，α=3。對(duì)比圖8(b)和8(c)可以看出，使用本文方法進(jìn)行增強(qiáng)后的圖像紋理特征表現(xiàn)得更加明顯，很多細(xì)小的紋理細(xì)節(jié)被突顯出來，并且孔洞邊緣的灰度梯度得到了良好的保持，這有利于最后多孔結(jié)構(gòu)提取時(shí)對(duì)孔洞邊界的準(zhǔn)確定位。對(duì)比圖8(c)和8(d)中的黃色框標(biāo)記區(qū)域可見，使用本文的圖像復(fù)原算法使得高亮區(qū)塊得到了有效去除(彩圖見期刊電子版)。

圖9展示了未經(jīng)處理的原始圖像上的特征匹配結(jié)果，與圖8(e)中的圖像對(duì)比，能明顯看出經(jīng)過本文圖像增強(qiáng)和復(fù)原算法處理后的圖像上提取到的特征點(diǎn)數(shù)量相比于原始圖像有極大提高。

圖9 原始半球面圖像上的特征匹配結(jié)果Fig.9 Feature matching on original images of the hemisphere

3.1.2 離群點(diǎn)剔除算法結(jié)果分析

在圖8(e)中，對(duì)選取的相鄰關(guān)鍵幀圖像進(jìn)行SIFT特征點(diǎn)提取和匹配。初始的特征匹配連線圖中，正確匹配連線呈現(xiàn)出近似平行的狀態(tài)，且長度接近。圖8(e)右下角為紅色邊框部分的放大圖，其中黑色線標(biāo)記了部分異常連線，它們對(duì)應(yīng)的是明顯的錯(cuò)誤匹配。由圖8(f)可見使用本文所提出的離群點(diǎn)對(duì)檢測(cè)方法，能有效地排除這些錯(cuò)誤匹配點(diǎn)對(duì)。為說明本文離群點(diǎn)對(duì)剔除方法的優(yōu)勢(shì)，將本文算法與LOF算法[20]以及ORB-SLAM[21]中使用的旋轉(zhuǎn)角度直方圖統(tǒng)計(jì)算法進(jìn)行對(duì)比，如圖10所示，其中黃色圓圈標(biāo)記出了結(jié)果中仍然存在的明顯的錯(cuò)誤匹配點(diǎn)(彩圖見期刊電子版)。對(duì)比圖10和圖8(f)中的誤匹配剔除效果，并綜合考慮表1中各算法運(yùn)行的耗時(shí)，證明本文算法的性能最佳。

(b)旋轉(zhuǎn)角度直方圖算法結(jié)果

表1 半球面重建中離群點(diǎn)對(duì)剔除算法的時(shí)間效率對(duì)比

3.1.3 多孔結(jié)構(gòu)重建結(jié)果分析

為了驗(yàn)證本文方法的可靠性，重復(fù)進(jìn)行了10組完全獨(dú)立的重建實(shí)驗(yàn)，以下表格中展示的實(shí)驗(yàn)結(jié)果均為10次實(shí)驗(yàn)的統(tǒng)計(jì)數(shù)據(jù)。

對(duì)于位置分布關(guān)系的準(zhǔn)確性，分別統(tǒng)計(jì)了真實(shí)模型(圖8(a))和重建結(jié)果(圖8(h))中1號(hào)圓孔圓心與其他圓孔圓心的距離值，以此距離值的誤差大小作為衡量重建結(jié)果位置關(guān)系準(zhǔn)確性的一個(gè)指標(biāo)。由于單目重建出的三維結(jié)構(gòu)與真實(shí)三維結(jié)構(gòu)在尺寸上相差一個(gè)尺度因子，因此本文首先使用最小二乘法恢復(fù)尺度因子，基于此尺度因子，計(jì)算出重建結(jié)果在圓孔間距值上的相對(duì)誤差。由表2可見，8個(gè)圓孔重建的相對(duì)誤差都保持在10%之內(nèi)。

對(duì)于圓孔大小的準(zhǔn)確性，分別統(tǒng)計(jì)了多孔半球面和重建結(jié)果中各個(gè)圓孔的直徑，進(jìn)行對(duì)比。由表3可見，8個(gè)圓孔直徑的重建相對(duì)誤差也均在10%之內(nèi)，滿足實(shí)際應(yīng)用的需求。

表2 圓孔間距誤差

表3 圓孔直徑誤差

將文獻(xiàn)[18]所述圓孔邊緣點(diǎn)重建方法替換本文在2.4節(jié)提出的方案，得到對(duì)比實(shí)驗(yàn)結(jié)果，見表2和表3的最后一列。結(jié)合表4可見，相比于文獻(xiàn)[18]，本文所提出的基于模板匹配與最小二乘擬合的多孔結(jié)構(gòu)提取算法在輕微增加時(shí)間消耗的情況下，取得了較為明顯的準(zhǔn)確性的提升，總體性能更佳。對(duì)比實(shí)驗(yàn)的結(jié)果證明了本文方案更加適用于單目內(nèi)窺鏡。

表4 圓孔結(jié)構(gòu)提取算法的時(shí)間效率對(duì)比

3.2 利用醫(yī)用內(nèi)窺鏡的腎內(nèi)多孔結(jié)構(gòu)重建實(shí)驗(yàn)

本實(shí)驗(yàn)所用圖像來自于北京民航總醫(yī)院完成的經(jīng)尿道輸尿管軟鏡鈥激光碎石取石手術(shù)，術(shù)中軟鏡經(jīng)患者尿道和輸尿管置入，到達(dá)腎臟并觀察如圖11(a)所示的腎內(nèi)管道結(jié)構(gòu)，所用軟鏡為奧林巴斯URF-V2型輸尿管電子鏡，圖像分辨率為640×480 pixel。本文從內(nèi)窺鏡視頻中截取了包含3個(gè)孔洞的片段，運(yùn)用提出的算法流程重建此多孔結(jié)構(gòu)，驗(yàn)證方法的可行性。

圖11 腎內(nèi)三維多孔結(jié)構(gòu)重建過程和結(jié)果Fig.11 Process and result of porous structure reconstruction in the kidney

圖11(b)～11(h)展示了根據(jù)本文提出的方案對(duì)真實(shí)軟鏡圖像序列進(jìn)行三維多孔結(jié)構(gòu)重建的過程和結(jié)果。腎盂和腎盞中的血管，以及結(jié)石在移動(dòng)過程中引起的出血，是重建中紋理的主要來源。

實(shí)驗(yàn)時(shí)參數(shù)設(shè)置與半球試驗(yàn)相同：Nm=3，β=2，α=3。圖12展示了未經(jīng)處理的原始圖像上進(jìn)行特征提取和匹配的結(jié)果，與圖11(e)中圖像對(duì)比，證明了本文所用圖像增強(qiáng)和復(fù)原算法能夠有效地提高特征點(diǎn)的數(shù)量。

表5 腎內(nèi)重建中離群點(diǎn)對(duì)剔除算法的時(shí)間效率對(duì)比

圖12 原始腎內(nèi)圖像上的特征匹配結(jié)果Fig.12 Feature matching on original intrarenal images

通過圖13與圖11(f)中結(jié)果對(duì)比，結(jié)合表5中展示的各算法的耗時(shí)，證明了本文提出的離群點(diǎn)檢測(cè)算法在真實(shí)腎內(nèi)圖像數(shù)據(jù)上依然表現(xiàn)出優(yōu)勢(shì)。由圖11所示重建結(jié)果可以看到，使用本文重建方案最終得到的三個(gè)孔的大小和位置關(guān)系都與內(nèi)窺鏡視頻所展示的內(nèi)容非常接近，驗(yàn)證了本文整體重建方法的可行性。

(a)LOF算法結(jié)果

(b)旋轉(zhuǎn)角度直方圖算法結(jié)果

4 結(jié) 論

由于現(xiàn)有基于單目視覺的三維重建方法在不借助外部輔助工具的前提下難以在內(nèi)窺鏡的應(yīng)用場(chǎng)景中運(yùn)行，本文提出了一種面向低分辨率單目內(nèi)窺鏡圖像的三維多孔結(jié)構(gòu)重建方法。此方法具有以下特點(diǎn)：利用基于加權(quán)引導(dǎo)濾波的多尺度圖像增強(qiáng)方法，增強(qiáng)了圖像細(xì)節(jié)，克服了內(nèi)窺鏡本身成像清晰度低，且其應(yīng)用場(chǎng)景紋理特征弱的缺陷，有利于特征提?。灰牖贔MM的圖像修復(fù)算法用于修補(bǔ)圖像中的高亮區(qū)塊，減少了氣泡、漂浮雜質(zhì)、表面反光等因素對(duì)特征點(diǎn)提取的干擾；提出了一種離群點(diǎn)對(duì)檢測(cè)算法用于剔除錯(cuò)誤匹配，優(yōu)化特征點(diǎn)匹配結(jié)果，進(jìn)一步削弱了內(nèi)窺鏡圖像模糊對(duì)重建精度帶來的影響；最后，提出了基于模板匹配和最小二乘擬合的多孔結(jié)構(gòu)提取算法。多孔球面上的實(shí)驗(yàn)驗(yàn)證了整體算法流程的合理性和重建結(jié)構(gòu)的準(zhǔn)確性，重建結(jié)果中孔間距和孔直徑的相對(duì)誤差均小于10%。真實(shí)腎結(jié)石手術(shù)場(chǎng)景上的實(shí)驗(yàn)驗(yàn)證了本文方法的可行性。