基于視差放大與超分辨率的三維光場腹腔鏡標(biāo)定

劉雪巖，許聿達(dá)，雷建昕，周光泉，張為中，周 平*

（1.東南大學(xué) 生物科學(xué)與醫(yī)學(xué)工程學(xué)院，江蘇 南京 210016；2.南京醫(yī)科大學(xué)第一附屬醫(yī)院，江蘇 南京 210029）

1 引 言

腹腔鏡是腹部微創(chuàng)手術(shù)的重要成像工具，在臨床中具有廣泛的應(yīng)用。目前使用的三維腹腔鏡均基于雙目立體視覺原理設(shè)計(jì)，需臨床醫(yī)生佩戴專用眼鏡并自行在頭腦中重建手術(shù)對象的三維信息。根據(jù)雙目立體視覺的成像原理可知，這種三維腹腔鏡受使用環(huán)境限制，“雙目”間的基線很短，其三維成像精度較低，難以獨(dú)立滿足臨床中三維測量的要求。具有獨(dú)立三維測量功能的三維腹腔鏡是當(dāng)前研究的前沿問題。

2017年，Liu等提出了一種基于光場成像原理的三維腹腔鏡［1］，為三維腹腔鏡的研究提供了一個(gè)新的思路。但是，Liu等提出的三維光場腹腔鏡僅給出了實(shí)現(xiàn)可能，對成像模型、標(biāo)定與成像算法等關(guān)鍵問題并未給出解決方案，且其成像分辨率僅為54×36，無法滿足臨床需求。標(biāo)定算法與光場圖像的分辨率是影響三維光場腹腔鏡標(biāo)定精度的重要因素。傳統(tǒng)的光場成像系統(tǒng)標(biāo)定均基于雙平面模型，采用將成像參數(shù)一次標(biāo)定或多次分步標(biāo)定的策略進(jìn)行。通常，一次標(biāo)定的精度較高，如Dansereau等［2-3］提出的標(biāo)定方法，缺點(diǎn)在于成像模型中的參數(shù)物理含義不清晰，不利于對成像過程的理解。對于多次分步標(biāo)定而言，后標(biāo)定的參數(shù)精度受前標(biāo)定精度的影響，如Zhou［4］等提出的標(biāo)定方法，優(yōu)點(diǎn)在于參數(shù)物理意義清晰。但這些光場標(biāo)定方法均應(yīng)用于傳統(tǒng)光場相機(jī)，并不適用于光場視差較小的光場腹腔鏡。此外，成像分辨率是影響標(biāo)定精度的重要原因，特別是對于光場成像，由于受到帶寬積的限制，位置分辨率遠(yuǎn)低于傳統(tǒng)成像分辨率。為解決分辨率低的問題，超分辨率算法是近年的研究熱點(diǎn)［5-6］。自卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得突破性進(jìn)展后［7］，Dong等在2014年提出了首個(gè)基于深度學(xué)習(xí)的圖像超分辨方法［8］，實(shí)現(xiàn)了遠(yuǎn)超傳統(tǒng)方法的超分辨重建效果。隨后，一系列基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的方法，如VDSR［9］，SR DenseNet［10］，SR GAN［11］等，基 于 上 采 樣 的 方 法，如 轉(zhuǎn) 置 卷積［12］、pixel-shuffle［13］等，以及基于損失函數(shù)的方法，如perceptual loss［14］、adversarial loss［11］等，進(jìn)一步提升了深度學(xué)習(xí)超分辨方法的性能。

針對三維光場腹腔鏡的標(biāo)定問題，本文在前期兩步標(biāo)定法工作的基礎(chǔ)上，在第二步標(biāo)定中針對光場視差較小的問題提出了光場視差放大方法。針對光場三維腹腔鏡的帶寬積問題，提出了基于SRDenseNet的改進(jìn)型超分辨率網(wǎng)絡(luò)，分別對位置分辨率與角度分辨率進(jìn)行超分辨率處理。

2 光場視差放大

基于以往研究成果與Dansereau的虛擬物平面理論，三維光場腹腔鏡的標(biāo)定模型可用如圖1的雙平面模型表示?；诠鈭龅碾p平面理論，虛擬物平面代表方向平面（u，v），微透鏡陣列（Micro Lens Array，MLA）平面代表位置平面（s，t），因此，將三維光場腹腔鏡中的一條光線表示為L（u，v，s，t）。本文將其標(biāo)定過程分解為光線成像于MLA平面與傳感器平面兩個(gè)步驟。首先，空間中的一個(gè)物點(diǎn)P（Xw，Yw，Zw）成像于MLA平面 點(diǎn)p（x，y），其成像過程如式（1）所示：

圖1 三維光場腹腔鏡的雙平面模型Fig.1 Two-parallel-plane model of 3D light field endoscope

其中：以虛擬物平面中心建立坐標(biāo)系，Zc為所得的空間物點(diǎn)坐標(biāo)中的Z方向坐標(biāo)值，dob-ml表示虛擬物平面與MLA平面間的距離，MLA平面與傳感器平面間的距離采用dml-im表示，hm為物方焦平面到虛擬物平面間的距離，d為微透鏡直徑。此外，（U，V）為光線落于方向平面的坐標(biāo)，但不是標(biāo)定中必須求取的參數(shù)。根據(jù)光場理論，當(dāng)以中心子孔徑圖像為研究對象時(shí)，（U，V）=（0，0），將式（1）描述的過程進(jìn)行簡化，便于完成第一步標(biāo)定。除式（1）所示參數(shù)外，光場腹腔鏡的標(biāo)定需計(jì)算微透鏡陣列與傳感器平面間的距離dml-im，在傳統(tǒng)標(biāo)定中使用單個(gè)特征點(diǎn)的光場視差實(shí)現(xiàn)。因光場腹腔鏡中的光場視差較小，標(biāo)定精度較低，本文提出光場視差放大的方法加以解決。光場視差放大方法通過分析兩個(gè)特征點(diǎn)在不同光場特征圖像中的投影距離與dml-im間的關(guān)系，克服了單個(gè)特征點(diǎn)光場視差小對三維光場腹腔鏡標(biāo)定的影響，其原理如圖2所示。

圖2 三維光場腹腔鏡的成像模型Fig.2 Imaging model of 3D light field endoscope

其中：q為傳感器平面的像元尺寸；Ze2是特征點(diǎn)P2所成實(shí)像Pe2在相機(jī)坐標(biāo)系中的Z坐標(biāo)，該坐標(biāo)值在第一步標(biāo)定后，可通過基于EPI的方法計(jì)算得到［15］；與單個(gè)特征點(diǎn)的光場視差不同，ΔX與ΔU反映在圖像中，其對應(yīng)的像素?cái)?shù)值通常大于1個(gè)像素，即實(shí)現(xiàn)了視差放大功能。三維光場腹腔鏡的標(biāo)定即為求取式（1）與式（2）中的參數(shù)。

3 光場圖像超分辨率算法

本文使用棋盤格標(biāo)定板進(jìn)行光場三維腹腔鏡的標(biāo)定。在標(biāo)定過程中，使用中心子孔徑圖像進(jìn)行第一步標(biāo)定，其分辨率為354×236；使用元素圖像與中心子孔徑圖像進(jìn)行第二步標(biāo)定，元素圖像分辨率為13×13。子孔徑圖像與元素圖像分別為光場圖像的位置切片與角度切片，本文采用子孔徑圖像與元素圖像分別超分辨的策略，即分別進(jìn)行光場圖像的位置超分辨與角度超分辨運(yùn)算。本文基于SR DenseNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，針對標(biāo)定特征點(diǎn)搜索算法對邊界屬性的要求，將通道注意力機(jī)制［16］引入超分辨率網(wǎng)絡(luò)，總體結(jié)構(gòu)如圖3所示。

圖3 超分辨網(wǎng)絡(luò)的總體結(jié)構(gòu)Fig.3 Overall structure of proposed SR network

該網(wǎng)絡(luò)的基本思想是使用多個(gè)級聯(lián)的CAD模塊（Channel Attention Dense Block）對輸入的低分辨率圖像進(jìn)行特征提取，再通過轉(zhuǎn)置卷積上采樣提升圖像分辨率。網(wǎng)絡(luò)共包含68個(gè)卷積層與16個(gè)全連接層，實(shí)現(xiàn)了輸入二維圖像的寬、高各2倍的超分辨處理。通道注意力機(jī)制體現(xiàn)在CAD模塊中，輸入經(jīng)過可配置層數(shù)的k個(gè)密集連接卷積層后，再采用通道注意力機(jī)制對不同通道特征的自適應(yīng)權(quán)重分配使重要特征的權(quán)重提升，進(jìn)而增強(qiáng)特征提取與映射的效果。CAD模塊的結(jié)構(gòu)如圖4所示。

圖4 CAD模塊結(jié)構(gòu)Fig.4 Structure of CAD module

在傳統(tǒng)的卷積操作中，輸入特征的每個(gè)通道權(quán)重是相同的。雖然網(wǎng)絡(luò)可以通過整體調(diào)整對應(yīng)卷積核的參數(shù)值來間接調(diào)整每一通道的權(quán)重，但這種方法無法實(shí)現(xiàn)對不同輸入內(nèi)容的自適應(yīng)權(quán)重分配。在對標(biāo)定板圖像進(jìn)行超分辨處理時(shí)，對于邊界區(qū)域與其他區(qū)域的超分辨率要求不一，反映在網(wǎng)絡(luò)中為不同通道特征的重要程度不同。為實(shí)現(xiàn)通道權(quán)重的自適應(yīng)調(diào)整，本文采用通道注意力先對輸入特征X的每一通道XC進(jìn)行全局平均池化，得到對應(yīng)每個(gè)通道的特征值uc：

使用全局池化的目的在于獲取全局視野，利用整個(gè)通道的信息來提取特征。然后，本文使用兩個(gè)全連接層對特征值進(jìn)行非線性映射，得到每個(gè)通道的權(quán)重vc=f(uc)，最終將通道乘以對應(yīng)權(quán)重作為輸出，即YC=vC×XC。通過上述架構(gòu)，通道注意力實(shí)現(xiàn)了獨(dú)立于空間特征的通道特征重分配，且這種分配是自適應(yīng)、通過學(xué)習(xí)得到的。CAD模塊尾部添加的通道注意力部分能夠重新分配密集連接機(jī)制帶來的多通道特征，兩者的有機(jī)結(jié)合進(jìn)一步提升了網(wǎng)絡(luò)的超分辨性能。

超分辨率網(wǎng)絡(luò)的理想應(yīng)用場景是將現(xiàn)有的子孔徑圖像、元素圖像作為輸入，實(shí)現(xiàn)分辨率的增強(qiáng)。然而，由于我們無法獲得高于現(xiàn)有光場腹腔鏡圖像分辨率16倍的圖像，因此無法在有監(jiān)督學(xué)習(xí)的框架下完成網(wǎng)絡(luò)訓(xùn)練?？紤]到低、高分辨率標(biāo)定板圖像的結(jié)構(gòu)相似性，本文將原始圖像進(jìn)行降采樣得到低分辨率圖像（LR）［8］，將原始圖像作為高分辨率標(biāo)簽圖像（HR），使用此LR-HR圖像組作為訓(xùn)練數(shù)據(jù)完成網(wǎng)絡(luò)訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練完成后，再將原圖作為輸入圖像實(shí)現(xiàn)超分辨率的目標(biāo)。角度、位置超分辨網(wǎng)絡(luò)使用的數(shù)據(jù)集均為實(shí)驗(yàn)室自行拍攝，分別包含4.5萬與1.2萬組LRHR圖像，按照4∶1的比例隨機(jī)劃分為訓(xùn)練集與驗(yàn)證集。

本文的深度學(xué)習(xí)實(shí)驗(yàn)環(huán)境為：Intel Core i7-8700 CPU，32 GB內(nèi)存，Nvidia GeForce RTX 2080Ti GPU。軟件平臺為Windows10操作系統(tǒng)，Keras 2.2.4深度學(xué)習(xí)框架。兩個(gè)網(wǎng)絡(luò)分別進(jìn)行了150輪訓(xùn)練，使用Adam優(yōu)化器和均方誤差（Mean Square Error，MSE）損失函數(shù)，初始學(xué)習(xí)率設(shè)置為10-5。位置、角度超分辨率網(wǎng)絡(luò)在訓(xùn)練集與驗(yàn)證集上的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）訓(xùn)練曲線如圖5所示，超分辨率處理結(jié)果如圖6所示。在訓(xùn)練中，訓(xùn)練集實(shí)施了在線數(shù)據(jù)增強(qiáng)，在訓(xùn)練時(shí)對每張輸入LR圖像進(jìn)行隨機(jī)的高斯隨機(jī)噪聲疊加，以提升網(wǎng)絡(luò)的穩(wěn)健性與泛化能力。訓(xùn)練進(jìn)行150輪后，位置超分辨率網(wǎng)絡(luò)在進(jìn)行了數(shù)據(jù)增強(qiáng)的訓(xùn)練集與驗(yàn)證集上的PSNR分別達(dá)到約36.6 d B與36.4 d B，角度超分辨率網(wǎng)絡(luò)的PSNR均在32.8 d B左右。

圖5 超分辨率網(wǎng)絡(luò)訓(xùn)練曲線Fig.5 Training curves of super-resolution network

Matlab的光場工具箱在進(jìn)行元素圖像重置時(shí)，采用雙三次插值計(jì)算像素值。從獲得“新”像素值的角度出發(fā)，雙三次插值是一種基本的超分辨率算法。為評價(jià)本文提出的超分辨網(wǎng)絡(luò)的性能，這里分別測試了雙三次插值方法、經(jīng)典SR DenseNet網(wǎng)絡(luò)和本文提出網(wǎng)絡(luò)在原始訓(xùn)練集LR圖像上的超分辨效果。其中，經(jīng)典SR DenseNet的訓(xùn)練輪數(shù)、優(yōu)化方法等與本文提出的網(wǎng)絡(luò)相同。對比結(jié)果如表1所示。

表1 超分辨率算法的性能對比Tab.1 Performance comparison between super-resolution methods （dB）

由表1可知，以標(biāo)定板圖像作為輸入圖像時(shí)，本文所提網(wǎng)絡(luò)具有更好的超分辨率效果。需要指出的是，位置超分辨與角度超分辨網(wǎng)絡(luò)的訓(xùn)練集不同，因此兩者的PSNR數(shù)值不能用于直接對比。

4 實(shí) 驗(yàn)

本文實(shí)現(xiàn)的三維光場腹腔鏡實(shí)驗(yàn)系統(tǒng)由二維腹腔鏡（沈大）、物鏡（f=50 mm），微透鏡陣列（Pitch=0.063 mm，f=2 mm），中繼鏡與單反相機(jī)（Canon 600D，5 184×3 456 pixel，q=4.2 um）組成。如圖2所示，所有設(shè)備采用籠式結(jié)構(gòu)固定，以保證光軸共軸。根據(jù)微透鏡Pitch與傳感器像元尺寸可知，光場腹腔鏡的角度分辨率為13×13，子孔徑圖像分辨率為354×236 pixel。

4.1 超分辨率網(wǎng)絡(luò)實(shí)驗(yàn)結(jié)果

本文使用棋盤格標(biāo)定板完成三維光場腹腔鏡的標(biāo)定。光場腹腔鏡拍攝棋盤格標(biāo)定板，其中心子孔徑圖像如圖6（a）所示。采用本文提出的位置超分辨率網(wǎng)絡(luò)，將子孔徑圖像的分辨率提高至原始圖像的4倍，即708×472 pixel，所得結(jié)果如圖6（b）所示。在對式（1）所含參數(shù)進(jìn)行標(biāo)定時(shí)，選擇棋盤格的角點(diǎn)作為標(biāo)定特征點(diǎn)。如圖6（b）所示，子孔徑圖像分辨率增加，角點(diǎn)鄰域內(nèi)的黑白區(qū)域邊界更加銳利，這些變化有利于提高角點(diǎn)檢測的準(zhǔn)確性，進(jìn)而提高標(biāo)定精度。

圖6 標(biāo)定圖像超分辨率結(jié)果Fig.6 Super-resolution results of calibration images

基于圖2原理進(jìn)行參數(shù)dml-im標(biāo)定，需要在元素圖像中搜索特征點(diǎn)，因此在位置超分辨率之后，采用本文提出的角度超分辨率網(wǎng)絡(luò)，將元素圖像的分辨率，即角度分辨率從13×13提高至26×26。如圖6（c）～6（d）所示，元素圖像的細(xì)節(jié)更加清晰，有助于提升特征點(diǎn)的搜索精度。

4.2 三維光場腹腔鏡標(biāo)定

與經(jīng)典標(biāo)定方法相似，本文使用中心子孔徑圖像實(shí)現(xiàn)標(biāo)定，選擇棋盤格標(biāo)定板的角點(diǎn)作為特征點(diǎn)，采用張正友標(biāo)定法完成式（1）所含參數(shù)的標(biāo)定。針對dml-im，本文選擇元素圖像的中心點(diǎn)作為圖2所示的特征點(diǎn)P1的像點(diǎn)Pim1，選擇元素圖像中像點(diǎn)垂直于黑白交界的垂足作為特征點(diǎn)P2的像點(diǎn)Pim2。為實(shí)現(xiàn)dml-im的標(biāo)定，如圖2所示，需分別確定特征點(diǎn)P1，P2在MLA平面的像點(diǎn)Pml1，Pml2。采用中心子孔徑圖像，根據(jù)光場成像原理，微透鏡在微透鏡陣列中的位置索引即為該微透鏡對應(yīng)的元素圖像中心點(diǎn)在中心子孔徑圖像中的坐標(biāo)，因此，與特征點(diǎn)P1的像點(diǎn)Pim1對應(yīng)的像點(diǎn)Pml1在中心子孔徑圖像的坐標(biāo)，即為Pim1對應(yīng)的微透鏡在微透鏡陣列中的索引。對于Pml2的確定，依據(jù)光場成像原理，元素圖像可視為微透鏡拍攝主透鏡所成的像，因此元素圖像中特征點(diǎn)間的幾何關(guān)系在中心子孔徑圖像中仍成立，即特征點(diǎn)P2在中心子孔徑圖像中的像點(diǎn)Pml2應(yīng)為Pml1垂直于黑白交界的垂足，如圖7所示。

圖7 d ml-im標(biāo)定特征點(diǎn)Fig.7 Calibration feature points d ml-im

本文采用27幅位置、角度不一的標(biāo)定板圖像完成第一步標(biāo)定，在元素圖像、中心子孔徑圖像中選擇300對特征點(diǎn)完成第二步標(biāo)定。經(jīng)優(yōu)化，使用與不使用超分辨率網(wǎng)絡(luò)的三維光場腹腔鏡的標(biāo)定結(jié)果如表2所示。

表2 超分辨率前后三維光場腹腔鏡的標(biāo)定結(jié)果Tab.2 Calibration results of 3D LFE with&without super-resolation

本文采用超分辨率前后的反投影誤差與直線擬合的確定系數(shù)（R 2）評價(jià)標(biāo)定結(jié)果以及超分辨率處理對標(biāo)定性能的提升效果，如圖8所示?？梢姷谝徊綐?biāo)定中27張圖像超分辨前有個(gè)別圖像的誤差顯著高于平均值，超分辨處理后這些圖像的誤差明顯降低；使用與不使用超分辨的平均重投影誤差分別為0.058 pixel和0.050 pixel，使用超分辨網(wǎng)絡(luò)后的平均重投影誤差降低了約16%。

圖8 標(biāo)定反投影誤差和R-SquareFig.8 Re-projection error and R-square of calibration

第二步標(biāo)定中，使用與不使用超分辨網(wǎng)絡(luò)的直線擬合R 2系數(shù)分別為0.86和0.91。可見超分辨后的R 2提升了約6%，數(shù)據(jù)點(diǎn)在回歸直線附近的分布更加密集，說明超分辨網(wǎng)絡(luò)能夠降低第二步標(biāo)定的隨機(jī)誤差，提升直線擬合的準(zhǔn)確度。

綜上所述，本文提出的超分辨網(wǎng)絡(luò)能夠提升光場腹腔鏡標(biāo)定圖像的清晰度，降低光場腹腔鏡第一步和第二步標(biāo)定過程的隨機(jī)誤差，幫助計(jì)算得到更精準(zhǔn)的標(biāo)定參數(shù)。

5 結(jié) 論

影響三維光場腹腔鏡標(biāo)定精度的主要原因在于較小的光場視差與較低的圖像分辨率。針對第一個(gè)問題，本文提出了一種光場視差放大的方法，將標(biāo)定中單個(gè)特征點(diǎn)的光場視差計(jì)算，轉(zhuǎn)變?yōu)閮蓚€(gè)特征點(diǎn)在不同特征圖像中的距離計(jì)算，從根本上避免了小視差帶來的系統(tǒng)誤差；針對第二個(gè)問題，本文提出了一種適用于光場圖像的超分辨網(wǎng)絡(luò)，實(shí)現(xiàn)了比經(jīng)典SRDenseNet更清晰、準(zhǔn)確的超分辨重建效果，能夠有效提升光場腹腔鏡圖像的角度分辨率與位置分辨率。實(shí)驗(yàn)結(jié)果表明，光場腹腔鏡的角度分辨率從13×13提高至26×26，位置分辨率從354×236提高至708×472，光場腹腔鏡的整體分辨率提高了16倍。此外，使用本文方法后，光場腹腔鏡標(biāo)定的反投影誤差下降了約16%，直線擬合確定系數(shù)提升了約6%。使用超分辨率圖像后，在標(biāo)定方法不變的情況下，標(biāo)定精度的提高進(jìn)一步驗(yàn)證了本文超分辨率網(wǎng)絡(luò)的有效性。在今后的工作中，會(huì)考慮在網(wǎng)絡(luò)中加入3D或4D卷積結(jié)構(gòu)，以獲得更好的重建效果。