王子川,張 偉,郭 飛,賈志強(qiáng),王立強(qiáng) ,董文飛,4,楊 青
(1. 浙江大學(xué) 光電科學(xué)與工程學(xué)院, 浙江 杭州 310027;2. 之江實(shí)驗(yàn)室類人感知研究中心, 浙江 杭州 311100;3. 長(zhǎng)春理工大學(xué) 機(jī)電工程學(xué)院, 吉林 長(zhǎng)春 130022;4. 中國(guó)科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所, 江蘇 蘇州 215163)
近年來(lái),隨著光電技術(shù)、信息處理等技術(shù)的發(fā)展,成像技術(shù)的需求越來(lái)越大,光學(xué)成像技術(shù)在生物醫(yī)學(xué)成像[1]、遙感成像[2]、工業(yè)成像[3]、天文成像[4]等領(lǐng)域的運(yùn)用日益廣泛。由于衍射帶寬和光電探測(cè)器帶寬的存在,光學(xué)成像技術(shù)的視場(chǎng)與分辨率總是相互制約的,通常只在單一尺度下進(jìn)行成像[5-6]。
然而,對(duì)于許多具有跨尺度特征的成像目標(biāo),目標(biāo)在多尺度下的變化以及單一尺度下的變化都需要進(jìn)行觀測(cè)。為了解決這一問(wèn)題,跨尺度光學(xué)與光子學(xué)成像技術(shù)逐步發(fā)展起來(lái)并發(fā)揮出越來(lái)越重要的作用。
在內(nèi)窺鏡領(lǐng)域中,跨尺度光學(xué)成像一般是指能夠在一套光學(xué)系統(tǒng)實(shí)現(xiàn)對(duì)觀察部位的宏觀成像與微觀成像,例如對(duì)腸道進(jìn)行140°大視場(chǎng)觀察后使用同一系統(tǒng)進(jìn)行顯微觀察;或在食管中通過(guò)對(duì)顯微視場(chǎng)下的圖像進(jìn)行跨尺度拼接得到宏觀圖像。為了實(shí)現(xiàn)跨尺度成像,一種方式是基于傳統(tǒng)的物像共軛成像方式進(jìn)行變焦光學(xué)系統(tǒng)設(shè)計(jì),通過(guò)對(duì)光學(xué)系統(tǒng)進(jìn)行變焦,使得光學(xué)系統(tǒng)在不同狀態(tài)下獲得不同的視場(chǎng)和分辨率,從而實(shí)現(xiàn)對(duì)目標(biāo)的跨尺度成像;另一種方式則是得益于信息處理技術(shù)、微納加工技術(shù)、人工智能技術(shù)以及高速計(jì)算能力的飛速發(fā)展而誕生的計(jì)算成像技術(shù),在光學(xué)內(nèi)窺鏡領(lǐng)域中的主要運(yùn)用是各類光纖探針。與傳統(tǒng)的物像共軛成像技術(shù)相比,計(jì)算成像技術(shù)對(duì)于成像過(guò)程的分析角度不同,以信息的獲取與解譯為核心,顛覆了傳統(tǒng)物像共軛設(shè)計(jì)理念。例如,在傳輸介質(zhì)層面,對(duì)傳輸介質(zhì)進(jìn)行計(jì)算,綜合考慮散射光對(duì)目標(biāo)信息獲取和采集的作用,通過(guò)對(duì)相位、振幅和偏振進(jìn)行聯(lián)合解算,得到更多維度的信息并為后續(xù)成像處理提供更多信息量;在光學(xué)系統(tǒng)設(shè)計(jì)層面,仿生光學(xué)技術(shù)[7-8]等突破了傳統(tǒng)物像共軛光學(xué)系統(tǒng)設(shè)計(jì)理念,解決了視場(chǎng)與分辨率相互制約的問(wèn)題,通過(guò)將前端光學(xué)系統(tǒng)與后端圖像處理技術(shù)結(jié)合進(jìn)行全局一體化設(shè)計(jì),降低了對(duì)成像光學(xué)系統(tǒng)的要求,同時(shí)解決了光學(xué)系統(tǒng)體積、重量等制約光電設(shè)備發(fā)展的因素;在信息處理層面,將成像目標(biāo)的特征納入考慮范圍,并引入其他有價(jià)值的先驗(yàn)信息,而不是僅僅依靠圖像自身的信息量,借助圖像處理技術(shù)還原得到高對(duì)比度的清晰圖像,用于圖像的跨尺度拼接等方面。目前在跨尺度內(nèi)窺成像方面,常用的圖像處理技術(shù)有圖像拼接[9-10]、圖像融合[11-13]等。如今,基于計(jì)算成像技術(shù)發(fā)展而來(lái)的各類光纖探針在內(nèi)窺鏡領(lǐng)域的運(yùn)用已成為國(guó)內(nèi)外內(nèi)窺成像領(lǐng)域?qū)W者們研究的熱點(diǎn),在內(nèi)窺鏡跨尺度成像中發(fā)揮了重大作用。
本文對(duì)目前的跨尺度光學(xué)成像技術(shù)在內(nèi)窺鏡領(lǐng)域的運(yùn)用進(jìn)行了綜述,描述了它們的系統(tǒng)結(jié)構(gòu)與成像特點(diǎn),并對(duì)其進(jìn)行總結(jié)與展望。
對(duì)于采用傳統(tǒng)物像共軛成像方式的光學(xué)系統(tǒng)而言,若要實(shí)現(xiàn)跨尺度成像,需要該光學(xué)系統(tǒng)能夠?qū)崿F(xiàn)變焦,能夠?qū)Σ煌囊晥?chǎng)以不同的分辨率成像,從而獲取具有跨尺度特征的圖像。對(duì)光學(xué)變焦系統(tǒng)而言,假設(shè)光學(xué)系統(tǒng)有兩組元,其光焦度分別為φ1和 φ2,其系統(tǒng)的光焦度變化規(guī)律可表示為:
式中d為兩組元間隔。若想要改變整體光學(xué)系統(tǒng)的焦距,則至少需要改變組元的焦距或者透鏡組元之間的間距中的一項(xiàng)。對(duì)變焦光學(xué)系統(tǒng)而言,早期的變焦光學(xué)系統(tǒng)設(shè)計(jì)中受限于透鏡元件的制造方式,只能通過(guò)改變透鏡間距來(lái)實(shí)現(xiàn)變焦。近年來(lái),隨著透鏡材料的開(kāi)發(fā)以及透鏡加工能力的提升,焦距可調(diào)的新型透鏡如液體透鏡[14]、固體可調(diào)透鏡[15]以及液晶透鏡[16]等開(kāi)始在變焦光學(xué)系統(tǒng)設(shè)計(jì)中得到廣泛應(yīng)用。對(duì)內(nèi)窺鏡而言,光學(xué)變焦內(nèi)窺鏡具有很高的優(yōu)勢(shì),一旦醫(yī)生發(fā)現(xiàn)感興趣的區(qū)域,它能夠方便地從寬視場(chǎng)切換到近視場(chǎng),實(shí)現(xiàn)跨尺度高分辨率成像。這極大地減少了手術(shù)過(guò)程中手術(shù)范圍的移動(dòng),從而減少了手術(shù)的復(fù)雜性和創(chuàng)傷的風(fēng)險(xiǎn)。更重要的是,光學(xué)變焦內(nèi)窺鏡還能使醫(yī)生在保持高圖像質(zhì)量的同時(shí)觀察放大后的圖像以便進(jìn)一步檢查。這與標(biāo)準(zhǔn)的電子或數(shù)字放大內(nèi)窺鏡不同,后者只是將圖像質(zhì)量/分辨率降低的圖像放大。高倍率的光學(xué)變焦內(nèi)窺鏡也能使一些異常組織的特異性表征足夠準(zhǔn)確,進(jìn)行活檢,以節(jié)省成本和提高效率。如圖1(a)所示,基于變透鏡組間距的變焦原理,王立強(qiáng)等[17]以光學(xué)補(bǔ)償方式設(shè)計(jì)了一款跨尺度超高倍率球面內(nèi)鏡系統(tǒng),通過(guò)鋼絲牽引變焦透鏡組實(shí)現(xiàn)系統(tǒng)變焦,對(duì)0~100 mm景深范圍內(nèi)的染色病理組織進(jìn)行高分辨率成像。在較遠(yuǎn)距離觀察,如20 mm常規(guī)放大時(shí)做到了140°廣角大視場(chǎng),可觀察病理切片到組織層次;同時(shí)0 mm顯微觀察時(shí)配合27 inch (1 inch=0.025 4 m)顯示器實(shí)現(xiàn)了500倍放大,物方分辨率達(dá)到181 lp/mm,觀察到如圖1(d)所示病理組織切片的細(xì)胞核。這款內(nèi)鏡實(shí)現(xiàn)了幾十毫米視場(chǎng)的廣角觀察連續(xù)過(guò)渡,因此可以對(duì)細(xì)胞尺度進(jìn)行顯微的跨尺度成像,這種內(nèi)鏡也被稱作細(xì)胞內(nèi)鏡。目前市場(chǎng)上較成熟的細(xì)胞內(nèi)鏡產(chǎn)品只有日本奧林巴斯公司推出,奧林巴斯的細(xì)胞內(nèi)鏡自第三代[18]開(kāi)始具備連續(xù)變焦功能,其效果如圖2(a)~2(b)所示,第三代細(xì)胞內(nèi)鏡可實(shí)現(xiàn)常規(guī)成像以及最高380×放大,可觀察到染色細(xì)胞核。其變焦過(guò)程示意圖如圖2(c)所示,通過(guò)機(jī)構(gòu)移動(dòng)系統(tǒng)中的變焦透鏡組G2來(lái)實(shí)現(xiàn)對(duì)不同物距下的跨尺度成像。現(xiàn)在奧林巴斯細(xì)胞內(nèi)鏡已推出第四代[19],同樣具備跨尺度成像功能,同時(shí)該系統(tǒng)能配合26 inch顯示器可實(shí)現(xiàn)500倍放大,但顯微視場(chǎng)縮小至570 μm ×500 μm。其他內(nèi)窺鏡廠家也基于移動(dòng)變焦鏡組的方式提出了一些跨尺度變焦內(nèi)鏡,例如日本富士能的專利[20]中的實(shí)施例通過(guò)移動(dòng)變焦鏡組的方式可實(shí)現(xiàn)從物距18.95 mm (140.4°視場(chǎng)角)到物距1.93 mm (58.2°視場(chǎng)角)的觀察,相對(duì)遠(yuǎn)距離成像圖像放大倍率提高了144倍;日本Pentax的專利[21]中的實(shí)施例通過(guò)移動(dòng)變焦鏡組的方式可實(shí)現(xiàn)遠(yuǎn)距離觀察(170°視場(chǎng)角)到近距離觀察(80°視場(chǎng)角)的切換,相對(duì)遠(yuǎn)距離成像,圖像放大了29倍。
圖1 大視場(chǎng)變焦內(nèi)窺物鏡的設(shè)計(jì)。(a)透鏡結(jié)構(gòu)示意圖;(b)變焦內(nèi)窺鏡外觀;(c)內(nèi)窺鏡直徑;(d)高倍視圖[17]Fig. 1 Design of zoom endoscopic objective lens with large field. (a) Schematic of lens; (b) view of zoom endoscope; (c) diameter of endoscope; (d) highmagnification view[17]
圖2 變焦內(nèi)窺物鏡。(a)常規(guī)觀察視圖;(b)高倍放大;(c)變焦過(guò)程[18]Fig. 2 Zoom endoscopic objective lens. (a) Conventional endoscopic view; (b) high-magnification; (c) zoom process[18]
另一方面,也有研究團(tuán)隊(duì)使用新型透鏡來(lái)實(shí)現(xiàn)內(nèi)窺鏡的跨尺度變焦成像功能,如圖3所示,Zou[22]等人利用焦距可調(diào)的具有自由曲面的Alvarez透鏡開(kāi)發(fā)了一款適用于內(nèi)窺鏡的變焦透鏡,實(shí)現(xiàn)了光學(xué)系統(tǒng)的3×變焦,視場(chǎng)范圍由50°縮小為18°,Alvarez透鏡整個(gè)變焦過(guò)程中由壓電裝置推動(dòng)在垂直于軸方向上的移動(dòng)距離不超過(guò)110 μm。如圖4所示,郭鑫等[23]使用一種單液體電控型液體透鏡技術(shù)設(shè)計(jì)了一款膠囊內(nèi)窺鏡,視場(chǎng)角達(dá)到110°,實(shí)現(xiàn)對(duì)景深范圍內(nèi)3~100 mm的成像。這種液體透鏡的變焦由電壓驅(qū)動(dòng)使得液滴的表面曲率發(fā)生變化,實(shí)現(xiàn)透鏡變焦。由于液滴體積一定,在施加電壓時(shí),液滴的曲率與孔徑均會(huì)發(fā)生變化,且曲率越大、孔徑越大、厚度越小。因此,在進(jìn)行設(shè)計(jì)前,必須對(duì)液體透鏡本身建立準(zhǔn)確的數(shù)學(xué)模型,才能夠在光學(xué)設(shè)計(jì)軟件中準(zhǔn)確模擬液體透鏡系統(tǒng)。與傳統(tǒng)球面透鏡系統(tǒng)相比,采用Alvarez這類變焦距透鏡有利于實(shí)現(xiàn)系統(tǒng)的小型化、緊湊化,但生產(chǎn)難度相對(duì)于球面透鏡系統(tǒng)高出較多。得益于新型透鏡的出現(xiàn)和制造工藝的提升,基于物像共軛原理的跨尺度變焦光學(xué)系統(tǒng)也得到了新的發(fā)展。受限于加工難度和成本等方面因素,液體透鏡等新型透鏡在跨尺度內(nèi)窺鏡中的運(yùn)用大多還停留在研究階段,沒(méi)有進(jìn)入到臨床設(shè)備中。目前成熟的跨尺度內(nèi)窺鏡產(chǎn)品中透鏡類型還是以球
圖3 YZ視角下內(nèi)窺鏡的3種變焦配置[22]Fig. 3 Three zoom configurations of the endoscope optics under YZ view[22]
圖4 透鏡結(jié)構(gòu)示意圖。(a)可調(diào)液體透鏡;(b)膠囊內(nèi)窺鏡[23]Fig. 4 Schematic of lens. (a) Tunable liquid lens; (b) capsule endoscope optical system[23]
面透鏡以及非球面透鏡等傳統(tǒng)透鏡為主。與傳統(tǒng)透鏡相比,諸如仿人眼的液體透鏡等新型透鏡具有體積更小、變焦快、不需要移動(dòng)透鏡組的機(jī)械結(jié)構(gòu)等優(yōu)點(diǎn),是跨尺度內(nèi)窺鏡進(jìn)一步小型化的重要發(fā)展方向之一。若能將這些新型透鏡運(yùn)用于基于物像共軛成像關(guān)系的跨尺度內(nèi)窺成像光學(xué)系統(tǒng)中,伴隨著小型化帶來(lái)的體積小、重量輕等優(yōu)點(diǎn),在臨床運(yùn)用中更適合醫(yī)生進(jìn)行內(nèi)窺手術(shù)。
以像差為驅(qū)動(dòng)的傳統(tǒng)光學(xué)系統(tǒng)往往受限于視場(chǎng)和分辨率相互制約的矛盾,為了得到更遠(yuǎn)的探測(cè)距離、更大的視場(chǎng)或者更高的分辨能力,往往會(huì)采用增加透鏡數(shù)量、系統(tǒng)焦距或者增大系統(tǒng)相對(duì)孔徑等方式。然而這些方式常常只能解決某一方面問(wèn)題,并會(huì)引入其他問(wèn)題。以信息傳遞為核心的計(jì)算光學(xué)成像系統(tǒng)則利用信息的獲取、傳遞及解譯來(lái)描述光場(chǎng),從根本上改變以物像共軛為核心的傳統(tǒng)光學(xué)成像單一依靠有序信息傳遞的方式,增加了信息獲取模式,更充分地利用信息通道獲取信息量,從而突破傳統(tǒng)光學(xué)成像的瓶頸[24]。其中在內(nèi)窺鏡領(lǐng)域中,運(yùn)用最廣泛的計(jì)算成像光學(xué)系統(tǒng)就是各類光纖探針。在光纖成像中波前校正[25-26]以及基于像差和散射校正的無(wú)透鏡成像技術(shù)[27-28]是將光信息恢復(fù)成圖像的常見(jiàn)方式。另一方面,圖像拼接、圖像融合等圖像處理技術(shù)也為非變焦光學(xué)系統(tǒng)在跨尺度內(nèi)窺成像中運(yùn)用提供了條件,通過(guò)對(duì)多個(gè)光學(xué)系統(tǒng)捕獲的圖像進(jìn)行拼接與融合,亦可實(shí)現(xiàn)跨尺度成像。目前,在跨尺度成像技術(shù)中,常用于內(nèi)窺鏡的跨尺度成像技術(shù)主要通過(guò)將傳統(tǒng)光學(xué)成像系統(tǒng)或計(jì)算成像光學(xué)系統(tǒng)結(jié)合圖像拼接[29]與圖像融合[30-32]等圖像處理技術(shù),實(shí)現(xiàn)內(nèi)窺鏡系統(tǒng)的跨尺度成像。
時(shí)至今日,隨著光學(xué)成像技術(shù)的發(fā)展,激光共聚焦顯微成像技術(shù)[33]、熒光成像技術(shù)[34]、光學(xué)相干斷層成像技術(shù)[35]等在生物醫(yī)學(xué)成像領(lǐng)域得到了廣泛運(yùn)用。
在內(nèi)窺鏡臨床運(yùn)用中,光纖掃描成像系統(tǒng)的跨尺度成像通常是通過(guò)將光纖探針的掃描運(yùn)動(dòng)與相對(duì)于掃描平面垂軸方向的探針的機(jī)械運(yùn)動(dòng)相結(jié)合,在掃描平面上,探針通常能獲得μm級(jí)大小的圖像,通過(guò)圖形拼接等圖像處理算法可以獲得這個(gè)掃描平面的視圖,再結(jié)合探針cm級(jí)的機(jī)械運(yùn)動(dòng),通過(guò)圖像算法復(fù)原出內(nèi)窺鏡所觀察到的cm級(jí)通道的跨尺度立體圖像,并且能夠選擇其中需要觀察的部位進(jìn)行微觀觀察。光纖掃描成像系統(tǒng)使用的光纖掃描成像技術(shù)是指通過(guò)控制光纖及其出射的光束偏折,使光纖按照預(yù)定的軌跡移動(dòng),在掃描的同時(shí)收集雜散光成像的技術(shù)??刂乒饫w的方式通過(guò)壓電材料[36-37]、微機(jī)電[38]或電熱[39]等物理致動(dòng)效應(yīng)結(jié)合控制信號(hào)來(lái)完成的。單根光纖成像所得到的圖像分辨率高,但是視場(chǎng)范圍極小,這些高分辨率的顯微圖像通過(guò)使用光纖成像束和微透鏡在組織之間傳遞光來(lái)獲得,這使得一個(gè)緊湊的光纖探針設(shè)計(jì)不需要復(fù)雜的機(jī)械部件,在實(shí)際使用中通常通過(guò)對(duì)按照掃描軌跡移動(dòng)光纖得到的多幅圖像進(jìn)行圖像拼接來(lái)得到高分辨大視場(chǎng)圖像。
目前光纖掃描成像技術(shù)已經(jīng)用于光學(xué)相干層析、共聚焦顯微、自發(fā)熒光等內(nèi)窺成像系統(tǒng)中。根據(jù)掃描方式的不同,光纖掃描方式可分為螺旋掃描[40]、Lissajous掃描[37]以及光柵掃描[41]等。由于實(shí)現(xiàn)快速光柵掃描需要很高的驅(qū)動(dòng)電壓,安全性較差,在臨床設(shè)備中不宜使用,所以目前在內(nèi)窺鏡領(lǐng)域的掃描系統(tǒng)基本是基于螺旋掃描或Lissajous掃描的。螺旋掃描的運(yùn)動(dòng)是通過(guò)沿兩個(gè)方向具有相同頻率的振幅漸增的具有90°相位差的偏移量驅(qū)動(dòng)得到。這種掃描模式是用共振光纖掃描儀獲得的[42]。這些掃描器被漸增的驅(qū)動(dòng)振幅信號(hào)激活,直到達(dá)到最大半徑,然后經(jīng)過(guò)回歸時(shí)間重置光纖到它的靜止位置,隨后開(kāi)始下一次成像周期。如圖5(a)所示,螺旋掃描的缺陷在于圖像越靠近中心的部位光強(qiáng)越高,照明密度不均勻。Lissajous的掃描運(yùn)動(dòng)是兩個(gè)正交簡(jiǎn)諧振動(dòng)的合運(yùn)動(dòng),其掃描軌跡形狀由兩個(gè)簡(jiǎn)諧振動(dòng)的初相位、振幅和頻率共同決定[43]。如圖5(b)所示,相對(duì)于螺旋掃描模式,Lissajous掃描具有更好的照明均勻性,但其填充率,即掃描填充面積與掃描區(qū)域的比值,高度依賴于用于驅(qū)動(dòng)的信號(hào)頻率比。
圖5 掃描模式示意圖。(a)螺旋掃描示意圖[44];(b)Lissajous掃描示意圖[37]Fig. 5 Schematic of scanning patterns. (a) Schematic of spiral scanning[44]; (b) schematic of Lissajous scanning[37]
Tsai等[45]研發(fā)了一種用于人體胃腸道超高速OCT(Optical Coherence Tomography)掃描內(nèi)窺鏡,如圖6所示??梢?jiàn),激光輸出的一部分耦合到馬赫-曾德?tīng)柛缮鎯x(Mach Zehnder Interferometer,MZI)上,以校準(zhǔn)垂直腔面發(fā)射激光器(Vertical Cavity Surface-Emitting Laser,VCSEL)的掃 頻。MZI被設(shè)置為6.6 mm路徑差,條紋由一個(gè)1 GHz的雙平衡光學(xué)時(shí)鐘發(fā)生器以恒定頻率間隔對(duì)A/D信號(hào)進(jìn)行處理。OCT系統(tǒng)有一個(gè)帶有兩個(gè)光循環(huán)器和一個(gè)50/50光纖分配器的邁克耳孫干涉儀。邁克耳孫干涉儀的樣品臂包括一個(gè)病人接口單元(Patient Interface Unit,PIU)。它可以使導(dǎo)管的遠(yuǎn)端以最高2.8 mm/s的拉回速度平移。PIU連接到成像導(dǎo)管的近端,通過(guò)控制導(dǎo)管內(nèi)的扭轉(zhuǎn)裝置產(chǎn)生垂直于回拉方向的位移,使光纖能夠進(jìn)行螺旋掃描。Tsai等將所研發(fā)的內(nèi)窺鏡用于拍攝正常食管,每次成像前獲取MZI的校準(zhǔn)軌跡用于校準(zhǔn)所有OCT數(shù)據(jù),每次MZI掃描1 000個(gè)A/D(Analog to Digital)采樣點(diǎn),通過(guò)快速傅立葉變換插值后進(jìn)行逆傅立葉變化,然后通過(guò)希爾伯特變換提取插值MZI軌跡的相位信息。對(duì)OCT干涉信號(hào)進(jìn)行相同處理后,利用MZI的相位校準(zhǔn)信息進(jìn)行重采樣得到OCT軸向掃描信號(hào),并通過(guò)計(jì)算軸向掃描信號(hào)大小的對(duì)數(shù)計(jì)算出OCT圖像。探針每進(jìn)行一次采樣可以獲得12 μm半徑光斑照射區(qū)域的OCT微觀圖像,通過(guò)密集高頻采樣獲取大量的OCT微觀圖像,然后對(duì)所有微觀圖像進(jìn)行圖像拼接得到掃描平面對(duì)應(yīng)的食管帶深度信息的跨尺度OCT圖像,再結(jié)合垂直掃描方向的回拉運(yùn)動(dòng)進(jìn)行圖像拼接得到整個(gè)掃描長(zhǎng)度的跨尺度宏觀管狀3D容積圖。實(shí)驗(yàn)中對(duì)應(yīng)掃描組織的體積為10 mm×16 mm×2.4 mm(旋轉(zhuǎn)×回拉×深度),在旋轉(zhuǎn)×拉回×深度的各個(gè)方向,像素間距分別為6.7 μm×5 μm×4.8 μm,軸向分辨率達(dá)到8 μm。如圖7(a)(彩圖見(jiàn)期刊電子版)所示為在組織深度240 μm處的enfaceOCT圖像,對(duì)應(yīng)240 μm深度時(shí)平行于食管表面的圖像,右上角插圖為在內(nèi)鏡OCT成像之前獲得的白光內(nèi)鏡下宏觀圖像,對(duì)應(yīng)圖7(a)的食管實(shí)際位置。圖7(b)(彩圖見(jiàn)期刊電子版)顯示了圖7(a)中綠色(水平)虛線所示位置沿回拉方向的截面圖像,能夠看到整個(gè)回拉長(zhǎng)度上正常食管典型的明確的分層結(jié)構(gòu)。圖7(c)(彩圖見(jiàn)期刊電子版)所示為圖7(a)中藍(lán)色(垂直)虛線所示位置沿旋轉(zhuǎn)方向的截面圖像,圖7(c)為規(guī)則的分層結(jié)構(gòu)。在高頻率拍攝速率下得到的圖7具有極高的像素密度,軸向分辨率為11 μm,橫向分辨率為11 μm,可用于全面OCT和橫切面成像,以及OCT血管成像(OCT Angiography,OCTA),可實(shí)現(xiàn)亞表層微血管的三維可視化。Zhang等[46]通過(guò)OCT信號(hào)和馬赫曾德?tīng)柛缮鎯x信號(hào)的雙通道采集方式克服了固有的光時(shí)鐘限制,達(dá)到了2.4 MHz和3.0 MHz的軸向掃描速率,并將Tsai等[45]所研發(fā)OCT探針運(yùn)用于超高速掃描源光相干層析成像研究,進(jìn)一步展示了其在胃腸道OCT成像中的前景。此外,Zhang等還采用系線膠囊OCT內(nèi)鏡和寬視場(chǎng)OCTA探針在豬的胃腸道中進(jìn)行試驗(yàn),驗(yàn)證了該超高速掃描源光學(xué)相干層析成像技術(shù)的實(shí)用性。
圖6 OCT內(nèi)窺系統(tǒng)。(a)微機(jī)成像導(dǎo)管示意圖;(b)使用掃頻激光源和微機(jī)成像導(dǎo)管的內(nèi)窺鏡OCT成像系統(tǒng)示意圖[45]Fig. 6 Endoscopic OCT imaging system. (a) Schematic of the micromotor imaging catheter; (b) schematic of endoscopic OCT imaging system using a swept source laser and micromotor imaging catheter[45]
圖7 正常食管OCT。(a)240 μm組織深度的en face OCT圖像;(b)沿回拉方向的橫切面圖像;(c)旋轉(zhuǎn)方向橫切面圖像[45]Fig. 7 OCT of the normal esophagus.(a) En face OCT image at 240 μm depth. The inset shows an endoscopic view of the esophagus obtained prior to endoscopic OCT imaging; (b) cross-sectional image along the pullback direction; (c) cross-sectional image along the rotary direction[45]
相對(duì)于較低掃描頻率的OCT系統(tǒng),MHz級(jí)別的超高速OCT掃描內(nèi)窺鏡系統(tǒng)依靠超高的采樣密度,在對(duì)微觀OCT圖像進(jìn)行跨尺度圖像拼接和重建食管3D容積圖時(shí)具有比較低掃描頻率的OCT系統(tǒng)更高的圖像精度,是OCT探針在跨尺度內(nèi)窺鏡中的一個(gè)重要發(fā)展方向。Antonio等[47]研發(fā)了一種系線電機(jī)驅(qū)動(dòng)內(nèi)窺膠囊用于食道OCT成像,如圖8所示。這款系線膠囊在設(shè)計(jì)上與傳統(tǒng)設(shè)計(jì)不同,沒(méi)有將微電機(jī)和光纖探針呈面對(duì)面放置,而是將微型電機(jī)與Grin透鏡并排固定在膠囊的遠(yuǎn)端帽上。OCT光經(jīng)過(guò)兩次偏轉(zhuǎn),從而使光束轉(zhuǎn)像,最終落在安裝于電機(jī)軸的反射鏡上,通過(guò)這種設(shè)計(jì),避免電機(jī)線穿過(guò)光路,避免OCT圖像中出現(xiàn)陰影效應(yīng)。在通過(guò)調(diào)制驅(qū)動(dòng)所用兩相四極同步電機(jī)的電流信號(hào),該膠囊在無(wú)障礙周視掃描的基礎(chǔ)上,進(jìn)一步地實(shí)現(xiàn)兩種先進(jìn)的工作模式:精確定位模式和局部定位掃描模式。精確定位模式通過(guò)控制驅(qū)動(dòng)電流的信號(hào)使電機(jī)的旋轉(zhuǎn)器保持在一個(gè)特定角度;局部定位掃描模式則是在精確定位模式的基礎(chǔ)上,使其在定位的特定角度的一定范圍內(nèi)進(jìn)行掃描。Antonio等將膠囊連接到一個(gè)使用1.5 MHz頻域鎖模激光器的OCT成像系統(tǒng),對(duì)豬食管進(jìn)行成像實(shí)驗(yàn),得到了如圖9所示圖像。在實(shí)驗(yàn)過(guò)程中為了獲得體積數(shù)據(jù)集,以15 mm/s的速度將膠囊從食管下部拉到上部。該實(shí)驗(yàn)中在可掃描深度范圍內(nèi)光纖探針的光斑大小
圖8 系線膠囊示意圖和照片[47]Fig. 8 Schematic of the tethered capsule and photo of the capsule
圖9 食管OCT圖像。(a)豬食道代表性橫切面圖(剪去內(nèi)壁);(b)沿4.5 cm拉回距離進(jìn)行3D重建;(c)(b)中虛線框的放大區(qū)域。比例尺為1 mm[47]Fig. 9 OCT imageof esophagus. (a) Representative crosssectional image of swine esophagus (inner wall of the tube is cropped out); (b) 3D reconstruction along a 4.5 cm pull-back distance; (c) zoomed-in area of the dotted box in (b). Scale bar is 1 mm[47]
介于34~39 μm之間,通過(guò)轉(zhuǎn)動(dòng)獲得需要進(jìn)行圖像拼接的OCT微觀圖像,結(jié)合回拉運(yùn)動(dòng)進(jìn)行圖形拼接得到的橫斷面OCT圖像9(a)可以看到整個(gè)食管的管腔,無(wú)任何陰影偽影,證明膠囊可以提供通暢的OCT成像。對(duì)經(jīng)過(guò)拉伸得到的圖像數(shù)據(jù)進(jìn)行3D重建也顯示了4.5 cm長(zhǎng)度的食管的跨尺度立體圖像(圖9(b)),沒(méi)有任何陰影偽影。放大的區(qū)域可識(shí)別食管的層狀結(jié)構(gòu),即上皮(E)、固有層(LP)、粘膜肌層(SM)、粘膜下層(MM)和固有肌層(MP),如圖9(c)所示。
用于跨尺度內(nèi)窺成像的OCT探針在臨床上已經(jīng)取得了一些運(yùn)用,由于OCT探針對(duì)組織的微觀結(jié)構(gòu)觀察接近組織學(xué)水平,常用于組織進(jìn)行原位跨尺度觀察。但是目前臨床上OCT探針對(duì)于胃腸部位還難以實(shí)現(xiàn)較好的成像,主要運(yùn)用場(chǎng)景在于Barrett食管、膽總管和胰管腫瘤的鑒別和診斷。受限于組織結(jié)構(gòu)特征,目前針對(duì)下消化道的OCT成像技術(shù)還處于研究階段,若能取得突破,高分辨的OCT探針將在輔助早癌診斷、在體原位檢測(cè)等方面發(fā)揮出其巨大的潛力。
多通道內(nèi)窺鏡系統(tǒng)是指具備多個(gè)不同光學(xué)成像通道的內(nèi)窺鏡系統(tǒng)。在實(shí)際醫(yī)療手術(shù)中,除了通過(guò)掃描這種方式獲取需要的醫(yī)學(xué)跨尺度影像外,醫(yī)生常常也需要使用內(nèi)窺鏡在手術(shù)過(guò)程中對(duì)人體內(nèi)部某一部位進(jìn)行跨尺度觀察以及手術(shù)操作,這個(gè)時(shí)候?yàn)榱双@取更精確的圖像信息,具備多個(gè)成像通道的內(nèi)窺鏡系統(tǒng)被醫(yī)生廣泛使用,例如在內(nèi)窺鏡手術(shù)中使用大視場(chǎng)內(nèi)窺鏡觀察,在大視場(chǎng)內(nèi)窺鏡引導(dǎo)下查找病變處并使用小視場(chǎng)內(nèi)窺探針等光學(xué)成像系統(tǒng)獲取更小尺度的醫(yī)學(xué)圖像幫助醫(yī)生進(jìn)行診斷和術(shù)中操作。
Yuki等[48]將探針式共聚焦激光顯微內(nèi)窺鏡(Probe-based Confocal Laser Endomicroscopy,pCLE)與口腔膽管鏡(Peroral Cholangioscopy,POCS)結(jié)合,評(píng)估了在膽管鏡直視下引導(dǎo)探針式共聚焦顯微內(nèi)鏡在膽道狹窄診斷中的運(yùn)用。在體內(nèi)實(shí)驗(yàn)過(guò)程中,除膽道過(guò)于狹窄探針無(wú)法進(jìn)入以外,操作醫(yī)師一共對(duì)30例病患進(jìn)行內(nèi)鏡逆行胰膽管造影,在造影后使用膽管內(nèi)鏡進(jìn)行膽管觀察。波士頓科學(xué)公司的POCS能夠提供120°廣角視場(chǎng)的彩色圖像,利用POCS可以將共聚焦微型探針精確地引導(dǎo)到醫(yī)生關(guān)注的位置。整個(gè)檢查過(guò)程中,醫(yī)生首先使用膽管鏡進(jìn)行檢查,在大視場(chǎng)內(nèi)窺圖像中找到病灶位置。進(jìn)行膽管鏡檢查后,在膽管鏡直視引導(dǎo)下,直徑為0.94 mm、視場(chǎng)大小為325 μm、橫向分辨率為3.5 μm的共聚焦激光顯微內(nèi)窺探針通過(guò)膽管鏡的工作通道輕觸膽管狹窄處并以12 frame/s的速率成像和記錄。在膽管鏡直視下共聚焦激光顯微內(nèi)窺探針完成共聚焦成像后,使用器械在膽管鏡直視下對(duì)膽管狹窄處進(jìn)行活檢取樣。在實(shí)驗(yàn)過(guò)程中,兩名經(jīng)驗(yàn)豐富的內(nèi)鏡醫(yī)師對(duì)記錄在每種成像模式下的病情做假定診斷。其中一個(gè)病例在實(shí)驗(yàn)過(guò)程中所得圖像如圖10(彩圖見(jiàn)期刊電子版)所示,在圖10(a)和10(b)中,共聚焦探針通過(guò)膽管鏡通道伸出,在引導(dǎo)下對(duì)膽管成像,得到了膽管的跨尺度圖像。圖10(c)為白光膽管鏡下的圖像,圖10(d)為pCLE所拍攝圖像。
圖10 自身免疫性膽管炎。(a)膽管造影顯示膽道狹窄(粉紅色箭頭);(b)POCS下的pCLE執(zhí)行;(c)膽管鏡顯示微紅色乳頭狀顆粒狀表面;(d)pCLE顯示Paris分類增厚網(wǎng)狀結(jié)構(gòu)[48]Fig. 10 Autoimmune cholangitis. (a) Cholangiography shows the biliary stricture (pink arrow); (b) pCLE under the direct view of POCS was performed; (c)cholangioscopy shows a reddish papillogranular surface; (d) pCLE shows a thickened reticular structure in the Paris classification[48]
圖中觀察到增厚的網(wǎng)狀結(jié)構(gòu)。將假定診斷與病理診斷結(jié)果進(jìn)行對(duì)比,30例病例中PCOS下的pCLE的診斷時(shí)特異性達(dá)到92.3%,準(zhǔn)確度達(dá)到93.33%;另一方面,PCOS下直視的特異性為76.9%,準(zhǔn)確率為90%;PCOS下組織活檢的特異性為100%,準(zhǔn)確率為90%水平接近。Yuki團(tuán)隊(duì)證明使用能夠?qū)崿F(xiàn)POCS直視下的pCLE可以為膽道狹窄提供了高度準(zhǔn)確和敏感的表征,并顯示出更高的診斷可靠性和減少診斷延誤的潛力。目前共聚焦顯微內(nèi)窺鏡已經(jīng)初步實(shí)現(xiàn)了實(shí)時(shí)組織病理成像與特異性功能成像。若結(jié)合造影技術(shù),將對(duì)病灶的探測(cè)能力提高至分子水平,在早期癌癥檢測(cè)上具有良好的運(yùn)用前景。
Julia等[49]探索了將小型熒光內(nèi)窺鏡與普通商用內(nèi)窺鏡結(jié)合,用于獲取在動(dòng)物實(shí)驗(yàn)中的圖像數(shù)據(jù),在組織水平上實(shí)現(xiàn)腹部的多色成像。實(shí)驗(yàn)中,Julia等以被標(biāo)記綠色熒光蛋白的小鼠為對(duì)象,采用一個(gè)30°視場(chǎng)角的白光商用內(nèi)窺鏡引導(dǎo)熒光內(nèi)鏡活檢,在對(duì)腹腔進(jìn)行初步檢查后,在距離普通商用內(nèi)鏡約1 mm處的位置放置熒光內(nèi)鏡的光纖束,這允許通過(guò)商用普通內(nèi)窺鏡直接可視化地精確引導(dǎo)熒光內(nèi)窺鏡,實(shí)驗(yàn)過(guò)程如圖11(a)和11(b)所示。由于采用光纖成像的方式,其成像效果會(huì)受到離焦光線的影響而模糊。為了得到更好的圖像恢復(fù)效果,Julia等使用經(jīng)過(guò)常規(guī)顯微鏡數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行改善。將一些共聚焦圖像作為訓(xùn)練用的標(biāo)準(zhǔn)圖像,通過(guò)對(duì)標(biāo)準(zhǔn)圖像添加模糊、噪聲、強(qiáng)度降低等信號(hào)產(chǎn)生訓(xùn)練圖像。訓(xùn)練過(guò)程中,20%的輸入圖像作為檢驗(yàn)數(shù)據(jù),并采用計(jì)算絕對(duì)平均誤差的方式測(cè)量訓(xùn)練數(shù)據(jù)與驗(yàn)證數(shù)據(jù)的網(wǎng)絡(luò)性能。最后將該網(wǎng)絡(luò)用于拍攝的熒光圖像改善,在大視場(chǎng)白光內(nèi)鏡的宏觀引導(dǎo)下,熒光內(nèi)鏡到達(dá)藍(lán)光區(qū)域進(jìn)行微觀觀察,對(duì)器官進(jìn)行熒光素染色后,對(duì)圖11中藍(lán)光照射部位的成像結(jié)果如圖12所示,能夠清楚地分辨出不同細(xì)胞。Julia等搭建的熒光內(nèi)鏡和普通熒光內(nèi)鏡的區(qū)別在于其有4個(gè)熒光成像通道,可使用不同的染料,通過(guò)選擇適當(dāng)?shù)腖ED激發(fā),在相同的成像過(guò)程中能激發(fā)許多熒光團(tuán),而熒光成像視場(chǎng)約為1 mm,分辨率足以分辨出單個(gè)細(xì)胞。這種跨尺度內(nèi)窺鏡在臨床上可以在對(duì)疾病的特征特異性物質(zhì)進(jìn)行熒光標(biāo)記后,進(jìn)行即時(shí)診斷,進(jìn)行體內(nèi)活檢。
圖11 內(nèi)窺鏡系統(tǒng)。(a)手術(shù)過(guò)程照:1. 商用內(nèi)窺鏡;2. 具有用于光纖束的套管針的微操作器;3. 吹氣管。(b)在活體成像過(guò)程中,通過(guò)商業(yè)內(nèi)窺鏡進(jìn)行內(nèi)窺鏡觀察:1. 用于光纖束和藍(lán)色照明光纖的套管針;2. 腸套;3. 胰腺;4. 肝臟[49]Fig. 11 Endoscope system. (a) Photograph of the surgical procedure: 1. commercial endoscope; 2. micromanipulator with the trocar for the fiber bundle; 3. insufflation-pipe. (b) Endoscopic view through the commercial endoscope during the imaging procedure in vivo: 1. trocar for the fiber-optic with fiber bundle and blue illumination; 2. intestinal loop;3. pancreas; 4. liver[49]
圖12 熒光圖像效果圖[49]Fig. 12 Image of a fluorescence channel[49]
目前共聚焦成像已經(jīng)在臨床中得到實(shí)際運(yùn)用,Igor等[50]將普通支氣管鏡與MKT公司的1.4 mm的pCLE探針結(jié)合用于觀察COVID-19確診陽(yáng)性患者的肺組織,在進(jìn)行支氣管鏡檢查中,雙側(cè)見(jiàn)適量液性粘液出血性分泌物,左3段支氣管閉塞有血塊,其他支氣管管腔正常。清除血塊后,沒(méi)有發(fā)現(xiàn)支氣管病變,隨后在支氣管鏡引導(dǎo)下對(duì)左肺葉的所有亞段進(jìn)行觀察,得到如圖13(彩圖見(jiàn)期刊電子版)所示的pCLE圖像。圖像顯示肺泡的變化,隨著密度的增加,肺泡結(jié)構(gòu)缺失,彈性纖維增厚,肺泡內(nèi)分泌物大量出現(xiàn)。
圖13 左上葉肺組織的pCLE圖像。肺泡內(nèi)纖維厚度(黃線),彈性結(jié)構(gòu)密度增加(白箭頭),直至肺泡結(jié)構(gòu)消失(黃箭頭),肺泡內(nèi)分泌物大滴(*)[50]Fig. 13 pCLE images of lung tissue of the left upper lobe.Intra alveolar fiber thickness (yellow line), increased density of elastic structures (white arrow),up to disappearance of alveolar structures (yellow arrow), and large drops of intra alveolar secretions(*)[50]
在多通道內(nèi)窺成像實(shí)現(xiàn)跨尺度成像這一方面,也有研究團(tuán)隊(duì)采用雙模式切換的方式來(lái)實(shí)現(xiàn)這一功能。張朋濤等[51]設(shè)計(jì)了一種雙模切換顯微內(nèi)窺鏡成像系統(tǒng),該系統(tǒng)將熒光素鈉作為熒光分子探針;熒光激發(fā)光源選用高亮度的藍(lán)色LED,通過(guò)切換內(nèi)窺成像探針,獲取兩種尺度下的圖像:寬場(chǎng)白光內(nèi)窺成像模式下進(jìn)行手術(shù)導(dǎo)航,利用熒光分子成像進(jìn)行病變腫瘤邊界識(shí)別;顯微內(nèi)窺成像模式下,進(jìn)行在體顯微病理分析,確定腫瘤良惡性及其種類。
這種雙模切換顯微內(nèi)窺鏡光學(xué)系統(tǒng)結(jié)構(gòu)如圖14(彩圖見(jiàn)期刊電子版)所示,當(dāng)系統(tǒng)連接寬場(chǎng)成像光纖內(nèi)窺鏡(Surgery fiber)時(shí),如果白光LED(W-LED)點(diǎn)亮,此時(shí)系統(tǒng)為白光寬場(chǎng)內(nèi)窺成像模式,白光通過(guò)照明光纖照亮樣品,成像光被物鏡收集后經(jīng)透鏡組聚焦在CCD靶面上成像,在白光照明下進(jìn)行實(shí)時(shí)手術(shù)導(dǎo)航;如果藍(lán)光LED(B-LED)點(diǎn)亮,488 nm的LED光能量經(jīng)過(guò)激發(fā)片濾光,通過(guò)耦合透鏡耦合進(jìn)入光纖,傳輸?shù)酱上窠M織,激發(fā)靜脈注射作為熒光分子探針的熒光素鈉,發(fā)出的熒光經(jīng)過(guò)同光路返回,經(jīng)過(guò)物鏡、成像透鏡組、發(fā)射片組成的光學(xué)系統(tǒng)后,在EMCCD(Electron-Multiplying CCD)形成熒光成像,通過(guò)腫瘤組織對(duì)熒光分子探針的特異性富集作用來(lái)分辨腫瘤邊界;當(dāng)將系統(tǒng)切換為顯微成像光纖時(shí),采用相同的熒光激發(fā)成像過(guò)程,通過(guò)顯微內(nèi)窺探頭,觀察到細(xì)胞的形態(tài)信息,即獲得在體組織的病理學(xué)圖像,實(shí)現(xiàn)在體組織病理學(xué)檢查,顯微模式下系統(tǒng)的成像分辨率達(dá)到4.4 μm。張朋濤等[51]用該系統(tǒng)對(duì)人體組織活檢獲得的結(jié)直腸黏膜進(jìn)行實(shí)驗(yàn),管狀腺瘤性息肉在雙模切換顯微內(nèi)窺鏡下的實(shí)驗(yàn)效果圖如圖15(彩圖見(jiàn)期刊電子版)所示,可以看出,圖15(a)顯微放大后的細(xì)胞形態(tài)與圖15(b)顯微鏡下病理切片的形態(tài)一致,表明了該系統(tǒng)可用于在體實(shí)時(shí)病理學(xué)診斷。受限于內(nèi)窺鏡的應(yīng)用場(chǎng)景,如何在臨床運(yùn)用中實(shí)現(xiàn)良好的切換是此類模式切換式內(nèi)窺鏡需要解決的關(guān)鍵問(wèn)題,目前尚未有單通道模式切換型內(nèi)窺鏡產(chǎn)品出現(xiàn),若能實(shí)際運(yùn)用于臨床手術(shù)中,對(duì)于實(shí)現(xiàn)跨尺度內(nèi)窺鏡系統(tǒng)的手術(shù)導(dǎo)航將有重要的應(yīng)用價(jià)值。
圖14 雙模切換顯微內(nèi)窺鏡系統(tǒng)原理圖[51]Fig. 14 Optical path of dual-mode switching endomicroscopic image system[51]
圖15 管狀腺瘤性息肉。(a)普通電子內(nèi)窺鏡下成像與顯微模式熒光成像;(b)病理切片成像[51]Fig. 15 Tubula radenomatous polyp. (a) Ordinary eletronic endoscopic image and microscopic fluorecent image; (b) pathologic slice image[51]
在內(nèi)窺鏡的發(fā)展過(guò)程中,出于醫(yī)師們的臨床需求,內(nèi)窺鏡領(lǐng)域的研究人員對(duì)內(nèi)窺鏡來(lái)自不同成像通道的圖像進(jìn)行圖像融合開(kāi)展了廣泛研究,用于補(bǔ)充單通道成像系統(tǒng)無(wú)法獲得的圖像信息,例如將熒光圖像與可見(jiàn)光圖像相融合,使醫(yī)生能在高分辨率的白光圖像上更清晰地區(qū)分出病患腫瘤分界線[12];或者將白光圖像與近紅外圖像融合實(shí)時(shí)獲得組織的特征信息[52];又或者使用圖像融合來(lái)提高圖像的質(zhì)量[53];將光成像與其他成像方式結(jié)合來(lái)獲取醫(yī)生需要的圖像信息[54]。在內(nèi)窺鏡的跨尺度光學(xué)成像中,圖像融合技術(shù)的運(yùn)用也取得了不少成果。
Andreas等[55]將熒光成像技術(shù)結(jié)合到OCT系線內(nèi)窺膠囊上,開(kāi)發(fā)出了一款可同時(shí)實(shí)現(xiàn)熒光(Fluorescence,F(xiàn)L)成像與OCT成像的系線內(nèi)窺膠囊(Tethered Capsule Endomicroscopy,TCE),其系統(tǒng)結(jié)構(gòu)示意圖如圖16所示。雙模態(tài)OCT-FL膠囊內(nèi)鏡成像系統(tǒng)由兩個(gè)直接接口的子單元(OCT成像系統(tǒng)和FL成像系統(tǒng))和一個(gè)可連接的成像探針(OCT-FL TCE器件)組成,能夠同時(shí)實(shí)現(xiàn)兩種模態(tài)的微觀結(jié)構(gòu)成像。其中OCT成像系統(tǒng)的分辨率達(dá)到5.5 μm。OCT技術(shù)作為一種強(qiáng)大的顯微、結(jié)構(gòu)成像技術(shù),能夠獲取胃腸道等部位的形態(tài)學(xué)圖像結(jié)構(gòu)及特征,但僅通過(guò)形態(tài)學(xué)方法不能完全捕捉胃腸道所有可用的診斷特征,例如分子受體等特征信息。另一方面,熒光成像技術(shù)通過(guò)分子探針可與特定分子進(jìn)行結(jié)合的特點(diǎn),在激發(fā)光照射下獲取生物體內(nèi)特異性分子的分布情況,再結(jié)合熒光成像技術(shù)進(jìn)行多模態(tài)診斷可將分子信息置于微觀結(jié)構(gòu)背景下,更好地輔助診斷。Andreas等將所研發(fā)的OCT-FL系線膠囊內(nèi)鏡在活體豬食道內(nèi)進(jìn)行成像測(cè)試,獲得了如圖17(彩圖見(jiàn)期刊電子版)所示的圖像。實(shí)時(shí)圖像預(yù)覽以偽彩色顯示FL數(shù)據(jù)(從低到高:黑、藍(lán)、青色、綠、黃、白)。在實(shí)驗(yàn)過(guò)程中采用的熒光染料為亞甲基藍(lán)。通過(guò)手動(dòng)拉伸膠囊內(nèi)鏡,利用定制軟件對(duì)圖像數(shù)據(jù)處理后,得到豬食管的OCT容積圖像;熒光圖像信息則經(jīng)過(guò)軟件處理顯示于相應(yīng)3D圖像外環(huán)。能夠在獲取OCT形態(tài)學(xué)信息的同時(shí)得到熒光分子的成像信息。這一研究成果為利用兩種成像技術(shù)的互補(bǔ)性診斷提供了新思路,結(jié)合最近引進(jìn)和新開(kāi)發(fā)的靶向分子藥物,可能顯著提高對(duì)一系列胃腸道疾病的診斷能力。
圖16 OCT-FL成像系統(tǒng)示意圖[55]Fig. 16 Schematic diagram of OCT-FL TCE imaging system[55]
圖17 活體豬食管代表性圖像的OCT-FL數(shù)據(jù)顯示。在同一橫截面掃描的極坐標(biāo)表示(a)和笛卡爾表示(b),分別描述2D灰度OCT和1D假色FL數(shù)據(jù)。(c)沿食管軸向延伸的橫截面的OCT圖的3D表示(反轉(zhuǎn)灰度:從低到高對(duì)應(yīng)從黑到白)。(d)沿食道軸向延伸的FL表面圖的3D表示。比例尺:1 mm。[55]Fig. 17 OCT-FL data display of representative images from swine esophagus, in vivo. (a) Polar and (b)cartesian representation of the same crosssectional scan, depicting 2D grayscale OCT and 1D false color FL data. (c) 3D representation of the crosssectional OCT map along the axial extension of the esophagus (inverted grayscale: low-to-high as black-to-white). (d) 3D representation of the FL surface map along the axial extension of the esophagus. Scale bars: 1 mm.[55]
高分辨率的pCLE和OCT可將細(xì)胞尺度的組織細(xì)節(jié)可視化,是實(shí)現(xiàn)光學(xué)活檢的一個(gè)發(fā)展方向,可作為傳統(tǒng)活檢和組織病理學(xué)的實(shí)時(shí)替代方法。但是采用pCLE在胃腸道中進(jìn)行診斷,受限于視場(chǎng)大小,通常需要進(jìn)行掃描,將對(duì)多幅圖像進(jìn)行拼接,這一過(guò)程中實(shí)現(xiàn)探針的平滑可控移動(dòng)以及保證控制精度非常重要。特別是對(duì)于需要直接與組織接觸的pCLE,既要確保圖像質(zhì)量,又要限制掃描過(guò)程中發(fā)生的組織變形量。因此,手工控制下的圖像拼接極具挑戰(zhàn)性[56]。而OCT技術(shù)是一種不需要接觸組織的橫斷面技術(shù),它能用來(lái)確定探針尖端與組織之間的距離?;谶@一思想,Zhang等[57]將手術(shù)機(jī)器人,pCLE與OCT技術(shù)相結(jié)合,研發(fā)了一種自主掃描顯微內(nèi)窺系統(tǒng),不僅使用pCLE圖像(橫向到組織表面的方向),還使用OCT圖像(軸向的方向),以直觀地指導(dǎo)掃描運(yùn)動(dòng)。采用這種方法,能夠確保機(jī)器人在pCLE探針和組織之間保持最佳的接觸力,協(xié)助平滑運(yùn)動(dòng)(避免粘滑),并幫助形成連續(xù)的圖像,其系統(tǒng)結(jié)構(gòu)和工作框架如圖18所示。
圖18 自主光學(xué)活檢探針掃描和多尺度融合的實(shí)驗(yàn)裝置[57]Fig. 18 Experimental setup for autonomous optical biopsy probe scanning and multiscale fusion[57]
圖18中,在整個(gè)系統(tǒng)上配置了一款立體腹腔鏡,pCLE探針與OCT探針均配置于達(dá)芬奇手術(shù)機(jī)器人上,由達(dá)芬奇的患者端機(jī)械臂(Patient-side Manipulator,PSM)控制。由30 000芯成像光纖和一個(gè)微透鏡組成的pCLE探針可提供240 μm的視場(chǎng)和大約為2.4 μm的光纖采樣分辨率;OCT探針視場(chǎng)大小約為1 mm。通過(guò)頻域低相干干涉測(cè)量技術(shù)進(jìn)行軸向掃描,產(chǎn)生二維圖像。在整個(gè)成像過(guò)程中,3D腹腔鏡可提供大視場(chǎng)的3D圖像信息,通過(guò)立體匹配方法進(jìn)行組織表面3D重建;pCLE探針得到的圖像信息被成對(duì)輸入并通過(guò)歸一化互相關(guān)用于與3D腹腔鏡圖像配準(zhǔn),并采用枯葉模式進(jìn)行組合。同時(shí)OCT圖像根據(jù)當(dāng)前探針的位姿信息映射到3D體上并提供被掃描組織的3D信息。pCLE圖像、OCT容積圖像與重建表面通過(guò)圖像融合的方式,同時(shí)提供掃描區(qū)域的宏觀與微觀視野。機(jī)器人在預(yù)定義的區(qū)域軌跡上使用探針掃描,生成圖像,掃描軌跡同時(shí)映射在圖像的坐標(biāo)系統(tǒng)中。視覺(jué)控制組件通過(guò)閉環(huán)檢測(cè)比較當(dāng)前和期望的探頭姿態(tài),驅(qū)動(dòng)機(jī)器人使檢測(cè)誤差最小化。該系統(tǒng)拍攝的效果如圖19(彩圖見(jiàn)期刊電子版)所示。從圖中可以看到該系統(tǒng)跨尺度融合的效果。由此得到的顯微高分辨率組織圖可以與腹腔鏡圖像提供的宏觀立體重建結(jié)果進(jìn)行實(shí)時(shí)融合,為外科醫(yī)生提供一個(gè)操作現(xiàn)場(chǎng)的跨尺度3D視圖。這種增強(qiáng)的可視化為術(shù)中組織表征和手術(shù)計(jì)劃提供便利,且提高了手術(shù)的精度。
圖19 跨尺度融合案例。(a)宏觀立體重建;(b)將拼接后的圖像疊加在立體圖像上,與微觀尺度圖像建立聯(lián)系;(c)自主光學(xué)活檢探針掃描和多尺度融合的實(shí)現(xiàn)步驟[57]Fig. 19 An example of trans-scale fusion. (a) A macroscale stereo reconstruction; (b) to link with the microscale, by adding the mosaic image to the stereo reconstruction; (c) implementation steps involved for autonomous optical biopsy probe scanning and multiscale fusion[57]
跨尺度光學(xué)內(nèi)窺成像技術(shù)所面臨的挑戰(zhàn)來(lái)自于生物體內(nèi)復(fù)雜的成像環(huán)境和臨床實(shí)際需求,通過(guò)探索光學(xué)成像的新機(jī)制與方法、光學(xué)標(biāo)記技術(shù),發(fā)展面向生物醫(yī)學(xué)共性問(wèn)題的跨尺度成像技術(shù)、面向手術(shù)臨床應(yīng)用的光學(xué)成像器件及相關(guān)機(jī)械儀器、融合日益強(qiáng)大的計(jì)算機(jī)技術(shù)與光學(xué)成像技術(shù),都將進(jìn)一步推動(dòng)跨尺度光學(xué)成像在內(nèi)窺鏡領(lǐng)域的發(fā)展。目前還有許多跨尺度光學(xué)內(nèi)窺成像技術(shù)還停留在研究階段或者運(yùn)用場(chǎng)景還比較受限,例如采用了液體透鏡這類新型透鏡的跨尺度變焦光學(xué)系統(tǒng)因加工工藝還未實(shí)現(xiàn)產(chǎn)業(yè)化;再如目前下消化道成像還有諸多問(wèn)題需要解決的跨尺度OCT掃描內(nèi)窺探針系統(tǒng)。隨著在生物醫(yī)學(xué)等基礎(chǔ)學(xué)科的深入研究、計(jì)算機(jī)科學(xué)與先進(jìn)制造與加工工業(yè)的發(fā)展的影響,這些還處于研究階段的跨尺度光學(xué)內(nèi)窺成像技術(shù)逐步成熟,以及現(xiàn)有跨尺度光學(xué)成像技術(shù)的進(jìn)一步發(fā)展,內(nèi)窺鏡跨尺度光學(xué)成像技術(shù)必然會(huì)有變革性的發(fā)展與更廣闊的運(yùn)用前景。