光纖光柵與人工智能融合的形狀自感知穿刺針

李天梁，宋珍珍，陳發(fā)銀，蘇軼飛，譚躍剛

（武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢 430070）

1 引言

近年來，中國已是世界范圍內(nèi)癌癥發(fā)病率增幅最大的國家之一，而例行篩查和早診早治可大大降低惡性腫瘤患者的死亡風(fēng)險(xiǎn)，已成為腫瘤預(yù)防的有效途徑［1-2］。在臨床診斷過程中，僅僅通過影像學(xué)檢查難以對(duì)病灶定性，活體組織的病理檢查才是診斷的金標(biāo)準(zhǔn)［3］。但傳統(tǒng)的穿刺活檢手術(shù)過程中穿刺針因與人體組織的交互作用會(huì)產(chǎn)生微量彎曲，從而導(dǎo)致穿刺針不能準(zhǔn)確到達(dá)靶區(qū)或進(jìn)針過程中損傷人體重要組織，穿刺精度與診療效果嚴(yán)重依賴醫(yī)生的經(jīng)驗(yàn)［4］。手術(shù)機(jī)器人因?yàn)榭梢孕g(shù)前精確規(guī)劃路徑避免重要人體組織損傷以及有較高的操作精度而被廣泛應(yīng)用于穿刺活檢手術(shù)之中［5］。但現(xiàn)階段手術(shù)機(jī)器人進(jìn)行穿刺手術(shù)主要依賴于醫(yī)學(xué)圖像和導(dǎo)航技術(shù)，主要有超聲成像、計(jì)算機(jī)斷層掃描（Computed Tomography，CT）以及磁共振成像（Magnetic Resonance Imaging，MRI）。但上述技術(shù)手段存在著以下不足：超聲成像在人體組織中對(duì)比度較差，小腫瘤幾乎不可見，CT 成像會(huì)使醫(yī)生長時(shí)間暴露于輻射下，嚴(yán)重影響醫(yī)護(hù)人員健康，MRI 掃描儀內(nèi)部器件的工作精度會(huì)受到掃描儀強(qiáng)電磁干擾的影響［6-7］。目前針對(duì)剛性穿刺針的穿刺力、柔性穿刺針的針體形狀準(zhǔn)確實(shí)時(shí)獲得不足，無法實(shí)現(xiàn)穿刺過程的信息感知以及精準(zhǔn)的靶點(diǎn)操作［8］。因此發(fā)展一種高精度、小型化且抗電磁干擾的穿刺針力形狀感知方法，為手術(shù)機(jī)器人輔助穿刺提供實(shí)時(shí)、準(zhǔn)確的形狀信息，對(duì)于提高穿刺手術(shù)的安全性與準(zhǔn)確性有著重大意義［9］。

近年來，光纖傳感器因具有抗電磁干擾、良好的生物兼容性和微型化尺寸等優(yōu)勢而引起國內(nèi)外學(xué)者的廣泛關(guān)注。它能克服電類敏感元件的大部分局限，實(shí)現(xiàn)狹小空間下手術(shù)器械變形的精準(zhǔn)測量［10-11］。Li 等人［12］設(shè)計(jì)了一種帶有三光纖共三組光纖光柵（Fiber Bragg Grating，F(xiàn)BG）的穿刺針傳感器，并對(duì)得到的離散曲率數(shù)據(jù)用四階多項(xiàng)式進(jìn)行擬合得到穿刺針整體形狀。Jin 等人［13］提出了通過穿刺針內(nèi)的三根光纖上的FBG傳感器獲得曲率測量數(shù)據(jù)，并基于彈性桿理論和李群理論進(jìn)行穿刺針的形狀重構(gòu)。Khan.F等［14］利用刻有FBG 的多芯光纖制作傳感器來測量多段導(dǎo)管的姿態(tài)，并基于布拉格光柵的測量值轉(zhuǎn)換為應(yīng)變，再根據(jù)應(yīng)變數(shù)據(jù)推導(dǎo)出曲率，最后利用曲率和Bishop 框架方程重構(gòu)導(dǎo)管姿態(tài)。Zhang等［15］利用三光纖五組光纖光柵實(shí)現(xiàn)210 mm 長穿刺針的二維形狀重構(gòu)。但是文章所提出的重構(gòu)算法的形狀數(shù)據(jù)均是基于傳感器的標(biāo)定轉(zhuǎn)換矩陣由FBG 的波長數(shù)據(jù)得到穿刺針的離散位置信息，而后對(duì)位置信息進(jìn)行多項(xiàng)式擬合得到形狀的數(shù)學(xué)表達(dá)，數(shù)據(jù)處理過程繁雜。另外多項(xiàng)式擬合的次數(shù)越高，其對(duì)關(guān)鍵節(jié)點(diǎn)位置信息的準(zhǔn)確度就要求越高，否則任何位置的信息偏差都會(huì)導(dǎo)致重建結(jié)果的巨大變化［16］，所以上述重構(gòu)方法不適合復(fù)雜變形重構(gòu)。

為了解決上述問題，本文提出了一種融合分布式FBG 傳感技術(shù)和人工智能的形狀自感知穿刺針?；谛螤钭愿兄┐提槒澢冃闻c光纖光柵中心波長變化之間的映射關(guān)系，分別搭建了形狀自感知穿刺針的形狀標(biāo)定實(shí)驗(yàn)裝置與其動(dòng)態(tài)性能測試試驗(yàn)裝置，得到不同彎曲狀態(tài)下光纖光柵的中心波長數(shù)據(jù)與利用canny 邊緣檢測算子提取得到的穿刺針實(shí)驗(yàn)圖片序列形狀曲線數(shù)據(jù)。融合反向傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation neural network，BP），得到光纖光柵中心波長漂移量與形狀函數(shù)之間的映射模型，實(shí)現(xiàn)了形狀自感知穿刺針的三維形狀重構(gòu)。實(shí)驗(yàn)結(jié)果表明：穿刺針針體的形狀重構(gòu)誤差值可達(dá)到0.90 mm 以內(nèi)，彎曲方向角的最大誤差為5.03°；在動(dòng)態(tài)性能驗(yàn)證實(shí)驗(yàn)中，形狀重構(gòu)最大誤差值為0.84 mm，彎曲方向角的最大誤差為1.02°。因此，該光纖傳感方案與形狀重構(gòu)算法在穿刺針形狀實(shí)行精準(zhǔn)感知與調(diào)控方面具有廣闊的應(yīng)用前景。

2 形狀自感知穿刺針傳感結(jié)構(gòu)

形狀自感知穿刺針由鎳鈦合金穿刺針基體、3 根分別刻有5 個(gè)FBG 的單模石英光纖構(gòu)成，其結(jié)構(gòu)尺寸與FBG 布置情況如圖1 所示。穿刺針基體懸置長度為150 mm，直徑為3 mm，沿其軸向刻有3 個(gè)間隔120°、深0.4 mm 的直角型凹槽。3 根直徑為125 μm 的單模石英光纖分別命名為Fiberi，（i=1，2，3），通過環(huán)氧樹脂膠粘貼在鎳鈦合金穿刺針基體上的凹槽中。每根光纖上的5 個(gè)FBG 柵區(qū)長度均為3 mm，相鄰FBG 中心間隔28 mm，從穿刺針尖端至尾端分別命名為FBG_ij，（j=1，2，3，4，5），初始波長依次分別為1 535 nm，1 540 nm，1 545 nm，1 550 nm，1 555 nm，穿刺針同一橫截面上的3 個(gè)FBG 作為一組傳感單元，共構(gòu)成5 組傳感單元。

圖1 形狀自感知穿刺針結(jié)構(gòu)Fig.1 Structure of shape self-sensing needle

3 基于BP 神經(jīng)網(wǎng)絡(luò)的形狀重構(gòu)算法

3.1 FBG 的傳感原理

根據(jù)耦合模理論，F(xiàn)BG 中心波長λB取決于其周期Λ和有效折射率neff，任何使這兩個(gè)參量發(fā)生改變的物理量，都會(huì)引起FBG 中心波長發(fā)生漂移：

穿刺針與組織交互時(shí)發(fā)生形變，帶動(dòng)其表面的FBG 產(chǎn)生軸向應(yīng)變，進(jìn)而引起FBG 中心波長的漂移。設(shè)FBG 初始中心波長為λB，當(dāng)FBG 受到軸向應(yīng)變時(shí)εi，其中心波長漂移Δλ 可表示為：

其中，pe為有效彈光系數(shù)。

穿刺針在進(jìn)針過程中受到的軸向載荷更大，而非受到集中載荷，假設(shè)變形曲線C可采用三次多項(xiàng)式簡化為：

其中，a，b，c，d分別為該三次多項(xiàng)式的各項(xiàng)系數(shù)值。通過文獻(xiàn)［12］可知，穿刺針形狀曲線C與FBG 中心波長漂移量Δλ 之間存在非線性的映射關(guān)系。BP 神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，能學(xué)習(xí)和存貯大量的輸入—輸出的映射關(guān)系，無需訓(xùn)練前揭示描述映射關(guān)系的數(shù)學(xué)模型，在解決非線性回歸問題上應(yīng)用廣泛［17］，而且調(diào)用建立的模型可快速實(shí)現(xiàn)形狀重構(gòu)輸出，所以本次采用BP 神經(jīng)網(wǎng)絡(luò)算法重構(gòu)穿刺針形狀。

3.2 傳感器形狀感知標(biāo)定實(shí)驗(yàn)系統(tǒng)

為了獲取訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型所需的數(shù)據(jù)，設(shè)計(jì)并搭建了形狀自感知穿刺針靜態(tài)標(biāo)定實(shí)驗(yàn)系統(tǒng)，如圖2 所示。首先通過3D 打印制備的連接件將形狀自感知穿刺針固定在RS60 旋轉(zhuǎn)微調(diào)架上，實(shí)現(xiàn)穿刺針的定位，然后通過Z方向微調(diào)架安裝在試驗(yàn)臺(tái)上。根據(jù)穿刺針小變形假設(shè)，設(shè)計(jì)并通過3D 打印技術(shù)制備了5 個(gè)曲率標(biāo)定板，曲率值依次為 0.000 0 mm-1，0.000 2 mm-1，0.000 4 mm-1，0.000 6 mm-1和0.000 8 mm-1。采用光纖光柵解調(diào)儀（高斯光學(xué)有限公司，中國；型號(hào)：OPM-T1620；采樣率：105 Hz；分辨率：1 pm）作為接收FBG 反射光譜信息的裝置。

圖2 形狀感知標(biāo)定實(shí)驗(yàn)裝置Fig.2 Shape sensing calibration experimental device

通過Labview 編程在PC 端顯示并記錄形狀自感知穿刺針上15 個(gè)FBG 的中心波長數(shù)據(jù)。首先記錄15 個(gè)FBG 的初始中心波長數(shù)據(jù)，而后將形狀自感知穿刺針固定在曲率標(biāo)定板的凹槽中，記錄所有FBG 的中心波長，調(diào)節(jié)RS60 旋轉(zhuǎn)微調(diào)架調(diào)整穿刺針的安裝角度θ，每次實(shí)驗(yàn)角度間隔為10°，角度調(diào)節(jié)范圍為0～360°。進(jìn)行了5 次實(shí)驗(yàn)，共測得180 組數(shù)據(jù)，以其中157 組作為神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練數(shù)據(jù)，33 組作為測試數(shù)據(jù)。

如圖3 所示，顯示了θ=0°時(shí)3 根光纖在5 種不同曲率下的光譜數(shù)據(jù)，為了更直觀地分析光譜變化趨勢，對(duì)原始光譜進(jìn)行了濾波和歸一化處理。圖3（a）顯示的是Fiber 1 的反射光譜，理論上該實(shí)驗(yàn)條件下，F(xiàn)iber 1 處于穿刺針中性層上，不會(huì)出現(xiàn)波長漂移現(xiàn)象，但是由于傳感器的制備與安裝誤差，導(dǎo)致在實(shí)驗(yàn)過程中其產(chǎn)生了微量波長漂移；圖3（b）和圖3（c）分別是Fiber 2 和Fiber 3在5 種不同曲率下的光譜數(shù)據(jù)，實(shí)驗(yàn)時(shí)兩者受力方向相反，所以兩者的波長變化趨勢相反，F(xiàn)iber 2 光譜整體右移，F(xiàn)iber 3 光譜整體左移，隨著曲率的增加，光譜移動(dòng)的幅度也越大。另外可以看到，在同一曲率板作用下，F(xiàn)BG 的初始中心波長越大，產(chǎn)生波長漂移量也越大。這是因?yàn)橥还饫w上沿穿刺針軸向曲率是相同，通過式（2）也可以推導(dǎo)出相同的結(jié)論。

圖3 3 根光纖在5 種曲率下的反射光譜Fig.3 Reflection spectra of three fibers under different curvatures

3.3 基于BP 神經(jīng)網(wǎng)絡(luò)的穿刺針形狀重構(gòu)算法

將標(biāo)定實(shí)驗(yàn)所得波長數(shù)據(jù)及形狀數(shù)據(jù)劃分為訓(xùn)練樣本和測試樣本，訓(xùn)練樣本用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到滿足設(shè)定迭代次數(shù)的模型參數(shù)，構(gòu)建神經(jīng)網(wǎng)絡(luò)預(yù)測模型。調(diào)用該模型對(duì)測試樣本進(jìn)行預(yù)測，預(yù)測結(jié)果用來評(píng)價(jià)該模型。通過仿真調(diào)試，綜合考慮模型訓(xùn)練時(shí)間和預(yù)測精度，最終確定的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示，包括1 個(gè)輸入層，2 個(gè)隱藏層，1 個(gè)輸出層。其中以形狀自感知穿刺針上5 組傳感單元中心波長漂移量Δλ作為輸入層輸入數(shù)據(jù)，該層有15 個(gè)神經(jīng)元節(jié)點(diǎn)；第一隱含層和第二隱含層神經(jīng)元節(jié)點(diǎn)數(shù)分別為31和10；輸出層包含5 個(gè)節(jié)點(diǎn)，即穿刺針變形曲線的多項(xiàng)式各項(xiàng)系數(shù)值及穿刺針變形平面與x-y平面的夾角θ。此外，激活函數(shù)、學(xué)習(xí)函數(shù)也是BP神經(jīng)網(wǎng)絡(luò)模型的重要組成部分，本次神經(jīng)網(wǎng)絡(luò)模型隱藏層、輸出層的激活函數(shù)均采用雙極性S函數(shù)（tansig），學(xué)習(xí)函數(shù)選取梯度下降的權(quán)值/閾值學(xué)習(xí)函數(shù)（learngdm）。

圖4 基于BP 神經(jīng)網(wǎng)絡(luò)的穿刺針形狀重構(gòu)算法Fig.4 Needle Shape reconstruction algorithm based on BP neutral network

輸入信號(hào)Δλ經(jīng)第一隱含層后的輸出p1可以表示為：

p1經(jīng)相鄰的第二隱含層后的輸出p2可表示為：

p2經(jīng)相鄰的第二隱含層后的輸出u可表示為：

其中：w1，w2，w3分別為輸入層與第一隱含層、第一隱含層與第二隱含層、第二隱含層與輸出層之間的權(quán)值系數(shù)，兩個(gè)隱含層的權(quán)值系數(shù)，b1，b2，b3分別為其對(duì)應(yīng)的偏置。

激活函數(shù)f（）采用tansig 函數(shù)：

本次針對(duì)穿刺針平面變形進(jìn)行測量，重構(gòu)誤差分為穿刺針形狀曲線C上針尖處的絕對(duì)誤差和彎 曲方向角θ的絕對(duì)誤差［18］。上述33 組測 試樣本的兩類誤差如圖5 所示，形狀誤差最大值為0.90 mm，彎曲方向角最大誤差為5.03°。

圖5 測試樣本誤差Fig.5 Error of test set sample

4 形狀自感知穿刺針形狀測量與重構(gòu)

4.1 融合圖像處理技術(shù)的形狀重構(gòu)性能測試系統(tǒng)

為驗(yàn)證上述神經(jīng)網(wǎng)絡(luò)模型的性能，設(shè)計(jì)搭建了融合圖像處理技術(shù)的動(dòng)態(tài)形狀重構(gòu)性能測試系統(tǒng)。采用單目攝像機(jī)（索尼（中國）有限公司；型號(hào)：α7000；分辨率：3 840×2 160）記錄實(shí)驗(yàn)過程穿刺針的整體形態(tài)，采用光纖光柵解調(diào)儀作為接收FBG 反射光譜信息的裝置。形狀自感知穿刺針通過3D 打印零件與X-Y方向微調(diào)架連接，調(diào)整微調(diào)架可對(duì)穿刺針針尖處施加偏移量。為驗(yàn)證穿刺針的動(dòng)態(tài)響應(yīng)性能，調(diào)整微調(diào)架以鋸齒波的變化趨勢變幅值施加位移，利用FBG 波長數(shù)據(jù)采集系統(tǒng)和攝像機(jī)分別記錄實(shí)驗(yàn)過程中的FBG 波長和穿刺針的形狀信息，實(shí)驗(yàn)裝置如圖6所示。

圖6 形狀自感知穿刺針動(dòng)態(tài)測試實(shí)驗(yàn)裝置Fig.6 Shape self-sensing needle dynamic test experimental setup

其中攝像機(jī)獲得的實(shí)驗(yàn)視頻文件通過圖像識(shí)別算法可得到穿刺針的形狀數(shù)學(xué)表達(dá)。首先將視頻文件導(dǎo)入到MATLAB 中，實(shí)現(xiàn)視頻的分幀，得到每幀的實(shí)驗(yàn)圖像；通過定區(qū)域剪裁去除部分背景，僅保留穿刺針?biāo)诘膮^(qū)域，以避免背景對(duì)下一步邊界識(shí)別的干擾，得到更準(zhǔn)確的邊界曲線。由于實(shí)驗(yàn)過程中照明情況不佳，導(dǎo)致穿刺針針體與背景（試驗(yàn)臺(tái)）區(qū)分度較小，而canny 算子可充分考慮圖像梯度，具有較好的連續(xù)性和較準(zhǔn)確的定位［19］，故選擇了該算子。

調(diào)用MATLAB 中edge函數(shù)，設(shè) 定canny 算子低閾值為0.1，高閾值為0.2，得到實(shí)驗(yàn)圖片序列的穿刺針邊界，通過三階多項(xiàng)式擬合可得穿刺針變形曲線，具體算法流程如圖7 所示。

圖7 基于canny 算法的穿刺針形狀提取Fig.7 Edge extraction of needle shape based on canny edge detection algorithm

4.2 形狀自感知穿刺針重構(gòu)誤差分析

圖8 經(jīng)神經(jīng)網(wǎng)絡(luò)預(yù)測輸出的形狀重構(gòu)結(jié)果Fig.8 Shape reconstruction result by the neural network

圖8（a）是動(dòng)態(tài)性能測試實(shí)驗(yàn)過程中穿刺針形狀重構(gòu)曲線與攝像機(jī)捕獲的實(shí)際形狀曲線上針尖的偏移量。圖8（b）是取圖8（a）中一段波谷（139 s）至波峰（167 s）段顯示神經(jīng)網(wǎng)絡(luò)模型預(yù)測輸出的穿刺針空間形狀。圖8（c）分別顯示了動(dòng)態(tài)性能測試實(shí)驗(yàn)的形狀曲線誤差和彎曲方向角誤差，形狀曲線C最大誤差為0.84 mm，彎曲方向角θ最大誤差為1.02°。動(dòng)態(tài)實(shí)驗(yàn)結(jié)果說明所提出的神經(jīng)網(wǎng)絡(luò)算法可以實(shí)現(xiàn)實(shí)時(shí)的形狀輸出。

5 結(jié)論

本文提出了一種基于分布式FBG 傳感原理的穿刺針形狀感知傳感器結(jié)構(gòu)和封裝方法，構(gòu)建了穿刺針變形重構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，用以監(jiān)測穿刺針的微量變形。通過實(shí)驗(yàn)研究和數(shù)值分析，驗(yàn)證了所設(shè)計(jì)的形狀自感知穿刺針可感知穿刺針微量彎曲變形、彎曲方向角，分析得到針尖處重構(gòu)相對(duì)誤差小于0.90 mm，彎曲方向角最大誤差為5.03°。在動(dòng)態(tài)性能測試實(shí)驗(yàn)中，針尖處重構(gòu)相對(duì)誤差小于0.84 mm，彎曲方向角最大誤差為1.02°，神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行時(shí)間也可滿足手術(shù)過程中穿刺針位置實(shí)時(shí)顯示的要求。綜上所述，所提出的形狀自感知穿刺針及其形狀重構(gòu)算法能夠?qū)崿F(xiàn)穿刺針微量變形的測量，在機(jī)器人輔助/自主穿刺方面具有潛在的應(yīng)用價(jià)值。但設(shè)計(jì)訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型魯棒性還有待提高，理論上通過增加訓(xùn)練樣本數(shù)據(jù)可以得到精度更高、魯棒性更強(qiáng)的神經(jīng)網(wǎng)絡(luò)模型。