基于深度學(xué)習的靜脈留置針穿刺點智能定位方法

賈海晶，郭克友

(北京工商大學(xué) 材料與機械工程學(xué)院,北京 100048)

1 引 言

靜脈留置針[1]是臨床醫(yī)學(xué)上為減輕反復(fù)扎針給患者帶來痛苦而設(shè)計的裝置，目前的穿刺術(shù)中，護士眼觀及手觸確定穿刺靶血管，預(yù)估穿刺點位置和進針角度，手動穿刺。穿刺成功率取決于護士經(jīng)驗和患者血管條件，對于靶血管處脂肪較厚、水腫、靶血管較細或皮膚彈性較差等條件較差的血管，穿刺成功率難以保證，因此，智能靜脈穿刺器的研究是醫(yī)療領(lǐng)域的必要課題。智能穿刺指運用圖像識別技術(shù)自動定位超聲圖像中穿刺靶血管，結(jié)合留置針的穿刺角度，確定留置針在預(yù)穿刺患者皮膚表層上的穿刺點的物理位置以及留置針的進針距離，進針距離發(fā)送至機械手臂控制器，機械手臂驅(qū)動留置針自動穿刺。本研究將經(jīng)外周靜脈置入中心靜脈導(dǎo)管(PICC)[2]穿刺術(shù)中的超聲引導(dǎo)機制引入靜脈留置針穿刺，提出一套智能定位穿刺點的解決方案。

2 超聲圖像中血管的自動定位

超聲圖像中血管定位指獲取血管半徑和深度信息。目前獲得信息的方法有兩種，一是護士通過超聲系統(tǒng)提供的中心網(wǎng)格進行預(yù)估，見圖1。二是手動標注出兩點，超聲系統(tǒng)給出兩點的直線距離，見圖2。前者存在較大觀測誤差，后者依賴護士輔助標注。超聲系統(tǒng)尚未提供超聲圖像中血管的自動定位功能，并不意味著該功能無法實現(xiàn)。本研究基于深度學(xué)習算法Faster RCNN實現(xiàn)超聲圖像中血管的自動定位。

圖1中心網(wǎng)格法示意圖

Fig1Centralgridmethod

圖2手動標注法示意圖

Fig2Manuallabelingmethod

2.1 Faster RCNN

Faster RCNN[3]是基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)的目標檢測算法，由Fast RCNN[4]和RPN(region proposal network，RPN)兩部分組成。RPN取代傳統(tǒng)的選擇查找算法[5]生成眾多候選區(qū)域， Fast RCNN對候選區(qū)域進行分類和邊框回歸。Faster RCNN通過交替訓(xùn)練實現(xiàn)特征提取和候選區(qū)域提取網(wǎng)絡(luò)的參數(shù)共享。本研究借助交替訓(xùn)練實現(xiàn)自然數(shù)據(jù)集到醫(yī)學(xué)數(shù)據(jù)集的特征遷移，在有限訓(xùn)練樣本情況下，實現(xiàn)超聲圖像中血管檢測模型的訓(xùn)練。

2.2 血管檢測器的訓(xùn)練

理論上Faster RCNN中的CNN可設(shè)計成任意數(shù)量的卷積、池化、RELU操作的組合，但醫(yī)學(xué)圖像獲取較難，該領(lǐng)域使用的深層學(xué)習網(wǎng)絡(luò)[6-8]通常比常用的CaffeNet要低2～5個數(shù)量級。靜脈超聲圖像獲取相對容易，故可使用較復(fù)雜的CNN架構(gòu)。ZF[9]包含5層卷積+池化，其特點是卷積時用較小的卷積核對圖像濾波，保留更多的原始像素信息。VGG-Net[10]增加現(xiàn)有CNN架構(gòu)的深度。

本研究使用SonoStar公司線陣10.0 MHz無線超聲系統(tǒng)，采集5000張上肢貴要靜脈超聲圖像作為試驗數(shù)據(jù)集，訓(xùn)練和測試樣本各占50%。訓(xùn)練結(jié)果見圖3，網(wǎng)絡(luò)經(jīng)過多次迭代后，ZF+原圖模型的AP=0.7983，VGG16+原圖模型的AP=0.8056。兩種模型的AP值均較低，原因來自于樣本標注環(huán)節(jié)：(一)穿刺過程中，穿刺點最終停留在穿刺中分線上(見圖4中綠線)，在原始圖像的標注過程中，主要關(guān)注了圓心位于中分線附近的靜脈，導(dǎo)致邊緣的靜脈被忽略；(二)B超機設(shè)定的聚焦位置為深度1.5 cm，位置較深的血管成像條件較差，標注時疏于關(guān)注。

圖3 Faster RCNN訓(xùn)練PR曲線圖

Fig3PRcurvesusingdifferentCNNmodels

圖4 穿刺中分線和感興趣區(qū)域示意圖

Fig4Puncturemidlineandregionofinterest

結(jié)合上述分析，截取超聲圖像中一定的感興趣區(qū)域(ROI)進行標注，ROI的位置見圖4所示白色矩形區(qū)域，大小為230×300像素。訓(xùn)練Faster RCNN，結(jié)果見圖3，ZF+ROI模型的AP=0.891，VGG16+ROI模型的AP=0.896。去除原始圖像的多余信息后，模型的AP值提高。

2.3 血管檢測中的非極大值抑制

Faster RCNN檢測過程中，RPN網(wǎng)絡(luò)對230×300像素的樣本提取17550個候選框，丟掉小于16×6像素的候選框后的17300余個候選目標并不需要全部送入Fast RCNN。非極大值抑制[11](non-maximum suppression，NMS)篩除置信度較低和重疊較大的候選框，避免不相關(guān)和相關(guān)度不高的候選區(qū)域在Fast RCNN過程中消耗時間。

NMS中，取RPN后生成的per_nms_topN個候選框送入NMS，NMS去除大于重疊閾值nms_overlap_thres的候選框，NMS后取置信度最高的前after_nms_topN個候選框送入Fast RCNN。per_nms_topN優(yōu)化，nms_overlap_thres值應(yīng)較小，令其為0.7，after_nms_topN的值等于NMS操作后剩余候選框的數(shù)量，試驗結(jié)果見圖5(a)，per_nms_topN=2500時，檢測器對穿刺靶血管的召回已達到1，安全考慮，優(yōu)化per_nms_topN為3000。nms_overlap_thres優(yōu)化，per_nms_topN取上文的3000，after_nms_topN等于NMS操作后剩余候選框的數(shù)量，試驗結(jié)果見圖5(b)，nms_overlap_thres≤0.8時，檢測器對穿刺靶血管的召回均為1，優(yōu)化nms_overlap_thres為0.8。after_nms_topN優(yōu)化，per_nms_topN取上文的3000，nms_overlap_thres的值應(yīng)較小，取0.7，試驗結(jié)果見圖5(c)，after_nms_topN=100時，檢測器對穿刺靶血管的召回達到1，安全考慮，優(yōu)化after_nms_topN為200。

2.4 血管檢測

基于VGG16的血管檢測模型的AP稍高于ZF，但在上文優(yōu)化的NMS下，基于ZF+ROI和VGG16+ROI的Faster RCNN對穿刺靶血管的召回均可達到1?？紤]檢測過程的時間消耗，基于ZF+ROI的血管檢測器檢測時間是15.6 FPS, VGG16+ROI為6.5 FPS,選擇時間消耗小的基于ZF+ROI的血管檢測模型作為最終的靜脈超聲圖像中血管檢測器。

3 靜脈留置針穿刺點智能定位

圖6為PICC人工穿刺示意圖，本研究中的智能穿刺采用平面外穿刺，工作平面與PICC穿刺平面一致，為垂直于超聲探頭的最大截面的中分面，即圖7中過點A垂直于探頭最大截面的平面。不同的是智能穿刺中放棄使用限制穿刺點位置的固定角度導(dǎo)針器，由機械臂控制器保證穿刺針位于穿刺平面，并根據(jù)前文確定的穿刺靶血管位置在穿刺平面內(nèi)調(diào)整穿刺角度，即圖6中∠ABC。本研究主要關(guān)注如何根據(jù)血管檢測器檢測到的血管自動定位穿刺點C，換言之確定AC的距離。

圖5 參數(shù)優(yōu)化試驗圖

(a).per_nms_topN優(yōu)化試驗圖， (b). nms_overlap_thres優(yōu)化試驗圖， (c). after_nms_topN優(yōu)化試驗圖

Fig5Parameteroptimizationtestchart

(a). optimization test chart of per_nms_topN，

(b). optimization test chart of nms_overlap_thres，

(c). optimization test chart of after_nms_topN

3.1 穿刺靶血管的自動定位

血管檢測器檢測到超聲圖像中所有的血管，其中只有一根血管是護士確定的穿刺靶血管(與超聲探頭的中分線的距離小于5像素)，穿刺靶血管的自動定位即獲取穿刺中分線上血管的位置信息。系統(tǒng)通過判斷血管的中心與超聲探頭的中分線的距離，確定血管是否為靶血管。系統(tǒng)對判斷結(jié)果進行標注，計算穿刺靶血管的物理位置，且給出適當?shù)奶崾尽?/p>

圖6 PICC人工穿刺示意圖

Fig6PICCartificialpuncture

圖7 智能穿刺示意圖

Fig7Intelligentpuncture

圖8 靜脈留置針穿刺示意圖

當某一血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離小于5像素時，在人機交互界面上顯示：“找到靶血管，且該靶血管符合穿刺要求”；當所有血管的中心與超聲探頭的中分線的距離均大于5像素，且若某一血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離小于20像素時，提示：“找到靶血管，但該靶血管不滿足穿刺要求，請移動超聲探頭，使血管的中心位于超聲探頭的中分線上”；若所有血管的中心與超聲探頭的中分線在靜脈超聲圖像上的距離均大于20像素時，提示“未找到符合條件的靶血管，請移動超聲探頭位置以尋找靶血管”。

確定穿刺靶血管后，結(jié)合靜脈超聲圖像的成像比例尺，計算穿刺靶血管的物理位置。

3.2 穿刺點智能定位

穿刺靶血管自動定位后，定位信息發(fā)送至機械手臂控制器，控制器調(diào)整穿刺角度。針對不同深度的靶血管，有3種固定的穿刺角度：靶血管深度位于0.5 cm附近，穿刺角度為55°；深度位于1.0 cm附近，穿刺角度為45°；深度位于1.5 cm附近，穿刺角度為35°。

圖8為靜脈留置針穿刺示意圖，超聲探頭與靶血管軸線方向相切，已知留置針的穿刺角度，穿刺靶血管的物理位置，便可確定留置針穿刺點在皮膚上的位置(AC)以及留置針的進針距離，從而機械手臂驅(qū)動留置針自動穿刺。

4 試驗

4.1 檢測方法對比

為測試深度學(xué)習方法對血管識別的有效性，本研究將其與傳統(tǒng)的基于機器學(xué)習的HAAR特征+級聯(lián)Adaboost、LBP特征+級聯(lián)Adaboost、HOG特征+SVM三種檢測算法進行對比。

在相同訓(xùn)練樣本的條件下，LBP+級聯(lián)Adaboost的虛警率高，不利于后續(xù)篩選穿刺靶血管；HOG+SVM的虛警率較低，但對血管的定位不夠精準，不利于量化管徑和深度；HAAR+級聯(lián)Adaboost虛警率較低，且對血管的定位較準確。從對穿刺靶血管的召回和IOU兩方面對比基于HAAR+級聯(lián)Adaboost和Faster RCNN的血管檢測器的檢測效果，其中IOU為檢測框與人工標記框的交集比上兩者的并集。結(jié)果顯示，基于Faster RCNN的血管檢測器在召回和IOU兩方面的效果均優(yōu)于傳統(tǒng)的檢測方法。

4.2 靶血管定位

基于深度學(xué)習的超聲圖像中靶血管自動檢測效果見表1，偏離穿刺中分線的非穿刺靶血管用虛線標注，穿刺靶血管用實線框標注，并給出適當?shù)娜藱C交互提示信息。

4.3 智能穿刺試驗

在血管超聲訓(xùn)練體膜上反復(fù)進行穿刺試驗，驗證了智能定位穿刺點的可靠性以及智能穿刺的有效性。通過倫理答辯后，臨床上進行了10例穿刺試驗，試驗對象是經(jīng)歷過一次人工穿刺失敗的患者。智能穿刺成功8例，失敗的2例中一位患者有暈針癥狀，扎針后血管收縮嚴重，另一位患者血管內(nèi)成像條件較差導(dǎo)致進針后針尖顯影不明顯，雖有回血但無法判斷針尖停留的具體位置。

表1血管檢測器對不同條件血管的檢測效果表

Table1Bloodvesseldetectoronthedifferentconditionsofbloodvesselsdetectionresults

成像描述原始ROI圖像檢測結(jié)果提示信息靶血管定位(R,H)血管內(nèi)成像差找到靶血管,且該靶血管符合穿刺要求R:0.181 cmH:0.80 cm多根血管找到靶血管,且該靶血管符合穿刺要求R:0.154 cmH:1.72 cm血管壁不清晰找到靶血管,且該靶血管符合穿刺要求R:0.179 cmH:1.62 cm血管融合找到靶血管,且該靶血管符合穿刺要求R:0.160 cmH:0.51 cm血管偏離未找到符合條件的靶血管,請移動超聲探頭位置以尋找靶血管———

5 結(jié)束語

本研究基于深度學(xué)習算法設(shè)計一套靜脈留置針穿刺點智能定位方法，進而實現(xiàn)智能穿刺。雖在體膜上反復(fù)試驗證實方案有效，但智能穿刺有待于與人工穿刺進行大量的臨床試驗對比，此外可以考慮實時跟蹤穿刺過程，保證穿刺成功率。