基于圖像序列拓撲關系的扎針機器人控制系統(tǒng)設計

(中國人民解放軍第960醫(yī)院， 濟南 250000)

0 引言

血液采樣、靜脈注射、活體組織穿刺檢測，都是當前醫(yī)療系統(tǒng)較為常用的檢驗手段，由于患者個體存在差異，醫(yī)療工作者的執(zhí)業(yè)水平各不相同，且容易受到環(huán)境、情緒、身體狀態(tài)等多種主觀因素的影響，導致醫(yī)療機構(gòu)體系中平均一次扎針的成功率低于80%。在醫(yī)療機器人領域的研究和探索過程中，融合了機器人智能控制技術(shù)[1]的扎針系統(tǒng)是熱門的研究方向之一。機器人介入的扎針系統(tǒng)能夠克服醫(yī)務工作者的個體原因，提高對皮下血管和器官的識別精度與控制精度，大幅度地提高扎針一次成功率，有效減少患者痛苦，并避免不必要的醫(yī)患糾紛。利用機器人代替醫(yī)務工作者實施自動化操作的最大優(yōu)勢在于，通過高清影像系統(tǒng)可以準確識別和定位靜脈血管和皮下器官組織的位置，并實施準確圖像采樣和定位[2]。而現(xiàn)階段國內(nèi)對于扎針機器人的研究仍處于發(fā)展的初級階段，技術(shù)不成熟、機械臂控制的穩(wěn)定性差、系統(tǒng)設計和使用成本高昂，特別是在紅外照影圖像處理[3]和多幀圖像合成[4]方面清晰度差，圖像拓撲定位準確率低，影響到了最終的扎針成功率。為進一步改善扎針系統(tǒng)的實用性及紅外圖像識別的精度，本文基于圖像序列拓撲關系設計了一種高精度機器人扎針控制系統(tǒng)，通過對多幀圖像拓撲關系的合成處理，提高扎針的一次成功率。

1 扎針機器人系統(tǒng)結(jié)構(gòu)及原理

扎針機器人控制系統(tǒng)從整體上由機械部分、上位機控制系統(tǒng)、高清激光圖像采集系統(tǒng)、和高精度傳感器等部分組成。扎針機器人控制系統(tǒng)的框架結(jié)構(gòu)設計，及各部分的連接情況，如圖1所示。

圖1 機器人扎針系統(tǒng)總體框架設計

本文設計的扎針機器人系統(tǒng)的機械部分，是一種六關節(jié)、多軸向的機械臂系統(tǒng)(埃夫特公司C60平臺的ER10系列醫(yī)用小型機械臂[5])，受上位機系統(tǒng)的程序控制，能夠沿著3個軸向做360°旋轉(zhuǎn)和4個方向的平移運動；上位機系統(tǒng)負責對機械臂的程序控制，及對高清激光影像系統(tǒng)和傳感器采集到的實時影像數(shù)據(jù)處理，給出機械臂準確的移動指令；傳感器系統(tǒng)被布置于機械臂的關節(jié)處及操作臺的四周，主要用戶監(jiān)控機械臂的移動偏差，如果超出系統(tǒng)標定的閾值范圍提前預警。操作臺四周的傳感器主要用于監(jiān)控患者的狀態(tài)，如果患者出現(xiàn)非正常的身體或手臂移動情況，系統(tǒng)會提前預警急停，避免機器人系統(tǒng)對人體造成傷害；高清激光影像系統(tǒng)負責采集和捕捉人體扎針部分的皮膚及器官狀況，影像系統(tǒng)具有一定的皮下穿透能力，并將影響系統(tǒng)的相關數(shù)據(jù)合成，傳輸?shù)缴衔粰C。

2 主要硬件單元

2.1 計算機高清影像采集系統(tǒng)

扎針機器人的視覺影像采集系統(tǒng)由DHT01型醫(yī)用高清X射線鏡頭、FPGA控制器[6-7]、阿爾泰PCI8814圖像采集卡及各種串口組成，影像采集系統(tǒng)的結(jié)構(gòu)如圖2所示。

圖2 高清影像系統(tǒng)的結(jié)構(gòu)

如圖2所示，當影像系統(tǒng)的程序開始運行后，采用DHT01高清醫(yī)用攝像頭采集和捕捉患者扎針區(qū)域的圖像，并對捕捉到的圖像進行二值化處理[8]，再通過鏡頭標定和系統(tǒng)的FPGA通信模塊，將上位機系統(tǒng)與影響系統(tǒng)之間建立連接，將采集影像傳輸至PCI8814采集卡，存儲至系統(tǒng)RAM模塊。高清影像系統(tǒng)還可以做定時和圖像格式的實時轉(zhuǎn)換，根據(jù)實際需求獲取彩色圖像或灰度圖像[9-10]。

2.2 上位機的單片機

由于扎針機器人系統(tǒng)的工作控制精度要求高，上位機選擇了ATMEGA32L型高檔單片機，能夠均衡性能和整體功耗。

ATMEGA32L型單片機具有多路徑控制的優(yōu)勢，能夠根據(jù)影像系統(tǒng)采集到的圖像，對圖像進行多幀合成并識別出圖像序列之間的關聯(lián)性與拓撲關系，這是實現(xiàn)患者皮下組織器官精確定位的基礎。ATMEGA32L型單片機外圍的接口包括I/O端擴展接口、時鐘接口、電源接口、復位電路接口等，上位機控制單片機系統(tǒng)的外圍接口電路，如圖3所示。

圖3 ATMEGA32L型單片機電路圖

患者就位后啟動扎針系統(tǒng)，傳感器采集患者的位置信息并上傳到上位機系統(tǒng)，驅(qū)動機械臂的關節(jié)移動。機械臂底盤部分控制電機的運轉(zhuǎn)，并檢測各種機械裝置的運行速度和旋轉(zhuǎn)角度，準確測量出機械臂末端針頭與患者身體之間的距離。ATMEGA32L型單片機的主要功能是處理高清鏡頭捕捉到的患者皮下組織與器官的位置圖像，由于患者的身體會發(fā)生輕微的移動，因此這種圖像信息的處理具有實時性。準確確定出圖像序列的拓撲關系后，單片機將控制信息傳遞給機械臂末端控制位置移動，完成一次操作。扎針機器人系統(tǒng)在多個位置設有急停裝置，當遇到突發(fā)情況時可緊急制動。

2.3 電源模塊

扎針機器人系統(tǒng)對電源控制方面的需求較大，因此電源模塊也是重要的硬件之一。首先機械臂關節(jié)和高清影像系統(tǒng)都是由電源驅(qū)動。從電源體積、機械臂的負重、靈活性和外觀設計等多個角度考慮，本系統(tǒng)設計的電源采用兩組鋰電池分別供電。其次機械臂系統(tǒng)和紅外高清鏡頭系統(tǒng)模塊對于電壓、電流的承受能力不同，在每個模塊處安裝小型的轉(zhuǎn)壓器。其中一組鋰電池負責給機械臂末端系統(tǒng)、高清鏡頭供電，另一組鋰電池主要負責給傳感器、FPGA邏輯電路供電。兩組電源的連接方式是并聯(lián)狀態(tài)，互不干擾；而機械臂的底盤系統(tǒng)要驅(qū)動質(zhì)量較大的機械臂系統(tǒng)選擇，因此直接用220 V交流電源供電。但各部分的鋰電池組出現(xiàn)低電量時發(fā)出信號給系統(tǒng)上位機，實現(xiàn)自動充電，充電過程中并不影響系統(tǒng)的正常工作。

2.4 電機驅(qū)動模塊

扎針機器人系統(tǒng)結(jié)構(gòu)設計較為復雜，機械臂的每個關節(jié)都需要傳感器配合電機工作，電機驅(qū)動模塊是保證系統(tǒng)正常工作及控制精度的重要部分。電機部分按照每個關節(jié)驅(qū)動力的要求而選擇直流電機、交流電機和步進電機。電機轉(zhuǎn)盤對于驅(qū)動力和穩(wěn)定性都有一定的要求，所以采用交流電機伺服系統(tǒng)，控制信號的周期設定為15 ms，有效脈沖的控制周期為2.0 ms；而機械臂系統(tǒng)的末端關節(jié)及高清鏡頭的驅(qū)動電機選用體積更小的步進電機，該種電機對于機械臂關節(jié)的角度控制、位移控制更為靈活，可進行3個軸向的坐標轉(zhuǎn)換，并將角度和位移的控制結(jié)果反饋給單片機系統(tǒng)。機械臂電機驅(qū)動模塊一端與上位機和單片機連接，另一端直接控制機械結(jié)構(gòu)的旋轉(zhuǎn)和6個軸向的移動；而高清鏡頭的驅(qū)動模塊分別與單片機和圖像采集卡連接，驅(qū)動鏡頭轉(zhuǎn)動并傳遞系統(tǒng)采集不同方位圖像的指令。為了保證系統(tǒng)的安全性和穩(wěn)定性，單片機電路系統(tǒng)的驅(qū)動采用直流電源直接驅(qū)動的方式。

3 基于圖像序列拓撲關系的控制算法設計

對高清鏡頭采集的醫(yī)學圖像序列處理與圖像拓撲結(jié)構(gòu)算法的深入研究，是提高扎針機器人運動軌跡控制精度和扎針一次成功率的重要途徑之一。在計算機視覺技術(shù)框架體系內(nèi)，圖像的拓撲節(jié)點可以用多幀的視覺圖像描述。在多幀圖像的檢索與定位過程中，從多幀圖像中識別出與患者皮下組織當前幀圖像像素最為接近的圖像，并在空間范圍內(nèi)定位拓撲結(jié)構(gòu)，識別出當前幀圖像與上一幀圖像縱向位姿的變化，在三維影像空間內(nèi)準確定位出扎針點的位置。

3.1 圖像序列的劃分

將高清攝像頭連續(xù)采集到患者扎針區(qū)域影像劃分為多組圖像序列，如果末幀圖像與下一幀圖像在空間范圍內(nèi)出現(xiàn)了明顯的差異，表明機械臂的作業(yè)環(huán)境和場景發(fā)生了明顯的變化，需要引起醫(yī)務工作者的注意。本文基于局部極值算法確定出圖像的序列相似度，設相鄰的兩幀圖像表示為Pi與Pi+1，從第t時刻開始滑動窗口內(nèi)的圖像從Pi滑動到Pi+1(設滑動窗口的大小為l)，兩幀圖像之間的相似度Spi表示為：

(1)

在滑動窗口內(nèi)圖像Pi與Pi+1之間相似度的最小值Spmin：

Spmin=min[Sp(Pi,Pi+1)]

(2)

如果Spmin與Sp(Pi,Pi+1)相等，證明當前的滑動窗口已經(jīng)滿足了局部極值的要求，此時所采集到的圖像數(shù)據(jù)之間的差異最明顯，即可以在t時刻對采集到的多幀進行圖像的劃分，形成新的圖像序列。

3.2 圖像序列特征的匹配與拓撲優(yōu)化的實現(xiàn)

使用FAST算子檢測新形成高清圖像序列上的特征點，從新序列圖像中選擇任一個像素點Q，以該點為中心比較其周圍圓形半徑區(qū)域的像素點，如果能夠確定出這些連續(xù)的像素點的空間閾值范圍，則可以認定Q點滿足多幀圖像候選點的特征?；贐RIEF算法對FAST算子進行優(yōu)化確定特征點的方向，對于任意一個n維的二進制圖像比特串，圖像序列的特征點在比特串上的平均值接近0.5，圖像比特串數(shù)據(jù)服從正態(tài)分布，具體優(yōu)化過程如下：

step1：建立訓練集，并基于訓練集特征點的數(shù)量將圖像分割為大小均勻的圖像塊，任選一定數(shù)量的子窗口組成新的測試組。設圖像塊的寬度為ls，窗口的寬度為lc此時一共有(ls-lc)2個窗口。執(zhí)行全部可能出現(xiàn)的組合結(jié)果，直到全部的特征點計算完畢。

step2：對測算完畢的訓練集排序篩選，按照均值0.5的標準排序，刪除不滿足條件的特征點。

step3遍歷全部新的圖像序列，逐步提高閾值范圍直到覆蓋全部的圖像分割小塊。

step4：剔除圖像中的干擾點，并匹配高清攝像機多幀圖像，減少個別漂移點的測量誤差，并獲取到圖像拓撲結(jié)構(gòu)運動模型的最優(yōu)參數(shù)。

step5：以優(yōu)化后的特征點作為構(gòu)建三維點云集合的基礎，篩選每一個新傳入的圖像幀，如果在匹配后能夠旋轉(zhuǎn)或平移，以當前的圖像幀作為關鍵幀，直到全部的圖像篩選完畢。

以關鍵的圖像幀作為三維點云集合拓撲結(jié)構(gòu)上的節(jié)點，再估計每組關鍵幀圖像的空間位姿信息，每當系統(tǒng)篩選出一組關鍵幀圖像后，響應的拓撲結(jié)構(gòu)中就增加了一個節(jié)點，節(jié)點的位置越精確，機器人系統(tǒng)扎針的準確性相對更高。如果用變量xjk表示第j個關鍵幀圖像上的第k個特征點，那么提取到的總共M幀圖像上的N個關鍵幀特征點的集合可以表示為：

(3)

利用三維空間點與二維圖像點之間的映射對應關系，識別出代表高清相機圖像位姿旋轉(zhuǎn)信息與空間位移的變量。當多幀圖像的關鍵幀節(jié)點發(fā)生閉環(huán)時，結(jié)合全部圖像的關鍵幀節(jié)點對應的邊線約束，能夠得到最接近真實關鍵特征點拓撲結(jié)構(gòu)分配，圖像序列拓撲結(jié)構(gòu)的優(yōu)化過程如圖5所示。

圖5 關鍵特征點拓撲結(jié)構(gòu)優(yōu)化圖示

未進行拓撲結(jié)構(gòu)優(yōu)化之前所產(chǎn)生的閉環(huán)節(jié)點基本上處于一個平面，這與真實的病理場景相悖，當發(fā)生閉環(huán)時基于圖像序列特征的匹配和關鍵的圖像幀節(jié)點，對原有圖像的拓撲結(jié)構(gòu)優(yōu)化，能夠找到一種真實空間分布最為接近的拓撲結(jié)構(gòu)，對于扎針機器人機械臂末端的控制效果能夠達到最優(yōu)效果，提高系統(tǒng)扎針的一次性成功率。

4 實驗結(jié)果與分析

實驗中首先標定和調(diào)整DHT01型醫(yī)用高清X射線鏡頭3個軸向的硬件參數(shù)，如表1所示。

表1 高清鏡頭實驗參數(shù)的設置

基于傳感器捕捉到高清相機的運動軌跡真實值，可以提高定性分析的準確性，在多種測量環(huán)境下根據(jù)真實的實驗環(huán)境得到基礎性的數(shù)據(jù)，并分析是否能夠滿足對扎針機器人控制的理論要求，測試得出的基礎性理論數(shù)據(jù)如表2所示。

表2 采集到的實驗數(shù)據(jù)集理論驗證

表2中的實際采集到的基于圖像序列拓撲關系的扎針機器人系統(tǒng)運行數(shù)據(jù)，并且能夠滿足實驗的理論要求，證明了系統(tǒng)在設計和使用上的合理性。

4.1 實驗方法

為驗證所設計仿真機器人控制系統(tǒng)的有效性，仿真人體皮膚和皮下組織的硅膠體進行實驗，測量針頭末端三個軸向與血管中心點的偏差值，基于高清相機采集到的多幀圖像作為機器人機械臂的行進軌跡確定的依據(jù)，并分析和確定出采集到的全部圖像的序列關系和拓撲結(jié)構(gòu)關系，實驗次數(shù)為200次。

所設計扎針機器人系統(tǒng)的總體工作流程如圖6所示。

圖6 扎針機器人系統(tǒng)總體工作流程

如圖6所示，首先采集患者的位置圖像，通過序列處理獲取患者位置信息，并上傳到上位機系統(tǒng)，系統(tǒng)根據(jù)采集圖像位置的不同控制機械臂關節(jié)移動。機械臂底盤部分控制電機的運轉(zhuǎn)，并檢測各種機械裝置的運行速度和旋轉(zhuǎn)角度，能夠準確測量出機械臂末端針頭與患者身體之間的距離。采用ATMEGA32L型單片機，完成扎針路徑的選擇。

4.2 扎針一次成功率分析

在200次實驗中，每20次記為一組并統(tǒng)計平均偏差值，得到統(tǒng)計結(jié)果如表3所示。

表3 三個軸向的扎針偏差值統(tǒng)計

經(jīng)過對200組實驗結(jié)果數(shù)據(jù)的統(tǒng)計，3個軸向距血管中心的偏差度平均值分別為0.044 9、0.038 3、和0.038 7，趨近于血管的中心位置。利用Matlab仿真軟件模擬出200組扎針實驗的散點分布如圖7所示。

圖7 200組扎針測試實驗的散點分布圖

從扎針散點圖的分布結(jié)果結(jié)果可知，絕大多數(shù)散點都分布在有效的范圍內(nèi)，200組測試實驗中僅有11次扎針失敗，這表明基于圖像序列拓撲關系的扎針機器人具有更高的扎針成功率，與傳統(tǒng)的扎針機器人和醫(yī)務人員人工扎針的對比結(jié)果，如表4所示。

表4 不同的扎針方式一次扎針成功率對比 %

4.3 扎針機器人機械臂關節(jié)旋轉(zhuǎn)角度與位移偏差

本設計系統(tǒng)在上位機芯片上，選擇了數(shù)據(jù)處理能力和控制能力更強的ATMEGA32L型單片機，除了在多幀圖像處理和數(shù)據(jù)合成上具有顯著的優(yōu)勢之外，在對機械臂6個關節(jié)控制穩(wěn)定性方面也具有良好的表現(xiàn)，機械臂控制的穩(wěn)定性與否對于扎針的一次性成功率影響較大。關節(jié)角度偏差情況統(tǒng)計和針頭行進軌跡的位移偏差統(tǒng)計情況，如表5和表6所示。

表5 機械臂6關節(jié)角度偏差統(tǒng)計

表6 針頭行進軌跡的偏差位移

分析數(shù)據(jù)表明扎針機器人機械臂6關節(jié)3個軸向的偏差，及針頭行進軌跡的偏差都被控制在合理的誤差范圍之內(nèi)，不會對系統(tǒng)扎針一次成功率造成不利影響，機械系統(tǒng)結(jié)構(gòu)穩(wěn)定和強大的芯片性能保證了機器人扎針系統(tǒng)的高成功率。

5 結(jié)束語

在患者就醫(yī)的過程中，常規(guī)檢查、輸液治療和穿刺治療的應用場景十分廣泛，如何在扎針治療中提高成功率，減輕患者的痛苦，既是患者本身的訴求也是醫(yī)療科研機構(gòu)不斷努力的方向。近年來隨著計算機科技技術(shù)、自動化技術(shù)和機器人控制技術(shù)的不斷發(fā)展，機器人在醫(yī)療領域的應用范圍得到不斷拓展。與傳統(tǒng)的人工扎針相比，機器人扎針在穩(wěn)定性控制和扎針成功率方面都有本質(zhì)的提高，本文在現(xiàn)有機器人控制技術(shù)的基礎上，對高清影像系統(tǒng)、上位機控制系統(tǒng)和多幀圖像處理算法上進行了革新和優(yōu)化，基于圖像序列特征匹配原理，重新確定關鍵幀節(jié)點的拓撲關系，再將扎針的過程以三維圖像的模式，更真實地展現(xiàn)整個處理過程，能夠更好地控制偏差，顯著提高扎針的一次成功率。