可變虛擬剛度優(yōu)化的醫(yī)學(xué)手術(shù)觸覺仿真系統(tǒng)*

寧波市醫(yī)療中心李惠利醫(yī)院 周新華 阮一 王邏邏

本文提出一種基于穿透深度計(jì)算與非線性優(yōu)化的可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)，采用基于組態(tài)接觸空間線性化投影技術(shù)和閔可夫斯基和的方法來計(jì)算兩個(gè)交叉幾何模型之間的穿透深度，通過引入線性化的六維空間距離度量來標(biāo)識，平移運(yùn)動和旋轉(zhuǎn)運(yùn)動的共同作用的最小分離距離，從而相似映射為反饋力及扭矩的輸出結(jié)果，能夠高效的應(yīng)用于各種復(fù)雜度的幾何模型交互力計(jì)算，滿足觸覺反饋設(shè)備刷新率的要求。通過引入可變虛擬剛度非線性優(yōu)化觸覺反饋系統(tǒng)設(shè)計(jì)，能夠良好地實(shí)現(xiàn)穩(wěn)定的剛體模型觸覺仿真交互操作，實(shí)驗(yàn)結(jié)果表明，本文所提算法能夠穩(wěn)定有效的應(yīng)用于醫(yī)學(xué)領(lǐng)域的手術(shù)仿真。

0 引言

虛擬現(xiàn)實(shí)（VR，Virtual Reality）技術(shù)作為計(jì)算機(jī)圖形學(xué)領(lǐng)域的重要研究分支，其獨(dú)有的視覺呈現(xiàn)與虛擬仿真交互方式，使用戶能夠真實(shí)地置身于虛擬構(gòu)造的三維場景中，感受高度沉浸的視覺漫游體驗(yàn)。通過引入虛實(shí)融合的多模態(tài)視覺、聽覺、觸覺、嗅覺等感知技術(shù)，實(shí)現(xiàn)與虛擬場景物體的動態(tài)交互，感受虛擬世界所帶來的知識學(xué)習(xí)與視覺震撼，能夠有效的應(yīng)用于醫(yī)學(xué)仿真、教育培訓(xùn)、游戲娛樂、軍事模擬、裝配制造、工業(yè)智能機(jī)器人等多個(gè)領(lǐng)域，為人類的生產(chǎn)生活提供廣泛的智能化數(shù)字交互的便利，成為研究人員所關(guān)注的研究熱點(diǎn)和計(jì)算機(jī)前沿科技。

在醫(yī)療培訓(xùn)仿真領(lǐng)域，引入虛擬現(xiàn)實(shí)技術(shù)能夠有效提高實(shí)習(xí)醫(yī)生的臨床的理論知識學(xué)習(xí)與臨床模擬手術(shù)的業(yè)務(wù)操作技能，避免了真實(shí)手術(shù)中技能不熟練所導(dǎo)致的醫(yī)療風(fēng)險(xiǎn)，縮短了培訓(xùn)的周期，感受虛擬手術(shù)仿真所帶來的可試錯的優(yōu)勢。借助觸覺渲染（Haptic Rendering）的觸覺感知技術(shù)，用戶能夠感受與虛擬物體交互的接觸力覺，通過精確度量操作力輸出來模擬實(shí)際操作環(huán)境，以此達(dá)到高度沉浸的手術(shù)仿真體驗(yàn)。然而由于目前觸覺力反饋設(shè)備的硬件刷新率要求與復(fù)雜幾何模型間碰撞檢測的計(jì)算效率問題，觸覺交互過程中所帶來的振動、穿透等不穩(wěn)定性因素影響，導(dǎo)致基于反饋力的虛擬交互并未大范圍的適用于實(shí)際生活。

本文提出一種基于滲透深度計(jì)算與非線性優(yōu)化的可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)，能夠高效的應(yīng)用于各種復(fù)雜度的幾何模型交互力計(jì)算，滿足觸覺反饋設(shè)備刷新率的要求。通過引入不同幾何模型的可變虛擬剛度非線性優(yōu)化算法，能夠良好地實(shí)現(xiàn)穩(wěn)定的剛體模型觸覺仿真交互操作，有效的應(yīng)用于醫(yī)學(xué)領(lǐng)域的手術(shù)仿真。

1 相關(guān)工作

虛擬現(xiàn)實(shí)技術(shù)需要設(shè)計(jì)并重建逼近真實(shí)環(huán)境的應(yīng)用場景，在實(shí)際的虛擬仿真應(yīng)用中需要借助外部顯示設(shè)備來進(jìn)行高沉浸感的漫游體驗(yàn)。在醫(yī)學(xué)場景模型構(gòu)建虛擬現(xiàn)實(shí)交互仿真領(lǐng)域[1]，力反饋交互能夠?yàn)槁误w驗(yàn)者帶來真實(shí)的觸覺反饋[2-3]，被廣泛的應(yīng)用于醫(yī)學(xué)虛擬仿真領(lǐng)域[4]，如基于滲透深度計(jì)算的牙齒手術(shù)力觸覺仿真[5]、柔性血管接入的手術(shù)仿真[6]、多通道協(xié)同的觸覺交互手術(shù)仿真[7]、脊柱外科的手術(shù)仿真[8]觸覺交互系統(tǒng)中的模型切割仿真與支持力反饋的沉浸式環(huán)境學(xué)習(xí)評價(jià)等技術(shù)的發(fā)展對于深度沉浸的手術(shù)仿真提供了大量的技術(shù)實(shí)現(xiàn)手段[9]。以上基于醫(yī)學(xué)模型三維重建及觸覺交互仿真技術(shù)的提出，為構(gòu)建虛擬現(xiàn)實(shí)場景的手術(shù)交互提供了理論基礎(chǔ)，為醫(yī)學(xué)手術(shù)培訓(xùn)仿真提供了一種有效的應(yīng)用場景解決方案。

設(shè)計(jì)觸覺力反饋交互系統(tǒng)并確保其具備穩(wěn)定交互的特性，是一項(xiàng)非常困難的任務(wù)。虛擬環(huán)境下，非被動離散時(shí)間幾何模型（Non-passive Discrete-time Model）的交互通常會存在大量的非線性問題。此外，基于觸覺交互設(shè)備的彈性剛度、慣性阻尼、材質(zhì)密度、運(yùn)動沖量等問題在虛擬環(huán)境下都會帶來觸覺設(shè)備的震動和穩(wěn)定性差等混亂的行為無序問題。因此，基于輸出數(shù)據(jù)的優(yōu)化和控制器信號的延遲響應(yīng)對于觸覺力反饋渲染系統(tǒng)的設(shè)計(jì)，具有非常重要的應(yīng)用價(jià)值。

目前，研究人員主要還是關(guān)注觸覺力反饋渲染系統(tǒng)有關(guān)輸出信號控制和實(shí)際問題的數(shù)據(jù)優(yōu)化等方面，從而提高觸覺動態(tài)交互的穩(wěn)定性和準(zhǔn)確度。Miller等人[10]探索了虛擬環(huán)境下如何通過非線性的質(zhì)量/彈性剛度/阻尼的控制與設(shè)計(jì)來確保觸覺交互過程中震動的降低，以及在人機(jī)接口控制系統(tǒng)下其他的信號無序等行為。尤其是關(guān)注了有關(guān)局部彈性系統(tǒng)對于延遲響應(yīng)所獲得的非直覺性結(jié)果的計(jì)算。對于觸覺輸出數(shù)據(jù)的控制[11]，K Lee等人研究了一種自適應(yīng)輸出限制器的方法來確保觸覺渲染的穩(wěn)定性，其方法對于探索虛擬環(huán)境下柔性力可變形模型的觸覺交互提供了可能，通過基于時(shí)間域被動理論（Timedomain Passivity Theorem）探索了變形模型累積阻抗的快速計(jì)算實(shí)現(xiàn)交互反射力輸出。近期，許多研究人員也針對虛擬交互領(lǐng)域的不同應(yīng)用，提出了觸覺交互控制系統(tǒng)的許多解決方案[12]，Rose 等人提出了實(shí)驗(yàn)室環(huán)境下，主動經(jīng)驗(yàn)對于改進(jìn)觸覺機(jī)械構(gòu)件的反射動力系統(tǒng)理論；Yasuda等人提出了一種基于觸覺的生物反饋（Biofeedback，BF）系統(tǒng)用戶中風(fēng)患者的平衡康復(fù)訓(xùn)練。對于多觸覺設(shè)備的協(xié)同交互系統(tǒng)，Gil等人基于系統(tǒng)建模和穩(wěn)定性分析，考慮了有關(guān)特征剛性模型、震動模式、關(guān)節(jié)設(shè)備等多種情況用于研究穩(wěn)定關(guān)節(jié)模型觸覺交互的可能性。

總的來說，觸覺力反饋渲染系統(tǒng)的穩(wěn)定性和魯棒性對于虛擬現(xiàn)實(shí)環(huán)境下高度真實(shí)感的觸覺響應(yīng)非常重要，它直接關(guān)系著觸覺渲染結(jié)果的用戶體驗(yàn)。然而，目前的觸覺渲染系統(tǒng)對于處理高復(fù)雜度、多自由度觸覺渲染的應(yīng)用中，不可避免的會遇到效率過低、內(nèi)存占用過多、控制系統(tǒng)復(fù)雜、觸覺渲染設(shè)備體驗(yàn)的不穩(wěn)定性等問題。通過引入具備動力學(xué)控制優(yōu)化學(xué)習(xí)理論的觸覺力反饋渲染系統(tǒng)，充分地提高觸覺渲染系統(tǒng)的刷新率，改進(jìn)并增強(qiáng)觸覺交互設(shè)備的穩(wěn)定性。因此，我們將傳統(tǒng)的觸覺渲染系統(tǒng)，引入動態(tài)虛擬剛度控制，并提供高效低速阻尼響應(yīng)分析，設(shè)計(jì)出具備高效動力學(xué)特性的穩(wěn)定觸覺渲染系統(tǒng)。

2 主要算法實(shí)現(xiàn)流程

2.1 穿透深度計(jì)算

在觸覺渲染算法中，通常關(guān)注多邊形模型之間的碰撞交互問題，高效精確的碰撞檢測使用空間分離來處理低維線性時(shí)間內(nèi)的幾何基元碰撞檢索查詢。常用的兩種算法包括基于補(bǔ)償反饋（Penalty-based）和基于約束（Constraint Based）的觸覺渲染算法。其中基于補(bǔ)償反饋的觸覺渲染算法在交互力計(jì)算過程中廣泛的采用穿透深度（Penetration Depth，PD）的距離計(jì)算，相對于其他方法，其所需計(jì)算資源更少，能夠保證穩(wěn)定地力和扭矩仿真輸出。穿透深度廣泛應(yīng)用于剛體模型動態(tài)仿真的應(yīng)用研究，定義為將相互重疊的兩個(gè)物體分開的最小距離，如下式:

A和B為相互重疊的兩個(gè)多邊形模型，其初始質(zhì)心與世界坐標(biāo)系保持初始化一致；C為其組態(tài)接觸空間，用以表示模型A的非碰撞空間位置集合，B模型為靜態(tài)模型。本文采用一種基于組態(tài)接觸空間（Contact Space）投影技術(shù)和閔可夫斯基和（Minkowski Sum）的方法來計(jì)算兩個(gè)交叉幾何模型之間的廣義滲透深度，通過引入線性化的六維空間距離度量來標(biāo)識最小分離距離，在上式中以σ標(biāo)識，該分離運(yùn)動包含了平移運(yùn)動和旋轉(zhuǎn)運(yùn)動的共同作用，從而相似映射為反饋力及扭矩的輸出結(jié)果，其定義如下式:

式中x（q）表示一個(gè)點(diǎn)在模型A上的位置為q；[q1，q2，q3]是一個(gè)四元數(shù)的向量部分，表示位置q0和q1相對方向上的變化；[q4，q5，q6]表示位置q0和q1之間的相對位置變化；Ixx，Iyy和Izz是模型A的慣性常量矩陣的對角線，V是模型A的體積，主要算法流程如圖1所示。

圖1 廣義穿透深度算法流程圖Fig.1 Flow diagram of generalized penetration depth computation

采用連續(xù)穿透深度計(jì)算方法進(jìn)行虛擬觸覺交互在具有空洞、尖角、薄壁等復(fù)雜幾何拓?fù)浣Y(jié)構(gòu)的模型處理過程中具有很好的計(jì)算結(jié)果。此外，在局部接觸空間投影計(jì)算過程中的線性化局部接觸表面的重建過程中，采用連續(xù)的接觸特征運(yùn)動一致性的特點(diǎn)，能夠很好的采用二次插值來近似線性的計(jì)算，為觸覺反饋力的計(jì)算發(fā)揮著重要的作用。

2.2 力反饋系統(tǒng)優(yōu)化設(shè)計(jì)

目前，觸覺力反饋渲染系統(tǒng)主要由觸覺設(shè)備力輸出信號控制、虛擬模型動態(tài)仿真、碰撞檢測三個(gè)部分所組成。模型虛擬交互的碰撞響應(yīng)結(jié)果直接作為輸出信號反饋給觸覺設(shè)備，由于在處理處理復(fù)雜幾何拓?fù)浣Y(jié)構(gòu)模型的過程中，非線性的數(shù)據(jù)模型特征邊界模糊、計(jì)算量大、刷新率不一致，很難產(chǎn)生連續(xù)且穩(wěn)定的輸出數(shù)據(jù)，對于復(fù)雜運(yùn)動特征的虛擬交互，碰撞響應(yīng)的結(jié)果不能夠確保觸覺渲染處理的穩(wěn)定性。此外，對于處理復(fù)雜材質(zhì)屬性模型和可變形模型的觸覺交互，無法獲得直覺上的觸覺反饋。對于觸覺交互的數(shù)據(jù)特征信息，我們能夠通過訓(xùn)練學(xué)習(xí)理論來對原有的觸覺渲染系統(tǒng)進(jìn)行改進(jìn)，并結(jié)合連續(xù)穿透深度計(jì)算的理論支持和多核平行異步處理的架構(gòu)，應(yīng)對不同場景下觸覺交互輸出信號的動力學(xué)控制。

基于特征分析的數(shù)據(jù)收集與優(yōu)化:采用基于約束的非線性動態(tài)優(yōu)化理論，對觸覺反饋輸出信號進(jìn)行特征的提取與分析，主要針對虛擬模型交互過程中大曲率、尖角區(qū)域、薄壁區(qū)域、局部多接觸點(diǎn)、頻繁震動區(qū)域等特征進(jìn)行收集，通過特征分析對接觸模型的反饋力進(jìn)行優(yōu)化輸出。

幾何拓?fù)淠Ｐ蛢?yōu)化方面，針對交互模型初始三角面片，尋求一個(gè)能夠較好地?cái)M合給定數(shù)據(jù)集的集合，通過簡單的復(fù)合形K和一組定點(diǎn)V來構(gòu)造幾何模型M=（K，V）的能量函數(shù):

使其最小并獲得一個(gè)簡單的幾何拓?fù)鋽M合網(wǎng)格，以此減少交互模型的幾何復(fù)雜度。其中

k為一個(gè)彈性常量，隨著求解過程逐漸收斂，其值會逐漸減少。

曲面曲率優(yōu)化方面，采用非線性函數(shù)最優(yōu)化方法來構(gòu)造任何拓?fù)漕愋偷膹?fù)雜光滑曲面，由于所要設(shè)計(jì)的曲面需要通過插值幾何約束給出，其中幾何約束包括了頂點(diǎn)的位置、曲面法向量和曲面的曲率。通過使用非線性化最優(yōu)化方法使得基于曲率變分的修正函數(shù)達(dá)到極小來到出最小的變分曲線（MVC）和最小變分曲面（MVS）。其中，曲面修正函數(shù)為法向曲率在主方向上變分的平方和積分，如下式:

對于其他基于震動、異常數(shù)據(jù)輸出方面，可采用多元非線性優(yōu)化的曲線擬合方案，通過過濾算法來去除噪聲的異常數(shù)據(jù)，從而達(dá)到數(shù)據(jù)連續(xù)性輸出方案。

本文力反饋系統(tǒng)優(yōu)化集合以上所述策略，結(jié)合模型交互不同區(qū)域虛擬剛度和運(yùn)動阻尼設(shè)計(jì)動力學(xué)控制模型:根據(jù)數(shù)據(jù)特征采集并優(yōu)化的結(jié)果，針對虛擬交互的動態(tài)特點(diǎn)，分析并設(shè)計(jì)具有自適應(yīng)虛擬剛度、局部低速阻尼限制、加速沖量控制單元的動力學(xué)觸覺渲染系統(tǒng)。通過引用基于Hunt-Crossley非線性模型去除了關(guān)于Kelvin Voight（KV）模型中的非連續(xù)性影響，Hunt-Crossley非線性模型良好的適用于具有虛擬剛度的環(huán)境下，并且對于物理屬性不一致的柔性環(huán)境也能夠達(dá)到良好的反饋力控制效果，通過采用基于位置的阻尼狀態(tài)來構(gòu)造局部接觸點(diǎn)的動態(tài)力輸出模型，以適應(yīng)不同場景下觸覺交互的動力學(xué)控制需求，如下式:

其中，n為[1～2]之間的一個(gè)無單位常量，用于反應(yīng)不同材料和接觸面的幾何特性。從HC模型所得到的系數(shù)K，B并不是模型中的相似量，可以認(rèn)為Kx和Bx是基于位置的彈性剛度和阻尼常量。

通過模型不同接觸特征的分析結(jié)果，針對不同場景的反饋力輸出動力學(xué)優(yōu)化，我們分別來進(jìn)行考慮:

對于非線性化的彈性模型，由于初始速度的影響，會帶來彈性剛度系數(shù)的改變，尤其是對于具有柔性力的可變形模型而言，這個(gè)變化會非常的異常。其中ki為模型不同接觸區(qū)域的優(yōu)化可變虛擬剛度，PDg為計(jì)算的廣義穿透深度。

基于以上的動力學(xué)數(shù)據(jù)分析，我們擬設(shè)計(jì)構(gòu)造具有數(shù)據(jù)收集存儲功能動力學(xué)觸覺渲染系統(tǒng)，對虛擬剛度、高速阻尼、局部靜態(tài)摩擦力進(jìn)行控制優(yōu)化輸出，如圖2所示。

圖2 自適應(yīng)動力學(xué)控制觸覺渲染系統(tǒng)Fig.2 Adaptive dynamic control haptic rendering system

3 實(shí)驗(yàn)結(jié)果與分析

本文所述基于可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真算法實(shí)驗(yàn)基于C++語言環(huán)境及OpenHaptics 3.1觸覺設(shè)備編譯庫，在Windows 10 X64，i7-8700K 3.7 GHz的環(huán)境進(jìn)行測試。并且輔以3D System TouchX的桌面式六自由度觸覺設(shè)備進(jìn)行交互實(shí)驗(yàn)。為了證明實(shí)驗(yàn)系統(tǒng)的穩(wěn)定性和正確性，我們采用兩組不同復(fù)雜度的幾何模型進(jìn)行測試，如表1所示:

表1 實(shí)驗(yàn)測試模型組Tab.1 Models with different geometry complexity

利用廣義穿透深度計(jì)算獲得模型交互仿真效果，如圖3所示。圖中紅色物體分別為超聲刀和手術(shù)刀與觸覺設(shè)備手柄綁定，能夠自由移動與靜態(tài)肝臟模型進(jìn)行碰撞交互，藍(lán)色與青色物體為廣義穿透深度計(jì)算結(jié)果。

圖3 廣義穿透深度計(jì)算結(jié)果Fig.3 Generalized penetration depth computation results

利用廣義穿透深度計(jì)算能夠同時(shí)作用平移與旋轉(zhuǎn)的共同運(yùn)動，能夠獲得準(zhǔn)確的分離距離及接觸仿真結(jié)果，并且通過引入局部穿透深度的Virtual Coupling方法，有效的減少了局部接觸點(diǎn)法向所造成的震動問題，但是對于不同模型區(qū)域虛擬剛度的觸覺力輸出，仍然無法達(dá)到在低刷新率條件下的穩(wěn)定交互。通過引入可變剛度優(yōu)化的觸覺反饋系統(tǒng)，針對不同區(qū)域表面特性，采用虛擬剛度與運(yùn)動阻尼控制器的作用，能夠獲得穩(wěn)定的交互效果。

4 結(jié)論

提出了一種基于變虛擬剛度和非線性優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)。采用基于構(gòu)形接觸空間的線性投影技術(shù)和Minkowski和方法計(jì)算了兩個(gè)相交幾何模型之間的侵徹深度。通過引入線性6維空間距離測度，識別出平動和轉(zhuǎn)動剛體運(yùn)動。它可以有效地計(jì)算各種復(fù)雜幾何模型間的相互作用力，滿足觸覺反饋裝置的刷新率要求。通過引入變虛剛度非線性優(yōu)化的觸覺反饋系統(tǒng)設(shè)計(jì)，可以很好地實(shí)現(xiàn)剛體模型觸覺仿真的穩(wěn)定交互操作。實(shí)驗(yàn)結(jié)果表明，該算法能夠穩(wěn)定有效地應(yīng)用于醫(yī)學(xué)領(lǐng)域的肝臟手術(shù)仿真。

然而，我們得到的渲染方法的性能在200到500fps之間，它沒有達(dá)到理想的觸覺更新率1000Hz。但是我們得到了穩(wěn)定的觸覺反饋。對于一些更復(fù)雜的模型，我們希望在以后的工作中找到一些好的技術(shù)來提高性能，比如變形模型、關(guān)節(jié)模型，同時(shí)考慮機(jī)器學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)來研究高級的觸覺渲染計(jì)算優(yōu)化方法。