基于虛擬人機(jī)協(xié)作的咽拭子采樣機(jī)器人遠(yuǎn)程控制策略

陳英龍，宋甫俊，弓永軍

（大連海事大學(xué)，遼寧 大連 116026）

隨著新冠肺炎疫情的常態(tài)化，醫(yī)學(xué)檢測的需求出現(xiàn)了前所未有的增長。其中，核酸檢測作為新冠肺炎檢測最常用的檢測手段，咽拭子則是其最主要的采樣方式。為應(yīng)對這一非同尋常的需求增長，采用機(jī)器人輔助醫(yī)務(wù)人員完成采樣任務(wù)成了研究熱點［1］。目前，咽拭子采集機(jī)器人的研發(fā)主要分為兩種，一類是機(jī)器人咽拭子自主采集；另一類則是遠(yuǎn)程人機(jī)協(xié)作咽拭子采集。

國外的南丹麥大學(xué)（SDU）首推了一款咽拭子自主采集機(jī)器人，該機(jī)器人裝配了UR3協(xié)作式機(jī)器人手臂，以及一個定制的3D打印末端執(zhí)行器。檢測的過程本身非常簡單，基本上能夠?qū)崿F(xiàn)自主的整套咽拭子采集流程。而國內(nèi)的清華大學(xué)孫富春教授團(tuán)隊結(jié)合自主研制的柔性觸覺傳感器及視觸覺多模態(tài)感知方法的研究基礎(chǔ)，也設(shè)計開發(fā)了一套咽拭子自主采樣的機(jī)器人原型系統(tǒng)。然而，機(jī)器人咽拭子自主采集存在智能化不足、安全隱患等問題，就目前來看，在醫(yī)療中完全自動化仍然是不可靠的［2］。且目前的自主機(jī)器人還有一個固有限制，即由于它們所執(zhí)行任務(wù)的知識基礎(chǔ)有限，機(jī)器人不太可能對不尋常或意外的事件作出正確反應(yīng)。

與機(jī)器人自主控制相反，人機(jī)協(xié)作恰好彌補(bǔ)了這一方面不足，通過融合了人類和機(jī)器人的優(yōu)勢，可以更有效地完成目標(biāo)任務(wù)。在醫(yī)療領(lǐng)域中，人機(jī)協(xié)作已經(jīng)得到廣泛應(yīng)用。比如，機(jī)器人輔助微創(chuàng)外科手術(shù)（RMIS）作為一門新興的技術(shù)被廣泛地應(yīng)用于各類手術(shù)中［3］。這種基于人機(jī)協(xié)作的遙操作方式較傳統(tǒng)手術(shù)能夠更好地提高醫(yī)生對手術(shù)的執(zhí)行能力。而國內(nèi)早期中科院沈自所和鐘南山團(tuán)隊合作開發(fā)了可以遠(yuǎn)程人機(jī)協(xié)作方式的咽拭子采樣機(jī)器人系統(tǒng)，可以輕柔、快速地完成咽部組織采樣任務(wù)。當(dāng)然，遠(yuǎn)程協(xié)作也帶來了新的挑戰(zhàn)，尤其是在醫(yī)療操作中，網(wǎng)絡(luò)基礎(chǔ)設(shè)施自身性能、帶寬受限等問題，導(dǎo)致通信延遲和數(shù)據(jù)丟失給遠(yuǎn)程人機(jī)協(xié)作過程造成嚴(yán)重的安全隱患。因此，為了避免因延遲引起事故，遠(yuǎn)程人機(jī)協(xié)作時必須引入安全約束。

而早在1993年斯坦福大學(xué)的Rosenberg教授提出了廣泛應(yīng)用于遙操作手術(shù)、空間維護(hù)等領(lǐng)域的虛擬夾具技術(shù)，在虛擬空間構(gòu)建像機(jī)械剛性夾具那樣對不期望方向運(yùn)動的約束，成功地解決了遙操作系統(tǒng)中的環(huán)境交互問題［4］。在羅伯森提出虛擬夾具技術(shù)之前，醫(yī)療手術(shù)實施的形式是機(jī)器人完全自動化操作。隨后，Davies等提出了機(jī)器人輔助膝關(guān)節(jié)置換手術(shù)中稱為“主動約束”的平行概念。在這個概念下，外科手術(shù)工具繼續(xù)由外科醫(yī)生手動操作，但是，當(dāng)外科醫(yī)生移向不應(yīng)該被移除的材料時，該方向的硬度就會增加，以防止過度切割［5］。自從這種控制形式的概念提出以來，許多研究機(jī)構(gòu)已經(jīng)大力發(fā)展并使其多樣化［6］。例如，Mako通過基于力反饋的觸覺交互技術(shù)保證安全性［7］。唐宇存等基于虛擬夾具的手術(shù)機(jī)器人，結(jié)合導(dǎo)納控制原理，實現(xiàn)二維手術(shù)平面內(nèi)虛擬約束［8］。而Alessandro Bettini等提出一種基于視覺的毫米至微米尺度協(xié)同操作系統(tǒng)，該系統(tǒng)是基于導(dǎo)納控制算法，實現(xiàn)了一種指導(dǎo)模式的虛擬夾具［9］。

虛擬約束可以解決遙操作模式下存在的不足之處（如可視環(huán)境狹窄、延遲易導(dǎo)致反饋信息的缺失等）帶來的安全隱患。因此，本文采用動態(tài)人工勢場的虛擬約束，基于虛擬力的人機(jī)協(xié)商策略實現(xiàn)非結(jié)構(gòu)化環(huán)境下的人機(jī)協(xié)作，完成咽拭子采集任務(wù)。比較傳統(tǒng)的固定參考區(qū)域的人工勢場的約束方法［10］，本文中人工勢場由接觸力決定，能夠根據(jù)接觸狀態(tài)改變勢場。而通過虛擬力進(jìn)行操作模擬物理人機(jī)協(xié)作，能夠調(diào)控機(jī)器人的柔順性，比位姿輸入更適應(yīng)非結(jié)構(gòu)化、動態(tài)可變環(huán)境下的跟蹤以及接觸力控制。

1 問題描述

咽拭子采集過程可分為兩個階段：一個是機(jī)器人末端執(zhí)行器未到達(dá)目標(biāo)位置時的運(yùn)動，稱之為自由空間運(yùn)動；另一個是末端執(zhí)行器接觸到咽后壁后的運(yùn)動，稱之為接觸空間運(yùn)動。而在兩個階段中，為了安全、平穩(wěn)且準(zhǔn)確地完成采集任務(wù)，咽拭子采集常常會面臨以下3個挑戰(zhàn)。

1）由于機(jī)器人視覺采集傳感器自身性能限制，而被采集的口腔部位的視覺范圍狹窄，使獲得三維掃描信息并不準(zhǔn)確，從而導(dǎo)致咽拭子到達(dá)目標(biāo)位姿超前或者滯后，機(jī)器人自動操作過程對患者具有一定危險性。

2）在實際采集過程中受患者的身體應(yīng)激反應(yīng)等客觀因素，采集任務(wù)并不是一帆風(fēng)順的。尤其是患者的身體位姿輕微變化都將會產(chǎn)生干擾，對此醫(yī)生往往需要再次判斷后繼續(xù)操作，而對于機(jī)器人咽拭子采集，其并不能夠自主地做出相應(yīng)的正確反應(yīng)，而重新操作則降低了采集效率。

3）人體口咽屬于柔軟組織，因此必須施加合適的接觸力，既要保證足夠的刮拭力度，也要避免對咽后壁造成損傷。然而傳統(tǒng)的遠(yuǎn)程人機(jī)協(xié)作的網(wǎng)絡(luò)延遲則并不能保證接觸力的實時閉環(huán)控制性。

針對以上這些情況，單純依靠機(jī)器人是不合適的，同時還面臨著遠(yuǎn)程操作帶來的挑戰(zhàn)。因此，本文采用虛擬約束的方式，構(gòu)建基于虛擬力的人機(jī)協(xié)作控制策略來解決實際中出現(xiàn)的問題。

2 人機(jī)協(xié)商策略

首先，當(dāng)機(jī)器人運(yùn)行至起始點，根據(jù)視覺反饋和力反饋信息，在遠(yuǎn)程操作端的醫(yī)務(wù)人員發(fā)現(xiàn)情況，做出判斷并對機(jī)器人干預(yù)。采納虛擬人機(jī)協(xié)作策略對采樣軌跡完成修正和規(guī)劃，最后操作者停止干預(yù)，機(jī)器人自主規(guī)劃和跟蹤軌跡，人類將處于一個監(jiān)管狀態(tài)。

通過時間閾值Tthr、虛擬關(guān)節(jié)力矩閾值τthr、接觸力閾值Tcthr進(jìn)行判斷，建立人機(jī)協(xié)作有限狀態(tài)機(jī)模型，將整個協(xié)作過程定義為3個不同階段的工作狀態(tài)，具體如下：

其中，τ、T、Fc分別是虛擬關(guān)節(jié)力矩、干預(yù)時間、環(huán)境接觸力。

人機(jī)協(xié)作過程中S1表示自由空間的人類引導(dǎo)狀態(tài)，處于這個狀態(tài)的環(huán)境被認(rèn)為是已經(jīng)發(fā)生變化的，導(dǎo)致原先跟蹤軌跡很明顯不再滿足要求，這也使得機(jī)器人末端并未與咽后壁接觸。而S2則代表著在人類引導(dǎo)下機(jī)器人末端接觸到咽后壁，接觸力達(dá)到設(shè)定的接觸閾值，進(jìn)入約束空間的人類引導(dǎo)狀態(tài)。隨著人類的遠(yuǎn)程引導(dǎo)，機(jī)器人末端運(yùn)行至合適的位置點時，人類逐漸減小虛擬力，機(jī)器人開始主導(dǎo)進(jìn)行軌跡跟蹤，此時整個系統(tǒng)處于機(jī)器人引導(dǎo)的S3狀態(tài)。當(dāng)人類不再施加虛擬力，停止干預(yù)時，S3觸發(fā)，機(jī)器人根據(jù)人類引導(dǎo)的數(shù)據(jù)實現(xiàn)自主規(guī)劃和跟蹤軌跡。

3 虛擬約束

采用相應(yīng)的方法對機(jī)器人執(zhí)行機(jī)構(gòu)的運(yùn)動加以限制，避免過度操作導(dǎo)致的意外情況發(fā)生。1986年Khatib提出了人工勢場法的概念，其基本思想是構(gòu)造一種由引力場與斥力場共同作用形成的虛擬勢場，從而對機(jī)器人的運(yùn)動加以引導(dǎo)和限制。人工勢場法結(jié)構(gòu)較簡單，易實現(xiàn)底層的實時控制，并且可以根據(jù)不同的實際需求來設(shè)計修改所生成的勢場，廣泛應(yīng)用于實時壁障和平滑的軌跡控制等方面。斥力勢場函數(shù)與引力勢場函數(shù)的定義分別為：

式中：η、ξ分別表示斥力勢場、引力勢場的尺度因子；d0表示著距離閾值，決定了斥力場對物體的作用范圍；d（q，q0）表示物體與參考目標(biāo)之間的距離。

3.1 自由空間的虛擬約束

遠(yuǎn)程協(xié)作時系統(tǒng)不可避免會存在延遲問題，這使得閉環(huán)實時性能不足，人類不能很好地對錯誤操作（如手抖引起的碰撞、位移過大等）做出相對反應(yīng)，因此我們對S1狀態(tài)的末端點設(shè)定了一種虛擬的引力勢場約束。傳統(tǒng)的“人工勢場”的參考基準(zhǔn)都是固定的，本文提出的虛擬引力約束根據(jù)前一時刻的末端位姿點的受力情況構(gòu)建約束場，且約束場是時刻變化的，在人機(jī)交互過程中虛擬引力傳遞給操作者一種“牽扯”感，提醒需要調(diào)節(jié)執(zhí)行機(jī)構(gòu)的位移幅度，從而達(dá)到實時、靈活約束的目的。

圖1為引力場的結(jié)構(gòu)模型，其具體表達(dá)可由引力勢場函數(shù)式（2）對距離求導(dǎo)可得，如下所示：

圖1 基于虛擬力的人機(jī)協(xié)商框架

其中，Pk＋ti、Pk＋ti－1分別表示t時刻以及前一時刻的末端軌跡點坐標(biāo)，且Pk＋ti＝［x，y，z］；fa則表示著機(jī)器人在勢場中受到的引力作用力，且力的約束方向由Pk＋ti指向Pk＋ti－1。

3.2 接觸空間的虛擬約束

在接觸的瞬間，F(xiàn)c≥0，此時末端的位姿設(shè)為Pk＋ti，根據(jù)約束要求，定義禁止區(qū)域F為以點Pk＋ti－1為中心，長徑R1，短徑R2的橢球面外區(qū)域部分，其中長徑R1約束X、Z方向運(yùn)動，短徑R2則約束深度Y方向運(yùn)動。禁止區(qū)域部分的表達(dá)式：

S2觸發(fā)后，由于實際接觸的咽后壁可近似為一種較小曲率的曲面，而傳統(tǒng)的固定參考禁止區(qū)域F并不能滿足實際情況，因此提出一種隨末端位姿Pk＋ti的變化而變化的禁止區(qū)域Ft。根據(jù)ti時刻的末端接觸力Fc＋t和末端位姿Pk＋ti構(gòu)建ti時刻的禁止約束區(qū)域Ft，如圖2所示。該斥力場模型表達(dá)如下：

圖2 虛擬約束架構(gòu)圖

式中：R2（0）為最大允許接觸力fc0對應(yīng)的最大約束范圍；R2（t）為ti時刻的深度方向約束范圍。

根據(jù)上述的勢場函數(shù)式（1）對斥力場求梯度，建立斥力數(shù)學(xué)表達(dá)式如下：

其中：ρtool為末端點Pk＋ti距離禁止約束區(qū)域Ft的值；ρmax為勢場作用的最大距離，且ρmax＝0.5R2（t）；fr是機(jī)器人在勢場中受到的作用力，力的作用方向由Pk＋ti指向Pk＋ti－1。而為了避免在實際操作中產(chǎn)生過大排斥作用，在禁止區(qū)域外還需要設(shè)置安全距離ρmax，且當(dāng)ρtool＜ρmin，令fr＝fmax，表示機(jī)器人允許的最大斥力。

3.3 機(jī)器人自主控制

由于實際的咽后壁一般是對稱的，那么基于人類引導(dǎo)采樣的過程，機(jī)器人可根據(jù)之前的軌跡跟蹤經(jīng)驗，在無人類遠(yuǎn)程干預(yù)的情況下實現(xiàn)自主的軌跡規(guī)劃。已知干預(yù)過程的軌跡Pk＋ti、ρmax和禁止約束區(qū)域的模型Ft，為了保證機(jī)器人獨(dú)立采樣中的約束，設(shè)定禁止約束區(qū)域的模型Ft不發(fā)生變化，根據(jù)參考跟蹤軌跡點的力反饋調(diào)整ρmax（t），從而實時地修正不同位姿時的約束力fr。

在th時刻，人類停止干預(yù)意圖并退入監(jiān)督模式，S3觸發(fā)，機(jī)器人進(jìn)行自主采樣，而參考跟蹤軌跡由干預(yù)過程的軌跡Pk＋ti以過分界點Pk＋tm的YZ平面為鏡像映射獲得，其表達(dá)如下：

其中，T為Pk＋ti→Pk＋t*i的坐標(biāo)映射矩陣。

利用獲得的參考跟蹤軌跡點P*k＋ti和禁止約束區(qū)域的模型Ft可以構(gòu)建斥力勢場。此過程中實際接觸環(huán)境和參考軌跡之間存在偏差，因此，為了避免實際接觸力過大的情況發(fā)生，斥力場的范圍需要隨著接觸力的實時變化而變化。其表達(dá)式為：

式中，k為勢場作用范圍的變化系數(shù)，當(dāng)在末端點處于約束范圍外且接觸力接近甚至達(dá)到預(yù)定警戒值Fw時，k存在。

3.4 可變阻抗控制

自從Hongan提出機(jī)器人的阻抗控制方法后，許多學(xué)者對阻抗控制進(jìn)行研究，而在人－機(jī)器人協(xié)作中，質(zhì)量－彈簧－阻尼系統(tǒng)經(jīng)常被用來表示施加在機(jī)器人的力與所對應(yīng)位置的位移之間的動態(tài)關(guān)系。其典型的二階線性阻抗控制關(guān)系描述如下：

在本文中表達(dá)式可轉(zhuǎn)換為：

其中，Md、Dd（t）、Kd（t）∈R3×3分別表示平移慣性、阻尼和剛度的所需對稱正定矩陣，F(xiàn)ext∈R3為所施加的外力，ΔX（t）是期望位姿Xd（t）與實際位姿Xc（t）之間的偏差值，ΔX（t）＝Xc（t）－Xd（t）。

采用了連續(xù)的阻抗調(diào)節(jié)方法，調(diào)整阻尼和剛度范圍以確保整個系統(tǒng)的穩(wěn)定性。在VF正常運(yùn)行的前提下，人為干預(yù)時，Dd（t）、Kd（t）減小，以保證機(jī)器人的順從性。當(dāng)人類意圖停止干預(yù)或者離開后，Dd（t）、Kd（t）增加，以保持機(jī)器人在精度上的優(yōu)勢。

整個過程中Md一直都不變，Dd（t）、Kd（t）的變化由虛擬力的變化來決定，基于虛擬力的阻尼和剛度的變化函數(shù)如下：

其中，F(xiàn)vthr是虛擬力的判斷閾值；ε（i＝1，2，）表示阻尼、剛度的衰減系數(shù)；Kmax、Dmax則分別表示最大允許的剛度、阻尼值；L（x）為邏輯回歸函數(shù)。式中比較虛擬力與閾值，阻尼、剛度值發(fā)生改變。

4 仿真分析

為了驗證提出策略的有效性，本文基于模型設(shè)計的方法建立了6自由度機(jī)器人的虛擬仿真環(huán)境，如圖3所示，主要包括機(jī)器人模型和口腔咽后壁模擬模型，并使用Simulink搭建的控制框架。其中，有限狀態(tài)機(jī)表示人機(jī)協(xié)商過程，主要對應(yīng)人類干預(yù)與機(jī)器人獨(dú)立控制2種情況；可變阻抗控制用來調(diào)節(jié)人機(jī)協(xié)作時的柔順性，貫穿整個人類干預(yù)過程；虛擬約束針對不同的機(jī)器人末端接觸狀態(tài)可分為自由空間和接觸空間約束，從而實現(xiàn)對機(jī)器人更優(yōu)良、匹配的約束效果。

圖3 基于模型設(shè)計的仿真環(huán)境

通過搭建的Simulink模型進(jìn)行仿真，在上述人機(jī)協(xié)作控制框架中，虛擬約束主要分為自由空間和接觸空間2種，由此可以分別通過兩種仿真進(jìn)行驗證。自由空間的虛擬約束仿真對應(yīng)S1狀態(tài)，主要表現(xiàn)了無接觸時人類遠(yuǎn)程引導(dǎo)機(jī)器人移動時對變化情況的約束效果；接觸空間約束仿真則對應(yīng)S2和S3狀態(tài)，分別表現(xiàn)了接觸時人類引導(dǎo)與機(jī)器人獨(dú)立控制的約束效果。

4.1 自由空間虛擬約束仿真

在自由空間的虛擬約束下，機(jī)器人主要受到X、Y、Z方向的ti－1時刻對ti時刻的引力作用。為了明顯對比約束效果，將階躍信號施加在原先的運(yùn)行軌跡上，從而模擬人類引導(dǎo)時的抖動，而最大約束范圍ρmax值設(shè)為8 mm，并分別在0.2 s時和0.4 s時施加Z方向的5 mm和10 mm的階躍信號，得到的仿真結(jié)果如圖4所示。

圖4 自由空間虛擬約束軌跡

圖中軌跡1和軌跡2分別對應(yīng)10 mm階躍時的變化軌跡，而圖5則是虛擬約束力的變化情況，可以看出在0.4 s時的階躍信號作用下機(jī)器人末端受到引力約束并不能快速突變，而是經(jīng)過約0.2 s的緩沖后才到達(dá)指定位置。軌跡3和軌跡4則是5 mm突變下的跟蹤情況，由于不在約束范圍內(nèi)，因此機(jī)器人無引力約束。

圖5 自由空間虛擬約束力

4.2 接觸空間虛擬約束仿真

當(dāng)末端執(zhí)行器接觸到環(huán)境后，虛擬約束由引力勢場轉(zhuǎn)為斥力勢場，機(jī)器人在人類的引導(dǎo)下進(jìn)行擦拭咽后壁，禁止區(qū)域部分Ft則隨著接觸力Fc變化而變化，其中，設(shè)置安全距離ρmin＝0.5 mm，最大約束范圍R2（0）＝3 mm，橫向約束范圍R1＝4 mm，尺度因子η＝10，而最大斥力fmax＝5 N。在接觸空間機(jī)器人末端受3個方向的接觸力，由于咽后壁的曲率較小，且采樣過程的擦拭速度低，因此深度方向的接觸力變化更明顯，因此主要選取深度方向接觸力的約束情況進(jìn)行仿真分析。仿真結(jié)果如圖6所示，軌跡1和軌跡2分別代表著無約束與由約束情況下的跟蹤情況。在A點狀態(tài)之前機(jī)器人末端被設(shè)定為人引導(dǎo)的正常接觸，B點之后則是機(jī)器人根據(jù)穩(wěn)定的虛擬約束力進(jìn)行獨(dú)立采樣，而A、B點則分別模擬人類引導(dǎo)時的變化狀況。

圖6 接觸空間虛擬約束軌跡

在A點時，模擬了機(jī)器人在人類引導(dǎo)下的深度方向突變情況，變化值為1 mm。接觸力Fc，如圖7所示，初始接觸力為3 N，變化后的接觸力約為5 N；圖8表示虛擬約束力fr1的變化情況。從兩張仿真結(jié)果效果可以看出：勢場力與接觸力的變化相關(guān)。

圖7 A點狀態(tài)的接觸力

圖8 A點狀態(tài)的虛擬約束力

在B點時，同樣模擬了機(jī)器人在人類引導(dǎo)下的深度方向突變，變化值亦為1 mm。接觸力fc如圖9所示，初始接觸力為5 N，變化后的接觸力約為5.6 N；圖10表示虛擬約束力fr2的變化情況。從兩張仿真結(jié)果可以看出：勢場力與接觸力的變化相關(guān)，同時，相對于A點狀態(tài)，由于虛擬約束與接觸力的關(guān)系，B點狀態(tài)的接觸力更大，而虛擬約束效果也更強(qiáng)，這證明了文中提出的接觸空間虛擬約束算法的正確性、有效性。

圖9 B點狀態(tài)的接觸力

圖10 B點狀態(tài)的虛擬約束力

5 結(jié)論

提出了一種基于虛擬人機(jī)協(xié)作的控制方案，旨在解決實際咽拭子采集過程中出現(xiàn)的挑戰(zhàn)，并通過仿真驗證這一策略的有效性。該方法通過基于虛擬力的人機(jī)協(xié)商策略判斷人機(jī)協(xié)作狀態(tài)，然后構(gòu)建了一種動態(tài)的人工勢場。比較傳統(tǒng)的人工勢場，其具有更加靈活、契合的約束效果，能夠?qū)C(jī)器人執(zhí)行機(jī)構(gòu)的空間運(yùn)動引導(dǎo)和約束。這種方法無需構(gòu)建復(fù)雜的幾何模型，虛擬約束的定義方便快捷，在減少安全隱患的同時，能夠更好地輔助醫(yī)生操作，對其他遠(yuǎn)程人機(jī)協(xié)作機(jī)器人系統(tǒng)及類似的人機(jī)交互環(huán)境具有普適意義。

下一步研究工作包括基于實際人體口咽模型搭建機(jī)器人實驗平臺，并應(yīng)用上述方法。后期的研究還會結(jié)合機(jī)器學(xué)習(xí)，將醫(yī)生的操作經(jīng)驗融入人機(jī)協(xié)作過程，進(jìn)一步完善與優(yōu)化解決方案。