基于改進(jìn)型多模態(tài)信息融合深度強(qiáng)化學(xué)習(xí)的自主超聲掃描方法

Autonomous ultrasound scanning method based on improved multimodal information fusion and deep reinforcement learning

Xu Jiakaia，Lu Q₁^υ? ，Li Xiangyunb，Li Kanga，c （a.ColegefclcnUeibelCte pital，Sichuan University，Chengdu 610o65，China）

Abstract：Toaddressthe isses of low training accuracy，prolonged trainingtime，and lowsuccess rateof scanning tasks in ultrasound scanning basedondeep reinforcementlearning（DRL），this paper proposed an autonomous ultrasound scaning method basedonimproved multimodalinformation fusionandDRL.Firstly，the methodintegratedultrasound images，dualview probe manipulation images，and 6D tactile feedback to provide comprehensive multimodal perception.To accurately capturespatiotemporal informationinmultimodaldataandachieveeficientfeaturefusion，thispaperdesignedamultimodal featureextractionandfusionmodulebasedontheself-atentionmechanism（SA）.Secondly，itformulatedthe6Dposedecisionmaking task fortherobotasaDRLproblem.Andthis paperdesignedahybridrewardfunction toemulatetoprofesionalultrasonographers.Lastly，to addresslocaloptima andslowconvergence inDRL training，this paper introduced the DSAC-PERDP algorithm.Tests inreal environmentsdemonstrate thattheproposed method improves scanning accuracy，task successrate， and training speed by 49.8% ， 13.4% and 260.0% ，respectively，compared to baseline models.Moreover，the method maintainsrobust performanceunder interferenceconditions.Thesefindingsvalidatethattheproposedapproach notonlysignificantlyimprovesscanningaccuracy，task succssrate，and trainingefciencybutalsoexhibitsnotableanti-interferencecapabilities.

Key words：autonomous ultrasound scanning；deepreinforcement learning（DRL）；multimodal；self-atention mechanism; DSAC-PERDP algorithm

0 引言

醫(yī)學(xué)超聲因其非侵入性、安全性和成本效益而成為廣泛應(yīng)用的診斷工具[1，2]，常用于腎臟、肝臟、心臟病學(xué)、產(chǎn)科等多個(gè)醫(yī)學(xué)領(lǐng)域[3，4]。然而，超聲檢查的質(zhì)量在很大程度上依賴于操作員的技能和經(jīng)驗(yàn)，這使得超聲檢查在資源有限地區(qū)尤為困難[5]。長時(shí)間的超聲檢查工作增加了與工作相關(guān)的受傷風(fēng)險(xiǎn)并可能導(dǎo)致診斷錯(cuò)誤[6]。為克服這些問題，研究人員致力于研發(fā)自動(dòng)化的超聲掃描機(jī)器人系統(tǒng)[7]，旨在通過普及標(biāo)準(zhǔn)化超聲檢查，減少對高技能操作人員的依賴，尤其是在醫(yī)療資源匱乏或需要非接觸式醫(yī)療的場景中[8]

自主超聲掃描機(jī)器人主要采用基于機(jī)器學(xué)習(xí)的方法]，包括模仿學(xué)習(xí)（imitation learning，IL）和深度強(qiáng)化學(xué)習(xí)（deepreinforcementlearning，DRL）。IL使得機(jī)器人系統(tǒng)從專家演示數(shù)據(jù)學(xué)習(xí)以獲得執(zhí)行特定任務(wù)的能力。例如，文獻(xiàn)［10]提出了一種用于徒手超聲操作的多模態(tài)表示和技能適應(yīng)框架，采用離線訓(xùn)練和在線適應(yīng)的雙向?qū)W習(xí)過程來進(jìn)行自主超聲掃描任務(wù)。盡管IL在超聲導(dǎo)航任務(wù)中展現(xiàn)了一定的應(yīng)用潛力，但其對大量高質(zhì)量專家演示數(shù)據(jù)的依賴，以及在動(dòng)態(tài)環(huán)境中有限的泛化能力，限制了其在實(shí)際臨床場景中的普適性[11]。DRL結(jié)合深度學(xué)習(xí)的特征提取能力與強(qiáng)化學(xué)習(xí)的決策能力，使機(jī)器人能夠在復(fù)雜環(huán)境中自主優(yōu)化其行動(dòng)策略[12-14]，成為超聲導(dǎo)航任務(wù)研究的重要方向之—[15]。例如，文獻(xiàn)[16]在模擬環(huán)境中首次驗(yàn)證了DRL能用于自主引導(dǎo)超聲探頭進(jìn)行超聲圖像采集的可行性。Li等人[17]首次提出了基于實(shí)時(shí)的超聲圖像反饋和深度Q學(xué)習(xí)（deepQ-network，DQN）的DRL 模型控制超聲探頭的6D姿態(tài)將探頭導(dǎo)航至標(biāo)準(zhǔn)掃描平面。隨后，DRL更多地被用于基于超聲圖像的實(shí)時(shí)探頭導(dǎo)航[18-20]。文獻(xiàn)[21]提出了多模態(tài)深度強(qiáng)化學(xué)習(xí)模型，將超聲圖像、單外部視覺和觸覺信息集成到超聲機(jī)器人系統(tǒng)中，通過實(shí)時(shí)視覺反饋和觸覺感知以及近端策略優(yōu)化算法（proximal policyoptimization，PPO）來控制超聲探頭進(jìn)行超聲圖像采集任務(wù)。

然而，現(xiàn)有應(yīng)用于自主超聲掃描機(jī)器人領(lǐng)域的DRL算法（如DQN和PPO）仍面臨特征處理效果不佳、樣本效率低、探索困難及訓(xùn)練不穩(wěn)定等挑戰(zhàn)?，F(xiàn)有方法通常僅使用超聲圖像、單一外部視覺或觸覺反饋中的一種或幾種，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（convolutional neuralnetwork，CNN）和多層感知機(jī)（multilayerperceptron，MLP）等方法進(jìn)行特征提取[18＼～21]。這些方法還有很大的優(yōu)化空間。首先，與傳統(tǒng)DRL算法相比，最大熵軟演員-評論者算法（softactor-critic，SAC）在很多方面表現(xiàn)出了更強(qiáng)的探索能力和更高的穩(wěn)定性[22]。其次，單一外部視覺無法全面捕捉超聲探頭的空間位姿信息，這一局限性使得機(jī)器人難以有效適應(yīng)復(fù)雜和動(dòng)態(tài)的環(huán)境。雙視角圖像在機(jī)器人裝配任務(wù)中已顯示出提高裝配精度的潛力[23]。再者，現(xiàn)有方法[18＼～21]的特征提取未能充分利用多模態(tài)數(shù)據(jù)隨時(shí)間變化的動(dòng)態(tài)特性，可能導(dǎo)致關(guān)鍵信息的缺失。對于多模態(tài)傳感數(shù)據(jù)的特征提取和融合還有提升空間。最后，提高模型訓(xùn)練速度對自主超聲掃描機(jī)器人的快速部署至關(guān)重要，而現(xiàn)有方法未能充分考慮這一點(diǎn)。面對這些局限，開發(fā)穩(wěn)健、高效且具有快速學(xué)習(xí)能力的算法，以處理和融合多模態(tài)數(shù)據(jù)并指導(dǎo)系統(tǒng)決策尤為重要。

為此，本文提出了一種新型的自主超聲掃描方法，使機(jī)器人能夠綜合利用多模態(tài)信息，并自主決策控制超聲探頭的位姿以柔順地進(jìn)行超聲掃描任務(wù)，同時(shí)保證掃描任務(wù)的可靠性和穩(wěn)定性以獲得最佳超聲圖像。具體而言，本文首次引入雙視角探頭操作圖像，提高了掃描精度和任務(wù)成功率，并通過結(jié)合雙視角圖像、超聲圖像和6D觸覺信息，為智能體提供豐富的環(huán)境感知數(shù)據(jù)。為了有效處理這些信息，本文設(shè)計(jì)了基于自注意力機(jī)制的多模態(tài)特征提取與融合模塊，增強(qiáng)了智能體的環(huán)境感知能力。為了貼近專業(yè)醫(yī)生的操作與提高所采集圖像的質(zhì)量，本文設(shè)計(jì)了一個(gè)混合獎(jiǎng)勵(lì)函數(shù)，綜合考慮了圖像質(zhì)量、位置、姿態(tài)、交互力和任務(wù)完成情況等因素。這一獎(jiǎng)勵(lì)函數(shù)有助于智能體優(yōu)化其控制策略，提升掃描效率。在算法層面，本文結(jié)合了離散動(dòng)作空間、SAC算法以及基于動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn)回放（priori-tized experience replaybased on dynamicpriority，PERDP）的加速訓(xùn)練機(jī)制，提出了DSAC-PERDP深度強(qiáng)化學(xué)習(xí)算法，以提高模型訓(xùn)練的穩(wěn)定性和速度。基于該算法和多模態(tài)特征提取與融合模塊，本文構(gòu)建了一個(gè)應(yīng)用于多模態(tài)自主超聲機(jī)器人的多模態(tài)深度強(qiáng)化學(xué)習(xí)模型，稱為DSAC-PERDP模型。該模型輸出的控制命令通過位姿一體化阻抗控制器來控制超聲探頭的6D位姿。最后，本文通過消融實(shí)驗(yàn)、模型對比實(shí)驗(yàn)和系統(tǒng)抗干擾實(shí)驗(yàn)驗(yàn)證了所提出方法的可行性和穩(wěn)定性。

1任務(wù)描述和多模態(tài)自主超聲掃描機(jī)器人

如圖1所示，軟腎臟體膜上探頭的目標(biāo)位置所在的標(biāo)準(zhǔn)平面包含關(guān)鍵診斷信息，這對臨床診斷至關(guān)重要。因此，多模態(tài)自主超聲掃描機(jī)器人系統(tǒng)需快速引導(dǎo)超聲探頭定位并獲取關(guān)鍵解剖結(jié)構(gòu)的標(biāo)準(zhǔn)掃描平面的超聲圖像。

為了模擬真實(shí)操作環(huán)境，探頭初始位置被隨機(jī)設(shè)置在如圖1所示的探頭隨機(jī)起始區(qū)域內(nèi)，以增加任務(wù)復(fù)雜性并提高系統(tǒng)的泛化能力。為了標(biāo)準(zhǔn)化超聲掃描圖像的采集任務(wù)，系統(tǒng)通過一名經(jīng)驗(yàn)豐富的超聲檢驗(yàn)醫(yī)生采集軟腎臟體膜的目標(biāo)圖像，并記錄探頭位姿，作為系統(tǒng)學(xué)習(xí)的參考標(biāo)準(zhǔn)。

本文設(shè)計(jì)了如圖2所示的多模態(tài)自主超聲掃描機(jī)器人系統(tǒng)。系統(tǒng)以具有七自由度的FrankaEmikaPanda協(xié)作機(jī)器人基座建立笛卡爾坐標(biāo)系，通過安裝在機(jī)器人末端執(zhí)行器上的6D力/力矩傳感器和3D打印件連接超聲探頭，測量其與軟腎臟體膜之間的交互力。探頭連接超聲顯像設(shè)備實(shí)時(shí)采集超聲圖像，正向和側(cè)向攝像頭以正交布局同步采集探頭操作的雙視角RGB圖像。光源用于提供穩(wěn)定的照明條件。為了確保安全，系統(tǒng)配備安全停止按鈕，可在突發(fā)情況下切斷協(xié)作機(jī)器人系統(tǒng)的電源。其中超聲顯像設(shè)備型號為索諾星SS-10；正向攝像頭型號為thinkplusWL24A，分辨率為2K；側(cè)向攝像頭為DGREENCM717-25442，分辨率為2K；6D力/力矩傳感器為KWR75F，采樣頻率1 000Hz 。超聲顯像設(shè)備為系統(tǒng)模擬經(jīng)驗(yàn)豐富的超聲醫(yī)生操作自主引導(dǎo)探頭采集標(biāo)準(zhǔn)超聲圖像。

2方法

本文提出的基于改進(jìn)型多模態(tài)信息融合深度強(qiáng)化學(xué)習(xí)的自主超聲掃描方法，其核心為DSAC-PERDP模型。圖3展示了多模態(tài)自主超聲掃描機(jī)器人系統(tǒng)的原理框架。首先，通過超聲圖像、側(cè)向攝像頭圖像、正向攝像頭圖像和6D力/力矩傳感器數(shù)據(jù)構(gòu)建多模態(tài)信息，將其作為輸入傳遞至DSAC-PERDP模型。DSAC-PERDP模型中的策略網(wǎng)絡(luò)輸出動(dòng)作概率分布，并通過隨機(jī)采樣選取離散動(dòng)作指令。隨后，通過位姿一體化阻抗控制器調(diào)整超聲探頭的6D位姿，以實(shí)現(xiàn)探頭與軟腎臟體膜的柔順交互。

本文DSAC-PERDP模型旨在高效融合多模態(tài)信息，優(yōu)化自主超聲掃描任務(wù)的執(zhí)行和智能決策能力。如圖3所示，模型架構(gòu)包括策略網(wǎng)絡(luò)、Q值網(wǎng)絡(luò)1和2、目標(biāo)Q值網(wǎng)絡(luò)1和2，其核心均為多模態(tài)特征提取與融合模塊。各網(wǎng)絡(luò)結(jié)構(gòu)包含的神經(jīng)網(wǎng)絡(luò)尺寸在圖3中進(jìn)行了詳細(xì)的標(biāo)注。策略網(wǎng)絡(luò)由多模態(tài)特征提取與融合模塊、MLP網(wǎng)絡(luò)與softmax層構(gòu)成，用于生成動(dòng)作空間的動(dòng)作概率分布。Q值網(wǎng)絡(luò)1和2，以及其對應(yīng)的目標(biāo)Q值網(wǎng)絡(luò)，采用完全一致的網(wǎng)絡(luò)結(jié)構(gòu)，由多模態(tài)特征提取與融合模塊和MLP網(wǎng)絡(luò)組成。為簡化圖示，目標(biāo)Q值網(wǎng)絡(luò)未在圖中呈現(xiàn)。這些目標(biāo)Q值網(wǎng)絡(luò)的參數(shù)通過軟更新機(jī)制從對應(yīng)的Q值網(wǎng)絡(luò)動(dòng)態(tài)更新，用于協(xié)同完成模型的優(yōu)化與決策任務(wù)。本文DSAC-PERDP優(yōu)化整體模型的訓(xùn)練過程，通過策略網(wǎng)絡(luò)和四種Q值網(wǎng)絡(luò)的協(xié)同作用，顯著提升了訓(xùn)練效率與決策性能，確保模型在復(fù)雜任務(wù)中的高效性和穩(wěn)定性。

2.1多模態(tài)特征提取與融合模塊

多模態(tài)特征提取與融合模塊通過殘差網(wǎng)絡(luò)18（residualnetwork18，ResNet-18）[24]模塊和長短期記憶（longshort-termmemory，LSTM）[25]模塊提取多模態(tài)信息中的空間和時(shí)間特征，并利用自注意力機(jī)制和全局平均池化與全連接層完成特征融合，為各網(wǎng)絡(luò)提供統(tǒng)一的特征表示。以下從特征提取和特征融合兩部分詳細(xì)介紹該模塊的工作原理。

2.1.1多模態(tài)信息的特征提取

如圖3所示，系統(tǒng)輸入包含了超聲圖像、側(cè)向攝像頭圖像、正向攝像頭圖像和觸覺傳感器的數(shù)據(jù)。超聲圖像通過凸陣探頭采集，原始尺寸為 480×640×3 ，后裁剪至 180×260×3 以聚焦感興趣區(qū)域。側(cè)向攝像頭和正向攝像頭都為RGB攝像頭，兩者從兩個(gè)正交角度捕獲探頭操作的圖像，原始尺寸都為480×640×3 ，裁剪至 155×220×3 像素，以聚焦對探頭和體膜之間相對位姿的捕捉。觸覺數(shù)據(jù)由六軸力傳感器以 1000Hz 的頻率采集，經(jīng)過低通濾波與歸一化處理。

如圖3中的多模態(tài)信息，圖像數(shù)據(jù)處理采用最近9個(gè)時(shí)間步的多模態(tài)數(shù)據(jù)構(gòu)建圖像時(shí)間序列。超聲圖像與雙視角圖像通過ResNet-18模塊進(jìn)行特征提取。ResNet-18通過引人殘差連接有效緩解梯度消失問題，提升了特征學(xué)習(xí)能力[24]。針對不同模態(tài)數(shù)據(jù)，本文對ResNet-18進(jìn)行了定制化調(diào)整：超聲圖像輸人為 180×260×3×9 ，最后一層替換為全連接層，輸出為F_US∈R^48×9 。同理，雙視角操作圖像的輸入層都適配為 155× 220×3×9 ，最后一層替換為全連接層，輸出特征維度為 F_caml ，F(xiàn)_cam1∈R^24×9

6D力/力矩傳感器的數(shù)據(jù)采集頻率為 1000Hz ，采用LSTM網(wǎng)絡(luò)處理六維的觸覺數(shù)據(jù)。LSTM以其在時(shí)間序列建模和長期依賴關(guān)系處理中的優(yōu)勢，被廣泛應(yīng)用于序列數(shù)據(jù)處理[25]。將最近900時(shí)間步（0.9s內(nèi)）的傳感器序列 6×900 作為輸人，LSTM 網(wǎng)絡(luò)最后一層鏈接全連接層，輸出為 F_tactile∈ R^6×9 ，確保充分捕捉觸覺數(shù)據(jù)的時(shí)間特征。

2.1.2基于自注意力機(jī)制的特征融合

自注意力機(jī)制作為Transformer模型中的核心組件，是一種能夠捕捉輸入序列中元素之間相互關(guān)系的機(jī)制，廣泛應(yīng)用于自然語言處理和計(jì)算機(jī)視覺領(lǐng)域[24]。該機(jī)制自動(dòng)分配注意力到序列的不同部分以匹配不同模態(tài)數(shù)據(jù)處理后的序列部分，關(guān)注時(shí)間依賴性，有效整合多模態(tài)數(shù)據(jù)處理后的時(shí)序信息，從而實(shí)現(xiàn)空間與時(shí)間特征的深度融合。

來自所有模態(tài)的特征被拼接為統(tǒng)一的表示。自注意力機(jī)制被用于進(jìn)一步處理時(shí)間序列特征信息以確保關(guān)鍵特征的有效提取。將各模態(tài)的特征按時(shí)間步拼接形成統(tǒng)一的輸人特征矩陣：

X=[F_US;F_caml;F_cam2;F_tactile]^T∈R^{9×（48+24+24+6）}=R^9×102

在本系統(tǒng)中，給定一個(gè)輸入序列 （其中 Ω_n 為序列長度 ^9，d 為特征維度102），自注意力機(jī)制通過引入查詢 鍵K 和值 V 三個(gè)矩陣，計(jì)算輸入特征的加權(quán)表示。輸入特征矩陣經(jīng)過線性變換生成查詢、鍵和值矩陣。

Q=XW_Q，K=XW_K，V=XW_V

其中： 、 、 W_ν∈R^d×dν 為可學(xué)習(xí)的線性變換權(quán)重矩陣， .d_Q、d_K 和 d_v 分別表示查詢、鍵和值的特征維度。本文設(shè)置 d_Q=d_K=d_V=d=102 以簡化計(jì)算。

查詢和鍵之間的相關(guān)性通過點(diǎn)積計(jì)算得到，并通過soft-max函數(shù)將結(jié)果歸一化，以生成注意力權(quán)重。具體公式為

其中： QK^T∈R^n×n 是查詢和鍵之間的點(diǎn)積相似性矩陣； 是縮放因子，用于防止點(diǎn)積值過大導(dǎo)致的梯度消失問題； A（Q，K V ）為得到融合后的特征表示，維度為 R^n×d ，包含了多模態(tài)特征的時(shí)空關(guān)聯(lián)信息。

生成的特征表示經(jīng)過全局平均池化處理，

接著，通過全連接層映射至目標(biāo)特征維度：

F=σ（W_fZ+b_f）∈R¹²⁸

其中： W_f 的維度為 128×102;b_f 為128維的偏置； σ（?） 為Re-LU激活函數(shù)；最終特征向量 F 維度為128，作為多模態(tài)特征提取與融合模塊的最終輸出。

2.2 強(qiáng)化學(xué)習(xí)模型建立

超聲探頭的導(dǎo)航任務(wù)被建模為強(qiáng)化學(xué)習(xí)框架下的馬爾可夫決策過程。該框架定義了狀態(tài)空間 s 動(dòng)作空間 A 、獎(jiǎng)勵(lì)函數(shù) R（s_t，a_t） 和終止條件，全面刻畫了超聲探頭導(dǎo)航任務(wù)中的決策過程。智能體基于當(dāng)前狀態(tài) s_t∈S 選擇動(dòng)作 a_t 與環(huán)境進(jìn)行交互，并根據(jù)反饋的獎(jiǎng)勵(lì)信號不斷優(yōu)化策略，最終實(shí)現(xiàn)對目標(biāo)平面的精確定位與掃描。

a）狀態(tài)空間 s_?° 如圖3所示的多模態(tài)信息，S匯集多模態(tài)信息，包括超聲圖像 I_t， 正向相機(jī)圖像 C_1，t 側(cè)向相機(jī)圖像 C_2，t 和力傳感器數(shù)據(jù) F_t 。狀態(tài)空間定義如下：

s_t={I_t，C_1，t，C_2，t，F(xiàn)_t}

b）動(dòng)作空間 AA 包含13個(gè)維度，涵蓋了機(jī)械臂末端六自由度動(dòng)作及1個(gè)停止指令。具體包括12個(gè)正向和負(fù)向的平移和旋轉(zhuǎn)，以及1個(gè)停止動(dòng)作指令。動(dòng)作空間表示為

位置動(dòng)作表示為沿 x，y 和 z 軸的增量，每個(gè)動(dòng)作對應(yīng)一個(gè)微小位移。機(jī)械臂末端位置通過累積位移量表示為

其中 表示在時(shí)間步為 χ_t 時(shí)刻時(shí)探頭的位置；Δp_t=（Δx_t，Δy_t，Δz_t） 表示當(dāng)前時(shí)間步的位移偏移量。位移距離會(huì)隨步數(shù)增加而線性減小。姿態(tài)動(dòng)作通過旋轉(zhuǎn)矩陣的累積來實(shí)現(xiàn)，基于圍繞 x，y 和 z 軸的旋轉(zhuǎn)來更新姿態(tài)，表示為

其中： R_t 表示時(shí)間步為 χ_t 時(shí)刻的探頭姿態(tài)的旋轉(zhuǎn)矩陣； R_x，R_y 和 R_z 分別為圍繞 x，y 和 z 軸的旋轉(zhuǎn)矩陣； θ_xt?θ_yt 和 θ_zt 為相應(yīng)的旋轉(zhuǎn)角度。動(dòng)作空間中的停止指令用于指示任務(wù)完成，確保探頭在達(dá)到目標(biāo)位置時(shí)保持穩(wěn)定。

c）混合獎(jiǎng)勵(lì)函數(shù)與終止條件的設(shè)計(jì)。為模仿超聲醫(yī)生的操作，混合獎(jiǎng)勵(lì)函數(shù)綜合考慮探頭位置、姿態(tài)、圖像質(zhì)量、施加力以及任務(wù)完成情況等因素，鼓勵(lì)智能體最小化位置誤差、保持合理姿態(tài)、實(shí)現(xiàn)高質(zhì)量成像和安全交互?；旌溪?jiǎng)勵(lì)函數(shù)定義為R（s_t，a_t）=w_pR_position+w_oR_orientation+w_sR_SSIM+w_fR_foree+w_cR_completion， （10）其中 和 R_completion 分別為考慮探頭位置、探頭姿態(tài)、采集的圖像質(zhì)量、探頭與體膜的交互力和任務(wù)完成情況設(shè)置的獎(jiǎng)勵(lì)函數(shù)； w_p、w_o、w_s、w_f 和 w_c 為各獎(jiǎng)勵(lì)組成部分的權(quán)重，均默認(rèn)為1。

位置獎(jiǎng)勵(lì)基于當(dāng)前位置與目標(biāo)位置之間的歐幾里德距離的變化。設(shè) d_t 表示時(shí)間步 Φ_t 時(shí)的探頭與目標(biāo)位置的歐幾里德距離，位置獎(jiǎng)勵(lì)被定義為

該獎(jiǎng)勵(lì)鼓勵(lì)智能體最小化與目標(biāo)位置距離，并對遠(yuǎn)離目標(biāo)或超出設(shè)定范圍（ 30cm ）進(jìn)行懲罰。

姿態(tài)獎(jiǎng)勵(lì)需要引導(dǎo)探頭在合理姿態(tài)范圍內(nèi)進(jìn)行活動(dòng)。設(shè)Δθ_xt?Δθ_yt?Δθ_zt 分別表示時(shí)間步 Ψ_t 時(shí)圍繞 x，y 和 z 軸的當(dāng)前姿態(tài)角度與其目標(biāo)姿態(tài)角度的差值。姿態(tài)獎(jiǎng)勵(lì)定義為

該獎(jiǎng)勵(lì)對超出合理范圍的姿態(tài)動(dòng)作進(jìn)行懲罰，鼓勵(lì)超聲探頭保持在安全合理的角度范圍內(nèi)。

圖像質(zhì)量獎(jiǎng)勵(lì)旨在引導(dǎo)探頭調(diào)整位姿最大化超聲圖像質(zhì)量。結(jié)構(gòu)相似性指數(shù)（structural similarityindexmeasure，SSIM）用于評估當(dāng)前采集超聲圖像 I 與目標(biāo)圖像 T 之間的相似性，作為圖像質(zhì)量指標(biāo)。SSIM適用于評估超聲圖像質(zhì)量，因?yàn)樗軌虿蹲降綀D像的結(jié)構(gòu)信息[21]，計(jì)算公式為

其中 σ_：μI 和 μ_r 分別表示當(dāng)前圖像和目標(biāo)圖像的均值； σ_I² 和 σ_T² 為方差； σ_π 為兩圖像的協(xié)方差； c₁ 和 c₂ 為穩(wěn)定性常數(shù)。SSIM的獎(jiǎng)勵(lì)函數(shù)被定義為

在掃描過程當(dāng)中，對使得圖像質(zhì)量上升的行為進(jìn)行獎(jiǎng)勵(lì)，反之給予適當(dāng)?shù)膽土P。

力獎(jiǎng)勵(lì)函數(shù)確保探頭對體膜所施加的力保持在安全且有效的范圍內(nèi)。設(shè) F_z 表示沿 z 軸（垂直壓力）的力， F_x 和 F_y 分別表示沿 x 軸和 y 軸的力， τ_x，τ_y，τ_z 分別表示繞這些軸的力矩：

力獎(jiǎng)勵(lì)函數(shù)為 z 軸力獎(jiǎng)勵(lì)與其他力獎(jiǎng)勵(lì)之和：

R_force=R_forceZ+R_forceothers

該獎(jiǎng)勵(lì)函數(shù)對使得力和力矩超過預(yù)定義限度的動(dòng)作進(jìn)行懲罰，以引導(dǎo)超聲探頭在安全舒適的交互下進(jìn)行掃描任務(wù)。

本文設(shè)置了嚴(yán)苛的任務(wù)成功條件，包括探頭離目標(biāo)位置14mm 以內(nèi)，姿態(tài)和力/力矩符合要求，回合步數(shù)少于80步且SSIM值高于0.65以滿足對于圖像質(zhì)量的要求。任務(wù)失敗的

條件包括位置、姿態(tài)、力和力矩超出允許范圍、步數(shù)超出80步或停留在非目標(biāo)區(qū)域?；睾先蝿?wù)結(jié)束的獎(jiǎng)勵(lì)或懲罰被定義為

2.3 DSAC-PERDP決策算法

SAC因其高效的探索和快速學(xué)習(xí)優(yōu)勢，在決策密集型任務(wù)中表現(xiàn)突出[26]。本文將 SAC 方法擴(kuò)展至離散動(dòng)作空間的強(qiáng)化學(xué)習(xí)任務(wù)，為提高學(xué)習(xí)效率，將PERDP機(jī)制集成到離散SAC中。PERDP基于動(dòng)態(tài)時(shí)序誤差（timedifferenceerror，TD誤差）和即時(shí)獎(jiǎng)勵(lì)，對經(jīng)驗(yàn)進(jìn)行優(yōu)先級排序，從而幫助智能體聚焦于最具學(xué)習(xí)價(jià)值的經(jīng)驗(yàn)，加速收斂并提高整體性能。本文設(shè)計(jì)的DSAC-PERDP算法框架如圖4所示。

溫度參數(shù)a更新L。 策略網(wǎng)絡(luò)更新L更新熵H（π（|s））更新

自主超聲任務(wù)環(huán)境 a 網(wǎng) Q值網(wǎng)絡(luò)更新策略網(wǎng)絡(luò)S 4 自標(biāo)Q值網(wǎng)絡(luò)1 自標(biāo)Q值網(wǎng)絡(luò)2S，S+1（s_t，a_t，s_t+l，R_t） 一 min TD誤差I(lǐng) LQ↓動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn) 采梯 目標(biāo)Q值Quret回放池

在離散動(dòng)作空間下， π（a|s） 表示為策略網(wǎng)絡(luò)在當(dāng)前狀態(tài)下生成一個(gè)13維離散動(dòng)作的概率分布。如圖3所示，策略網(wǎng)絡(luò)最后一層為動(dòng)作空間中每個(gè)動(dòng)作對應(yīng)的概率。熵 H（π（a| ^s） ）用于衡量動(dòng)作選擇的隨機(jī)性，定義為

較高的熵值代表策略具有較強(qiáng)的探索性，而較低的熵值則表明策略有更確定的行為模式。熵的引入促使策略在訓(xùn)練初期探索多種可能的動(dòng)作，從而避免過早收斂于次優(yōu)策略。

DSAC-PERDP的目標(biāo)是最大化累積獎(jiǎng)勵(lì)，同時(shí)通過熵的引入平衡探索與利用。其目標(biāo)函數(shù)為

（20）其中： R（s_t，a_t） 表示在狀態(tài) s_t 下動(dòng)作 a_t 后的即時(shí)獎(jiǎng)勵(lì)； γ 為折扣因子； α 是溫度參數(shù)，用于調(diào)節(jié)獎(jiǎng)勵(lì)最大化與基于熵的探索之間的平衡。

Q值網(wǎng)絡(luò)1為 Q_θ1 ，Q值網(wǎng)絡(luò)2為 Q_θ2 ，兩者所對應(yīng)的目標(biāo)網(wǎng)絡(luò)分別為 Q_θ1^′ 和 Q_θ2^′ 。目標(biāo)網(wǎng)絡(luò)用于估計(jì)給定狀態(tài)-動(dòng)作對Ξ（s_t，a_t） 的預(yù)期回報(bào)。為減輕高估偏差，取兩個(gè)目標(biāo)網(wǎng)絡(luò)的最小值來計(jì)算，并據(jù)此更新兩個(gè)Q值網(wǎng)絡(luò)。目標(biāo)Q值的計(jì)算公式為

通過最小化Q值網(wǎng)絡(luò)輸出的Q值與目標(biāo)Q值之間的均方誤差來更新Q值網(wǎng)絡(luò)1和2，損失函數(shù)為

其中： Q_θi（s_t，a_t） 表示第 i 個(gè)Q網(wǎng)絡(luò)在狀態(tài) s_t 下對動(dòng)作 a_t 的預(yù)測 Q 值。為了確保訓(xùn)練的穩(wěn)定性，目標(biāo)網(wǎng)絡(luò)的參數(shù)通過軟更新的方式跟蹤值網(wǎng)絡(luò)的參數(shù)：

其中： λ 為軟更新系數(shù)，設(shè)定為0.01，以控制目標(biāo)網(wǎng)絡(luò)參數(shù)的更新速率，確保穩(wěn)定的訓(xùn)練過程。

策略網(wǎng)絡(luò)則通過最大化由熵增強(qiáng)的預(yù)期回報(bào)進(jìn)行更新，在鼓勵(lì)探索的同時(shí)優(yōu)化策略。策略損失函數(shù)表示為

（24）其中：第一項(xiàng)通過最大化策略的熵來鼓勵(lì)探索，第二項(xiàng)則推動(dòng)策略朝向具有更高預(yù)期回報(bào)的動(dòng)作，這由兩個(gè) Q 值的最小值所指示，從而減輕高估偏差。

溫度參數(shù) α 的更新旨在平衡策略的探索與利用。通過最小化以下?lián)p失函數(shù)來更新溫度參數(shù)：

其中： α 初始值為0.01；目標(biāo)熵 H_target 通常設(shè)定為動(dòng)作空間中動(dòng)作維度的對數(shù)[22]。在本文中，由于動(dòng)作空間包含13個(gè)離散動(dòng)作，目標(biāo)熵被設(shè)定為 。該更新確保策略在訓(xùn)練初期保持較強(qiáng)的探索性，逐步優(yōu)化策略至輸出高回報(bào)的動(dòng)作。

PERDP通過實(shí)時(shí)更新的TD誤差與即時(shí)獎(jiǎng)勵(lì) R_t 對經(jīng)驗(yàn)進(jìn)行動(dòng)態(tài)優(yōu)先級排序。即時(shí)獎(jiǎng)勵(lì)反映了經(jīng)驗(yàn)的學(xué)習(xí)價(jià)值，能夠衡量經(jīng)驗(yàn)對當(dāng)前學(xué)習(xí)階段的貢獻(xiàn)，從而使智能體集中學(xué)習(xí)對策略優(yōu)化更關(guān)鍵的經(jīng)驗(yàn)，加速學(xué)習(xí)過程并提升策略穩(wěn)定性。

每個(gè)經(jīng)驗(yàn) e_i=（s_i，a_i，s_i+1，R_i） 的優(yōu)先級 p_i 計(jì)算如下：

p_i=|δ_i|+?

其中： ?δ_i 表示與經(jīng)驗(yàn)相關(guān)的當(dāng)前價(jià)值網(wǎng)絡(luò)中的TD誤差與即時(shí)獎(jiǎng)勵(lì) R_t 的混合；e是一個(gè)小常數(shù)，用于防止優(yōu)先級為零； δ_i 為

每個(gè)經(jīng)驗(yàn)的采樣概率 P_i 由以下公式確定：

其中： _;β 用于調(diào)整經(jīng)驗(yàn)優(yōu)先級。通過整合PERDP、DSAC-PERDP算法有效利用經(jīng)驗(yàn)回放緩沖區(qū)，重點(diǎn)關(guān)注高優(yōu)先級的經(jīng)驗(yàn)，以提升學(xué)習(xí)效率，實(shí)現(xiàn)更快速的收斂和更穩(wěn)定的策略優(yōu)化。

在每一回合任務(wù)結(jié)束后，系統(tǒng)通過從動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn)回放池中采樣一定量批次的經(jīng)驗(yàn)，依據(jù)不同網(wǎng)絡(luò)所對應(yīng)的損失函數(shù)對網(wǎng)絡(luò)進(jìn)行更新。同時(shí)，超聲探頭回到圖1中的隨機(jī)初始區(qū)域，準(zhǔn)備開始下一回合的訓(xùn)練。當(dāng)所有回合結(jié)束后，模型視為訓(xùn)練完成，整個(gè)模型會(huì)被保存下來。

2.4位姿一體化阻抗控制

阻抗控制通過調(diào)節(jié)施加力與運(yùn)動(dòng)之間的關(guān)系，使機(jī)器人手臂能夠根據(jù)外部力量的變化作出響應(yīng)，從而確保平穩(wěn)、安全與精確的交互。

在本文中，策略網(wǎng)絡(luò)在每個(gè)時(shí)間步定義機(jī)器人手臂末端執(zhí)行器的參考姿態(tài)，包括位置 p_t 和姿態(tài)旋轉(zhuǎn)矩陣 R_t ，控制過程首先計(jì)算當(dāng)前狀態(tài)與目標(biāo)狀態(tài)之間的位姿誤差。位置誤差 e_p 定義為期望位置與當(dāng)前位置信息之間的差值： e_p=p_t-p_c 。姿態(tài)誤差通過計(jì)算誤差旋轉(zhuǎn)矩陣 R_e=R_tR_c^T ，并轉(zhuǎn)換為四元數(shù) q_e= （204號 [q₀，q₁，q₂，q₃]¹ 來表示，方向誤差 e_r 定義為四元數(shù)的虛部與機(jī)械臂當(dāng)前姿態(tài)的旋轉(zhuǎn)矩陣 R_c 的積 e_r=R_c[q₁，q₂，q₃]^?T ，最終位姿誤差向量為

e（t）=[e_p，e_r]^T

阻抗控制根據(jù)計(jì)算出的誤差和外部力調(diào)整關(guān)節(jié)扭矩。期望交互力 F_des 由質(zhì)量-阻尼-彈簧模型給出：

其中： ?_M，B 和 K 分別為虛擬慣性、阻尼和剛度參數(shù)矩陣，控制末端執(zhí)行器在響應(yīng)誤差時(shí)的動(dòng)態(tài)行為。

施加于機(jī)械臂關(guān)節(jié)的控制扭矩 τ 由下式確定：

其中： J 是雅可比矩陣； q 是關(guān)節(jié)位置向量； 和 分別是關(guān)節(jié)速度和加速度向量； M（q） 是關(guān)節(jié)空間慣性矩陣; 表示科里奧利力和離心力； G（q） 考慮了重力作用。此控制框架確保機(jī)械臂在適應(yīng)外部力的同時(shí)保持期望姿態(tài)，實(shí)現(xiàn)柔性交互。

3 實(shí)驗(yàn)設(shè)置與分析

3.1 實(shí)驗(yàn)設(shè)置

為了全面評估所提方法的可行性，所有實(shí)驗(yàn)均在如圖2所示的多模態(tài)自主超聲機(jī)器人系統(tǒng)中進(jìn)行，系統(tǒng)工作于真實(shí)環(huán)境。實(shí)驗(yàn)使用的是無標(biāo)記、軟、可移動(dòng)的腎臟體膜。為驗(yàn)證方法的泛化能力，每回合的起始點(diǎn)都隨機(jī)設(shè)置在如圖1所示探頭隨機(jī)起始區(qū)域中，并通過穩(wěn)定性測試實(shí)驗(yàn)?zāi)M真實(shí)環(huán)境干擾。超聲掃描任務(wù)遵循文獻(xiàn)[21]所描述的標(biāo)準(zhǔn)超聲掃描任務(wù)。實(shí)驗(yàn)平臺采用 Intel^°ledast CoreTMi9-12900K處理器和NVIDIA RTX3080TiGPU，Python3.8，運(yùn)行內(nèi)存為16GB，使用PyTorch框架進(jìn)行深度學(xué)習(xí)計(jì)算，優(yōu)化器為 Adam^[27] O

在實(shí)驗(yàn)中，訓(xùn)練批量大小設(shè)定為64，動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn)回放池的容量為 30 000，β=1 ，所有模型的訓(xùn)練和驗(yàn)證回合數(shù)為300，折扣因子均為0.99，網(wǎng)絡(luò)學(xué)習(xí)率設(shè)定為 3×10^-4 。位姿一體化阻抗控制器虛擬慣性參數(shù)矩陣 M=diag（0.5，0.5，0.5，0.5） 0.5，0.5），阻尼參數(shù)矩陣 B=diag（25，25，25，15，15，15） ，剛度參數(shù)矩陣 K=diag（150，150，150，50，50，50） 。實(shí)驗(yàn)中采用的性能指標(biāo)包括每回合累積獎(jiǎng)勵(lì)、回合結(jié)束時(shí)超聲探頭與目標(biāo)之間的距離（掃描精度）、圖像質(zhì)量（采集圖像與目標(biāo)圖像的SSIM指數(shù)）任務(wù)成功率（驗(yàn)證階段中成功回合數(shù)量占總回合的百分比）以及收斂速度（即模型訓(xùn)練中達(dá)到穩(wěn)定性能所需的回合數(shù)）。任務(wù)的成功與失敗標(biāo)準(zhǔn)參照方法部分中所定義的任務(wù)成功和失敗條件。

3.2 方法對比與分析

本文設(shè)計(jì)了六組實(shí)驗(yàn)。第一組實(shí)驗(yàn)為DSAC-PERDP驗(yàn)證實(shí)驗(yàn)，驗(yàn)證所提方法的性能。第二組為單視角消融實(shí)驗(yàn)，在DSAC-PERDP基礎(chǔ)上去除側(cè)向攝像頭視覺輸入和處理部分，模型僅依靠單視角視覺、超聲圖像和觸覺信息進(jìn)行超聲掃描任務(wù)。第三組為探究雙視角視覺作用的消融實(shí)驗(yàn)，在DSAC-PERDP的基礎(chǔ)上去除了雙視角視覺輸入和處理部分，模型僅依靠超聲圖像和觸覺信息進(jìn)行任務(wù)。第四組實(shí)驗(yàn)為無動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn)回放機(jī)制實(shí)驗(yàn)，驗(yàn)證該機(jī)制對模型性能的影響，模型為DSAC。第五組實(shí)驗(yàn)是利用文獻(xiàn)[17]提出的基于實(shí)時(shí)超聲圖像和DQN算法的方法模型（簡稱為文獻(xiàn)[17]）實(shí)驗(yàn)。第六組實(shí)驗(yàn)為使用文獻(xiàn)[21]提出的基于單外部視覺、超聲圖像和觸覺信息以及PPO算法的方法作為基線模型。其輸人設(shè)置與第二組一致。所有實(shí)驗(yàn)均在相同的物理環(huán)境與硬件平臺上進(jìn)行，且所有實(shí)驗(yàn)的任務(wù)設(shè)置和獎(jiǎng)勵(lì)函數(shù)設(shè)置都保持一致。

表1統(tǒng)計(jì)了六種模型在不同性能指標(biāo)上的表現(xiàn)。DSAC-PERDP在位置誤差、成功率、收斂速度和圖像質(zhì)量上都取得了最優(yōu)的性能。DSAC-PERDP在訓(xùn)練階段的第50回合就達(dá)到穩(wěn)定狀態(tài)，驗(yàn)證階段的位置誤差為 3.38±0.45mm ，驗(yàn)證階段成功率為 96.7% ，同時(shí)采集圖像質(zhì)量為 與文獻(xiàn)[17]對比，DSAC-PERDP的位置精度提升了 57.2% ，成功率提升了 22.4% ，收斂速度加快了 402.0% 。與基線模型（文獻(xiàn)[21]）相比，DSAC-PERDP位置精度提升了 49.8% ，成功率提升了 13.4% ，收斂速度加快了 260. 0% ，圖像質(zhì)量提高了6.7% 。這些實(shí)驗(yàn)結(jié)果展現(xiàn)了本文方法的有效性。

在消融實(shí)驗(yàn)中，DSAC-PERDP、DSAC-PERDP單外部視覺和DSAC-PERDP不具雙視覺的主要區(qū)別在于輸人模態(tài)不同。DSAC-PERDP外部視覺是雙視角的操作圖像，而DSAC-PERDP單外部視角在此基礎(chǔ)上去掉了側(cè)向攝像頭圖像的輸入。去除側(cè)向攝像頭輸入后，模型的空間感知能力受到了限制，位置誤差由原來的 3.38mm 增大至 4.67mm ，掃描任務(wù)成功率和圖像質(zhì)量也有所下降。進(jìn)一步移除雙視角攝像頭數(shù)據(jù)后，DSAC-PERDP不具雙視覺位置誤差顯著增大至 9.81mm ，成功率下降至 73.3% 。這些結(jié)果強(qiáng)調(diào)了雙視角視覺數(shù)據(jù)在維持空間感知和確保超聲探頭精準(zhǔn)操作中的關(guān)鍵作用，驗(yàn)證了多模態(tài)信息融合對系統(tǒng)性能提升的重要性。

為了更好地與基線模型進(jìn)行對比，DSAC-PERDP單外部視覺與文獻(xiàn)［21]具有一致的輸入，但是DSAC-PERDP單外部視覺的掃描位置誤差、任務(wù)成功率、收斂速度以及獲取的圖像質(zhì)量都優(yōu)于文獻(xiàn)[21]，這印證了本文DSAC-PERDP相比于文獻(xiàn)[21]模型在自主超聲任務(wù)中具有顯著優(yōu)勢。

為了使各項(xiàng)曲線更加平滑，并減少隨機(jī)波動(dòng)帶來的干擾，本文在所有曲線中均統(tǒng)一采用了窗口大小為10的滑動(dòng)平均對原始數(shù)據(jù)進(jìn)行處理，旨在突出模型訓(xùn)練過程的整體趨勢。

提升回合累計(jì)獎(jiǎng)勵(lì)是模型訓(xùn)練效果的目標(biāo)，也是模型是否收斂的直接體現(xiàn)。從圖5可見，文獻(xiàn)「21的回合獎(jiǎng)勵(lì)曲線在約第180回合后達(dá)到穩(wěn)定，而DSAC-PERDP的回合獎(jiǎng)勵(lì)曲線在第50回合就趨于穩(wěn)定。文獻(xiàn)[17]在第251回合趨于穩(wěn)定，表現(xiàn)最差。DSAC在第90回合后趨于穩(wěn)定，性能低于DSAC-PERDP，高于文獻(xiàn)[21]。這些結(jié)果表明，相比于文獻(xiàn)[17，21]，DSAC-PERDP不僅具有穩(wěn)定和出色的學(xué)習(xí)能力，而且其引入的動(dòng)態(tài)優(yōu)先經(jīng)驗(yàn)回放機(jī)制顯著提升了訓(xùn)練速度和模型的穩(wěn)定性。

如圖6所示，訓(xùn)練過程中位置誤差的變化反映了模型在超聲圖像采集任務(wù)中的表現(xiàn)。DSAC-PERDP收斂速度最快，且最終的穩(wěn)定性能優(yōu)于其他模型。DSAC在收斂速度上次之，表現(xiàn)略低于DSAC-PERDP。文獻(xiàn)21]表現(xiàn)低于DSAC-PERDP單視角視覺。DSAC-PERDP不具雙視角視覺表現(xiàn)最差，收斂速度較慢。通過對前三組實(shí)驗(yàn)的對比分析可以看出，隨著外部視覺輸入的減少，模型的目標(biāo)誤差逐漸增大，這進(jìn)一步驗(yàn)證了外部視覺在提升模型掃描精度中的重要作用。

SSIM值是衡量超聲圖像采集任務(wù)的直接指標(biāo)，圖7展示了六種模型在訓(xùn)練過程中圖像質(zhì)量的變化情況。DSAC-PERDP在整個(gè)訓(xùn)練過程采集的圖像質(zhì)量最優(yōu)，并且保持了最佳的穩(wěn)定性。DSAC-PERDP單視角視覺與文獻(xiàn)[21]對比也有明顯的優(yōu)勢。這一優(yōu)勢源于基于多模態(tài)傳感器數(shù)據(jù)的融合以及基于注意力機(jī)制的多模態(tài)特征提取和融合方法，相比于文獻(xiàn)[17，21]中使用的傳統(tǒng)CNN和MLP方法，本文方法顯著提升了所采集圖像的質(zhì)量。

3.3 系統(tǒng)穩(wěn)定性測試

為了評估所提方法在干擾條件下的穩(wěn)定性，設(shè)計(jì)了視覺遮擋、光照強(qiáng)度干擾和體膜移動(dòng)干擾實(shí)驗(yàn)。每項(xiàng)實(shí)驗(yàn)進(jìn)行100回合，探頭位置隨機(jī)初始化。任務(wù)成功定義為所采集的超聲圖像SSIM值超過0.6500，并由專業(yè)超聲醫(yī)師確認(rèn)圖像質(zhì)量滿足要求。

在無干擾實(shí)驗(yàn)中，系統(tǒng)表現(xiàn)出卓越的穩(wěn)定性和高效性，成功率達(dá)到 97% ，SSIM值為0.7625。如圖8（a）所示，超聲探頭能夠高效地從隨機(jī)起始位置導(dǎo)航至目標(biāo)區(qū)域并獲得高質(zhì)量圖像。

在視覺遮擋干擾實(shí)驗(yàn)中（圖8（b）），遮擋正向攝像頭模擬可能存在的環(huán)境干擾。盡管遮擋了正向攝像頭，系統(tǒng)仍能成功完成任務(wù)，成功率為 83% ，SSIM平均值為0.6937。這表明系統(tǒng)在視覺干擾受限條件下仍具有較強(qiáng)的適應(yīng)能力。

在光照強(qiáng)度干擾實(shí)驗(yàn)中（圖8（c）），關(guān)掉了穩(wěn)定光源，雙視角攝像頭的圖像亮度明顯下降。實(shí)驗(yàn)結(jié)果表明，在光照強(qiáng)度干擾中，系統(tǒng)任務(wù)的成功率為 95% ，SSIM平均值為0.7611。由于圖像處理模塊中ResNet-18包含了對圖像的歸一化處理過程，所以系統(tǒng)對于光照強(qiáng)度變化仍保持一定的穩(wěn)定性能。實(shí)驗(yàn)表明，相比于無外界干擾情況，系統(tǒng)的性能表現(xiàn)沒有明顯下降。

在體膜移動(dòng)干擾實(shí)驗(yàn)中，通過在掃描任務(wù)期間將體膜以遠(yuǎn)離探頭方向移動(dòng) 2cm ，以模擬器官位移或患者移動(dòng)。如圖8（d）所示，多模態(tài)自主超聲掃描機(jī)器人系統(tǒng)能夠動(dòng)態(tài)適應(yīng)目標(biāo)位置變化，能準(zhǔn)確地采集標(biāo)準(zhǔn)的超聲圖像，任務(wù)完成成功率為 85% ，SSIM平均值為 0.7155 這表明系統(tǒng)能動(dòng)態(tài)適應(yīng)目標(biāo)位置變化，展示了本文方法具有在臨床環(huán)境中處理不確定因素的能力。

在三種顯著干擾條件下，本文方法依然具有穩(wěn)定完成自主超聲掃描任務(wù)的能力。這些實(shí)驗(yàn)結(jié)果表明，本文方法具有在復(fù)雜和不可預(yù)測環(huán)境中的抗干擾和適應(yīng)性能力。

4結(jié)束語

本文提出了一種基于改進(jìn)型多模態(tài)信息融合深度強(qiáng)化學(xué)習(xí)的自主超聲掃描方法，旨在實(shí)現(xiàn)高效、精準(zhǔn)的超聲圖像采集任務(wù)。該方法通過整合探頭超聲圖像、雙視角探頭操作圖像以及6D觸覺信息，構(gòu)建了多模態(tài)信息輸入，設(shè)計(jì)了基于多模態(tài)特征提取與融合的DSAC-PERDP模型，實(shí)現(xiàn)了多模態(tài)傳感信息的有效特征提取與融合。為貼合專業(yè)醫(yī)生的超聲掃描操作，本文設(shè)計(jì)了一個(gè)綜合考慮圖像質(zhì)量、位置、姿態(tài)、交互力及任務(wù)完成情況等因素的混合獎(jiǎng)勵(lì)函數(shù)。DSAC-PERDP算法實(shí)現(xiàn)了對DSAC-PERDP模型的高效訓(xùn)練和策略優(yōu)化。通過策略網(wǎng)絡(luò)實(shí)時(shí)輸出的控制命令，結(jié)合位姿一體化阻抗控制器，實(shí)現(xiàn)了對超聲探頭位姿的精確控制，完成了高質(zhì)量的超聲掃描圖像采集任務(wù)。在所設(shè)計(jì)的多模態(tài)自主超聲掃描機(jī)器人系統(tǒng)上進(jìn)行的實(shí)驗(yàn)驗(yàn)證表明，本文方法在掃描精度、任務(wù)完成成功率及收斂速度方面均優(yōu)于文獻(xiàn)[17，21]。同時(shí)，穩(wěn)定性測試表明，系統(tǒng)在面對視覺遮擋、光照強(qiáng)度干擾和體膜移動(dòng)干擾時(shí)，依然表現(xiàn)出一定的抗干擾能力。這些結(jié)果充分證明了本文方法在真實(shí)臨床環(huán)境中具有可靠的應(yīng)用潛力。

在實(shí)際臨床應(yīng)用中，醫(yī)生的經(jīng)驗(yàn)與判斷也至關(guān)重要。未來可研究如何結(jié)合學(xué)習(xí)類方法實(shí)現(xiàn)更高效的人機(jī)協(xié)作，例如通過自然語言交互或者外部觸覺反饋，使系統(tǒng)能夠更好地理解醫(yī)生的意圖并輔助決策。

參考文獻(xiàn)：

[1]Hidalgo E M，Wright L， Isaksson M，et al.Current applications of robot-assisted ultrasound examination [J]. Cardiovascular Imaging，2023，16（2）：239-247.

[2]Wells P N，Liang H D. Medical ultrasound：imaging of soft tissue strain and elasticity[J]. Journal of the Royal Society Interface， 2011，8（64）：1521-1549.

[3]Peng Lingyan，Zhong Tingting，F(xiàn)an Qiuling，et al.Correlation analysis of renal ultrasound elastography and clinical and pathological changes in patients with chronic kidney disease[J].Clinical Nephrology，2017，87（6）：293-300.

[4]Gerstenmaier JF，Gibson RN.Ultrasound in chronic liver disease [J].Insights into Imaging，2014，5（4）：441-455.

[5]Pahl C， Supriyanto E. Design of automatic transabdominal ultrasound imaging system[C]//Proc of the 2Oth International Conference on Methods and Models in Automation and Robotics.Piscataway，NJ： IEEE Press，2015：435-440.

[6]Adekunle TA. Sonographers and work-related musculoskeletal disorders（WRMSDs）： a systematic review of the prevalence，risk factors， and consequences [D]. [S.1.]： Hochschule fur Angewandte Wissenschaften Hamburg， 2022.

[7].Von HaxthausenF，BottgerS，Wulff D，etal.Medical robotics for ultrasound imaging：current systems and future trends[J].Current Robotics Reports，2021，2（1）：55-71.

[8]Li Keyu，Xu Yangxin，Meng M Q. An overview of systems and techniques for autonomous robotic ultrasound acquisitions[J].IEEE Trans on Medical Robotics and Bionics，2021，3（2）：510-524.

[9]Bi Yuan， Jiang Zhongliang，Duelmer F，et al. Machine learning in robotic ultrasound imaging：challenges and perspectives[J]. Annual Review of Control，Robotics，and Autonomous Systems， 2024，7： 335-357.

[10]Deng Xutian，Jiang Junnan，Cheng Wen，et al.Learning freehand ultrasound through multimodal representation and skill adaptation [J]．IEEE Trans on Automation Science and Engineering， 2024，22：5117-5130.

[11] Jiang Zhongliang，Bi Yuan，Zhou Mingchuan，et al.Intelligent robotic sonographer： mutual information-based disentangled reward learning from few demonstrations[J].The International Journal of Robotics Research，2024，43（7）：981-1002.

[12]Wang Xu，Wang Sen，Liang Xingxing，et al.Deep reinforcement learning：a survey[J]. IEEE Trans on Neural Networks and LearningSystems，2024，35（4）：5064-5078.

[13]MnihV，KavukcuogluK，SilverD，etal.Human-level control through deep reinforcement learning [J]． Nature，2015，518 （7540）：529-533.

[14]時(shí)高松，趙清海，董鑫，等．基于PPO算法的自動(dòng)駕駛?cè)藱C(jī)交互 式強(qiáng)化學(xué)習(xí)方法[J]．計(jì)算機(jī)應(yīng)用研究，2024，41（9）：2732- 2736.（Shi Gaosong，Zhao Qinghai，Dong Xin，et al．Humanmachine interactive reinforcement learning method for autonomous Computers，2024，41（9）：2732-2736.）

[15]TenajasR，MirautD，Illana CI，et al.Recent advances in artificial intelligence-assisted ultrasound scanning [J].Applied Sciences， 2023，13（6）：3693.

[16]Jarosik P，Lewandowski M. Automatic ultrasound guidance based on deep reinforcement learning[C]//Proc of IEEE International Ultrasonics Symposium.Piscataway，NJ：IEEE Press，2019：475-478.

[17]Li Keyu，Wang Jian，Xu Yangxin，et al.Autonomous navigation of an ultrasound probe towards standard scan planes with deep reinforcement learning[C]// Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2021：8302- 8308.

[18]Ning Guochen，Zhang Xinran，Liao Hongen.Autonomic robotic ultrasound imaging system based on reinforcement learning[J].IEEE Trans on Bio-Medical Engineering，2021，68（9）： 2787-2797.

[19]Hase H，Azampour MF， Tirindelli M，et al.Ultrasound-guided robotic navigation with deep reinforcement learning [C]/′ Proc of IEEE/RSJ International Conference on Inteligent Robotsand Systems.Piscataway，NJ： IEEE Press，2020：5534-5541.

[20]Su Kang，Liu Jingwei，Ren Xiaoqi，et al.Afullyautonomous robotic ultrasound system for thyroid scanning [J].Nature Communications，2024，15（1） ： 4004.

[21]Luo Chengwen，Chen Yuhao，Cao Haozheng，et al.Multi-modal autonomous ultrasound scanning for eficient human-machine fusion interaction[J]. IEEE Trans on Automation Science and Engineering，2024，22：4712-4723.

[22]Haarnoja T，ZhouA，AbbeelP，etal.Softactor-critic：ff-policy maximum entropy deep reinforcement learning with a stochastic actor [EB/OL]. （2018-01-04）. htps：//arxiv.org/abs/1801.01290.

[23］王永志，張禹，趙蕾，等.基于深度強(qiáng)化學(xué)習(xí)的多視角智能裝配 [J]．組合機(jī)床與自動(dòng)化加工技術(shù)，2022（8）：152-155，159. （WangYongzhi，ZhangYu，ZhaoLei，etal．Multi-viewintelligent assembly based on deep reinforcement learning[J]. Modular Machine Tool amp; Automatic Manufacturing Technique，2022（8）： 152-155，159.）

[24]He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual learning for image recognition [C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ：IEEE Press，2016：770-778.

[25]Hochreiter S，Schmidhuber J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[26]Guan Jiayi，Chen Guang，Huang Jin，et al.Adiscrete soft actor-critic decision-making strategy with sample filter for freeway autonomous driving[J].IEEE Trans on Vehicular Technology，2023，72 （2）：2593-2598.

[27]Kingma DP，Ba J.Adam：a method for stochastic optimization [C]// Proc of International Conference on Learning Representations. Washington DC：ICLR，2015.

[28]Vaswani A，ShazeerN，Parmar N，et al.Attentionis all you need [C]//Proc of the 31st International Conference on Neural InformationProcessing Systems. Red Hook，NY：Curran Associates Inc.， 2017： 6000-6010.