觸覺通信中的信號(hào)獲取與恢復(fù)關(guān)鍵技術(shù)

劉恒發(fā) 魏昕

摘要：面向未來以低時(shí)延、高可靠、雙向互動(dòng)為目標(biāo)的觸覺通信，從觸覺感受以及觸覺信號(hào)特性出發(fā)，描述了觸覺信號(hào)的采集與表征方法;針對以遠(yuǎn)程工業(yè)控制、遠(yuǎn)程醫(yī)療、沉浸式游戲等為代表的典型觸覺業(yè)務(wù)、多模態(tài)業(yè)務(wù)中存在的觸覺信號(hào)受損或丟失問題，分別從同模態(tài)和跨模態(tài)兩個(gè)角度提出了觸覺信號(hào)的恢復(fù)架構(gòu)。所提出的觸覺通信原型系統(tǒng)，能夠?qū)崿F(xiàn)遠(yuǎn)程觸覺信息的精準(zhǔn)感知和反饋，增強(qiáng)用戶的沉浸式體驗(yàn)。

關(guān)鍵詞：觸覺通信;信號(hào)采集;信號(hào)恢復(fù);人工智能

Abstract：Aimingatfuturehapticcommunicationwithlowtimedelay，highreliability，andbi-directionalinteractions，theacquisitionandrepresentationmethodsofhapticsignalsaregivenbasedontouchsensationandcharacteristics.Forthedamageandlossofhapticsignalsintypicalhapticandmulti-modalscenariossuchasremoteindustrialmanipulation，telesurgery，immersivegames，andarchitecturesofhapticsignalrecoveryareproposedfromperspectivesofboththewithin-modalandcross-modal，respectively.Moreover，severalhapticcommunicationprototypesystemsarebuilt，whichcaneffectivelyrealizeremotehapticperceptionandfeedback，andpromotetheusersimmersiveexperience.

Keywords：hapticcommunication;signalacquisition;signalrecovery;artificialintelligence

觸覺是人類感知體驗(yàn)并與外部環(huán)境交互的一類重要方式，它通過來自皮膚表面的敏感神經(jīng)傳感器的觸感，來感受接觸物的材質(zhì)、運(yùn)動(dòng)、壓力、溫度等屬性。這些屬性在很多情況下是視、聽覺所不能完整、精確提供的。

通過實(shí)現(xiàn)各種感官信息的通信，人類可以更好地感知和探索世界。傳統(tǒng)的多媒體通信系統(tǒng)主要通過對音視頻數(shù)據(jù)的捕獲、編碼、傳輸、解碼等，實(shí)現(xiàn)音視頻通信，使用戶獲得豐富的視聽覺體驗(yàn)。另一方面，近年來面向人類觸覺感受而設(shè)計(jì)的觸覺通信系統(tǒng)以及觸覺相關(guān)服務(wù)，受到了學(xué)術(shù)界和工業(yè)界的關(guān)注。與傳統(tǒng)以音視頻為主的多媒體通信不同的是，觸覺通信主要關(guān)注本地終端與遠(yuǎn)程終端的高保真觸覺信息的傳輸與接收[1]。通過豐富的感官信息增強(qiáng)交互，觸覺通信可以提升用戶的沉浸式體驗(yàn)。因此，觸覺通信在遠(yuǎn)程醫(yī)療[2]、線上購物、在線教育[3]、遠(yuǎn)程工業(yè)控制等領(lǐng)域有著廣泛的應(yīng)用。

本文主要聚焦于觸覺通信中的發(fā)送端和接收端，研究發(fā)送端的觸覺信號(hào)獲取技術(shù)以及接收端的觸覺信號(hào)恢復(fù)技術(shù)，并簡要介紹課題組所開發(fā)的觸覺通信原型系統(tǒng)。

1觸覺信號(hào)獲取

1.1觸覺感受

觸覺通信的最終目標(biāo)是實(shí)現(xiàn)人類觸覺感受的傳遞與接收，因此我們首先需要明晰何為觸覺感受。當(dāng)前，學(xué)術(shù)界和工業(yè)界最為關(guān)注的是觸摸和動(dòng)覺兩種觸覺感受[4]。其中，觸摸感受來源于人體的皮膚，通過表皮下4種不同類型的感受器，向中樞神經(jīng)系統(tǒng)和大腦的體感區(qū)域提供關(guān)于皮膚表面發(fā)生的機(jī)械事件的信息，進(jìn)而獲取形狀、粗糙度、溫度、摩擦等屬性。動(dòng)覺感受則來自肌肉，通過肌梭向中樞神經(jīng)系統(tǒng)提供有關(guān)肌肉長度和肌肉長度變化速度的信息[5]，使人類能夠感知肢體運(yùn)動(dòng)的方向、幅度和速度以及相關(guān)的肢體位置變化。因此，對于觸摸感受，可以通過壓力、摩擦和振動(dòng)等觸覺信號(hào)表征;而對于動(dòng)覺感受，則可以通過力反饋裝置表征為位置、速度和力等觸覺信號(hào)。

1.2觸覺與視聽覺信息的本質(zhì)區(qū)別

與視聽覺信息相比，觸覺具有一些顯著的區(qū)別，如表1所示。

雙向交互性：與視聽覺信息單向輸入或輸出不同，觸覺感知不僅來自于被動(dòng)接觸（如把東西放手上），還來自于主動(dòng)探索環(huán)境（如用手主動(dòng)觸摸環(huán)境）。這樣的雙向特性使得觸覺通信比傳統(tǒng)以視聽為主的多媒體通信更具交互性。此外，在觸摸物體的過程中，還可能會(huì)改變物體的屬性，如使之發(fā)生形變、溫度變化等，這種不可逆的相互作用則不會(huì)發(fā)生在視覺和聽覺中。

突發(fā)性：與音視頻信號(hào)相比，觸覺信號(hào)需要高的采樣率來確保系統(tǒng)的穩(wěn)定性和透明性[6]。當(dāng)交互設(shè)備與外界接觸時(shí)，如執(zhí)行高頻敲動(dòng)、推動(dòng)物體、低頻按壓和抓取釋放等交互時(shí)，由于觸覺包速率急劇變化，易導(dǎo)致觸覺流量突發(fā)[7]。此外，在實(shí)際觸覺通信系統(tǒng)中，根據(jù)上述特點(diǎn)并考慮到節(jié)約傳輸資源，觸覺信號(hào)往往采用間斷性傳輸，而音視頻信號(hào)則需要連續(xù)傳輸。因此，在突發(fā)流量期間，兩個(gè)傳輸數(shù)據(jù)包之間間隔很小，容易導(dǎo)致傳輸不可靠，如延遲或數(shù)據(jù)包丟失，最終影響用戶體驗(yàn)?；谏鲜龇治?，觸覺的突發(fā)性是影響觸覺通信質(zhì)量的關(guān)鍵因素之一。

敏感性：觸覺的感知敏感性與其空間分辨率和時(shí)間分辨率密切相關(guān)?？臻g分辨率是指可以檢測到的觸覺刺激之間的空間分隔距離。例如，在指尖上，我們可以分辨出大約1mm的間隔，這個(gè)數(shù)值位于視覺和聽覺空間分辨率之間。時(shí)間分辨率是指傳遞到觸覺感受器的兩個(gè)脈沖被感知為連續(xù)不同的刺激而非同一刺激所需的時(shí)間差。例如，在觸摸過程中，人類可以分辨出5ms的時(shí)間差異，這比視覺的時(shí)間差（25ms）好，但是比聽覺的時(shí)間差（0.01ms）差。此外，觸覺分布感受器遍布全身，感知特定觸覺刺激的能力在皮膚表面上變化，相同的觸覺刺激將在不同的位置發(fā)生不同的感知體驗(yàn)。因此，敏感性也影響著觸覺通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

1.3觸覺信號(hào)的采集

觸覺信號(hào)的采集是實(shí)現(xiàn)觸覺通信的前提。與通過攝像機(jī)、照相機(jī)等設(shè)備以非接觸式方式所采集的音視頻信號(hào)不同，觸覺信號(hào)主要通過安裝在機(jī)械裝置或機(jī)器人上的觸覺傳感器與物體接觸時(shí)采集，如觸摸時(shí)物體的位置、速度、力、扭矩和形變等觸覺屬性數(shù)據(jù)。

（1）摩擦力和壓力：當(dāng)相關(guān)傳感器與外界物體表面材質(zhì)接觸時(shí)，產(chǎn)生的觸覺信號(hào)最常見的是接觸力，例如切向摩擦力和法向壓力，通常用接觸時(shí)X、Y和Z3個(gè)軸的力的幅度來表示。

（2）加速度：在物體表面上敲擊剛性工具或拍打物體表面會(huì)導(dǎo)致工具產(chǎn)生一定的加速度，這些振動(dòng)可以用三軸或單軸加速度傳感器測量，相應(yīng)的一維信號(hào)代表材料表面觸覺特性。同時(shí)在某些情況下，可以使用聲學(xué)傳感器（麥克風(fēng)）來檢測振動(dòng)，用于觸覺傳感。

（3）動(dòng)覺信息：動(dòng)覺信息主要通過記錄位置變化（運(yùn)動(dòng)軌跡）、力、扭矩、速度等來呈現(xiàn)，可以通過計(jì)算機(jī)、力傳感器、速度傳感器等記錄、采集。

與上述觸覺屬性相對應(yīng)的觸覺信號(hào)采集設(shè)備如圖1所示。

此外，當(dāng)探索不同的物體屬性時(shí)，人類會(huì)使用不同的交互方式，這種運(yùn)動(dòng)稱為人類的探索性程序[10]。為了讓機(jī)器也能獲得感知觸覺信息的能力，在觸覺采集時(shí)，可以讓機(jī)器進(jìn)行與人類類似的探索性活動(dòng)。即通過使用配備有壓力、溫度和加速度等傳感器的機(jī)械手，采用輕拍、按壓、保持、環(huán)繞和滑動(dòng)等采集方式來匹配人類觸摸物體時(shí)的原型動(dòng)作集，獲取期望的觸覺屬性。

（1）輕拍：機(jī)械手迅速圍繞物體閉合，待與物體有接觸時(shí)便打開、釋放物體。這樣可初步探知材料的溫度信息，模仿人類快速觸摸以感知溫度的行為。

（2）按壓：人類對壓力的探索性活動(dòng)，可以辨別物體的硬度[10]。夾具以恒定的速度關(guān)閉，待按壓深度達(dá)到特定閾值后再以相同的恒定速度打開，直到任一手指都感覺不到接觸。

（3）靜態(tài)保持：人類對全局形狀、體積、溫度和熱導(dǎo)率等探索性活動(dòng)[10]。當(dāng)夾具與物體接觸并保證物體不發(fā)生滑動(dòng)后，機(jī)器人輕輕握住物體10s，同時(shí)讓加熱的手指與物體達(dá)到熱平衡。

（4）環(huán)繞：適合手的物體大小和形狀，可以根據(jù)皮膚壓痕和手指的姿勢來感知，因?yàn)槭挚梢园鼑矬w。但當(dāng)物體較大時(shí)，必須用手依次探索以確定形狀。依據(jù)觸覺探索的這種性質(zhì)，通過環(huán)繞多次接觸物體，才能獲得全局形狀。

（5）橫向運(yùn)動(dòng)：通過讓機(jī)械手在輕握住物體的同時(shí)向下滑動(dòng)，來模擬人類的橫向運(yùn)動(dòng)（手指在表面來回移動(dòng)）。其中，包括速度為1cm/s的緩慢移動(dòng)和速度為2.5cm/s的快速移動(dòng)，快速移動(dòng)的接觸強(qiáng)度弱于緩慢移動(dòng)[9]。

1.4觸覺信號(hào)的表征

對于采集到的觸覺信號(hào)，我們需要以一定的形式對其進(jìn)行表征。觸覺信號(hào)的表征是對真實(shí)表面的感覺進(jìn)行描述和建模，之后才能進(jìn)行編碼、傳輸?shù)炔僮?。觸覺信號(hào)的表征形式按信號(hào)類型可以分為基于一維時(shí)間序列的表征和基于二維圖像數(shù)據(jù)的表征，如圖2所示。

（1）基于一維時(shí)間序列的表征。物體材質(zhì)表面的觸覺信息（包括材質(zhì)的紋理輪廓、摩擦力、振動(dòng)信號(hào)等）都可以基于上述采集設(shè)備與目標(biāo)物體交互時(shí)產(chǎn)生的接觸力和振動(dòng)、速度、加速度和三軸方向的位置等，以一維信號(hào)（如波形）形式表達(dá)?；谡鎸?shí)的觸覺交互數(shù)據(jù)便于構(gòu)建表面紋理細(xì)節(jié)，但存在觸覺數(shù)據(jù)規(guī)模較小、觸覺信號(hào)處理方法尚未成熟等問題。

（2）基于二維圖像數(shù)據(jù)的表征。觸覺數(shù)據(jù)需要經(jīng)過專門的采集設(shè)備來收集，難度較大，且現(xiàn)存的觸覺數(shù)據(jù)集規(guī)模較小。與之相比，圖像數(shù)據(jù)集包含豐富的視覺和觸覺特征，且數(shù)量龐大?；趫D像特征提取的方法可以從圖片的灰度、深度等信息中獲取紋理表面的特征，從而實(shí)現(xiàn)幾何信息到觸覺信息的映射。另外，當(dāng)采集設(shè)備與物體進(jìn)行接觸時(shí)，物體表面會(huì)發(fā)生一定程度的形變。利用附在傳感器表面的薄膜記錄下這種形變，并通過圖像的形式呈現(xiàn)可以表征觸覺信息。此外，圖像頻域變換所提取出的圖像頻譜特征也能反映物體表面的紋理分布。基于二維圖像數(shù)據(jù)表征的方法可以充分利用現(xiàn)在的大規(guī)模圖像數(shù)據(jù)集，但其缺點(diǎn)在于無法表征微觀特性。

2觸覺信號(hào)的恢復(fù)

雖然當(dāng)前全球?qū)W者提出的高效觸覺編碼方案[11]、自適應(yīng)傳輸速率控制方案[7]等可以在很大程度上保障觸覺傳輸?shù)目煽啃浴５峭ㄟ^實(shí)際測試發(fā)現(xiàn)，當(dāng)觸覺信號(hào)通過無線網(wǎng)絡(luò)傳輸時(shí)仍會(huì)不可避免地遭遇各種因素的干擾（如可用傳輸資源的動(dòng)態(tài)變化、不可預(yù)測的通信延遲等）。這會(huì)導(dǎo)致觸覺信號(hào)在接收端出現(xiàn)不同程度的損耗甚至缺失。此外，觸覺信號(hào)具有突發(fā)性和不可預(yù)測性，從而容易使接收端收到時(shí)序錯(cuò)亂的觸覺信號(hào)[12]。因此，在上述情況下，需要采取相關(guān)技術(shù)來實(shí)現(xiàn)觸覺信號(hào)的恢復(fù)，從而保障終端用戶的觸覺感知質(zhì)量。具體而言，我們認(rèn)為可以采用兩類方法來實(shí)現(xiàn)觸覺信號(hào)的恢復(fù)。

2.1同模態(tài)觸覺信號(hào)恢復(fù)

在以遠(yuǎn)程工業(yè)控制為代表的觸覺業(yè)務(wù)中，接收端觸覺信號(hào)的時(shí)序特性以及上下文數(shù)據(jù)間的相關(guān)性可以作為受損信號(hào)重建的依據(jù)。本文中，我們使用深度神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)觸覺信號(hào)的時(shí)序特性以及相關(guān)性，建立一個(gè)缺失觸覺信號(hào)到完整觸覺信號(hào)的映射，從而實(shí)現(xiàn)缺失觸覺信號(hào)的重建。近年來，生成對抗網(wǎng)絡(luò)依靠其學(xué)習(xí)數(shù)據(jù)之間復(fù)雜分布的能力，在圖像修復(fù)及超分辨率重建、電力系統(tǒng)缺失數(shù)據(jù)重建[13]等應(yīng)用場景中都取得了巨大成功。其核心思想在于利用不完整數(shù)據(jù)和給定的上下文約束去生成符合客觀規(guī)律的缺失部分。基于此，我們使用生成對抗網(wǎng)絡(luò)來完成缺失觸覺信號(hào)的恢復(fù)。此外，由于傳統(tǒng)的生成對抗網(wǎng)絡(luò)使用隨機(jī)向量來生成期望的信號(hào)，無法充分利用已有的受損信號(hào)，因此我們考慮利用條件生成對抗網(wǎng)絡(luò)（GAN）以充分利用已有的部分受損信號(hào)，并將其作為條件輸入到生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)中去，從而提高恢復(fù)信號(hào)的準(zhǔn)確性。所提出的同模態(tài)的觸覺信號(hào)恢復(fù)框架如圖3所示。

首先，將受損的觸覺信號(hào)和隱變量z輸入生成器中，此時(shí)受損的觸覺信號(hào)提供一個(gè)條件約束，以提高所生成的觸覺信號(hào)的上下文一致性。然后，把生成的觸覺信號(hào)輸入判別器，以鑒別生成信號(hào)的真實(shí)性。最后，使用真實(shí)性約束和上下文約束來優(yōu)化生成器參數(shù)和輸入的隱變量z。需要說明的是，真實(shí)性約束的目的是使生成器生成的觸覺信號(hào)盡可能接近真實(shí)的觸覺信號(hào)，以使鑒別器不能區(qū)分兩者，從而保證了通過生成網(wǎng)絡(luò)而恢復(fù)出的觸覺信號(hào)質(zhì)量。上下文約束的目的是從所生成的觸覺信號(hào)中去搜尋與受損觸覺信號(hào)中殘留片段最相似的樣本來優(yōu)化隱變量，從而保證生成的觸覺信號(hào)片段與殘留觸覺信號(hào)片段具有上下文一致性。此外，當(dāng)觸覺信號(hào)中存在標(biāo)簽信息時(shí)（如觸摸不同類別的材質(zhì)），還可以在圖3框架中增加一個(gè)語義標(biāo)簽，以達(dá)到進(jìn)一步提升觸覺恢復(fù)質(zhì)量的目的。

2.2跨模態(tài)觸覺信號(hào)恢復(fù)

在以遠(yuǎn)程針灸、沉浸式游戲等為代表的多模態(tài)業(yè)務(wù)中，接收端除了收到受損觸覺信號(hào)以外，還可以接收到視頻信號(hào)。不同于觸覺業(yè)務(wù)中只能利用同模態(tài)的觸覺信號(hào)恢復(fù)，多模態(tài)業(yè)務(wù)可以利用與受損觸覺信號(hào)具有相同語義的音視頻信號(hào)來輔助完成觸覺信號(hào)恢復(fù)，即跨模態(tài)觸覺信號(hào)恢復(fù)。

在跨模態(tài)觸覺信號(hào)恢復(fù)中，最大的挑戰(zhàn)在于不同模態(tài)的信號(hào)（音頻、視頻、觸覺信號(hào)）是高度異構(gòu)的，且維度差異較大，因此我們需要探究其內(nèi)在相關(guān)性，從而減少模態(tài)間的語義偏差。此外，在支撐多模態(tài)業(yè)務(wù)的實(shí)際通信場景中，可用作訓(xùn)練集的音視頻信號(hào)數(shù)量通常十分匱乏。這些都是實(shí)現(xiàn)觸覺恢復(fù)所亟待解決的問題。

對于不同模態(tài)信號(hào)間的異構(gòu)問題，我們認(rèn)為對于同一對象，不同模態(tài)信號(hào)所表達(dá)的語義具有潛在的關(guān)聯(lián)性和一致性。因此，不同模態(tài)的深層語義可以互相提供豐富的輔助信息。通過建立公共語義空間，能夠探索不同模態(tài)信號(hào)間的語義一致性，從而實(shí)現(xiàn)模態(tài)特征的對齊、融合與互補(bǔ)。針對實(shí)際通信系統(tǒng)中用于訓(xùn)練的音視頻信號(hào)數(shù)量匱乏問題，我們可以從其他海量的公共音視頻數(shù)據(jù)集中提取有用知識(shí)并實(shí)現(xiàn)知識(shí)的遷移來解決。

鑒于上述分析，我們提出了跨模態(tài)觸覺信號(hào)恢復(fù)框架[14]，具體如圖4所示。首先，基于自監(jiān)督學(xué)習(xí)的思想，從海量音視頻數(shù)據(jù)中汲取并遷移語義知識(shí);接著，通過搭建融合網(wǎng)絡(luò)，實(shí)現(xiàn)對所提取的語義信息的融合建模，從而彌補(bǔ)模態(tài)間的語義鴻溝;最后，利用融合的語義信息，并通過生成對抗網(wǎng)絡(luò)，實(shí)現(xiàn)缺失觸覺信號(hào)的重建。

（1）基于跨模態(tài)知識(shí)遷移的語義特征提取

我們將接收到的音頻、視頻數(shù)據(jù)作為訓(xùn)練集合，并從中提取與模態(tài)無關(guān)的抽象語義信息。對于視頻數(shù)據(jù)，可以采用在大規(guī)模公共數(shù)據(jù)集（如ImageNet）上預(yù)訓(xùn)練的視覺幾何組（VGG16）或RESNET網(wǎng)絡(luò)進(jìn)行視覺特征的提取;對于音頻數(shù)據(jù)，基于語譜圖，可以將其輸入至卷積神經(jīng)網(wǎng)絡(luò)或編碼器中以提取特征。值得注意的是，在利用大規(guī)模公共數(shù)據(jù)集時(shí)，由于音視頻數(shù)據(jù)沒有顯式的語義標(biāo)簽，因此我們可以基于自監(jiān)督學(xué)習(xí)技術(shù)來設(shè)計(jì)一個(gè)分類任務(wù)，用于判斷視頻和音頻是否屬于同一場景或內(nèi)容。通過該方式學(xué)習(xí)可以得到語義知識(shí)。接著，將語義知識(shí)傳遞給基于當(dāng)前接收到的音視觸數(shù)據(jù)所建立的觸覺恢復(fù)模型。

基于跨數(shù)據(jù)集的知識(shí)遷移有效地解決了實(shí)際觸覺通信系統(tǒng)中用于訓(xùn)練的數(shù)據(jù)稀少的問題，并且顯著增強(qiáng)觸覺恢復(fù)模型中的語義特征提取效果。

（2）基于共享語義子空間的模態(tài)特征融合

經(jīng)過上述特征提取步驟，我們可以分別獲得視覺、聽覺模態(tài)的語義特征，但單個(gè)模態(tài)通常無法包含實(shí)現(xiàn)精確觸覺信號(hào)重構(gòu)所需的全部有效信息。因此，我們需要進(jìn)行模態(tài)特征的融合，以實(shí)現(xiàn)有用信息的相互補(bǔ)償。首先，我們需要實(shí)現(xiàn)視覺特征和聽覺特征的對齊，這可以基于標(biāo)簽信息來實(shí)現(xiàn);

接著，通過搭建公共語義空間，將對齊的視覺、聽覺特征輸入至由多個(gè)全連接層組成的神經(jīng)網(wǎng)絡(luò)，從而實(shí)現(xiàn)模態(tài)特征的融合。

（3）基于對抗學(xué)習(xí)的缺失觸覺信號(hào)恢復(fù)

基于模態(tài)融合后的語義，我們建立觸覺模態(tài)生成模型。與同模態(tài)觸覺信號(hào)恢復(fù)框架類似，我們使用生成對抗網(wǎng)絡(luò)來實(shí)現(xiàn)缺失觸覺信號(hào)的生成。具體而言，利用生成對抗網(wǎng)絡(luò)在學(xué)習(xí)數(shù)據(jù)分布和特征表示上的能力，我們將從語義空間獲得的融合特征和隨機(jī)向量輸入至生成網(wǎng)絡(luò);隨后，把生成的觸覺信號(hào)與真實(shí)的觸覺信號(hào)輸入至鑒別器;通過生成器和鑒別器的對抗訓(xùn)練，不斷地迭代優(yōu)化降低損失直至最優(yōu)。

為了驗(yàn)證上述跨模態(tài)信號(hào)恢復(fù)（AVHR）方案，我們將AVHR在觸覺紋理（LMT）數(shù)據(jù)集[18]上進(jìn)行實(shí)驗(yàn)，并與另外兩種觸覺信號(hào)恢復(fù)方法進(jìn)行了比較。我們采用了聯(lián)合編碼分類網(wǎng)絡(luò)（JEC-GAN）[15]和深度視觸學(xué)習(xí)（DVHL）[16]的對比方法。其中，JEC-GAN將每個(gè)模態(tài)的實(shí)例編碼到共享的固有空間，然后利用成對約束使視觸樣本在固有空間接近，最后將視覺信息作為輸入，重構(gòu)相應(yīng)的觸覺信號(hào);DVHL方法擴(kuò)展了具有潛在變量的傳統(tǒng)自編碼器并學(xué)習(xí)其深度相關(guān)性。圖5分別展示了不同方法重建出的觸覺信號(hào)以及所屬類別的準(zhǔn)確度，結(jié)果表明本文所提的方法能夠重建出更接近真實(shí)的高質(zhì)量觸覺信號(hào)。

2.3觸覺信號(hào)的呈現(xiàn)

在成功接收到觸覺信號(hào)或完成觸覺恢復(fù)后，我們需要對觸覺信號(hào)進(jìn)行呈現(xiàn)，即利用特定的硬件裝置來處理接收到的信號(hào)，然后模擬產(chǎn)生與物體接觸時(shí)的觸感，使用戶感受到物體的彈性、剛度、摩擦等物理屬性和形狀紋理等幾何屬性，從而提升用戶的交互式體驗(yàn)。

典型的觸覺呈現(xiàn)硬件裝置分為觸摸屏、觸覺筆、可穿戴系統(tǒng)、空氣觸覺系統(tǒng)、動(dòng)覺呈現(xiàn)設(shè)備等，如圖6所示。

（1）觸摸屏：基于觸摸屏的表面觸覺信息，通過改變觸覺面板與指尖之間的摩擦力來呈現(xiàn)觸覺。

（2）觸覺筆：常用于手寫學(xué)習(xí)系統(tǒng)或觸覺游戲中，可分為基于靜電力振動(dòng)的觸覺筆和基于振動(dòng)電機(jī)和壓力傳感器的觸覺筆。

（3）可穿戴設(shè)備：可以依附于身體的各個(gè)部位而不受工作空間的限制，例如，觸覺手套、觸覺機(jī)械臂、觸覺背心等。通過向特定皮膚提供觸覺反饋，可以大大提高交互性。例如，Immersion公司的觸覺反饋手套CyberTouch，在手掌與手指部位設(shè)置多個(gè)觸覺振動(dòng)器，通過改變各個(gè)振動(dòng)器的振動(dòng)強(qiáng)度產(chǎn)生不同的觸感壓力，讓用戶感受到物體的形狀。

（4）空氣觸覺系統(tǒng)：通過氣壓沖擊、超聲波等方式傳遞能量，使用戶無須直接接觸便能產(chǎn)生觸覺感知。例如，觸覺反饋裝置HaptiRead能通過精確模式的超聲波脈沖，讓視力受損的人感受到再現(xiàn)于半空中的盲文。

3觸覺通信原型系統(tǒng)

基于現(xiàn)有觸覺通信技術(shù)，我們搭建了基于觸覺感知的醫(yī)療診斷模擬系統(tǒng)以及基于機(jī)械手臂的遠(yuǎn)程觸摸控制原型系統(tǒng)。

圖7為我們開發(fā)的基于觸覺感知的醫(yī)療診斷模擬系統(tǒng)，用于輔助外科實(shí)習(xí)醫(yī)生進(jìn)入臨床環(huán)境之前的訓(xùn)練和教學(xué)。如圖7左圖所示，我們首先對人體皮膚和傷口進(jìn)行3D建模，并給模型附著對應(yīng)的真實(shí)觸覺感應(yīng)，然后與觸覺力反饋設(shè)備GeomagicTouchX進(jìn)行聯(lián)合編程調(diào)試，最后實(shí)現(xiàn)了皮膚縫合診斷模擬。在圖7右圖中，通過利用真實(shí)口腔的3D模型和收集到的相關(guān)觸覺感知信息，能夠在接收端感知到口腔不同部位的真實(shí)觸覺感受，比如牙齦的光滑柔軟感和牙齒的硬物感。未來，我們的目標(biāo)是將系統(tǒng)應(yīng)用于遠(yuǎn)程康復(fù)、針灸中。這不僅包含觸覺信息，也包括器官表面及內(nèi)部的圖像紋理等視聽覺信息，以實(shí)現(xiàn)音視觸信息的協(xié)同傳輸與綜合處理，增強(qiáng)用戶在操作端的真實(shí)感和沉浸體驗(yàn)。

圖8是我們開發(fā)的遠(yuǎn)程表面材質(zhì)觸摸控制原型系統(tǒng)。該系統(tǒng)能夠應(yīng)用于遠(yuǎn)程工業(yè)控制中需要感知物體材質(zhì)表面觸覺的場景和任務(wù)。該原型系統(tǒng)采用觸覺力反饋設(shè)備GeomagicTouch作為控制端，優(yōu)傲機(jī)械臂（UR3）作為受控端，并在手指處裝有Teckscan薄膜觸覺壓力傳感器，來感知不同的物體屬性。通過機(jī)械手在材料表面觸摸和滑動(dòng)，Teckscan薄膜觸覺壓力傳感器收集機(jī)械手指尖按壓材料得到的壓力信號(hào)，并將該壓力數(shù)據(jù)作為觸覺信號(hào)。其中，壓力傳感器的采樣頻率約200Hz。同時(shí)，攝像機(jī)和麥克風(fēng)能采集到對應(yīng)的視頻和音頻信號(hào)?？刂贫丝梢园l(fā)送控制命令，以控制機(jī)械手臂、接收觸覺反饋。遠(yuǎn)程機(jī)械手臂端可以執(zhí)行相應(yīng)的指令，并提供觸覺信號(hào)以及對應(yīng)的音視頻信號(hào)。目前，該系統(tǒng)已經(jīng)成功實(shí)現(xiàn)了木材、紙板、絲綢、泡沫等9類材質(zhì)表面觸覺的采集、傳輸、識(shí)別，識(shí)別準(zhǔn)確率高達(dá)90%。此外，當(dāng)發(fā)生觸覺信號(hào)的受損、缺失時(shí)，依據(jù)上述跨模態(tài)觸覺信號(hào)恢復(fù)算法，我們能夠利用接收的音、視頻信號(hào)進(jìn)行相應(yīng)的觸覺信號(hào)恢復(fù)。

4結(jié)束語

本文中，聚焦于觸覺通信中的發(fā)送端信號(hào)獲取和接收端觸覺恢復(fù)技術(shù)，我們首先對觸覺感受、觸覺信號(hào)的采集設(shè)備以及觸覺信號(hào)的表征進(jìn)行了描述，接著針對觸覺通信過程中可能存在的信號(hào)缺失、干擾等問題，面向觸覺業(yè)務(wù)和多模態(tài)業(yè)務(wù)場景，分別提出了同模態(tài)和跨模態(tài)的觸覺信號(hào)恢復(fù)技術(shù)，最后簡要介紹了目前所開發(fā)的一些觸覺通信原型系統(tǒng)。對于未來觸覺通信的研究，除了探索更有效的觸覺編碼方案、更可靠的傳輸機(jī)制、更靈活的資源管理方案[19]等外，面對用戶對視聽觸感沉浸式綜合體驗(yàn)的更高需求，建立面向音頻、視頻、觸覺信號(hào)協(xié)同傳輸與處理的跨模態(tài)通信策略[20]將成為學(xué)術(shù)界和工業(yè)界研究和關(guān)注的熱點(diǎn)。

參考文獻(xiàn).

[1]QIAO Y，ZHENG Q，LIN Y，et al.Haptic communication：toward 5G tactile Internet[C]//2020 Cross Strait Radio Science & Wireless Technology Conference （CSRSWTC）.IEEE，2020：1-3.

DOI：10.1109/CSRSWTC50769.2020.9372659

[2]GUPTA R，TANWAR S，TYAGI S，et al.Tactile-Internet-based telesurgery system for healthcare 4.0：an architecture，research challenges，and future directions[J].IEEE network，2019，33（6）：22-29.

DOI：10.1109/mnet.001.1900063

[3]WEI X，DUAN Q，ZHOU L.A QoE-driven tactile Internet architecture for smart city[J].IEEE network，2020，34（1）：130-136.

DOI：10.1109/MNET.001.1900078

[4]CULBERTSON H，SCHORR S B，OKAMURA A M.Haptics：the present and future of artificial touch sensation[J].Annual review of control，robotics，and autonomous systems，2018，1（1）：385-409.

DOI：10.1146/annurev-control-060117-105043

[5]JONES L A，LEDERMAN S J.Human hand function[M].USA：Oxford University Press，2006

[6]LAWRENCE D A.Stability and transparency in bilateral teleoperation[J].IEEE transactions on robotics and automation，1993，9（5）：624-637.

DOI：10.1109/70.258054

[7]GUI M，XU X，STEINBACH E.Adaptive packet rate control for the mitigation of bursty haptic traffic in teleoperation systems[C]//2020 IEEE Haptics Symposium （HAPTICS）.IEEE，2020：134-139.

DOI：10.1109/HAPTICS45997.2020.ras.HAP20.18.6a51e1e1

[8]STRESE M，SCHUWERK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.

DOI：10.1109/TOH.2016.2625787

[9]CHU V，MCMAHON I，RIANO L，et al.Robotic learning of haptic adjectives through physical interaction[J].Robotics and autonomous systems，2015，63：279-292.DOI：10.1016/j.robot.2014.09.021

[10]LEDERMAN S J，KLATZKY R L.Extracting object properties through haptic exploration[J].Acta psychologica，1993，84（1）：29-40.

DOI：10.1016/0001-6918（93）90070-8

[11]STEINBACH E，STRESE M，EID M，et al.Haptic codecs for the tactile Internet[J].Proceedings of the IEEE，2019，107（2）：447-470.

DOI：10.1109/JPROC.2018.2867835

[12]GOKHALE V，NAIR J，CHAUDHURI S.Congestion control for network-aware telehaptic communication[J].ACM transactions on multimedia computing，communications，and applications，2017，13（2）：1-26.

DOI：10.1145/3052821

[13]王守相 ，陳海文 ，潘志新 ，等 .采用改進(jìn)生成式對抗網(wǎng)絡(luò)的電力系統(tǒng)量測缺失數(shù)據(jù)重建方法[J].中國電機(jī)工程學(xué)報(bào) ，2019，39（1）：56-64

[14]WEI X，ZHOU L.AI-enabled cross-modal communications[J].IEEE wireless communications，2021，28（4）：182-189.

DOI：10.1109/MWC.001.2000448

[15]PURRI M，DANA K.Teaching cameras to feel：estimating tactile physical properties of surfaces from images[EB/OL].（2020-04-29）[2021-11-07].

https：//arxiv.org/abs/2004.14487

[16]TAKAHASHI K，TAN J.Deep visuo-tactile learning：estimation of tactile properties from images[C]//2019 International Conference on Robotics and Automation （ICRA）.

IEEE：8951-8957，2019.DOI：10.1109/ICRA.2019.8794285

[17]WEI X，SHI Y，ZHOU L.Haptic signal reconstruction for cross-modal communications[EB/OL].[2021-11-10].

https：//ieeexplore.ieee.org/document/9577216.DOI：10.1109/TMM.2021.3119860，2021

[18]STRESE M，SCHUWEK C，IEPURE A，et al.Multimodal feature-based surface material classification[J].IEEE transactions on haptics，2017，10（2）：226-239.DOI：10.1109/TOH.2016.2625787

[19]YUAN Z，WEI X，CHEN J，et al.Ultra-reliability connectivity with redundant D2D transmission scheme for tactile Internet[C]//2019 IEEE Globecom Workshops （GC Wkshps）.IEEE，2019：1-6.

DOI：10.1109/GCWkshps45667.2019.9024454

[20]ZHOU L，WU D，CHEN J，et al.Cross-modal collaborative communications[J].IEEE wireless communications，2020，27（2）：112-117.

DOI：10.1109/MWC.001.1900201

作者簡介

劉恒發(fā)，南京郵電大學(xué)在讀博士研究生;主要研究方向?yàn)槎嗝襟w大數(shù)據(jù)分析與處理。

魏昕，南京郵電大學(xué)教授;主要研究領(lǐng)域?yàn)槎嗝襟w通信、多媒體大數(shù)據(jù)分析與處理;先后主持和參加各類科研項(xiàng)目20余項(xiàng);發(fā)表論文70余篇，出版英文學(xué)術(shù)專著1部。