視觸融合傳感技術(shù)發(fā)展現(xiàn)狀及應(yīng)用

文章編號(hào)：1008-1542（2024）06-0644-09

摘" 要：

視觸融合傳感技術(shù)是一種受人類(lèi)視觸覺(jué)協(xié)同調(diào)控人體動(dòng)作行為啟發(fā)，結(jié)合視覺(jué)相機(jī)圖像信息和觸覺(jué)傳感器對(duì)物體和環(huán)境感知信息的集成式傳感器仿生技術(shù)。隨著計(jì)算機(jī)視覺(jué)、神經(jīng)網(wǎng)絡(luò)和觸覺(jué)感知技術(shù)的發(fā)展，在智能機(jī)器人控制和工作過(guò)程中引入視觸融合傳感技術(shù)逐漸成為研究熱點(diǎn)。以不同觸覺(jué)傳感模式劃分總結(jié)了基于反射層光線漫反射、基于標(biāo)記點(diǎn)/物追蹤檢測(cè)、基于光波導(dǎo)和基于仿生學(xué)的視觸覺(jué)傳感器基本原理和發(fā)展現(xiàn)狀，同時(shí)總結(jié)了視觸融合傳感器在物體識(shí)別檢測(cè)、物體滑移以及抓取穩(wěn)定性檢測(cè)和機(jī)器人抓取領(lǐng)域的應(yīng)用現(xiàn)狀，并針對(duì)視觸融合技術(shù)提出以下展望：1）多模態(tài)感知技術(shù)的發(fā)展；2）人機(jī)交互方式的創(chuàng)新；3）智能機(jī)器人控制精度的提升；4）電子消費(fèi)產(chǎn)品的帶動(dòng)。

關(guān)鍵詞：

傳感器技術(shù)；視觸融合；計(jì)算機(jī)視覺(jué)；機(jī)器人感知；仿生學(xué)

中圖分類(lèi)號(hào)：TN958.98

文獻(xiàn)標(biāo)識(shí)碼：A

DOI：10.7535/hbkd.2024yx06009

收稿日期：2024-08-21；修回日期：2024-11-03；責(zé)任編輯：胡姝洋

基金項(xiàng)目：

國(guó)家自然科學(xué)基金（52205306）；河北省高等學(xué)?？茖W(xué)技術(shù)研究項(xiàng)目（QN2024222）；河北省自然科學(xué)基金京津冀基礎(chǔ)研究合作專項(xiàng)（H2022208073）；河北省人力資源和社會(huì)保障廳河北省“三三三人才工程”資助項(xiàng)目（B20221004）；中央引導(dǎo)地方科技發(fā)展資金項(xiàng)目（236Z1816G）

第一作者簡(jiǎn)介：

魏斌（1986—），男，河北石家莊人，講師，博士，主要從事機(jī)器人感知、增材制造方面的研究。

通信作者：

李潔，副教授。E-mail：sjz-lijie@163.com

魏斌，王自豪，王萍，等.

視觸融合傳感技術(shù)發(fā)展現(xiàn)狀及應(yīng)用［J］.河北科技大學(xué)學(xué)報(bào)，2024，45（6）：644-652.

WEI Bin，WANG Zihao，WANG Ping，et al.

Current status and application of visual-tactile sensing technology

［J］.Journal of Hebei University of Science and Technology，2024，45（6）：644-652.

Current status and application of visual-tactile sensing technology

WEI Bin1，WANG Zihao1，WANG Ping1，LI Jie2，LIU Guang1

（1.School of Mechanical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China;

2.Teaching Affairs Office， Shijiazhuang Information Engineering Vocational College， Shijiazhuang， Hebei 050035， China）

Abstract：

Visual tactile fusion sensing technology is an integrated sensor biomimetic technology that combines visual camera image information and tactile sensor perception information of objects and environments， inspired by the coordinated regulation of human visual and tactile movements and behaviors. With the development of computer vision， neural networks， and tactile perception technology， the introduction of visual touch fusion sensing technology in the control and working process of intelligent robots has gradually become a research hotspot. The basic principles and development status of visual tactile sensors was summarized based on different tactile sensing modes， including diffuse reflection of light rays in reflective layers， tracking and detection of marked points/objects， optical waveguides， and bionics. At the same time， the application status of visual touch fusion sensors in object recognition and detection， object slip and grasping stability detection， and robot grasping fields was summarized. Finally， the following prospects were proposed for visual touch fusion technology： 1） development of multimodal perception technology; 2） innovation in human-computer interaction methods; 3） improvement of control accuracy for intelligent robots; 4） drive the consumption of electronic products.

Keywords：

sensor technology; visual and tactile fusion; computer vision; robot perception; bionics

隨著機(jī)器人技術(shù)的不斷發(fā)展，人們不再單單滿足于其能夠完成設(shè)定程序以及功能，對(duì)機(jī)器人的實(shí)時(shí)感知和數(shù)據(jù)反饋能力也提出了更高、更精確的要求。人類(lèi)通過(guò)視覺(jué)、觸覺(jué)、嗅覺(jué)、聽(tīng)覺(jué)和味覺(jué)等多種感官以及物質(zhì)和信息與外部環(huán)境進(jìn)行交互。視覺(jué)將圖像作為載體，在不接觸的情況下接收足夠的信息，直觀且易于分析。相比之下，雖然觸摸接收到的信息量比視覺(jué)少，但它比視覺(jué)要復(fù)雜得多。通過(guò)觸覺(jué)感受到

客觀世界的物理屬性（質(zhì)地、形狀、大小和溫度），產(chǎn)生不同的觸覺(jué)（硬/軟、粗糙/光滑、黏/滑、暖/冷）［1］。

觸覺(jué)感知是機(jī)器人感知環(huán)境并與之交互的關(guān)鍵方式，因此對(duì)于任務(wù)執(zhí)行至關(guān)重要，觸覺(jué)信息對(duì)于機(jī)器人靈巧操控、自主認(rèn)知、人機(jī)交互等方面的研究不可或缺［2］。目前，機(jī)器人觸覺(jué)感知主要通過(guò)電容式［3］、光電式［4］或壓阻式［5］觸覺(jué)傳感器來(lái)獲取信號(hào)并取得了一定進(jìn)展。然而，單一感知方式所能提供的信息是有限的，無(wú)法滿足機(jī)器人在復(fù)雜環(huán)境下的高級(jí)任務(wù)需求。因此，研究者們開(kāi)始探索如何融合多種感知方式，其中視覺(jué)和觸覺(jué)感知融合受到研究者們的廣泛關(guān)注［6］。

伴隨機(jī)器人仿生視覺(jué)觸覺(jué)協(xié)同調(diào)控和視覺(jué)觸覺(jué)傳感器集成概念的提出以及一些該研究領(lǐng)域的著名傳感器如美國(guó)麻省理工學(xué)院的GelSight［7-8］、Gelslim［9-10］傳感器，英國(guó)布里斯托大學(xué)的TacTip［11］系列視觸覺(jué)傳感器，日本東北大學(xué)的FingrVision傳感器［12-13］以及美國(guó)Meta公司的數(shù)字視觸覺(jué)傳感器［14］等設(shè)備的研究和開(kāi)發(fā)，將視覺(jué)和觸覺(jué)傳感器相結(jié)合，利用它們互補(bǔ)的優(yōu)勢(shì)進(jìn)行信息融合成為了一種重要的機(jī)器人感知與控制方法。通過(guò)視覺(jué)和觸覺(jué)信息的融合，機(jī)器人能夠更加準(zhǔn)確地感知目標(biāo)物體的形狀、表面材質(zhì)等信息，實(shí)現(xiàn)更高效、更精確的目標(biāo)識(shí)別、抓取和操作。本文以視觸傳感器中柔性接觸體即視覺(jué)信號(hào)獲取方式的不同，介紹了傳感器的發(fā)展現(xiàn)狀和應(yīng)用現(xiàn)狀，并對(duì)其未來(lái)發(fā)展提出展望。

1" 不同觸覺(jué)傳感模式的視觸融合傳感器

1.1" 基于反射層光線漫反射的視觸融合傳感器

基于反射圖層光線漫反射提取視覺(jué)信號(hào)的視觸覺(jué)傳感器由柔性可變形接觸體、反射涂層、照明組件、傳感器框架和相機(jī)組成，主要特點(diǎn)在于照明組件照射不同顏色的光（通常為RGB三色光源）到涂抹在柔性接觸體的反射涂層上，當(dāng)傳感器與物體發(fā)生物理接觸時(shí)，相應(yīng)變形區(qū)域的光線反射發(fā)生改變并通過(guò)相機(jī)捕捉變形的圖像進(jìn)行處理，獲取接觸物體表面紋理、形狀等信息。

YUAN等［7］研發(fā)的GelSight視觸覺(jué)傳感器是近些年比較典型的視觸覺(jué)傳感器，目前許多視觸傳感器是基于對(duì)此設(shè)備的二次研發(fā)和改進(jìn)。該傳感器采用圓周內(nèi)120°均勻排布的RGB三色光源結(jié)構(gòu)，用內(nèi)置相機(jī)拍攝到充滿不同顏色標(biāo)記的觸覺(jué)圖像，如圖1 a）所示。此類(lèi)型傳感器特點(diǎn)在于采用光度立體算法在傳感器與物體發(fā)生物理接觸時(shí)進(jìn)行幾何形狀模型的高精度重建，在朗伯平面的假設(shè)下，從各個(gè)方向照到平面的光產(chǎn)生均勻的漫反射，可以建立圖像的像素強(qiáng)度與表面法線之間的映射函數(shù)，從而建立表面法線的查找表。從3個(gè)方向的光照條件下捕獲的3幅圖像可以基于光度立體算法重建物體表面的三維形狀，該傳感器可以捕捉到2 μm級(jí)別的微觀表面幾何形狀，靈敏度甚至超過(guò)人類(lèi)指尖［15-16］?；贕elSight傳感器，美國(guó)Meta公司研制開(kāi)發(fā)了DIGIT視觸覺(jué)傳感器［14］，為了更好地應(yīng)用于機(jī)器人操作任務(wù)中，DIGIT視觸覺(jué)傳感器全面優(yōu)化了傳感器的結(jié)構(gòu)設(shè)計(jì)，最終實(shí)現(xiàn)了約25 mm3的體積，可直接集成于Allegro Hand靈巧手指尖區(qū)域，獲取穩(wěn)定可靠的彩色觸覺(jué)圖像，如圖1 b）所示。

除平面反射涂層漫反射提取信號(hào)的設(shè)備類(lèi)型，研究者同樣將目光放到了曲面形式的反射層漫反射視觸傳感器。為了能夠在曲面結(jié)構(gòu)上提取到關(guān)于接觸區(qū)域的三維幾何形狀的密集信息，ROMERO等［17］提出了一種半球面高分辨率觸覺(jué)傳感器，使用不透明的傳感表面。區(qū)別以往通過(guò)方向照明從至少2個(gè)信息源提供關(guān)于x梯度和y梯度信息的照明模式，借光纖全內(nèi)反射現(xiàn)象設(shè)計(jì)出了只提供關(guān)于2個(gè)信息源的x梯度和1個(gè)信息源的y梯度信息的照明模式，用以提供盡可能均勻的照明模式，如圖1 c）所示。2022年，SUN等［18］研發(fā)了低成本的InSight手指觸覺(jué)傳感器，與GelTip傳感器類(lèi)似，其可以實(shí)現(xiàn)整個(gè)手指表面的接觸位置及形變檢測(cè)，如圖1 d）所示。

1.2" 基于標(biāo)記點(diǎn)/物追蹤檢測(cè)的視觸融合傳感器

基于標(biāo)記追蹤的視觸覺(jué)傳感器主要通過(guò)在柔性接觸體表面或者內(nèi)部添加標(biāo)記點(diǎn)或標(biāo)記物，當(dāng)物體與傳感器物理接觸時(shí)，所受到的壓力和剪切力使標(biāo)記點(diǎn)/物大小、位置發(fā)生變化，通過(guò)視覺(jué)技術(shù)分析標(biāo)記點(diǎn)的形狀和位置變化來(lái)推斷接觸體的變形情況。

2021年，英國(guó)布里斯托爾機(jī)器人實(shí)驗(yàn)室（BRL）LEPORA［19］結(jié)合計(jì)算機(jī)深度學(xué)習(xí)技術(shù)改進(jìn)了該實(shí)驗(yàn)室于2009年提出的 TacTip 系列視觸覺(jué)傳感器。其受豐田資助的研究實(shí)驗(yàn)室開(kāi)發(fā)的觸覺(jué)隱形眼鏡啟發(fā)，設(shè)計(jì)了一種人類(lèi)手指仿生真皮結(jié)構(gòu)，即內(nèi)置陣列結(jié)節(jié)針的傳感器結(jié)構(gòu)將柔性接觸體的表面變形放大為針尖上可見(jiàn)標(biāo)記的橫向運(yùn)動(dòng)，且堅(jiān)硬的結(jié)節(jié)針與柔軟的彈性凝膠交錯(cuò)的仿生結(jié)構(gòu)導(dǎo)致皮膚表面的正常應(yīng)變“機(jī)械轉(zhuǎn)導(dǎo)”為皮膚下可測(cè)量的剪切應(yīng)變，如圖2所示。

基于標(biāo)記點(diǎn)和標(biāo)記物物理變化的視觸融合傳感器通常的步驟是從定位黑色或白色標(biāo)記的中心開(kāi)始。利用計(jì)算機(jī)視覺(jué)算法可以很容易地確定每個(gè)標(biāo)記的橫向運(yùn)動(dòng)，并且分布式測(cè)量數(shù)據(jù)足夠豐富，可以識(shí)別物體的性質(zhì)和方向。然而，這些方法不能直接提供界面處的正壓力場(chǎng)和側(cè)壓力場(chǎng)，特別是不能直接觀察到由側(cè)向剪應(yīng)力與正應(yīng)力之比表示的局部摩擦系數(shù)［20］。2010年，SATO等［21］使用與GelForce相同的技術(shù)改進(jìn)設(shè)計(jì)了一種同時(shí)具有紅色和藍(lán)色2種不同顏色標(biāo)記物的視觸傳感器，兼?zhèn)鋵?duì)力和表面牽引場(chǎng)大小的測(cè)量、體積小、高性能3個(gè)特點(diǎn)。該傳感器采用單攝

像頭的模式應(yīng)用阻尼最小二乘法克服了立體相機(jī)計(jì)算三維矢量體積太大的局限性，當(dāng)力施加到表面時(shí)，標(biāo)記會(huì)根據(jù)力的大小和方向移動(dòng)。標(biāo)記的運(yùn)動(dòng)被相機(jī)捕捉到，通過(guò)比較施加力前后標(biāo)記的中心以計(jì)算運(yùn)動(dòng)，如圖3所示。LIN等［20］通過(guò)減色混合設(shè)計(jì)了一個(gè)用以感知機(jī)器人皮膚摩擦狀態(tài)的視觸傳感器，該傳感器設(shè)計(jì)了一組重疊的半透明彩色標(biāo)記。附著在交互表面的標(biāo)記物的變形會(huì)影響其形狀和顏色強(qiáng)度，這使得重建界面處的三維變形場(chǎng)成為可能［19］。

1.3" 基于光波導(dǎo)的視觸融合傳感器

在20世紀(jì)90年代，MAEKAWA等［22］使用光波導(dǎo)技術(shù)開(kāi)發(fā)了一種手指形視覺(jué)觸覺(jué)傳感器，如圖4 a）所示。光波導(dǎo)是一種具有明確界面和確定折射率分布的傳輸介質(zhì)，它對(duì)光的傳播具有確定的限定條件［23］。該設(shè)備中光波導(dǎo)是一個(gè)半球形的玻璃外殼，上面覆蓋有彈性橡膠，波導(dǎo)和蓋板之間存在適當(dāng)?shù)拈g隙。光通過(guò)光纖從外部光源傳輸?shù)焦獠▽?dǎo)的邊緣，并注入到波導(dǎo)中。注入的光在玻璃和空氣的邊界處保持全內(nèi)反射，因此被波導(dǎo)封閉。假設(shè)一個(gè)物體接觸彈性蓋板的表面，當(dāng)蓋板的一部分與波導(dǎo)表面接觸時(shí)，蓋板被壓下，因?yàn)樵谠擖c(diǎn)上不再滿足總內(nèi)反射條件，封閉在玻璃外殼中的光在接觸點(diǎn)上散射，就可以被CCD相機(jī)捕獲觸覺(jué)圖像從而將觸覺(jué)信息轉(zhuǎn)換為視覺(jué)圖像。NAKASHIMA等［24］也基于此原理結(jié)合復(fù)眼相機(jī)設(shè)計(jì)了一種可以在檢測(cè)觸覺(jué)信息的同時(shí)檢測(cè)距離的傳感器，如圖4 b）所示。來(lái)自LED的紅外光被引入透明的亞克力板，對(duì)于入射角大于臨界角的入射光，發(fā)生全內(nèi)反射。3個(gè)攝像頭中的2個(gè)配備了紅外濾光片并接收可見(jiàn)光圖像?？梢酝ㄟ^(guò)透明亞克力板捕捉物體的圖像。分別調(diào)試2個(gè)攝像機(jī)的拍攝視角，獲取空間中的點(diǎn)位信息，計(jì)算傳感器到物體的距離，使用立體匹配從而獲得物體的接近信息。

2024年，YUE等［25］為模擬在皮膚表皮和真皮層之間發(fā)現(xiàn)的獨(dú)特結(jié)構(gòu)，提出了一種以聚二甲基硅氧烷（PDMS）制造的半球體陣列形式的皮膚啟發(fā)傳感結(jié)構(gòu)來(lái)調(diào)制觸覺(jué)傳感器的光源，其中半球形陣列模擬了皮膚表皮和真皮層之間的起伏排列，該傳感器結(jié)合了凹凸不平的PDMS頂層和三色彩色傳感機(jī)制，利用光纖散斑圖進(jìn)行機(jī)械測(cè)量，如圖5所示。傳感器運(yùn)行時(shí)頂部光源投射紅綠藍(lán)三色光至PDMS柔性體內(nèi)，下層采用PDMS制備的下梯形形狀的柔性體。當(dāng)頂部PDMS表面受到力的作用時(shí)，由頂蓋引導(dǎo)的光的色譜會(huì)受到影響。在這種力的作用下，平頂表面發(fā)生變形，使位于施力區(qū)下方的半球體與下梯形截面建立更大的接觸。半球體和梯形頂部表面之間的接觸程度決定了連接到PDMS梯形的光纖收集的光量。因此，光纖的遠(yuǎn)端顯示不同的亮度，隨后影響相機(jī)捕獲的圖像并處理成觸覺(jué)信號(hào)。

1.4" 基于仿生學(xué)的多信號(hào)收集視觸覺(jué)傳感器

基于仿生學(xué)的多信號(hào)收集視觸覺(jué)傳感器的主要傳感模式不再局限于單純依靠視覺(jué)相機(jī)拍攝接觸體表面的形變而引發(fā)的光線散射或者標(biāo)記點(diǎn)/物的變化，該類(lèi)型傳感器柔性接觸體被能提取到多重信號(hào)的觸覺(jué)傳感器替代以模仿人體手指的多信號(hào)感知特性，當(dāng)物體與傳感器發(fā)生位置的距離變化和物理接觸時(shí)，觸覺(jué)傳感器可以單獨(dú)給出觸覺(jué)信號(hào)或者圖像，結(jié)合視覺(jué)相機(jī)拍攝到的觸覺(jué)傳感器表面變形信號(hào)可以獲取物體更多的物理信息和達(dá)到更高的識(shí)別準(zhǔn)確率。

鑒于現(xiàn)有的大多數(shù)觸覺(jué)傳感器不能對(duì)非接觸刺激做出反應(yīng)，限制了在人機(jī)交互（HRI）過(guò)程中對(duì)物體大?。?6］、方向［27］和距離［28］的先驗(yàn)和準(zhǔn)確獲取，清華大學(xué)的MU等［29］受鴨嘴獸喙的電感覺(jué)和機(jī)械感覺(jué)功能啟發(fā)，于2023年基于視觸覺(jué)傳感器設(shè)計(jì)了一款機(jī)電感應(yīng)手指。該設(shè)備通過(guò)在透明彈性體上噴涂液態(tài)金屬聚合物（LMPC）導(dǎo)電墨水形成摩擦電傳感器電極陣列

和視觸覺(jué)傳感器的反射器。

形成微電流，從而借助靜電感應(yīng)為非接觸式傳感提供條件。

由于不同材料之間的電子親和力不同，靜電感應(yīng)改變了摩擦電傳感器陣列電極表面的電荷分布，這種改變將物體運(yùn)動(dòng)編碼為多通道電壓脈沖，同時(shí)仿照GelSight設(shè)計(jì)了相機(jī)拍攝底層硅膠上標(biāo)記點(diǎn)位移的視覺(jué)信號(hào)獲取方式，開(kāi)發(fā)雙峰深度學(xué)習(xí)框架，同時(shí)融合摩擦電和視覺(jué)信號(hào)，如圖6所示。

視觸融合算法的進(jìn)步增強(qiáng)了物體識(shí)別能力，改進(jìn)了抓取策略并能夠更精確地控制機(jī)器人操作設(shè)備。這些觸覺(jué)-視覺(jué)融合技術(shù)使機(jī)器人具有多模態(tài)感知能力，像人類(lèi)一樣可以從多維度感知環(huán)境信息，完成更復(fù)雜和更具挑戰(zhàn)性的任務(wù)［30-31］。然而，為滿足機(jī)器人在現(xiàn)實(shí)生活中完成復(fù)雜任務(wù)的需要，考慮的因素還有很多。就像人類(lèi)一樣，機(jī)器人要與環(huán)境有效互動(dòng)，視覺(jué)、壓力、溫度、熱屬性、紋理和滑動(dòng)等多模態(tài)感知能力必不可少［32-33］。為此MAO等［34］于2024年基于熱敏電阻的溫變檢測(cè)性能開(kāi)發(fā)了一種可以識(shí)別接觸物體壓力、溫度、導(dǎo)熱性、表面紋理和滑動(dòng)狀態(tài)的多模態(tài)感知的視觸覺(jué)傳感器。物體與傳感器發(fā)生接觸時(shí)物體的導(dǎo)熱性能影響膜的傳熱，通過(guò)恒溫差分（CTD）電路對(duì)頂部傳感層的熱膜進(jìn)行電加熱，確保其溫度高于周?chē)h(huán)境，并在接觸物體中產(chǎn)生熱場(chǎng)。在滑動(dòng)時(shí)，熱膜轉(zhuǎn)移到與之接觸的物體上較冷的區(qū)域，導(dǎo)致熱傳遞的變化從而產(chǎn)生信號(hào)。不同類(lèi)型視觸覺(jué)傳感器的特點(diǎn)如表1所示。

2" 視觸融合傳感器應(yīng)用現(xiàn)狀

在機(jī)器人向智能化、自動(dòng)化、集成化和擬人化發(fā)展的探索過(guò)程中，觸覺(jué)傳感器一直扮演著舉足輕重的角色，在一些人類(lèi)不易進(jìn)行工作的狹小空間，觸覺(jué)傳感器的及時(shí)反饋顯得尤為重要。目前關(guān)于觸覺(jué)傳感的研究主要是將壓阻式、光電式、電容式等主要形式的傳感器應(yīng)用于機(jī)器人上，協(xié)助完成物體識(shí)別檢測(cè)、滑移檢測(cè)和機(jī)械手施加力的精準(zhǔn)控制等一系列靈巧操作。而基于視覺(jué)技術(shù)的觸覺(jué)傳感器可以提供高空間分辨率的傳感圖像信息，數(shù)據(jù)采集和傳輸便捷，并且觸覺(jué)活動(dòng)都發(fā)生于傳感皮膚表層而不會(huì)損壞光學(xué)和圖像設(shè)備，易于開(kāi)發(fā)和維護(hù)，可以為機(jī)器人靈巧操作物體提供有力的支撐［35］。

2.1" 物體檢測(cè)與識(shí)別

YUAN等［36］利用GelSight設(shè)計(jì)了一套通過(guò)自主探索過(guò)程來(lái)感知普通衣物材料特性的視觸覺(jué)傳感器，如圖7 a）所示，使用嵌入式攝像機(jī)捕捉彈性體變形并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行多標(biāo)簽分類(lèi)識(shí)別，同時(shí)使用外部Kinect傳感器來(lái)獲取衣服的整體形狀，并訓(xùn)練模型來(lái)挑選褶皺上的優(yōu)選點(diǎn)。在程序設(shè)定下機(jī)器人可進(jìn)行有效探索和進(jìn)行衣物多標(biāo)簽的分類(lèi)，為識(shí)別提供基礎(chǔ)。MA等［37］設(shè)計(jì)了一種用以檢測(cè)桃子成熟度的視觸覺(jué)傳感器并對(duì)內(nèi)置RGB燈光不同擺放位置做了討論，成功開(kāi)發(fā)出用于農(nóng)產(chǎn)品檢測(cè)的視觸傳感技術(shù)。MU等［29］研發(fā)的仿鴨嘴獸機(jī)電感應(yīng)手指利用其緊湊的結(jié)構(gòu)和靈活的電傳感能力，基于可控電場(chǎng)源構(gòu)建了水下應(yīng)用的遠(yuǎn)程控制和勘探系統(tǒng)并能于水下通過(guò)與物體接觸拍攝到清晰圖像以進(jìn)行識(shí)別，如圖7 b）所示。

2.2" 物體滑移檢測(cè)與抓取穩(wěn)定性估計(jì)

人類(lèi)可以通過(guò)分布在掌內(nèi)及指尖的觸覺(jué)感受觸覺(jué)小體快速而準(zhǔn)確地檢測(cè)和預(yù)測(cè)滑動(dòng)的發(fā)生，并及時(shí)做出動(dòng)作補(bǔ)償，從而實(shí)現(xiàn)對(duì)物體的自適應(yīng)抓取和操作。同樣，對(duì)于機(jī)器人靈巧抓取與操作任務(wù)來(lái)說(shuō)，觸覺(jué)傳感器對(duì)滑動(dòng)的感知也非常重要［6］。崔少偉等［38］研發(fā)了一種結(jié)合視觸覺(jué)傳感器和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的感知算法（VTF-DNN），通過(guò)機(jī)械手裝載觸覺(jué)傳感器進(jìn)行大量物體識(shí)別訓(xùn)練并達(dá)到92.5%的成功率。DONG等［8］提出新的視觸傳感器設(shè)計(jì)方案，通過(guò)計(jì)算標(biāo)記點(diǎn)最大位移距離和外圍區(qū)域中標(biāo)記物的移動(dòng)距離比值設(shè)定閾值來(lái)檢測(cè)、判定物體的滑移現(xiàn)象，如圖8 a）所示。YUAN等［7］探究到GelSight彈性體表面位移場(chǎng)反映了接觸面處的外載荷，有效地指示了剪切載荷過(guò)程中部分滑移的程度，接觸區(qū)域內(nèi)位移幅度的不均勻程度與局部滑移程度相匹配，從而采用熵值法對(duì)物體滑移狀態(tài)進(jìn)行檢測(cè)與判定，如圖8 b）所示。

2.3" 機(jī)器人抓取

感知物體的能力是機(jī)器人與世界互動(dòng)的基本技能?，F(xiàn)有的感知方法主要依靠視覺(jué)傳感器跟蹤目標(biāo)狀態(tài)。針對(duì)強(qiáng)遮擋情形，使用觸覺(jué)傳感和視覺(jué)抓取結(jié)合受到學(xué)術(shù)界和工業(yè)界廣泛關(guān)注［38-39］。CALANDRA等［40］基于視觸融合技術(shù)提出了一種動(dòng)作-條件抓取模型并將其應(yīng)用于機(jī)械手，模型通過(guò)構(gòu)造多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)預(yù)測(cè)不同抓取調(diào)整姿態(tài)的成功率，然后通過(guò)系統(tǒng)迭代選擇最優(yōu)方案，如圖9所示。SHE等［41］搭建了一個(gè)感知-控制框架，通過(guò)結(jié)合電纜抓地力控制器和電纜姿態(tài)控制器2種觸覺(jué)傳感器，估計(jì)電纜抓握在機(jī)械手中的姿勢(shì)以及電纜的摩擦力，同時(shí)結(jié)合視觸覺(jué)傳感器來(lái)獲得實(shí)時(shí)觸覺(jué)反饋信息，實(shí)現(xiàn)只依靠觸覺(jué)信息跟隨懸掛電纜（可變形線性物體）的高精度靈巧任務(wù)。WANG等［42］使用GelSight傳感器提供的信息來(lái)學(xué)習(xí)對(duì)象屬性的低維嵌入以及其本身的屬性，以自監(jiān)督的方式學(xué)習(xí)嵌入并使用它來(lái)優(yōu)化動(dòng)態(tài)手持操作任務(wù)的性能。學(xué)習(xí)的嵌入作為輸入，借助一個(gè)擺動(dòng)角度預(yù)測(cè)器來(lái)找到擺動(dòng)任務(wù)的最優(yōu)控制參數(shù)。同時(shí)這種嵌入在新任務(wù)中具有可移植性，可以使用它直接回歸到如質(zhì)量、質(zhì)心、慣性矩和摩擦等物體參數(shù)上。

3" 挑戰(zhàn)與展望

3.1" 挑戰(zhàn)

盡管計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展為傳統(tǒng)意義上的觸覺(jué)傳感器應(yīng)用帶來(lái)了新的革新，但作為一種新興技術(shù)，欲將其實(shí)際投入到智能機(jī)器人運(yùn)作和農(nóng)業(yè)、工業(yè)生產(chǎn)線中為人們帶來(lái)更加便捷高效的生活仍然存在著許多挑戰(zhàn)。

1）設(shè)備集成度較低" 視觸覺(jué)傳感器設(shè)計(jì)的目的之一便是用小體積設(shè)備去提取例如壓力、應(yīng)變、接觸物體表面紋理及形狀在內(nèi)的多重物理信號(hào)，為機(jī)器人自主識(shí)別環(huán)境條件和智能化操作創(chuàng)造基礎(chǔ)。而受微機(jī)電系統(tǒng)發(fā)展和觸覺(jué)傳感器表面材料性質(zhì)及功能單一性的限制，目前視觸覺(jué)傳感器只能被設(shè)計(jì)應(yīng)用于例如觸覺(jué)指尖等機(jī)器人結(jié)構(gòu)耦合設(shè)計(jì)方案的特定條件下，通過(guò)優(yōu)化設(shè)計(jì)光路的方式來(lái)提高視觸覺(jué)傳感器的空間集成度是接下來(lái)視觸覺(jué)傳感器邁向真正具有高空間分辨率觸覺(jué)傳感皮膚的關(guān)鍵所在［6］。

2）設(shè)備制造成本過(guò)高" 高精度視覺(jué)相機(jī)以及物理性能優(yōu)越的觸覺(jué)傳感器在開(kāi)發(fā)過(guò)程中需要大量的實(shí)驗(yàn)器材以及昂貴的硬件條件及精密的制造設(shè)備，且大多觸覺(jué)傳感器處于實(shí)驗(yàn)室階段無(wú)法大規(guī)模投入使用，仍停留在如何實(shí)現(xiàn)傳感功能的階段。同時(shí)受到材料研發(fā)的限制，導(dǎo)致其信號(hào)采集速率及準(zhǔn)確性仍需進(jìn)一步優(yōu)化，測(cè)量量程需進(jìn)一步擴(kuò)大。因此，如何降低此類(lèi)高科技產(chǎn)品制造成本，實(shí)現(xiàn)更廣泛的商業(yè)應(yīng)用，是一個(gè)亟待解決的問(wèn)題。

3）數(shù)據(jù)集收集、融合問(wèn)題" 視觸覺(jué)傳感器需要集成同時(shí)處理來(lái)自視覺(jué)相機(jī)的圖像信號(hào)以及來(lái)自觸覺(jué)傳感器的物理信號(hào)，對(duì)數(shù)據(jù)采集、數(shù)據(jù)集構(gòu)建以及異構(gòu)數(shù)據(jù)歸一化處理提出新的挑戰(zhàn)。而融合不同模態(tài)的觸覺(jué)和視覺(jué)數(shù)據(jù)，并找到它們之間的相關(guān)特性是關(guān)鍵問(wèn)題。盡管聯(lián)合稀疏編碼為多模態(tài)融合提供了有效策略，但觸覺(jué)視覺(jué)融合的通用解決方法仍面臨多個(gè)待解決問(wèn)題［41］。

3.2" 展望

通過(guò)逐步改進(jìn)現(xiàn)有的視觸融合傳感設(shè)備，結(jié)合深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用和柔性觸覺(jué)傳感器的發(fā)展，在未來(lái)該技術(shù)會(huì)擁有更加全面的功能以及更高的效率和準(zhǔn)確性，為智能機(jī)器人在其他領(lǐng)域的應(yīng)用帶來(lái)革新。

1）多模態(tài)感知技術(shù)的發(fā)展" 人類(lèi)通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等多感官系統(tǒng)進(jìn)行對(duì)環(huán)境的感知與交互，隨著仿生理念的提出，具備多模態(tài)感知功能的觸覺(jué)傳感器在機(jī)器人智能化環(huán)境感知和運(yùn)動(dòng)控制領(lǐng)域的發(fā)展日漸火熱，機(jī)器視覺(jué)驅(qū)動(dòng)的觸覺(jué)感知技術(shù)展現(xiàn)出廣闊的應(yīng)用前景，預(yù)示著在機(jī)器人技術(shù)中，多模態(tài)感知技術(shù)將進(jìn)一步提升機(jī)器人的環(huán)境適應(yīng)性和任務(wù)執(zhí)行能力。

2）人機(jī)交互模式的創(chuàng)新" 柔性化觸覺(jué)傳感器的發(fā)展預(yù)示著視觸覺(jué)傳感器將通過(guò)遠(yuǎn)程電信號(hào)的采集和處理協(xié)助遠(yuǎn)程機(jī)器人操作，多模態(tài)信號(hào)感知為機(jī)器人提供更加全面豐富的作業(yè)環(huán)境信息，為機(jī)器人智能化提供新的方向和技術(shù)手段。

3）智能機(jī)器人控制精度的提升" 設(shè)備集成度的提高使得視觸覺(jué)傳感器能夠提取到更多信號(hào)，對(duì)于環(huán)境和工作條件的感知能力進(jìn)一步提升。伴隨數(shù)據(jù)處理技術(shù)的增強(qiáng)，視觸覺(jué)傳感器信號(hào)的及時(shí)反饋能力也將得到大幅提升。通過(guò)滑移檢測(cè)、溫變檢測(cè)等方式采集、分析反饋信號(hào)并作出調(diào)整，為機(jī)器人完成更高精度和效率的工作創(chuàng)造條件。

4）電子消費(fèi)產(chǎn)品的帶動(dòng)" 視觸融合傳感器有望為虛擬現(xiàn)實(shí)（VR）技術(shù)等一系列電子設(shè)備帶來(lái)視覺(jué)、觸覺(jué)多方面的使用體驗(yàn)，豐富用戶感知，通過(guò)提供高空間分辨率和多模態(tài)觸覺(jué)感知能力，為電子產(chǎn)品消費(fèi)市場(chǎng)帶來(lái)新的增長(zhǎng)點(diǎn)，尤其是在提升用戶體驗(yàn)和感知維度方面。

參考文獻(xiàn)/References：

［1］" WANG Fei，LI Yucheng，TAO Liangze，et al.A human-like siamese-based visual-tactile fusion model for object recognition［J］.IEEE Transactions on Cognitive and Developmental Systems，2024，16（3）：850-863.

［2］" LIN Zhonglin，ZHUANG Jiaquan，LI Yufeng，et al.GelFinger：A novel visual-tactile sensor with multi-angle tactile image stitching［J］.IEEE Robotics and Automation Letters，2023，8（9）：5982-5989.

［3］" WANG Xiaoyou，WANG Lei，PENG Simin，et al.Microsphere-structured protein hydrogel dielectrics for capacitive wearable sensors［J］.Biomacromolecules，2024，25（6）：3651-3660.

［4］" WANG Lu，BODA M A，CHEN Chen，et al.Ferroelectric，flexoelectric and photothermal coupling in PVDF-based composites for flexible photoelectric sensors［J］.Materials Horizons，2024，11（21）：5295-5303.

［5］nbsp; COHEN-GERASSI D，MESSER O，F(xiàn)INKELSTEIN-ZUTA G，et al.Conductive peptide-based MXene hydrogel as a piezoresistive sensor［J］.Advanced Healthcare Materials，2024.DOI： 10.1002/adhm.202303632.

［6］" 崔少偉，王碩，胡靜怡，等.面向機(jī)器人操作任務(wù)的視觸覺(jué)傳感技術(shù)綜述［J］.智能科學(xué)與技術(shù)學(xué)報(bào)，2022，4（2）：184-199.

CUI Shaowei，WANG Shuo，HU Jingyi，et al.A survey of visuotactile sensing technologies for robotic manipulation［J］.Chinese Journal of Intelligent Science and Technology，2022，4（2）：184-199.

［7］" YUAN Wenzhen，DONG Siyuan，ADELSON E H.GelSight： High-resolution robot tactile sensors for estimating geometry and force［J］.Sensors，2017.DOI： 10.3390/s17122762.

［8］" DONG Siyuan，YUAN Wenzhen，ADELSON E H.Improved GelSight tactile sensor for measuring geometry and slip［C］//2017 IEEE/RSJ International Conference on Intelligent Robots and Systems.Vancouver：IEEE，2017：137-144.

［9］" ELLIOTT D，DONG Siyuan，MELODY L，et al.GelSlim：A high-resolution，compact，robust，and calibrated tactile-sensing finger［C］//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS）.Madrid：IEEE，2018：1927-1934.

［10］TAYLOR I H，DONG Siyuan，RODRIGUEZ A.GelSlim3.0：High-resolution measurement of shape，force and slip in a compact tactile-sensing finger［C］//2022 International Conference on Robotics and Automation（ICRA）.Philadelphia：IEEE，2022：10780-10787.

［11］WARD-CHERRIER B，PESTELL N，CRAMPHORN L，et al.The TacTip family：Soft optical tactile sensors with 3D-printed biomimetic morphologies［J］.Soft Robotics，2018，5（2）：216-227.

［12］YAMAGUCHI A，ATKESON C G.Combining finger vision and optical tactile sensing：Reducing and handling errors while cutting vegetables［C］//2016 IEEE-RAS 16th International Conference on Humanoid Robots （Humanoids）.Piscataway：IEEE，2016：1045-1051.

［13］YAMAGUCHI A，ATKESON C G.Tactile behaviors with the vision-based tactile sensor FingerVision［J］.International Journal of Humanoid Robotics，2019.DOI： 10.1142/S0219843619400024.

［14］LAMBETA M，CHOU Powei，TIAN S，et al.DIGIT：A novel design for a low-cost compact high-resolution tactile sensor with application to in-hand manipulation［J］.IEEE Robotics and Automation Letters，2020，5（3）：3838-3845.

［15］JOHNSON M K，COLE F，RAJ A，et al.Microgeometry capture using an elastomeric sensor［J］.ACM Transactions on Graphics（TOG），2011，30（4）：1-8.

［16］LI Rui，ADELSON E H.Sensing and recognizing surface textures using a GelSight sensor［C］//2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE，2013：1241-1247.

［17］ROMERO B，VEIGA F，ADELSON E.Soft，round，high resolution tactile fingertip sensors for dexterous robotic manipulation［C］//2020 IEEE International Conference on Robotics and Automation （ICRA）.Paris：IEEE，2020：4796-4808.

［18］SUN Huanbo，KUCHENBECKER K J，MARTIUS G.A soft thumb-sized vision-based sensor with accurate all-round force perception［J］.Nature Machine Intelligence，2022，4（2）：135-145.

［19］LEPORA N F.Soft biomimetic optical tactile sensing with the TacTip：A review［J］.IEEE Sensors Journal，2021，21（19）：21131-21143.

［20］LIN Xi，WIERTLEWSKI M.Sensing the frictional state of a robotic skin via subtractive color mixing［J］.IEEE Robotics and Automation Letters，2019，4（3）：2386-2392.

［21］SATO K，KAMIYAMA K，KAWAKAMI N，et al.Finger-shaped GelForce：Sensor for measuring surface traction fields for robotic hand［J］.IEEE Transactions on Haptics，2010，3（1）：37-47.

［22］MAEKAWA H，TANIE K，KOMORIYA K.A finger-shaped tactile sensor using an optical waveguide［C］//Proceedings of IEEE Systems Man and Cybernetics Conference-SMC.Le Touquet：IEEE，1993：403-408.

［23］吳重慶.光波導(dǎo)理論［M］.北京：清華大學(xué)出版社，2023.

［24］NAKASHIMA H，KAGAWA K，SHIMONOMURA K.Combined tactile and proximity sensor employing compound-eye camera［J］.Ite Transactions on Media Technology and Applications，2015，3（4）：227-233.

［25］YUE Shichao，XU Minzhi，CHE Zifan.A skin-inspired PDMS optical tactile sensor driven by a convolutional neural network［J］.IEEE Sensors Journal，2024，24（6）：8651-8660.

［26］GUO Zihao，WANG Hailu，SHAO Jiajia，et al.Bioinspired soft electroreceptors for artificial precontact somatosensation［J］.Science Advances，2022.DOI：10.1126/sciadv.abo5201.

［27］CAN BERMDEZ G S，KARNAUSHENKO D D，KARNAUSHENKO D，et al.Magnetosensitive e-skins with directional perception for augmented reality［J］.Science Advances，2018.DOI：10.1126/sciadv.aao2623.

［28］ZHU Shanshan，LI Yuanheng，YELEMULATI H，et al.An artificial remote tactile device with 3D depth-of-field sensation［J］.Science Advances，2022.DOI： 10.1126/sciadv.abo5314.

［29］MU Shilong，LI Shoujie，ZHAO Hongfa，et al.A platypus-inspired electro-mechanosensory finger for remote control and tactile sensing［J］.Nano Energy，2023.DOI： 10.1016/j.nanoen.2023.108790.

［30］JIAO Chenlei，SUN Tao，LIAN Binbin，et al.Visual-tactile object recognition of a soft gripper based on faster region-based convolutional neural network and machining learning algorithm［J］.International Journal of Advanced Robotic Systems，2020.DOI：10.1177/1729881420948727.

［31］CORRADI T，HALL P，IRAVANI P.Object recognition combining vision and touch［J］.Robotics and Biomimetics，2017.DOI： 10.1186/s40638-017-0058-2.

［32］ZHANG Tao，CONG Yang，SUN Gan，et al.Visual tactile fusion object clustering［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（6）：10426-10433.

［33］DONG Jiahua，CONG Yang，SUN Gan，et al.Lifelong robotic visual-tactile perception learning［J］.Pattern Recognition，2022.DOI： 10.1016/j.patcog.2021.108176.

［34］MAO Qian，LIAO Zijian，YUAN Jinfeng，et al.Multimodal tactile sensing fused with vision for dexterous robotic housekeeping［J］.Nature Communications，2024.DOI： 10.1038/s41467-024-51261-5.

［35］鄒宜楨.基于視覺(jué)的觸覺(jué)傳感器及其在機(jī)器人靈巧操作中的應(yīng)用研究［D］.杭州：浙江大學(xué)，2023.

ZOU Yizhen. Research on Vision-Based Tactile Sensor and Its Application in Robotic Dexterous Manipulation［D］.Hangzhou：Zhejiang University，2023.

［36］YUAN Wenzhen，MO Yuchen，WANG Shaoxiong，et al.Active clothing material perception using tactile sensing and deep learning［C］//2018 IEEE International Conference on Robotics and Automation （ICRA）.Brisbane：IEEE，2018：4842-4849.

［37］MA Chan，YING Yibin，XIE Lijuan.Visuo-tactile sensor development and its application for non-destructive measurement of peach firmness［J］.Computers and Electronics in Agriculture，2024.DOI： 10.1016/j.compag.2024.108709.

［38］崔少偉，魏俊杭，王睿，等.基于視觸融合的機(jī)器人抓取滑動(dòng)檢測(cè)［J］.華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，48（1）：98-102.

CUI Shaowei，WEI Junhang，WANG Rui，et al.Robotic grasp slip detection based on visual-tactile fusion［J］.Journal of Huazhong University of Science and Technology（Nature Science Edition），2020，48（1）：98-102.

［39］尹寶凡，楊靜，李少波，等.視觸覺(jué)傳感器融合應(yīng)用研究現(xiàn)狀［C］//2023中國(guó)自動(dòng)化大會(huì)論文集.重慶：［s.n.］，2023：138-145.

［40］CALANDRA R，OWENS A，JAYARAMAN D，et al.More than a feeling：Learning to grasp and regrasp using vision and touch［J］.IEEE Robotics and Automation Letters，2018，3（4）：3300-3307.

［41］SHE Yu，WANG Shaoxiong，DONG Siyuan，et al.Cable manipulation with a tactile-reactive gripper［J］.The International Journal of Robotics Research，2021，40（12/13/14）：1385-1401.

［42］WANG Chen，WANG Shaoxiong，ROMERO B，et al.SwingBot：Learning physical features from in-hand tactile exploration for dynamic swing-up manipulation［C］//2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）.Las Vegas：IEEE，2020：5633-5640.