一種面向視觸融合人機交互的柔性觸覺傳感陣列

王爽 吳兵 劉倩

摘要：提出了一種面向視觸融合人機交互的三維柔性觸覺傳感器以及相應的觸覺采集軟硬件裝置，用于采集真實物理操作過程中的觸覺力信息。該觸覺傳感器由前、左、右3面組成，可佩戴在人手指尖部位并捕捉抓取過程中的觸覺信息。通過實驗測量，該傳感器的測量范圍是0～20N，檢測精度為0.1N，平均響應時間為23.8ms，能夠提供實時、高精度的觸覺信息采集。

關鍵詞：柔性觸覺傳感器;觸覺互聯(lián)網(wǎng);虛擬現(xiàn)實

Abstract：Aflexible3Dhapticsensorandthecorrespondingsignalacquisitionsoftwareandhardwaretocollecttactileinformationduringrealphysicaloperationareproposed.Thetactilesensorconsistsofthefront，left，andrightsides，whichcanbewornatthefingertipsofthehumanhandandcapturethetactileinformationduringgrasping.Throughexperimentalresults，thesensorcanrangefrom0to20Nwithadetectionaccuracyof0.1Nandanaverageresponsetimeof23.8ms，whichenablestoprovidereal-timeandhigh-precisionhapticacquisition.

Keywords：flexiblehapticsensor;tactileInternet;virtualreality

1觸覺通信的發(fā)展

早在1948年，美國Arogonne國家實驗室開發(fā)的用于核反應堆操作的機械式力矩反饋主-從系統(tǒng)開創(chuàng)了遙操作研究的先河。隨后，美國Utah大學開發(fā)了具有高保真力反饋的主-從遙操作系統(tǒng)，用以完成多種海底精細作業(yè)任務[1]。日本港灣空港技術研究所也研制了水下作業(yè)工程機械力反饋遙操作系統(tǒng)，使水下作業(yè)的效率基本達到了陸地水平[2]。2010年，日本慶應義塾大學成功研制了觸覺鉗子手術機器人，并通過小鼠肝臟組織剝離實驗證實：該觸覺鉗子能夠?qū)崿F(xiàn)在醫(yī)院的樓宇范圍內(nèi)高性能的觸覺傳遞，使醫(yī)生在遠離“患者”的位置也能清晰地感覺到鉗子與活體組織間微弱的觸感[3]。近年來，隨著中國空間站計劃、“嫦娥”探月計劃、“蛟龍”深海潛水器等項目的啟動實施，有觸覺傳遞功能的機械臂也正逐漸獲得更密切的關注?？梢钥闯?，觸覺通信技術目前在醫(yī)療外科、水下勘探、軍事排雷等各個領域的應用不斷增加，這使得人類用戶可以在安全距

離執(zhí)行復雜的甚至是非常危險的任務[4]。

隨著5G通信、云計算和虛擬現(xiàn)實（VR）等技術的發(fā)展，低延遲高可靠的觸覺互聯(lián)網(wǎng)通信成為可能。觸覺互聯(lián)網(wǎng)能夠提供實時的觸覺控制和遠端物理觸覺體驗，在視觸覺融合的人機交互等領域有廣泛的應用前景。特別是在VR領域，觸覺可以作為目前主流基于視覺VR技術的補充，給用戶帶來更加強烈的沉浸感。這主要體現(xiàn)在與皮膚接觸時使用振動或靜電沖擊來模擬觸感。通過使用觸覺執(zhí)行器（專門開發(fā)的手套、鞋子、操縱桿等），用戶可以從手中或身體的其他部位獲得計算機程序的反饋。史蒂文·斯皮爾伯格的《ReadyPlayerOne》展示了未來VR世界，讓用戶注意到高質(zhì)量沉浸式體驗不僅需要視覺，還需要觸覺反饋?，F(xiàn)在越來越多的公司開發(fā)了面向觸覺的設備，如GloveoneVR手套、微軟PIV?OT[5]等。然而，人類的觸覺感知和通過觸覺導向設備進行的觸覺演示之間仍然存在一定差距。在多模態(tài)人機交互應用中，這種差距一般通過觸覺渲染[6]來彌補，而觸覺渲染算法的基礎是真實物理操作過程中的觸覺信息。因此，能夠提供原始觸覺數(shù)據(jù)基礎的觸覺傳感器成為實現(xiàn)高保真視觸覺融合人機交互應用的必然需求。

本文提出了一種新型的柔性分布式觸覺傳感器，該傳感器采用壓阻式原理，具有多接觸面多（底、左、右3面）、重量輕、體積小等特點。它可以穿戴于人體的指尖、機械手或機械臂的末端夾持器上。同時，針對該分布式柔性觸覺傳感器，本文提出相應的信號檢測軟硬件系統(tǒng)。由于獨特的3面設計，使觸覺傳感器更適用于采集人手或靈巧末端夾持機構(gòu)（例如五指靈巧機械手）抓取時多姿態(tài)、多接觸面的觸覺信息，進而能夠更準確地為VR觸覺渲染和機械手仿人抓取提供數(shù)據(jù)支撐。

2觸覺傳感器介紹

Z.KAPPASSOV將觸覺傳感器定義為一種能夠獲取被接觸物體屬性的設備[7]。觸覺傳感器按照工作原理可分為壓阻式、壓電式、光學式、磁力式等。其中，壓阻式觸覺傳感器通過測量敏感材料的電阻值變化來檢測施加力的大小和位置等信息。壓阻式觸覺傳感器的原理簡單、成本低，因此得到了廣泛應用。壓阻式觸覺傳感器根據(jù)敏感材料的不同，又分為微機電系統(tǒng)（MEMS）應變計類、導電聚合物類、導電橡膠類和導電溶液類。MEMS應變計利用的是導體或半導體在外力作用下產(chǎn)生機械變形時電阻會發(fā)生變化的特性。典型器件是美國伊利諾伊大學香檳分校利用聚酰亞胺（PI）作為基底設計的仿生皮膚。導電聚合物類觸覺傳感器是以導電聚合物（例如離子聚合物Fle?mion導電膜）作為敏感材料的。導電橡膠類傳感器是在有機彈性材料（如硅橡膠）中添加炭黑、碳納米管等導電顆粒制成柔性導電復合材料。典型器件是美國馬里蘭大學研發(fā)的觸覺傳感器，使用混有碳納米管的聚二甲基硅氧烷（PDMS）作為敏感材料，以PDMS作為基底封裝。導電溶液類觸覺傳感器的典型代表是美國南加州大學研制的BioTac觸覺仿生手指，可以直接安裝在機械手上[8]。壓阻式觸覺傳感器各種類別的優(yōu)缺點總結(jié)如表1所示。

S.TESHIGAWARA等設計了一種基于壓阻效應的觸覺傳感器，并利用物體滑動時的頻率變化進行滑移檢測[9]。A.SCHMITZ等設計了一款電容式壓力分布傳感器，并部署在iCub仿人機器人上[10]。P.A.SCHMIDT等設計了一款電容式傳感器，能夠感知到5mN的力值變化，但傳感器優(yōu)缺點傳感器在抓取過程中容易損壞[11]。B.CHOI等設計了一種具有微型指尖觸覺傳感器的擬人機械手SKKU-HandII，其機械手指尖安裝了由基于偏氟乙烯（PVDF）和壓變電阻組成的觸覺傳感器，能夠感知機械手抓取過程中的力變化[12]。BioTac是SynTouch公司開發(fā)的一款能夠感知壓力、溫度和振動信息的觸覺傳感器，3種觸覺信息通過3組獨立的傳感器實現(xiàn)，然后集成到一起。M.K.JOHNSON等設計一款能夠顯示物體表面幾何信息的觸覺傳感器GelSight，主體由凝膠和相機構(gòu)成[13]，傳感器表面是一塊涂有反光材料的透明彈性體膜。當物體接觸到傳感器時，彈性體發(fā)生變形。通過相機捕捉彈性體的變形信息，即可重建出接觸物體的表面信息。S.SUNDARAM等設計了一款由壓阻膜組成的可伸縮觸覺手套，每個觸覺手套上含有548個觸覺傳感器。通過觸覺手套可以識別單個物體、估計其重量，還可以探索抓取物體過程中的典型觸覺模式[14]。

3觸覺傳感陣列設計與觸覺信號檢測套件

3.1傳感器設計與制作

傳感器采用雙面布線的方式，一共分為5層，整體結(jié)構(gòu)如圖1所示：第1層為柔性非導電材料層，使用聚對苯二甲酸乙二醇酯（PET）薄膜;第2層為電極層，采用噴墨打印的方式將導電銀漿在第1層上印刷4行導線和28個圓形電極;中間層（第3層）是力敏材料層，可將石墨烯力敏油墨印刷于圓形電極處;第4層為對稱電極層，也采用噴墨打印的方式將導電銀漿在PET層上印刷7列導線和28個圓形電極;第5層也是柔性非導電材料PET聚酯薄膜，第4層的導電銀漿也印刷在其上。第2層和第4層可以互換。因此，傳感器有4行7列，共有28個傳感單元、11條輸出導線。其中，11條導線分別代表4行和7列，用來定位每個感應點。

為了更好地貼合機械手，傳感器表面設有引導線，可按引導線進行彎折。另外，考慮彎折處應力產(chǎn)生的測量誤差，我們需要在彎折引導線附近對基材進行鏤空設計。這時信號采集的電極線向遠離彎折線的方向避讓。

觸覺傳感器的制作過程共分為3步：第1步是在150°下預縮PET聚酯薄膜，并將它作為雙面基底，厚度為50um;第2步是在上層基底噴墨印刷7列導電銀漿布置電路，厚度為5um，下層基底噴墨印刷4行導電銀漿布置電路，厚度為5um;第3步是在兩層銀導線中間噴墨印刷石墨烯力敏油墨，厚度為20um。整個傳感器一共有4行7列，共28個單元，左邊第2列和第3列以及右邊第2列和第3列中間有引導線（可彎折形成3面結(jié)構(gòu)）。這4列傳感單元圓心距為8mm，其他列傳感單元圓心距為7mm。傳感器成品整體長58mm，列寬32mm，厚度為130um。

3.2觸覺信號采集

傳感陣列的等效電阻如圖2所示，觸覺信號的采集通過循環(huán)掃描電路實現(xiàn)，并利用零電位法（紅色小電阻）來消除環(huán)路干擾（原理如圖3所示）。當硬件實現(xiàn)時，7條列導線用單片機循環(huán)選通，并通過模數(shù)轉(zhuǎn)換器（ADC）采集4條行導線的輸出電壓。假設位于第i行、第j列的傳感單元受壓力，則力敏電阻值ri，j發(fā)生變化。由式（1）可知，輸出電壓Vout的值將發(fā)生變化;受到的壓力越大，輸出電壓值越大。

（1）

其中，Vdd表示電源輸入電壓，Rref表示參考電阻。因此，通過循環(huán)掃描開關陣列1（Switch1）的第i行和開關陣列2（Switch2）的第j列，測量輸出電壓值，即可獲得觸覺傳感器28個傳感單元的受壓力大小。

觸覺信號的具體采集流程如圖4所示。首先我們初始化7個通用型輸入輸出（GPIO）引腳口，用于選通并拉高電壓;然后定義4路ADC采集通道，用于將模擬信號轉(zhuǎn)換為單片機可以處理的數(shù)字信號;最后初始化通用異步收發(fā)器（UART）模塊，用于將單片機采集回的數(shù)據(jù)上傳給上位機。初始化完成后，待上位機發(fā)送指令，觸覺信號采集軟硬件設備開始采集觸覺信號。首先，GPIO選通某一列，然后激活ADC，從而對四行電壓進行采樣。如此循環(huán)7次，得到28個電壓采樣值，再通過圖5所示的測力計進行標定。

4有限元仿真

當傳感器受力時，中間的力敏材料層產(chǎn)生微小位移，阻值發(fā)生改變。通過測量電阻值的變化量可求出每個傳感單元上方的一維力大小，通過獲取多個單元的電阻變化就可以計算出整個傳感器的三維合力大小。

傳感器為集成在機器人指端的觸覺傳感器。通過將傳感器貼附在機器人指端，我們可以獲取指端接觸物體時的觸覺信息。傳感器三維模型與尺寸如圖6所示，每個傳感單元可等效為直徑3mm、厚30um的圓柱。傳感器主要由PET聚酯薄膜、導電銀漿和石墨烯力敏油墨組成，貼附在指端基體上。為簡化仿真實驗，我們將導電銀漿和石墨烯力敏油墨合并成一層。

我們使用有限元分析軟件對傳感器進行仿真實驗，分析每個傳感單元受法向載荷和切向載荷作用時對應的應力分布情況。圖7展示了不同情況下的指端與接觸面的相對表現(xiàn)和受力分析。

綜上所示，本項目設計的觸覺傳感器切實可行，具有觸覺壓力場和滑移剪切力場三維的精確感知能力。

5實驗結(jié)果及參數(shù)指標

我們使用如圖5所示的測力計作為標準壓力信號值，從而將力信號的大小與傳感器測量的電壓信號一一對應。實驗結(jié)果如圖8中的綠點所示。為了對力與電壓的關系進行建模，我們對測試數(shù)據(jù)進行曲線擬合，具體如圖8中的藍線所示。力與電壓的關系為：f（x）=p1?x3+p2?x2+p3?x+p4。其中，p1、p2、p3、p4分別等于4.121、-4.129、8.506、-0.8206。如圖8所示，當壓力處于20N以下時，力與電壓的關系是非線性關系，可以認為此區(qū)間為傳感單元非線性受力區(qū)間。從圖8可以看出，該傳感器在0～20N具有較高的靈敏度。當測力計以0.1N穩(wěn)定施加時，傳感器有穩(wěn)定的反饋，即所提出的觸覺傳感器測量精度為0.1N。觸覺傳感器的另一個關鍵性能參數(shù)是響應時間，它表示測力計開始向傳感器單元提供壓力與計算機打印出電壓信號的時間差。響應時間即響應延遲，由周期延遲（由DSP掃描過程引起）和輸出延遲（由計算機引起）組成。由于提出的觸覺傳感器陣列包含4×7個傳感器單元，因此ADC每次讀取4行，循環(huán)7次則可以完成一個周期的采集。其中，一次循環(huán)延遲≈ADC采集延遲+電壓穩(wěn)定延遲，周期延遲≈（ADC采集4行信號的采集延遲+電壓穩(wěn)定延遲）×7（列），多次測量獲得平均響應時間為23.8ms。

圖9展示了傳感器在不同受力情況下的觸覺熱力圖。可以看出，在傳感器底部均勻受力情況下，每一列上的壓力大致相同;在傳感器底部受力不均勻情況下，從左到右各列壓力值依次減小。圖10展示了傳感器在物體表面滑動時的實時受力情況。在傳感器上固定了一個橡皮擦，然后拖動它滑過在桌面上固定好的牙簽?？梢钥闯?，本文提出的傳感器準確地感知了整個過程中力的變化。

6結(jié)束語

本文中，我們提出了一種基于壓阻原理的三維柔性觸覺傳感器陣列。該傳感器通過測量所有單元的電阻變化來確定整個三維陣列的力。該傳感器的關鍵性能參數(shù)在0～20N的測量范圍內(nèi)，檢測精度為0.1N，平均響應時間為23.8ms。該傳感器可為多模式人機交互應用中的觸覺算法提供數(shù)據(jù)基礎，對仿人機器人抓取也有一定的指導意義。

參考文獻

[1]JACOBSENS.Designofamultipledegreeoffreedom，forcereflectivehandmaster/slavewithahighmobilitywrist[EB/OL].[2021-11-04].https：//scholarsarchive.byu.edu/facpub/2108/

[2]HIRABAYASHIT，AKIZONOJ，YAMOMOTOT，etal.Teleoperationofconstructionma‐chineswithhapticinformationforunderwaterapplications[J].Automationinconstruction，2006，15（5）：563-570

[3]MOTOOKAW，NOZAKIT，MIZOGUCHIT，etal.Developmentof16-DOFtelesurgicalfor‐cepsmaster/slaverobotwithhaptics[C]//IECON2010-36thAnnualConferenceonIEEEIndustrialElectronicsSociety.IEEE，2010：2081-2086.DOI：10.1109/IECON.2010.5675353

[4]XUX，SINGHH，LIUQ，etal.Anovelenergycompensationschemeforqualityenhance‐mentintime-delayedteleoperationwithmulti-DoFhapticdatareductionandcom‐munication[J].IEEEtransactionsonhaptics，3379（99）：1.DOI：10.1109/TOH.2021.3103379

[5]KOVACSR，OFEKE，GONZALEZFRANCOM，etal.HapticPIVOT：on-demandhand‐heldsinVR[C]//Proceedingsofthe33rdAn‐nualACMSymposiumonUserInterfaceSoftwareandTechnology.ACM，2020：1046-1059.DOI：10.1145/3379337.3415854

[6]ZHOURG，WANGDX，ZHANGYR.Hapticrenderingoftissueboundaryforsurgicaltraining[C]//2008IEEE/ASMEInternationalConferenceonAdvancedIntelligentMecha‐tronics.IEEE，2008：949-954.DOI：10.1109/AIM.2008.4601789

[7]KAPPASSOVZ，CORRALESJA，PER‐DEREAUV.Tactilesensingindexterousro‐bothands-review[J].Roboticsandautono‐moussystems，2015，74：195-220.DOI：10.1016/j.robot.2015.07.015

[8]WETTELSN，SANTOSVJ，JOHANSSONRS，etal.Biomimetictactilesensorarray[J].Advancedrobotics，2008，22（8）：829-849.DOI：10.1163/156855308X314533

[9]TESHIGAWARAS，TSUTSUMIT，SUZUKIY，etal.Highspeedandhighsensitivityslipsensorfordexterousgrasping[J].Journalofroboticsandmechatronics，2012，24（2）：298-310.DOI：10.20965/jrm.2012.p0298

[10]SCHMITZA，MAIOLINOP，MAGGIALIM，etal.Methodsandtechnologiesfortheimple‐mentationoflarge-scalerobottactilesensors

[J].IEEEtransactionsonrobotics，2011，27（3）：389-400.DOI：10.1109/TRO.2011.2132930

[11]SCHMIDTPA，MA?LE，W?RTZRP.A

sensorfordynamictactileinformationwithapplicationsinhuman-robotinteractionandobjectexploration[J].Roboticsandautono‐moussystems，2006，54（12）：1005-1014.DOI：10.1016/j.robot.2006.05.013

[12]CHOIB，LEES，CHOIHR，etal.Develop‐mentofanthropomorphicrobothandwithtactilesensor：SKKUhandII[C]//2006IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.IEEE，2006：3779-3784.DOI：10.1109/IROS.2006.281763

[13]JOHNSONMK，COLEF，RAJA，etal.Mi‐crogeometrycaptureusinganelastomericsen‐sor[J].ACMtransactionsongraphics，2011，30（4）：1-8.DOI：10.1145/2010324.1964941

[14]SUNDARAMS，KELLNHOFERP，LIYZ，etal.Learningthesignaturesofthehumangraspusingascalabletactileglove[J].Na‐ture，2019，569（7758）：698-702.DOI：10.1038/s41586-019-1234-z

作者簡介

王爽，大連理工大學在讀碩士研究生;主要研究領域為機器人觸覺抓取。

吳兵，大連理工大學在讀碩士研究生;主要研究領域為機器人抓取、視觸覺融合。

劉倩（通信作者），大連理工大學計算機學院副教授、IEEE觸覺編碼國際標準任務組秘書長;主要研究領域為視觸覺融合人機交互、多模態(tài)感知與信息傳輸;發(fā)表論文20余篇。