基于觸覺序列的物體分類

網(wǎng)絡出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150610.1558.001.html

基于觸覺序列的物體分類

馬蕊1,2,3，劉華平2,3，孫富春2,3，高蒙1

(1.石家莊鐵道大學 電氣與電子工程學院，河北 石家莊 050043；2.清華大學 計算機科學與技術系，北京 100084;3.清華大學 智能技術與系統(tǒng)國家重點實驗室，北京 100084)

摘要：通過安裝觸覺傳感器的靈巧手對物體進行抓取，可以采集到豐富的觸覺序列信息。對這些觸覺信息進行分類可以顯著提高機器人的環(huán)境感知和靈巧操作能力。為此，將觸覺序列劃分為一系列子觸覺序列，使用基于線性動態(tài)系統(tǒng)(LDS)的方法進行特征提取。由于使用LDS提取的特征存在于非歐式空間，在對特征進行處理時，使用與歐式距離不同的馬丁距離(Martin distance)作為量度來表征2個LDS特征之間的距離，并使用K-Medoid算法進行聚類。而后使用聚類得到的碼書表征觸覺序列，完成系統(tǒng)包(bag-of-system)特征模型構建，并利用支持向量機(SVM)實現(xiàn)高效分類。最后使用16種實驗樣本構建的觸覺序列數(shù)據(jù)集對上述算法進行評測，獲得了可觀的識別效果，表明了該算法可以用于觸覺序列的物體分類。

關鍵詞：物體分類；觸覺序列；線性動態(tài)系統(tǒng)；系統(tǒng)包；馬丁距離；支持向量機；K-Medoid算法

DOI:10.3969/j.issn.1673-4785.201408026

中圖分類號：TP24 文獻標志碼：A

收稿日期：2014-08-20. 網(wǎng)絡出版日期：2015-06-10.

基金項目：國家“973”計劃資助項目(2013CB329403)；國家自然科學基金重大國際合作研究項目(61210013).

doiK-Med算法首先在數(shù)據(jù)中選取一些點作為聚類中心，剩余的點根據(jù)與聚類中心點的距離進行分組。聚類中心可以作為數(shù)據(jù)平面的中心點，其選取遵循該點與其他數(shù)據(jù)點的平方距離和最小這一原則，這種距離可以為馬丁距離、歐式距離或者其他距離。

doi使用K-Med算法對馬丁距離矩陣D進行聚類后，得到由LDS特征組建的碼書，其中k為聚類中心個數(shù)，每組LDS特征被稱為碼詞(Codeword)。

doi2)使用馬丁距離計算動態(tài)特征之間的距離，并使用K-Med算法進行聚類，組建碼書。

作者簡介：

中文引用格式：馬蕊，劉華平，孫富春，等. 基于觸覺序列的物體分類[J]. 智能系統(tǒng)學報, 2015, 10(3): 362-368.

英文引用格式：MA Rui, LIU Huaping, SUN Fuchun, et al. Object classification based on the tactile sequence[J]. CAAI Transactions on Intelligent Systems, 2015, 10(3): 362-368.

Object classification based on the tactile sequence

MA Rui1,2,3, LIU Huaping2,3, SUN Fuchun2,3, GAO Meng1

(1. College of Electrical and Electronic Engineering, Shijiazhuang Railway University, Shijiazhuang 050043, China; 2. Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 3. State Key Laboratory of Intelligent Technology and System, Tsinghua University, Beijing 100084, China)

Abstract：A large amount of information on tactile sequences can be collected by using a dexterous hand with a tactile sensor to grasp different objects. The abilities of a robot's environmental perception and dexterous manipulation are significantly improved after these tactile sequences are classified. Therefore, tactile sequences are separated into a series of subgroups and features are extracted by using a method based on the linear dynamical system (LDS). Since the features extracted by LDS are located in the non-Euclidean space, when dealing with these features, the Martin distance which is a measurement different from Euclidean distance is applied to represent the distance between two LDS features, and the K-Medoid algorithm is used for clustering. Then, the codebook which is formed after clustering is used to represent the tactile sequence, the model of bag-of-system is formed, and the support vector machine (SVM) is used to classify these objects efficiently. Finally, a dataset based on 16 objects is used to evaluate the algorithm and the result of recognition is good, which proves this algorithm can be used in tactile sequences for object classification.

Keywords：object classification; tactile sequence; linear dynamical system (LDS); bag-of-system; Martin distance; support vector machine (SVM); K-Medoid algorithm

通信作者：馬蕊. E-mail: marui519@126.com.

觸覺是一種基本的感覺方式，無論對于人類自身還是機器人，觸覺信息都是與周圍環(huán)境進行交流的重要媒介。人類使用皮膚上的觸覺器官來感知物體的溫度，合理地抓取物品，并通過觸摸來分辨視覺上看似相同但材質(zhì)不同的物體。對于機器人系統(tǒng)，觸覺信息可以幫助機器人完成檢查和控制物體擺放位置、識別抓取物體等任務，這對于實現(xiàn)機器人的外部環(huán)境探索和對物體的操控，有著極其重要的意義。

迄今為止，人們對機器人感知，包括基于觸覺的抓取穩(wěn)定性、目標分類等方面進行了廣泛而深入的研究，特別是人工智能的理論研究方法在機器人領域取得了巨大的成就[1]。文獻[2]中對機器人情感描述模型進行了研究。文獻[3]描述了安裝胡須型觸覺傳感器的移動機器人進行目標定位和目標抓取的過程。在文獻[4]中，作者通過使用靈巧手對大量物體抓取的仿真實驗，提供了一個可以對抓取穩(wěn)定性進行預測的數(shù)據(jù)集合。文獻[5-6]使用Schunk三指和兩指靈巧手對一系列物體進行抓取，并對抓取數(shù)據(jù)使用隱馬爾科夫模型(hidden mark models, HMMs)方法進行處理，實現(xiàn)對抓取穩(wěn)定性的判斷。文獻[7]中，作者將自制觸覺傳感器安裝在Schunk二指靈巧手手指兩端，對剛性和非剛性物體進行抓取實驗，使用觸覺信息對抓取物體進行分類。文獻[8]使用綜合稀疏編碼算法(spatio-temporal online recursive kernel Gaussian process, STORK-GP)對5指iCub機器人靈巧手觸覺進行采樣數(shù)據(jù)以及目標分類預測和不確定性估計。文獻[9]使用神經(jīng)網(wǎng)絡方法對物體的觸覺數(shù)據(jù)進行分類，與文獻[10]中使用提取特征來組成模型袋來進行物體的分類有著很大的區(qū)別。另外，文獻[11]中描述了使用C4.5算法對觸覺數(shù)據(jù)進行處理以實現(xiàn)物體分類。

對觸覺信息建模的工具為線性動態(tài)系統(tǒng)(linear dynamical system, LDS)[12]，該模型使用歐幾里德距離作為LDS的距離量度，用于觸覺建模。由于LDS并非存在于歐式空間，因此該方法具有較強的局限性。為解決上述問題，本文使用可對LDS進行充分刻畫的Martin距離作為量度工具，采用機器學習領域中流行的Bag-of-Words框架對觸覺數(shù)據(jù)進行分析，并且將其與LDS相結(jié)合構建了Bag-of-System框架，最后進行實驗驗證。另外本文構建了由16種實驗樣本組成的觸覺數(shù)據(jù)集，與國外同類研究中的觸覺數(shù)據(jù)集規(guī)模相比有一定優(yōu)勢。

1觸覺序列分類

本節(jié)將詳細描述提取LDS特征、完成碼書組建、最終將得到的觸覺序列系統(tǒng)包模型與物體標簽送入SVM中訓練分類器的方法。

1.1LDS建模

基于觸覺序列的分類方法是通過局部特征提取以實現(xiàn)全局類別界定，因此，需將觸覺序列分為一系列子序列，并對每組子觸覺序列進行特征提取。參照文獻[13]中的方法對觸覺序列進行分段處理，其中子序列分段個數(shù)d與窗函數(shù)寬度L會影響分類準確率，這將在實驗驗證部分詳細介紹。

假設存在正整數(shù)n、對稱正定矩陣Q∈Rn×n和R∈Rp×p，則有

(1)

式中：x(t)∈Rp為t時刻的隱狀態(tài)序列；A為隱狀態(tài)動態(tài)矩陣，C為系統(tǒng)的隱狀態(tài)輸出矩陣，且滿足A∈Rn×n，C∈Rp×n；w(t)與Bv(t)分別表示估計值和狀態(tài)噪聲，并且滿足Bv(t)~N(0,Q)，w(t)~N(0,R)。

文獻[15]中已經(jīng)驗證元組(A,C)可以體現(xiàn)動態(tài)序列的時間特性與空間特性，結(jié)合文獻[12]中基于LDS的建模方法，本文也選用觀測序列的元組(A,C)表征動態(tài)系統(tǒng)的特性。但由于實驗中觸覺數(shù)據(jù)集樣本的觀測序列的維數(shù)p=24較高，上述計算過程會比較復雜，因此對觀測序列進行主成分分析(principalcomponentanalysis,PCA)降維。由圖1所示的PCA衰減曲線可知，隨著維數(shù)不斷增加，系統(tǒng)主成分含量隨之減少，選取主成分含量約為90%時所對應的維數(shù)作為降維處理后的維數(shù)，即m=5。

圖1　主成分衰減曲線 Fig. 1　Decaying curve of principle component

使用奇異值分解(single value decomposition, SVD)對降維處理后的觀測序列進行計算：

(2)

使用最小方差法計算隱狀態(tài)動態(tài)矩陣A：

(3)

式中：?表示Moore-Penrose廣義逆。

就此完成了觸覺序列的特征提取，得到一系列觀測矩陣元組(A,C)。但這種特征不能作為特征向量直接送入SVM中訓練分類器，還需對其進行后續(xù)處理。

1.2碼書組建

1.2.1馬丁距離

對于提取的特征存在于歐式空間的分類算法，其特征之間的距離需使用歐式距離來衡量。然而，2組LDS特征M1=(A1,C1)、M2=(A2,C2)存在于非歐式空間中，參照文獻[16]中的方法，使用馬丁距離來衡量LDS之間的距離。

馬丁距離是基于2個系統(tǒng)之間的空間角定義的，這種空間角又稱為觀測子序列模型參數(shù)的規(guī)則角(principleangles)。在系統(tǒng)中，即為LDS特征之間的規(guī)則角，定義為

(4)

式中：A為隱狀態(tài)動態(tài)矩陣，C為系統(tǒng)的隱狀態(tài)輸出矩陣，?(M)表示特征之間的規(guī)則角。

對于任意2個模型之間規(guī)則角的計算，首先使用李雅普方程求解P矩陣：

(5)

式中：

(6)

最終得到特征M1與M2之間的馬丁距離dM(M1,M2)：

(7)

使用上述方法進行計算后，得到特征間的馬丁距離矩陣：

式中：md表征所有的子觸覺序列。

1.2.2聚類

聚類是碼書構建過程中不可或缺的一部分，且聚類中心個數(shù)k的選取直接影響數(shù)據(jù)分類的準確性。K-Means與K-Medoid是2種常用的聚類算法。由于使用K-Means算法需要將上述馬丁距離轉(zhuǎn)換為歐式距離后進行運算，而K-Medoid算法可以直接使用馬丁距離進行運算，因此，選用K-Medoid算法進行聚類。

1.3系統(tǒng)包模型

假設在第i組觸覺序列中，第j組碼詞出現(xiàn)的次數(shù)為cij次，則有

(8)

經(jīng)過上述過程，得到觸覺序列系統(tǒng)包，它由m組特征向量組成，可與物體標簽一起送入SVM中訓練分類器。

1.4分類器設計

(9)

(10)

對于多分類問題，SVM使用+1標記屬于該類別的樣本,而使用-1進行標記不屬于該類別的樣本，并采用“一對多”的方法，設置一系列子分類器訓練分類器，分別計算各個子分類器的決策函數(shù)值，選取最大函數(shù)值所對應的類別作為測試數(shù)據(jù)的標簽：

(11)

1.5 算法流程

如圖2所示，算法流程步驟如下：

1)將每組觸覺序列分為d組觸覺子序列，使用LDS模型對每組子序列進行建模，分別提取子觸覺序列的特征M。

3)使用碼書對每組觸覺序列進行表征，得到每組觸覺序列的字典(bag-of-word,BoW)，所有字典組成“系統(tǒng)包”(bag-of-system,BoS)模型。

4)將系統(tǒng)包與物體標簽一起送入SVM訓練分類器。

5)對測試序列進行分類預測時，重復上述過程，送入分類器即可得到物體的標簽。

圖2　算法流程 Fig. 2　The work flow of our method

2實驗結(jié)果與分析

2.1數(shù)據(jù)采集

實驗使用BH8-280三指靈巧手對16種日常用品進行抓取。如圖3所示，實驗物品分別為橙色圓筒、咖啡杯、可樂瓶、瓦力玩具、粉色杯子、企鵝玩偶、熊貓玩偶、塑料三角、透明圓筒、灰色圓筒、紅紙盒、白色紙筒、金色海綿圓筒、褐色海綿圓筒、牛奶盒和金色海綿塊。

圖3　實驗物品 Fig. 3　Experiment objects

對于每一種實驗物體，進行50次抓取實驗，抓取方式參照文獻[12]，靈巧手手掌分別與物體上部、中部和底部的不同部位進行接觸。圖4為企鵝玩偶與靈巧手手掌接觸方式示意圖。

圖4　抓取位姿 Fig. 4　Grasping poses

手掌在抓取不同物體時，實驗物體的材質(zhì)、形狀等物理信息會使觸覺信息產(chǎn)生差異，這種差異可以作為物體識別和分類的依據(jù)[19]。選取8種物體的觸覺序列進行觸覺圖像繪制，如圖5所示，不同物體的抓取圖像有明顯差異。

對觸覺序列進行數(shù)據(jù)處理，選取穩(wěn)定階段的觸覺序列進行分析，將每組樣本長度限定為500個樣本點(采樣時間50 s)，得到800組樣本長度為500的觸覺序列樣本。對于每種物體的50組樣本，隨機選取30組樣本作為訓練集，剩余20組作為測試集，共計480組訓練集樣本，320組測試集樣本。

圖5　觸覺圖像 Fig. 5　Tactile images

2.2分類結(jié)果

如前所述，以下因素會對分類準確率造成影響：子觸覺序列分段個數(shù)d、窗函數(shù)寬度L、聚類中心數(shù)k以及SVM的參數(shù)C、γ。

首先，其余參數(shù)固定不變，使用網(wǎng)格法對SVM的參數(shù)進行調(diào)節(jié)，記錄最優(yōu)準確率下的C、γ參數(shù)，在后續(xù)參數(shù)調(diào)節(jié)過程中，C、γ參數(shù)固定不變。憑經(jīng)驗值選取d值，選取原則為每段子序列中包含盡量完整的特征。確定子序列分段個數(shù)d后，繼續(xù)改變窗函數(shù)寬度L，并記錄不同窗寬下的準確率。由于測試集樣本為隨機選取，為了減小樣本之間的差異，對每組窗寬的取值進行10次實驗，對準確率求取平均值，最終選定L=160。圖6為不同窗寬L下的準確率曲線。

圖6　不同窗寬L的準確率曲線 Fig. 6　Accuracy curves under different value of L

圖7　不同k值下的準確率曲線 Fig. 7　Accuracy curves under different value of k

為了直觀顯示本算法對各物體的識別能力，繪制了最優(yōu)分類時的混淆矩陣。如圖8所示，可以看出該算法可以較好地實現(xiàn)物體的分類。

為與文獻[12]中的K-NN方法進行對比，本文使用K-NN算法對數(shù)據(jù)進行處理。使用相同的訓練集與測試集數(shù)據(jù)來保證實驗的可比性，并對穩(wěn)定抓取階段整體觸覺序列進行建模后使用K-NN算法訓練分類器。圖9為K=1,3,5,7,9時的分類準確率曲線，每組K值進行10次實驗，準確率取平均值。在1-NN時，分類準確率達到最大值73.38%，同時繪制了此時的混淆矩陣，如圖10所示。

圖8　SVM最優(yōu)分類混淆矩陣 Fig. 8　Confusion matrix of SVM at best accuracy

圖9　不同K值下的準確率曲線 Fig. 9　Accuracy curves under different value of K

圖10　1-NN算法最優(yōu)分類混淆矩陣 Fig. 10　Confusion matrix of 1-NN at best accuracy

對比上述2種分類方法的混淆矩陣，可以發(fā)現(xiàn)本文提出的算法進行數(shù)據(jù)分類時，橙色圓筒、熊貓玩偶、白色紙筒等物體的識別率普遍高于K-NN算法，但是透明圓筒、灰色圓筒的識別率略有下降。這可能由于聚類過程中，這些實驗物體的部分特征與其他物體的特征的距離較近而被誤分。但從整體分類情況看，本文算法優(yōu)勢明顯。

3結(jié)束語

本文使用靈巧手手掌穩(wěn)定抓取階段的觸覺數(shù)據(jù)完成LDS觸覺建模。對于隨機選擇的訓練集樣本，進行特征提取等處理后得到系統(tǒng)包模型，并與物體標簽一起送入SVM中訓練分類器實現(xiàn)物體分類。由LDS組建的系統(tǒng)包模型相較于單一的LDS特征可以更有效地捕捉觸覺序列的時空特征，且建模方便，但由于特征存在于非歐式空間中，因此選用馬丁距離進行距離衡量，但過程相對耗時。對比SVM和1-NN 2種分類方法的準確率曲線及混淆矩陣可知，SVM分類方法優(yōu)勢明顯。在今后的研究中，希望將此分類方法與機器人實時抓取任務相結(jié)合，在機器人抓取過程中進行物體類別的判定，實現(xiàn)靈巧抓取。

參考文獻:

[1]李德毅. 網(wǎng)絡時代人工智能研究與發(fā)展[J]. 智能系統(tǒng)學報, 2009, 4(1): 1-6.

LI Deyi. AI research and development in the network age [J]. CAAI Transactions on Intelligent Systems, 2009, 4(1): 1-6.

[2]解侖, 王志良, 余軍. 人工心理情感模型的個人機器人[J]. 智能系統(tǒng)學報, 2009, 4(1): 59-66.

XIE Lun, WANG Zhiliang, YU Jun. A personal robot based on an affective model of artificial psychology[J]. CAAI Transactions on Intelligent Systems, 2009, 4(1): 59-66.

[3]RUSSELL R A, WIJAYA J A. Object location and recognition using whisker sensors[C]//Australian Conference on Robotics and Automation. Brisbane, Australia, 2003: 761-768.

[4]GOLDFEDER C, CIOCARLIE M, DANG H, et al. The Columbia grasp database[C]//IEEE International Conference on Robotics and Automation. Kobe, Japan, 2009: 1710-1716.

[5]BEKIROGLU Y, LAAKSONEN J, JORGENSEN J, et al. Assessing grasp stability based on learning and haptic data[J]. IEEE Transactions on Robotics, 2011, 27(3): 616-629.

[6]BEKIROGLU Y, KRAGIC D, KYRKI V. Learning grasp stability based on tactile data and HMMs[C]//IEEE International Symposium on Robot ad Human Interactive Communication. Viareggio, Italy, 2010: 132-137.

[7]DRIMUS A, KOOTSTRA G, BILBERG A, et al. Design of a flexible tactile sensor for classification of rigid and deformable objects[J]. Robotics and Autonomous Systems, 2014, 62(1): 3-15.

[8]SOH H, SU Y Y, DEMIRIS Y. Online spatio-temporal Gaussian process experts with application to tactile classification[C]//2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura, Portugal, 2012: 4489-4496.

[9]JIMéNEZA A, SOEMBAGIJOB A, REYNAERTSB D, et al. Featureless classification of tactile contacts in a gripper using neural networks[J]. Sensors and Actuators A: Physical, 1997, 62(1/2/3): 488-491.

[10]SCHNEIDER A, STURM J, STACHNISS C, et al. Object identification with tactile sensors using bag-of-features[C]//IEEE/RSJ International Conference on Intelligent Robot Systems. St Louis, USA, 2009: 243-248.

[11]SCHOPFER M, PARDOWITZ M, HASCHKE R, et al. Identifying relevant tactile features for object identification[M]//PRASSLER E, Z?LLNER M, BISCHOFF R. Towards Service Robots for Everyday Environments. Berlin/Heidelberg: Springer, 2012: 417-430.

[12]蕭偉, 孫富春, 劉華平. 機器人靈巧手的觸覺分析與建模[J]. 機器人, 2013, 35(4): 394-401.

XIAO Wei, SUN Fuchun, LIU Huaping. Tactile analysis and modeling of dexterous robotic hand[J]. Robot, 2013, 35(4): 394-401.

[13]BAYDOGAN M G, RUNGER G, TUV E. A bag-of-features framework to classify time series[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2796-2802.

[14]DORETTO G, CHIUSO A, WU Y N, et al. Dynamic textures[J]. International Journal of Computer Vision, 2003, 51(2): 91-109.

[15]RAVICHANDRAN A, CHAUDHRY R, VIDAL R. Categorizing dynamic textures using a bag of dynamical systems[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 342-353.

[16]De COCK K, De MOOR B. Subspace angles between ARMA models[J]. Systems & Control Letters, 2002, 46(4): 265-270.

[17]WANG W, LIU H P, YU L Z, et al. Human activity recognition using smart phone embedded sensors: a linear dynamical systems method[C]//2014 International Joint Conference on Neural Networks (IJCNN). Beijing, China, 2014: 1185-1190.

[18]趙春暉, 陳萬海, 郭春燕. 多類支持向量機方法的研究現(xiàn)狀與分析[J]. 智能系統(tǒng)學報, 2007, 2(2): 11-17.

ZHAO Chunhui, CHEN Wanhai, GUO Chunyan. Research and analysis of methods for multiclass support vector machines[J]. CAAI Transactions on Intelligent Systems, 2007, 2(2): 11-17.

[19]CHITTA S, STURM J, PICCOLI M, et al. Tactile sensing for mobile manipulation[J]. IEEE Transactions on Robotics, 2011, 27(3): 558-568.

馬蕊，女，1990年生，碩士研究生，主要研究方向為機器人智能控制、微機測控技術等。

劉華平，男，1976年生，副教授，主要研究方向為機器人智能控制、視覺目標跟蹤。

孫富春，男，1964年生，教授，博士生導師，中國人工智能學會理事、智能控制與智能管理專業(yè)委員會副主任兼秘書長。主要研究方向為模糊神經(jīng)系統(tǒng)、變結(jié)構控制、網(wǎng)絡控制系統(tǒng)和人工認知系統(tǒng)的信息感知和處理等。