面向靈巧操作的視覺目標(biāo)識別

雷麗充，劉華平，孫富春，高蒙，張軍惺

（1.中鐵十七局集團(tuán)有限公司 勘察設(shè)計(jì)院，山西 太原 030032； 2.清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，北京 100084； 3.石家莊鐵道大學(xué) 電氣與電子工程學(xué)院, 河北 石家莊 050043）

?

面向靈巧操作的視覺目標(biāo)識別

雷麗充1,2，劉華平2，孫富春2，高蒙3，張軍惺3

（1.中鐵十七局集團(tuán)有限公司 勘察設(shè)計(jì)院，山西 太原 030032； 2.清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室，北京 100084； 3.石家莊鐵道大學(xué) 電氣與電子工程學(xué)院, 河北 石家莊 050043）

為了能夠?qū)崿F(xiàn)靈巧手對目標(biāo)物體進(jìn)行精準(zhǔn)操作，研究了一種利用Kinect檢測出目標(biāo)物體，在幀差法的基礎(chǔ)上對獲取的深度進(jìn)行背景相減，獲取出目標(biāo)物體的運(yùn)動點(diǎn)，在此基礎(chǔ)上利用獲取的目標(biāo)物體的特征采用T-S模糊邏輯判斷出目標(biāo)物體的方法，以BH8-280對目標(biāo)物體進(jìn)行抓取實(shí)驗(yàn)為例，在實(shí)驗(yàn)中，Kinect在幀差法的基礎(chǔ)上檢測出目標(biāo)物體的位姿，大小，形狀，以此為基礎(chǔ)建立起T-S模糊邏輯系統(tǒng)，判斷出目標(biāo)物體的屬性和類別，通過實(shí)驗(yàn)結(jié)果進(jìn)一步說明了利用本文研究的方法顯著地提高了判斷物體的準(zhǔn)確率和效率，為靈巧手的精細(xì)控制抓取奠定了基礎(chǔ)。

Kinect；視覺；背景相減法；幀差法；T-S模糊邏輯；目標(biāo)識別；精細(xì)控制；靈巧操作

目前，隨著靈巧手在各個方面的應(yīng)用越來越廣泛，對靈巧手的研究越來越深入，尤其對控制系統(tǒng)投入了大量的研究，但是對控制的研究也是以鑒別出目標(biāo)物體為前提的。因此，對目標(biāo)識別的智能識別研究也成為了研究熱點(diǎn)之一。

目標(biāo)識別的智能識別研究就是在計(jì)算機(jī)領(lǐng)域內(nèi)模擬生物的視覺系統(tǒng)功能對目標(biāo)物體進(jìn)行辨認(rèn)。目標(biāo)識別是利用攝像機(jī)對場景的記錄，獲取到環(huán)境狀態(tài)信息，通過信息、數(shù)據(jù)的變化采集到運(yùn)動區(qū)域，通過對數(shù)據(jù)的分析尋找到感興趣的范圍。近年來，學(xué)者們一直在努力探索，在文獻(xiàn)[1-3]中闡述了目標(biāo)識別近年來在軍事上和民間的發(fā)展和應(yīng)用。文獻(xiàn)[4]中采用了雙目系統(tǒng)對目標(biāo)物體進(jìn)行識別，文獻(xiàn)[5]采用了多傳感器對目標(biāo)物體的識別，文獻(xiàn)[6]主要提出了有效的地標(biāo)視覺提取和識別的方法，這些研究極大地促進(jìn)了目標(biāo)識別的發(fā)展，為后續(xù)任務(wù)打造了堅(jiān)實(shí)的基礎(chǔ)。

本文提出了將背景相減法和幀差法相結(jié)合[7]的方法將目標(biāo)物體識別出來。然后利用T-S模糊邏輯方法[8]確定出目標(biāo)物體的屬性，進(jìn)而，靈巧手根據(jù)不同物體對應(yīng)不同力值的方法對目標(biāo)物體施加恰當(dāng)?shù)牧χ?，使靈巧手能夠?qū)δ繕?biāo)物體進(jìn)行控制。

1 目標(biāo)識別

目標(biāo)識別實(shí)際上是將一個目標(biāo)物體從一個特定的環(huán)境中提取出來的過程。從而判定目標(biāo)物體的類別和類型[9]。針對固定攝像機(jī)的拍攝，可以采取很多方法檢測識別出目標(biāo)物體。對于顏色較明顯的物體可以采用抓取顏色處理的辦法進(jìn)行處理，對于其他的沒有顏色特征的物體，常用的目標(biāo)檢測方法有3種：背景相減法、幀間差分法、光流法[10]。

在攝像機(jī)[11]是固定的，目標(biāo)物體運(yùn)動到特定環(huán)境中靜止的情況下，背景相減法只能大體上確定出目標(biāo)物體的運(yùn)動范圍，不能判定出目標(biāo)物體是否已經(jīng)停止。幀差法[12]只能確定相鄰圖像之間的區(qū)別，對動態(tài)環(huán)境有很好的適應(yīng)性，但是位置不準(zhǔn)確，不能完全提取出運(yùn)動目標(biāo)的所有相關(guān)點(diǎn)。

面對上述傳統(tǒng)的目標(biāo)檢測方法的不足，文中做如圖1算法改進(jìn)。

圖1 算法流程

圖1中將背景相減法和幀差法相結(jié)合并且加入深度信息，首先利用幀差法確保提取出來目標(biāo)物體為運(yùn)動的目標(biāo)，最后根據(jù)目標(biāo)物體的深度信息判定出目標(biāo)物體的類別和類型。

1.1 前景提取

本文將背景相減和幀差法相結(jié)合的方法避免了兩者方法的缺點(diǎn)，將優(yōu)點(diǎn)結(jié)合在一起獲得了極好的效果。背景相減法可以快速地檢測到運(yùn)動物體，并且容易實(shí)現(xiàn)，效果也較好。

背景相減法的研究內(nèi)容包括背景初始化、背景更新、目標(biāo)物體相關(guān)點(diǎn)的檢測、噪音等虛假影響等等?！氨尘俺跏蓟毖芯康氖顷P(guān)于背景模型初始參數(shù)獲取問題: “目標(biāo)物體相關(guān)點(diǎn)的檢測”研究的是如何在相關(guān)范圍內(nèi)檢測出目標(biāo)物體運(yùn)動的序列，從而檢測出運(yùn)動的對象；“噪音等虛假影響”研究的是在檢測出來的結(jié)果中剔除不是目標(biāo)物體的像素，提高檢測目標(biāo)物體的準(zhǔn)確率。

背景相減法可以分4部分。

背景初始化檢測環(huán)境中最原始的環(huán)境參數(shù)；背景更新：在檢測目標(biāo)物體時上一時刻的視頻序列幀；目標(biāo)物體：在檢測的環(huán)境范圍內(nèi)感興趣的目標(biāo)物體；假象：由噪聲等引起的圖像變化，例如:邊緣深度浮動等。

系統(tǒng)將背景初始化為沒有放入物體的背景深度數(shù)值。根據(jù)式（1）確定目標(biāo)物體的區(qū)域：

Sk（z）=|Nk（z）-Bk（z）|

（1）

式中：Bk（z）為背景圖像上第k個點(diǎn)的深度值，Nk（z）為當(dāng)前幀上第k個點(diǎn)的深度值，根據(jù)式（2）將得到的Sk（z）的值與選取的閾值進(jìn)行判斷，從而改變圖像的深度值：

（2）

式中：δ為設(shè)定的閾值，當(dāng)G（k）=4 000時表明沒有目標(biāo)物體，當(dāng)G（k）=0表明有運(yùn)動物體進(jìn)入。

但是當(dāng)人手將目標(biāo)物體放入環(huán)境中時運(yùn)動的物體有沒有停止，人手有沒有影響到檢測目標(biāo)物體的精確性等等，在這種情況下，背景相減法就不能夠滿足需要。因此，文中在此基礎(chǔ)上添加了幀差法和深度的元素。

幀差法是計(jì)算相鄰2幀圖像fk（xi,yi）和fk+1（xi,yi）的差值，通過差分圖像來快速檢測到目標(biāo)物體。具體算法描述如下：

設(shè)當(dāng)前圖像序列為fk（xi,yi）,其中（xi,yi）為圖像中像素點(diǎn)的位置坐標(biāo)。當(dāng)下一幀圖像出現(xiàn)時獲取圖像的序列fk+1（xi,yi），得到差值圖像dΔk（xi,yi）,將其二值化后得到二值化圖像bΔk（xi,yi）：

dΔk（xi,yi）=fk+1（xi,yi）-fk（xi,yi）

（3）

（4）

根據(jù)式（3）、（4）,對于進(jìn)入環(huán)境后靜止的目標(biāo)物體，當(dāng)目標(biāo)物體運(yùn)動穩(wěn)定后當(dāng)前幀圖像和上一幀圖像同一位置的像素點(diǎn)應(yīng)該一致，因此通過選取適當(dāng)?shù)拈撝颠M(jìn)行二值化后得到的差值圖像持續(xù)為0時標(biāo)明運(yùn)動物體運(yùn)動停止。

1.2 模糊邏輯

用背景相減和幀插法相結(jié)合的方法只能檢測出目標(biāo)物體的形狀、大小、位姿，卻不能具體說明此目標(biāo)物體的屬性。因此，可以利用目標(biāo)物體的形狀、大小、位姿建立T-S模糊邏輯，從而判斷出目標(biāo)物體的屬性和類別。

（5）

式中：Fnl代表物體要滿足的元素之一。

T-S模糊邏輯的基本框圖如圖2所示。

圖2 T-S邏輯的基本框圖

2 觸覺建模

本文采用的是美國BarrettHand公司生產(chǎn)的BH8系列中的BH8-280。靈巧手總共有4個觸覺傳感器[13-15]，每個傳感器上有24個電容細(xì)胞。它的測量范圍可以達(dá)到10 N/m。為了能夠抓取各種大小、形狀的物體，本文選用飲料杯子、QQ寵物、手機(jī)盒、小龍、圓口杯子作為代表性的物體進(jìn)行建模。

靈巧手的觸覺傳感器上對目標(biāo)物體最大的力值如表1所示。

3 實(shí)驗(yàn)結(jié)果

文中采用的攝像機(jī)是微軟公司生產(chǎn)的Kinect[16]，Kinect擁有分辨率為320×240，16位色深，30FPS的彩色攝像機(jī)和分辨率為640×480，32為色深，30FPS的深度攝像機(jī)。將Kinect放置到天花板上，從上面俯視地面,如圖3所示，顯示了Kinect攝像的背景圖，圖像的左半邊是Kinect彩色攝像機(jī)顯示的彩色圖，右半邊是深度攝像機(jī)獲取環(huán)境的深度信息。圖4是背景初始化時的圖像顯示。當(dāng)有目標(biāo)物體出現(xiàn)時，檢測出來的圖像如圖5所示。

表1 靈巧手抓取不同目標(biāo)物體的力值

Table 1 Force value of different targets grasped by the dexterous hand

目標(biāo)物體靈巧手種類靈巧手狀態(tài)單個單元需要力的最大值/N飲料瓶子BH8-280正常70QQ寵物BH8-280正常78手機(jī)盒BH8-280正常65小龍BH8-280正常500圓口杯子BH8-280正常60

圖3 背景圖

圖4 背景初始化

圖5 檢測出來的目標(biāo)物體

利用目標(biāo)識別原理需要識別出備用的目標(biāo)物體飲料杯子、QQ寵物、手機(jī)盒、小龍、圓口杯子，如圖6。

圖6 備用目標(biāo)物體

本文利用Kinect檢測出的5種目標(biāo)物體的效果圖如圖7～11所示。深度圖像通過IR感應(yīng)器采集到連續(xù)光，然后通過解碼產(chǎn)生。因此，目標(biāo)物體放置位置與Kinect的距離不同，檢測出來的目標(biāo)形狀大小也不同。圖7～11是以目標(biāo)物體距離Kinect攝像機(jī)107 cm為例的效果圖。

圖7 檢測飲料瓶子

圖8 檢測QQ 寵物

圖9 檢測手機(jī)盒

圖10 檢測小龍

圖11 檢測圓口杯子

根據(jù)實(shí)際情況，目標(biāo)物體放置位置距離傳感器的距離為127、117、107 cm。分析檢測出來的差值圖像，將檢測出來的目標(biāo)物體畫上最小外接矩陣?？梢缘贸鲎钚⊥饨泳仃嚨闹荛L和面積范圍，如表2所示。

表2 IR傳感器檢測出來的目標(biāo)物體狀態(tài)Table 2 Target object state detecting by IR sensor

因此，結(jié)合T-S模糊邏輯，有表1可以得出當(dāng)檢測的目標(biāo)物體的周長為52～68 cm,面積為169～288 cm2,并且檢測出來的形狀為圓形時就認(rèn)定此目標(biāo)物體為飲料瓶子；周長為120～159.6 cm,面積為896～1590.6 cm2,檢測出來的形狀為圓形的目標(biāo)物體認(rèn)定為QQ寵物；周長為152～190 cm，面積為1 363～2 146 cm2,檢測出來的形狀為長方形的目標(biāo)物體可以認(rèn)定為手機(jī)盒；周長為89～113.6 cm,面積為495.997 2～807 cm2,檢測出來的形狀為不規(guī)則的形狀，則認(rèn)定目標(biāo)物體為小龍；周長為108.5～172.3 cm，面積為735.2～1 855.3 cm2，檢測出來的形狀為環(huán)形，則認(rèn)定目標(biāo)物體為圖6中的圓口杯子。

經(jīng)過上述分析，可以以圓口杯子為例，當(dāng)識別出來物體之后，采用美國Barrett Technology公司生產(chǎn)的BH8-280進(jìn)行抓取，針對不同的物體，靈巧手使用不同的力值進(jìn)行精細(xì)控制，參考文獻(xiàn)[17]利用PID控制可以實(shí)現(xiàn)BH8-280對目標(biāo)物體進(jìn)行操作，其效果圖（以圓口杯子為例）如圖12、13所示。

圖12 靈巧手初始化

圖13 靈巧手抓取杯子

4 結(jié)束語

為了能夠?qū)崿F(xiàn)靈巧手抓取目標(biāo)物體對應(yīng)的力值操作問題，本文研究了一種利用Kinect檢測出目標(biāo)物體，在幀差法的基礎(chǔ)上對獲取的深度值進(jìn)行背景相減，獲取出目標(biāo)物體的運(yùn)動點(diǎn)，在此基礎(chǔ)上利用獲取的目標(biāo)物體的特征采用T-S模糊邏輯判斷出目標(biāo)物體的方法，使得BH8-280靈巧手抓取目標(biāo)物體時能夠更加智能和類人手化。利用T-S模糊邏輯為目標(biāo)物體判斷提供了理論基礎(chǔ)，并且提高了目標(biāo)物體的準(zhǔn)確率。本文所提供的目標(biāo)識別物體的方法更加智能化，擴(kuò)充了目標(biāo)識別的應(yīng)用范圍，為靈巧手更加智能化的發(fā)展提供了基礎(chǔ)。

[1]陳春玉.目標(biāo)識別技術(shù)的現(xiàn)狀與發(fā)展[J].聲學(xué)技術(shù),1999, 18（4）: 185-188. CHEN Chunyu. The present situation and developing trend of target discrimination techniques[J]. Technical Acoustics, 1999, 18（4）: 185-188.

[2]叢敏,金善良,羅翌.自動目標(biāo)識別技術(shù)的發(fā)展現(xiàn)狀及其應(yīng)用[J].飛航導(dǎo)彈, 1999（12）: 1-9. CONG Min, JIN Shanliang, LUO Yi. The present situation and developing trend of target automatic recognition techniques[J]. Winged Missiles Journal, 1999（12）: 1-9.

[3]舒海燕.圖像目標(biāo)識別技術(shù)的研究與應(yīng)用[D].西安:西北工業(yè)大學(xué), 2002: 1-65. SHU Haiyan. The research and application of image target recognition technology[D]//Xi’an: Northwestern Polytechnical University, 2002: 1-65.

[4]施雷,胡文俊.基于主動形狀模型的雙目識別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件, 2009, 26（3）: 223-225. SHI Lei, HU Wenjun. Design and implementation of binocular visual recognition system based on the active shape model[J]. Computer Applications and Software, 2009, 26（3）: 223-225.

[5]孫濤,張宏建.目標(biāo)識別中的信息融合技術(shù)[J].自動化儀表, 2001, 22（2）: 1-4. SUN Tao, ZHANG Hongjian. The technology of information merging in object recognition[J]. Process Automation Instrumentation, 2001, 22（2）: 1-4.

[6]LEE L K, AN S Y, OH S. Efficient visual salient object landmark extraction and recognition[C]//IEEE/SMC International Conference on Systems, Man, and Cybernetics. Anchorage, Alaska, 2011: 1351-1357.

[7]方帥,薛方正,徐新和.基于背景建模的動態(tài)目標(biāo)檢測算法的研究與仿真[J].系統(tǒng)仿真學(xué)報(bào), 2005, 17（1）: 159- 165. FANG Shuai, XUE Fangzheng, XU Xinhe. Moving object detection based on self-adaptive background modeling[J]. Journal of System Simulation, 2005, 17（1）: 159-165.

[8]QUANG V D, Van BAN D, HA H C. A method of object identification based on fuzzy object functional dependencies in fuzzy object-oriented databases[C]//IEEE/KES Fourth International Conference on Knowledge and Systems Engineering. Danang, Vietnam, 2012: 46-53.

[9]孫紅巖,毛士藝.多傳感器目標(biāo)識別的數(shù)據(jù)融合[J].電子學(xué)報(bào), 1995, 23（10）: 188-192. SUN Hongyan, MAO Shiyi. Multisensor data fusion for target identification[J]. Chinese Journal of Electronics, 1995, 23（10）: 188-192.

[10]韓崢,劉華平,黃文炳,等.基于Kinect的機(jī)械臂目標(biāo)抓取[J].智能系統(tǒng)學(xué)報(bào), 2013, 8（2）: 149-155. HAN Zheng, LIU Huaping, HUANG Wenbing, et al. Service robot desktop cleaning based on Kinect[J]. CAAI Transactions on Intelligent Systems, 2013, 8（2）: 149-155.

[11]AMER A. Voting-based simultaneous tracking of multiple video objects[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2005, 15（11）: 1448-1462.

[12]崔學(xué)超.基于減背景和混合差分的運(yùn)動目標(biāo)檢測算法[J].電子科技, 2010, 23（10）: 85-88.

CUI Xuechao. Moving objects detection algorithm based on background subtraction and hybrid difference methods[J]. Electronic Science & Technology, 2010, 23（10）: 85-88.

[13]BEKIROGLU Y, LAAKSONEN J, JORGENSEN J A, et al. Assessing grasp stability based on learning and haptic data[J]. IEEE Transactions on Robotics, 2011, 27（3）: 616-629.

[14]STEFFEN J, HASCHKE R, RITTER H. Experience-based and tactile driven dynamic grasp control[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA, 2007: 2938-2943.

[15]BEKIROGLU Y, DETRY R, KRAGIC D. Learning tactile characterizations of object- and pose-specific grasps[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway, USA, 2011: 1554-1560.

[16]EL-LAITHY R A, HUANG J, YEH M. Study on the use of Microsoft Kinect for robotics applications[C]/ /IEEE/ION Position Location and Navigation Symposium． Myrtle Beach, USA, 2012: 1280-1288．

[17]劉金琨.先進(jìn)PID控制及其MATLAB仿真[M]. 北京:電子工業(yè)出版社, 2003: 67-80.

雷麗充，女，1988年生，碩士研究生，主要研究方向?yàn)橹悄芸刂?、模式識別、圖像處理。

劉華平，男，1976年生，副教授，主要研究方向?yàn)橹悄芸刂萍皺C(jī)器人、計(jì)算機(jī)視覺等。

孫富春，男，1964年生，教授，博士生導(dǎo)師，博士，IEEE高級會員，中國人工智能學(xué)會理事、智能控制與智能管理專業(yè)委員會副主任兼秘書長。主要研究方向?yàn)橹悄芸刂?、機(jī)器人與飛行器的導(dǎo)航與控制、網(wǎng)絡(luò)控制系統(tǒng)、人工認(rèn)知系統(tǒng)的信息感知和處理等。曾獲全國優(yōu)秀博士論文獎、教育部新世紀(jì)人才獎、國家杰出青年基金、北京市科學(xué)技術(shù)進(jìn)步二等獎。發(fā)表學(xué)術(shù)論文120余篇，其中被SCI檢索52篇。

Visual object recognition for smart manipulation

LEI Lichong1,2， LIU Huaping2, SUN Fuchun2, GAO Meng3, ZHANG Junxing3

（1.China Railway 17th Bureau Co.,Ltd.Survey and Design Institute,Taiyuan 030032,China; 2.State Key Lab of Intelligent Technology and Systems, Department of Computer Science and Technology, Tsinghua University, Beijing 100084, China; 3.School of Electrical and Electronics Engineering, Shijiazhuang Tiedao University,Shijiazhuang 050043, China）

In order to achieve fine operation of dexterous hand, a new method is proposed. The method consists of detecting a targeted object by Kinect, conducting background subtraction for the obtained depth on the basis of frame difference method to acquire the motion point of the targeted object and judging the targeted object by the T-S fuzzy logic along with the features of the obtained targeted object. This paper uses BH8-280 for an object grasping experiment to verify the accuracy and rapidity of the method. In this experiment the pose, size and shape of the objects can be determined. The property categories of objects are judged by the T-S fuzzy logic system. It is seen that the dexterous hand can grasp the object accurately. The research of this method builds a foundation for fine operation of a dexterous hand.

Kinect; visual；background subtraction; the frame differenece; T-S fuzzy logical; object recognition;fine control; smart manipulation

2013-11-20.

日期：2015-01-13.

國家自然科學(xué)基金重大國際合作研究資助項(xiàng)目（61210013）；國家自然科學(xué)基金資助項(xiàng)目（60621062,90716021）.

雷麗充. E-mail：lei.lichong@163.com.

10.3969/j.issn.1673-4785.201311050

http://www.cnki.net/kcms/detail/23.1538.TP.20150113.1131.009.html

TP391.4

A

1673-4785（2015）01-0037-06

雷麗充,劉華平，孫富春，等. 面向靈巧操作的視覺目標(biāo)識別[J]. 智能系統(tǒng)學(xué)報(bào)， 2014, 9（2）: 37-42.

英文引用格式：LEI Lichong， LIU Huaping, SUN Fuchun， et al. Visual object recognition for smart manipulation[J]. CAAI Transactions on Intelligent Systems, 2014, 9（2）: 37-42.