機(jī)器視覺的災(zāi)后救援機(jī)器人越障系統(tǒng)設(shè)計(jì)*

王　宇， 劉泓濱， 李華文

(1.昆明理工大學(xué) 機(jī)電工程學(xué)院，云南 昆明 650500；2.廣東省工業(yè)技術(shù)研究院 機(jī)電工程研究所，廣東 廣州 510000；3.云南紅云紅河煙草集團(tuán) 昆明卷煙廠，云南 昆明 650022)

機(jī)器視覺的災(zāi)后救援機(jī)器人越障系統(tǒng)設(shè)計(jì)*

王宇1,2， 劉泓濱1， 李華文3

(1.昆明理工大學(xué) 機(jī)電工程學(xué)院，云南 昆明 650500；2.廣東省工業(yè)技術(shù)研究院 機(jī)電工程研究所，廣東 廣州 510000；3.云南紅云紅河煙草集團(tuán) 昆明卷煙廠，云南 昆明 650022)

摘要:為了輔助救援人員更好地完成災(zāi)后救援工作，設(shè)計(jì)了一種基于機(jī)器視覺、多傳感器耦合的災(zāi)后救援機(jī)器人越障系統(tǒng)。通過機(jī)器視覺系統(tǒng)獲取障礙物圖像信息，多傳感器耦合獲取災(zāi)后現(xiàn)場環(huán)境信息，采用VC++編程，借助 OpenCV 庫對障礙物圖像進(jìn)行一系列數(shù)學(xué)形態(tài)學(xué)的處理，利用圖像處理得到障礙物數(shù)字圖像信息，并實(shí)時(shí)地傳輸?shù)娇刂贫?，控制機(jī)器人進(jìn)行越障救援。該系統(tǒng)成功地控制機(jī)器人快速的越障試驗(yàn)，表明了它具有較強(qiáng)的地面適應(yīng)性和越障能力，滿足災(zāi)后救援機(jī)器人系統(tǒng)的要求，具有一定的應(yīng)用價(jià)值。

關(guān)鍵詞:機(jī)器視覺； 多傳感器； 越障； 圖像處理

0引言

全球范圍的自然災(zāi)害不斷頻發(fā)，給當(dāng)前的現(xiàn)場救援技術(shù)帶來了巨大的挑戰(zhàn)。尤其是在破壞性地震發(fā)生后，作為專業(yè)的地震救援工作者，如何用科學(xué)的救援方法、先進(jìn)的技術(shù)裝備去營救幸存者，是首要任務(wù)[1]。從最早的火災(zāi)救援機(jī)器人的研制與應(yīng)用，到美國“911”恐怖襲擊事件中，救援機(jī)器人成功地在世貿(mào)中心的廢墟進(jìn)行搜索救援[2]，再到“311”日本地震中，搜索定位機(jī)器人以及核事故處理機(jī)器人的應(yīng)用[3]，可以看到機(jī)器人救援的必要性和可行性，尤其是具有良好越障性能的救援機(jī)器人發(fā)揮的作用更是巨大的。因此,對于移動機(jī)器人來說,在移動過程中是否能快速、準(zhǔn)確地對周圍環(huán)境信息做出反應(yīng),并且不間斷地朝著目標(biāo)點(diǎn)前進(jìn),是非常重要的[4,5]。輪式機(jī)器人結(jié)構(gòu)簡單，通過壕溝、臺階等障礙物的能力差；腿式機(jī)器人相比輪式機(jī)器人的地形適應(yīng)能力更強(qiáng)，但是它的移動速度慢、控制難度大且機(jī)械結(jié)構(gòu)復(fù)雜[6]，履帶式機(jī)器人具有更多突出的優(yōu)點(diǎn)，但是有轉(zhuǎn)向半徑，越障效率低[7,8]。在災(zāi)難救援任務(wù)中，復(fù)雜地形與惡劣環(huán)境對機(jī)器人運(yùn)動性能提出了嚴(yán)峻挑戰(zhàn),現(xiàn)今大多數(shù)移動機(jī)器人存在控制系統(tǒng)實(shí)時(shí)性差、越障能力和自主性不夠強(qiáng)等缺點(diǎn)，滿足不了高性能小型自主移動機(jī)器人的需求[9]。

因此，本文設(shè)計(jì)一種基于機(jī)器視覺、多傳感器耦合的災(zāi)后救援機(jī)器人越障系統(tǒng)，視覺系統(tǒng)獲取障礙物圖像再經(jīng)過處理得到的數(shù)字圖像信息，多傳感器耦合獲取災(zāi)后現(xiàn)場環(huán)境信息，并實(shí)時(shí)傳輸?shù)娇刂贫耍刂茩C(jī)器人快速越障,配合救援人員展開救援，實(shí)現(xiàn)智能化救援。

1越障系統(tǒng)總體結(jié)構(gòu)

如圖1所示，整個(gè)系統(tǒng)由兩部分組成: 輪履移動機(jī)器人和遠(yuǎn)程計(jì)算機(jī)控制端。兩部分之間的通訊由無線局域網(wǎng)來完成。輪履機(jī)器人上的溫濕度傳感器、音頻視頻傳感器、紅外測距傳感器同時(shí)獲取災(zāi)難現(xiàn)場的環(huán)境信息，并分別傳輸?shù)娇刂贫耍灰曈X系統(tǒng)獲得災(zāi)難現(xiàn)場壕溝、臺階等障礙物信息，經(jīng)過處理得到障礙物的尺寸位置，并傳輸?shù)娇刂贫?；遠(yuǎn)程計(jì)算機(jī)通過無線通信網(wǎng)絡(luò)獲取機(jī)器人狀態(tài)信息和視覺圖像信息,操作者可以在遠(yuǎn)程計(jì)算機(jī)上向機(jī)器人下達(dá)指令,并可以監(jiān)控和遠(yuǎn)程操控機(jī)器人越障，進(jìn)行救援。

圖1　越障系統(tǒng)整體結(jié)構(gòu)Fig 1　Overall structure of obstacle surmounting system

2越障系統(tǒng)硬件設(shè)計(jì)

2.1災(zāi)后救援機(jī)器人平臺

如圖2 所示，機(jī)器人由兩邊相同的雙曲柄變形模塊、輪履替換模塊和多傳感器耦合及控制部分組成。輪履替換模塊可根據(jù)災(zāi)后現(xiàn)場地形環(huán)境的不同選擇采用輪式行走模式或者履帶式行走模式。在履帶或者輪損壞的情況下相互替換確保機(jī)器人正常作業(yè)。雙曲柄變形模塊可保證機(jī)器人在遇到障礙物時(shí)，通過變形來越障。多傳感器耦合部分會獲取災(zāi)難現(xiàn)場的溫濕度、障礙物距離等災(zāi)難現(xiàn)場信息，同時(shí)傳輸?shù)娇刂贫?，配合救援人員控制機(jī)器人越障，展開救援。

圖2　救援機(jī)器人整體結(jié)構(gòu)Fig 2　Overall structure of relief robot

從柳屬植物中共分離得到6個(gè)萜類化合物，多為三萜類化合物，其中1個(gè)新化合物，見表4[15,26,29-30]。

4.2實(shí)驗(yàn)Ⅱ

系統(tǒng)的CCD相機(jī)獲取災(zāi)難現(xiàn)場圖像信息并實(shí)時(shí)地傳輸?shù)娇刂贫?，操作人員框取可疑目標(biāo)物，由圖像處理模塊進(jìn)行特征處理，經(jīng)過圖像處理自動獲取障礙物3D模型上特征點(diǎn)的三維坐標(biāo)，獲得障礙物的尺寸信息，圖像處理模塊獲得障礙物尺寸大小后，實(shí)時(shí)將其通過通信模塊發(fā)送給控制系統(tǒng)，結(jié)合多傳感器耦合下獲取的災(zāi)難現(xiàn)場環(huán)境信息，由控制系統(tǒng)控制機(jī)器人進(jìn)行越障救援。

表1　傳感器硬件選型與參數(shù)

3視覺系統(tǒng)設(shè)計(jì)

引理 3[5] 設(shè)G為群,且|G|=,其中p1,p2,···,pn是一些互不相同的素?cái)?shù),則群G的獨(dú)立數(shù)β(P(G))≥n.

圖3　視覺系統(tǒng)結(jié)構(gòu)圖Fig 3　Structure diagram of visual system

災(zāi)難現(xiàn)場，救援機(jī)器人能否快速準(zhǔn)確地找到被困人員的位置并輔助消防人員進(jìn)行救援，是災(zāi)后救援機(jī)器人性能的重要指標(biāo)。多傳感器耦合確保機(jī)器人及時(shí)地獲取災(zāi)難現(xiàn)場溫濕度、音視頻等環(huán)境信息，傳輸?shù)娇刂贫?，協(xié)助消防人員控制機(jī)器人成功越障，進(jìn)行救援。各傳感器的選型與參數(shù)如表1。

災(zāi)后救援機(jī)器人在進(jìn)行越障救援時(shí)，除了多傳感器耦合獲取災(zāi)難現(xiàn)場環(huán)境信息外，增加了視覺系統(tǒng)，通過圖像處理和模式識別來確定機(jī)器人與障礙物之間的相對位置坐標(biāo)，結(jié)合多傳感器耦合下獲取的災(zāi)難現(xiàn)場環(huán)境信息，利用相機(jī)雙平面標(biāo)定法和小孔成像原理求解，由機(jī)器人控制系統(tǒng)自動控制越障，配合救援人員進(jìn)行救援工作。視覺系統(tǒng)在物理上可分為如下幾部分：1)機(jī)器人本體上CCD相機(jī)；2)無線圖像傳輸、接收器；3)圖像采集卡；4)計(jì)算機(jī)。具體結(jié)構(gòu)如圖 3所示。

2.2多傳感器耦合

4實(shí)驗(yàn)與分析

系統(tǒng)實(shí)驗(yàn)樣機(jī)使用的是輪履替換變形機(jī)器人平臺，如圖4，機(jī)身長550 mm，寬400 mm，高450 mm，傳感器安裝在機(jī)器人前方炮筒內(nèi)、CCD相機(jī)安裝在最上方。

圖4　機(jī)器人平臺Fig 4　Robot platform

目前，知識產(chǎn)權(quán)評議的實(shí)施主要依靠國家知識產(chǎn)權(quán)局等業(yè)務(wù)主管部門以及地方政府出臺的政策性文件（包括部分部委規(guī)章和地方性立法）。而基于知識產(chǎn)權(quán)評議進(jìn)一步規(guī)范化與科學(xué)化的要求，必須通過法律對于知識產(chǎn)權(quán)評議進(jìn)行整體性制度構(gòu)建，賦予知識產(chǎn)權(quán)評議適當(dāng)?shù)姆尚再|(zhì)與效力，同時(shí)對知識產(chǎn)權(quán)評議予以必要的法律控制。

4.1實(shí)驗(yàn)

災(zāi)后救援工作中，如何快速準(zhǔn)確地判斷出被困人員位置，高效率地越過障礙物進(jìn)行救援顯得尤為重要。機(jī)器人在多傳感器耦合下獲取災(zāi)難現(xiàn)場環(huán)境信息并通過視覺系統(tǒng)將災(zāi)難現(xiàn)場圖像傳輸給消防人員配合救援，既實(shí)現(xiàn)了救援的高效率，又實(shí)現(xiàn)了智能化救援、數(shù)字化救援?，F(xiàn)對機(jī)器人在履帶運(yùn)動速度為0.1 m/s下進(jìn)行越過壕溝障礙實(shí)驗(yàn)。

表2　越過壕溝障礙實(shí)驗(yàn)數(shù)據(jù)

從實(shí)驗(yàn)結(jié)果可以看出：機(jī)器人在越過壕溝障礙時(shí)，在多傳感器耦合下的時(shí)間誤差明顯較低，且均在0.2 s內(nèi)，越過壕溝障礙時(shí)間越短，在實(shí)際救援工作中，可以根據(jù)在多傳感器耦合下視覺系統(tǒng)獲取的災(zāi)難現(xiàn)場環(huán)境信息，控制機(jī)器人快速越障救援，實(shí)現(xiàn)高效率救援。

一是繼續(xù)加強(qiáng)制度建設(shè)，針對工作中出現(xiàn)的新問題、新情況，及時(shí)出臺或完善易地扶貧搬遷、扶貧小額信貸等管理制度，進(jìn)一步夯實(shí)制度基石。

災(zāi)難救援現(xiàn)場，最寶貴的就是時(shí)間，準(zhǔn)確而又快速地找到被困人員進(jìn)行救援顯得至關(guān)重要。機(jī)器人能快速地越過各種障礙輔助消防人員進(jìn)行救援是災(zāi)后救援的重點(diǎn)?，F(xiàn)對機(jī)器人在履帶運(yùn)動速度為0.1 m/s下進(jìn)行越過臺階障礙實(shí)驗(yàn)。

表3　越過臺階障礙實(shí)驗(yàn)數(shù)據(jù)

從實(shí)驗(yàn)結(jié)果可以看出：機(jī)器人不在多傳感器耦合下越過臺階障礙時(shí)間誤差在0.5 s內(nèi)，在多傳感器耦合下越過臺階障礙時(shí)間誤差在0.2 s內(nèi)，在多傳感器耦合下的時(shí)間誤差明顯較低，越障時(shí)間短，在實(shí)際救援工作中，可以根據(jù)多傳感器耦合下視覺系統(tǒng)采集處理得到臺階障礙物的信息及時(shí)調(diào)整機(jī)器人越障的合適姿態(tài)越障，實(shí)現(xiàn)高效率救援。

農(nóng)村三大產(chǎn)業(yè)融合發(fā)展是鄉(xiāng)村振興的重要途徑。2016年國務(wù)院印發(fā)的《關(guān)于推進(jìn)農(nóng)村一二三產(chǎn)業(yè)融合發(fā)展的指導(dǎo)意見》中明確指出，推進(jìn)農(nóng)村一二三產(chǎn)業(yè)融合發(fā)展，是拓寬農(nóng)民增收、加快農(nóng)業(yè)發(fā)展方式轉(zhuǎn)變、探索中國特色農(nóng)業(yè)現(xiàn)代化道路的必然要求，也是構(gòu)建現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)體系的重要舉措；黨的十九大報(bào)告提出實(shí)施鄉(xiāng)村振興戰(zhàn)略，對農(nóng)村一二三產(chǎn)業(yè)全面發(fā)展、全面融合提出了更高要求。廣西應(yīng)借此東風(fēng)，根據(jù)實(shí)際情況，因地制宜，加大財(cái)政對農(nóng)村一二三產(chǎn)業(yè)融合發(fā)展的扶持。

5結(jié)論

在多傳感器耦合下視覺系統(tǒng)獲取并處理得到的災(zāi)難現(xiàn)場障礙物的圖像信息，傳輸給消防人員配合救援。越障系統(tǒng)在多傳感器耦合下越過壕溝障礙、臺階障礙時(shí)間誤差均在0.2 s內(nèi)，在誤差范圍內(nèi)，進(jìn)行快速越障。實(shí)驗(yàn)結(jié)果表明:該越障系統(tǒng)具有很好的壕溝、臺階等障礙物的通過性能，達(dá)

到了災(zāi)后救援機(jī)器人越障系統(tǒng)的項(xiàng)目要求，實(shí)際推廣應(yīng)用價(jià)值大，市場前景廣闊。

參考文獻(xiàn):

[1]張濤，尚紅，許建華，等.機(jī)器人技術(shù)在地震廢墟搜索救援中的應(yīng)用[J].自然災(zāi)害學(xué)報(bào)，2012，21(5):108-112.

[2]劉軍，程繼國，尹志，等.消防機(jī)器人滅火救援應(yīng)用技術(shù)分析[J].消防技術(shù)與產(chǎn)品信息，2010(11)：15-18.

[3]高瑞霞.美國的滅火與救援機(jī)器人研發(fā)綜述[J].消防技術(shù)與產(chǎn)品信息，2005(3):59-60.

[4]李壽濤,李元春.在未知環(huán)境下基于遞階模糊行為的移動機(jī)器人控制算法[J].吉林大學(xué)學(xué)報(bào):工學(xué)版,2005,35 (4):391-397.

[5]鮑慶勇,李舜酩,沈峘,等.自主移動機(jī)器人局部路徑規(guī)劃綜述[J].傳感器與微系統(tǒng),2009,28(9): 1-4.

[6]錢善華，葛世榮，王永勝，等.救災(zāi)機(jī)器人的研究現(xiàn)狀與煤礦救災(zāi)的應(yīng)用[J].機(jī)器人，2006，28(3):350-354

[7]吉洋，霍光青.履帶式移動機(jī)器人研究現(xiàn)狀[J].林業(yè)機(jī)械與木工設(shè)備，2012，40(10):7-10.

[8]Tomoya Inoue，Takuya Shiosawa，Ken Takagi.Dynamic analysis of motion of crawler-type remotely operated vehicles[J].IEEE Journal of Oceanic Engineering，2013，38(2):375-382.

[9]王超杰,蘇中,連曉峰,等.自主柔性變形蛇形機(jī)器人控制系統(tǒng)設(shè)計(jì)[J].傳感器與微系統(tǒng),2015,34(6): 112-114.

Design of disaster rescue robot obstacle surmounting system based on machine vision*

WANG Yu1,2, LIU Hong-bin1, LI Hua-wen3

(1.Faculty of Mechanical and Electrical Engineering，Kunming University of Science and Technology, Kunming 650500,China;2.Institute of Electrical and Mechanical Engineering,Industrial Technology Research Institute of Guangdong Province, Guangzhou 510000,China;3.Tobacco Group of Kunming,Honghe Hongyun Yunnan,Kunming 650022,China)

Abstract:In order to assist rescue workers complete post-disaster relief work better,put forward a kind of disaster rescue robot obstacle surmounting system based on machine vision,and multisensor coupling obstacle image information is obtained by machine vision system,multi-sensor coupling is used for post-disaster site environment information,using VC++ programming,with the help of OpenCV library,processing of a series of mathematical morphology is carried out on obstacles image,digital image information of obstacles are obtained by image processing,and real-time transmit to control terminals,control robot for obstacle surmounting rescue.The system successfully control robot for rapid obstacle surmounting test,shows that it has strong ground adaptability and obstacle surmounting performance which meet the requirements of disaster relief robot system,has a certain application value.

Key words:machine vision; multi-sensor; obstacle surmounting; image processing

DOI:10.13873/J.1000—9787(2016)04—0079—03

收稿日期：2016—03—07

*基金項(xiàng)目：昆明理工大學(xué)學(xué)術(shù)科技創(chuàng)新基金資助項(xiàng)目(2015YB016)

中圖分類號:TP 242.3

文獻(xiàn)標(biāo)識碼:A

文章編號:1000—9787(2016)04—0079—03

作者簡介:

王宇(1989-)，男，湖北隨州人，碩士研究生，主要從事傳感器、模式識別方面的研究。