基于物聯(lián)網(wǎng)和機器視覺的自動導(dǎo)航滅火機器人

張 帆,肖丙剛

(中國計量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

近幾十年中,大量的高層,地下建筑與大型的石化企業(yè)不斷涌現(xiàn)。由于這些場所的特殊性,發(fā)生火災(zāi)時,不能快速高效的滅火。在夜間,萬一發(fā)生火災(zāi)如果不能及時發(fā)現(xiàn)、撲滅,都將造成巨大的損失,尤其是危險物品,還會對社會公共安全造成威脅。為了解決這些難題,盡快救助火災(zāi)中的受害者,減少財產(chǎn)損失,最大限度的保證消防人員的安全,防止夜間或者無人時室內(nèi)有火災(zāi)發(fā)生,造成不必要的損失,因此研制一種智能滅火機器人是十分必要的。

如今國內(nèi)外存在較多關(guān)于滅火機器人的研究,見文獻[1-8]。這些研究通過遙控等方式實現(xiàn)了機器人代替救援人員滅火的目的,同時針對火災(zāi)的各種情況,以加強各種傳感器的功能為手段,實現(xiàn)了快速滅火和精確定位的效果。但是這些滅火機器人的研究存在著監(jiān)測范圍受限、避障風(fēng)險高的問題,而且火焰識別精度不高。

因此,針對目前國內(nèi)外滅火機器人研究所存在的這些問題,本文提出了一種基于物聯(lián)網(wǎng)和機器視覺的自動導(dǎo)航滅火機器人,并針對滅火的功能進行了優(yōu)化。

1 滅火機器人的整體設(shè)計

隨著科技的發(fā)展,物聯(lián)網(wǎng)技術(shù)已在各行各業(yè)得到廣泛應(yīng)用,在智能消防領(lǐng)域,曹元軍等人[9]結(jié)合了消防物聯(lián)網(wǎng)和互聯(lián)網(wǎng),提出了一種有效且高效的智慧消防系統(tǒng),為我們展現(xiàn)了一種比較完整的物聯(lián)網(wǎng)系統(tǒng)架構(gòu)。該系統(tǒng)的環(huán)境監(jiān)測范圍大,不受環(huán)境中障礙物的限制,且人機交互性強,鑒于該系統(tǒng),本文提出了一種基于物聯(lián)網(wǎng)和機器視覺的自動導(dǎo)航滅火機器人。該機器人系統(tǒng)將機器人作為主節(jié)點,將傳感器節(jié)點作為從節(jié)點,并采用物聯(lián)網(wǎng)中的ZigBee無線通信技術(shù)[10],將各個傳感器節(jié)點與機器人節(jié)點很好地結(jié)合起來,達到了擴大環(huán)境檢測范圍的目的。當(dāng)機器人節(jié)點收到傳感器節(jié)點發(fā)送的火焰異常信息時,第一時間通過激光雷達避障技術(shù)進行自主避障導(dǎo)航到達火災(zāi)位置,最后通過火焰識別,實現(xiàn)精確滅火。本文所構(gòu)建的滅火機器人系統(tǒng)結(jié)構(gòu)示意圖與其工作流程圖如圖1和圖2。

圖1 滅火機器人系統(tǒng)的結(jié)構(gòu)示意圖Figure 1 Structure diagram of fire extinguishing robot system

圖2 滅火機器人系統(tǒng)工作流程圖Figure 2 Work flow chart of fire extinguishing robot system

2 關(guān)鍵技術(shù)

2.1 物聯(lián)網(wǎng)技術(shù)的應(yīng)用

傳感器是有一定工作范圍的,傳統(tǒng)滅火機器人對傳感器的使用,非常容易受到復(fù)雜地形的影響,以火焰?zhèn)鞲衅鳛槔?當(dāng)一個環(huán)境十分復(fù)雜時,如環(huán)境被許多堵墻隔開,受到各種障礙物的影響,火焰?zhèn)鞲衅鞯臋z測范圍如圖3所示。

圖3 火焰?zhèn)鞲衅髟趶?fù)雜環(huán)境下的檢測范圍平面示意圖Figure 3 Schematic diagram of detection range of flame sensor in complex environment

其中B為火焰?zhèn)鞲衅鞴?jié)點,A1為火焰?zhèn)鞲衅髡Ｇ闆r下的檢測范圍,A2為火焰?zhèn)鞲衅魇苷系K物影響下所失去的一部分檢測范圍,當(dāng)前國內(nèi)外文章對于滅火機器人的優(yōu)化,大多局限于對傳感器和算法的改進,在增加A1的同時,也會不可避免地增加A2,那么最后A也就只能逼近一個有限值。本文借鑒物聯(lián)網(wǎng)系統(tǒng)架構(gòu),將傳感器作為子節(jié)點,散布在環(huán)境中的各個位置,以滅火機器人為主節(jié)點,構(gòu)建了一個新型的滅火機器人系統(tǒng),結(jié)合物聯(lián)網(wǎng)中的ZigBee通信技術(shù),實現(xiàn)節(jié)點之間互相協(xié)作,大大增強了檢測范圍。改進后的系統(tǒng)檢測范圍示意圖如圖4所示。

圖4 改進系統(tǒng)后火焰?zhèn)鞲衅髟趶?fù)雜環(huán)境下的檢測范圍平面示意圖Figure 4 Schematic diagram of detection range of flame sensor in complex environment from the improved system

不難想象,我們當(dāng)子節(jié)點的數(shù)量足夠多時,該系統(tǒng)的監(jiān)測范圍可以無限逼近100%,極大地提高了系統(tǒng)的安全性和可靠性。這樣,就解決了傳統(tǒng)滅火機器人監(jiān)測范圍受限的問題。

物聯(lián)網(wǎng)技術(shù)中,通信技術(shù)是核心技術(shù)之一,通信技術(shù)的缺陷,會直接導(dǎo)致整體系統(tǒng)變?nèi)跎踔帘罎ⅰ?/p>

本文采用的ZigBee無線通信技術(shù),是一項新型的無線通信技術(shù),它具備距離遠、可透傳等優(yōu)勢,與其他無線標(biāo)準(zhǔn)如WIFI、藍牙等相比具有更好的特性,可以很方便地應(yīng)用在單片機上[11],同時也可以通過各種軟件計算技術(shù)如人工神經(jīng)網(wǎng)絡(luò)等去豐富其功能。本文采用的硬件為ZigBee無線串口收發(fā)模塊,實現(xiàn)了多點對一點的數(shù)據(jù)通信。

2.2 激光雷達自主避障導(dǎo)航

本文借助激光雷達和機器人操作系統(tǒng)(ROS)來實現(xiàn)機器人的自主導(dǎo)航和避障功能。

首先利用機器人操作系統(tǒng)中的Gmapping功能包,實現(xiàn)即時定位和地圖建模的功能,圖5展示了小車在Rviz中建圖的情況以及小車在Gazebo仿真器中的對比圖。通過遙控機器人從房間①到房間③的運動過程中,雷達對周圍環(huán)境進行掃描,將其采集到的深度和里程計信息輸入到Gmapping功能包中,由此建立起柵格地圖。

圖5 仿真建圖過程及結(jié)果Figure 5 Simulation process and results of drawing construction

構(gòu)建完環(huán)境地圖后,利用move_base功能包即可完成機器人的自動導(dǎo)航,圖6展示了運用move_base包后小車自動導(dǎo)航和路徑規(guī)劃圖。

move_base功能包還能實現(xiàn)機器人避障功能。如圖7所示,我們在小車處于C點位置的時候,在③號房間內(nèi)隨機放入一個障礙物,此時move_base功能包處于實時運行的過程中,對比圖6,可以明顯的發(fā)現(xiàn)機器人的路徑規(guī)劃發(fā)生了明顯的改變,繞過了障礙物。

圖6 仿真導(dǎo)航和路徑規(guī)劃過程及結(jié)果Figure 6 Simulation of navigation and path planning process and results

圖7 仿真實時避障過程及結(jié)果Figure 7 Simulation of real-time obstacle avoidance process and results

但是,當(dāng)環(huán)境復(fù)雜化后,即障礙物的數(shù)量和位置都不確定的情況下,仿真結(jié)果顯示,機器人會因為速度過快或搜索范圍小等原因而出現(xiàn)撞擊障礙物的情況,這是非常致命的,于是本文基于A*算法對move_base功能包進行了優(yōu)化。A*算法作為Dijkstra算法的擴展算法,其高效性常被應(yīng)用于尋路。A*算法的評價函數(shù)F(n)由G(n)和H(n)組成,F(n)又被稱為總耗費,其模型為[12]:

F(n)=G(n)+H(n)。

(1)

其中G(n)表示起點到網(wǎng)絡(luò)指定方格的移動耗費(也稱代價函數(shù)),H(n)為終點到指定方格的預(yù)計耗費(也稱啟發(fā)函數(shù))。其中,啟發(fā)函數(shù)H(n)決定了A*算法的搜索性能,當(dāng)障礙物較多時,通過適當(dāng)降低啟發(fā)函數(shù)H(n)的權(quán)重,可以提高搜索范圍以避免陷入局部最優(yōu)[12]。由于滅火機器人的應(yīng)用場景多為復(fù)雜環(huán)境,障礙物較多,借鑒該想法,本文為啟發(fā)函數(shù)H(n)設(shè)置了權(quán)重函數(shù)E,模型為

F(n)=G(n)+E×H(n)。

(2)

其中根據(jù)實驗需要,將E稱為抑制函數(shù),設(shè)起點、終點和當(dāng)前算法處理節(jié)點的坐標(biāo)為(xst,yst),(xst,yst)和(xi,yi)。采用歐拉距離的形式進行算法的設(shè)計,可設(shè)置函數(shù):

(3)

(4)

2.3 火焰識別

本文的建模數(shù)據(jù)來源于文獻《基于視頻圖像處理技術(shù)的火焰識別算法江》[13]。

為了實現(xiàn)精準(zhǔn)滅火,火焰識別技術(shù)是必不可少的,本文采用攝像頭傳感器,基于深度學(xué)習(xí)模型,實現(xiàn)對火焰的識別。在深度學(xué)習(xí)模型的訓(xùn)練之前,我們需要對訓(xùn)練圖像進行預(yù)處理,否則訓(xùn)練出來的深度學(xué)習(xí)模型的準(zhǔn)確率會非常差,遠遠達不到應(yīng)用的水平。本文基于HSI和RGB的混合判據(jù)模型對火焰圖像進行了預(yù)處理。

在RGB模型中,對于火焰而言,紅色分量(R)和綠色分量(G)會很大,并且綠色分量(G)會大于藍色分量(B)。HSI顏色模型用H、S、I三個參數(shù)描述顏色特性,H為色調(diào),即顏色的頻率;S為飽和度,即顏色的深淺程度;I表示強度或者亮度。這一種彩色描述對人來說是自然而直觀的?？紤]到單一顏色模型的判據(jù)準(zhǔn)確性不夠高,在RGB判據(jù)基礎(chǔ)上,添加HSI約束條件。具體條件為:

(5)

其中,RT是紅色分量閾值,ST是飽和度閾值,火焰像素主要取決于紅色分量(R)的色度和飽和度。判據(jù)中閾值的選擇對于火焰檢測是至關(guān)重要的,一般靠經(jīng)驗設(shè)定,為了獲取火焰識別最好的效果,設(shè)置兩個滑動條,改變閾值RT和ST的大小,選取最合適的值。

使用MATLAB軟件可以實現(xiàn)RGB圖向HIS圖的轉(zhuǎn)換,轉(zhuǎn)換前后圖如圖8所示。

圖8 RGB圖轉(zhuǎn)化HIS圖(左圖為原圖)Figure 8 Transformation of RGB image into HIS image (the left image is the original image)

先對原圖進行二維中值濾波處理,消除圖像噪聲對圖像信息的影響,然后根據(jù)判據(jù)條件式(5)對RGB和HIS圖進行處理,選取滿足條件的圖像區(qū)域并進行圖像的二值化,最后進行形態(tài)學(xué)圖像處理,得到結(jié)果圖9。對比原圖,我們發(fā)現(xiàn),該判據(jù)條件可以很好地提取復(fù)雜環(huán)境下的火焰信息。

圖9 圖像預(yù)處理結(jié)果圖Figure 9 Image preprocessing results

最后我們將所有火焰圖片基于該判據(jù)方法進行預(yù)處理,將處理后的圖加入百度AI云開放平臺中的EasyDL圖像開發(fā)平臺中,利用該AI模型進行訓(xùn)練,訓(xùn)練得到我們的火焰識別模型,模型的訓(xùn)練結(jié)果如圖10,該模型的準(zhǔn)確率達到百分之90%,圖11為該模型火焰識別的效果圖。

圖10 深度學(xué)習(xí)模型訓(xùn)練結(jié)果圖Figure 10 Deep learning model training result graph

圖11 火焰識別模型的識別效果Figure 11 Recognition effect of flame recognition model

但是在火災(zāi)的現(xiàn)實情況中,煙霧濃度比較大,光線會很微弱,攝像頭的能力受影響較大,對于火源的定位精度也會大大降低,針對這一問題,我們需要借助紅外攝像頭這一輔助傳感器。同時通過自適應(yīng)圖像閾值分割方案[14],我們便可以解決在煙霧環(huán)境下對火源的定位精度的問題。

3 實驗結(jié)果

由式(3)和式(4)可知H為抑制函數(shù)E的上限值,當(dāng)不對其進行設(shè)置時,易知抑制函數(shù)的值是小于等于1的,在[0,1]的定義域內(nèi),我們可以通過設(shè)置H值來調(diào)整啟發(fā)函數(shù)的權(quán)重,從而實現(xiàn)A*算法在復(fù)雜環(huán)境下的優(yōu)化。

然而通過降低啟發(fā)函數(shù)的權(quán)重,增加了搜索范圍的同時,計算量也會增加,機器人的導(dǎo)航速度會變慢,所以,確定一個最優(yōu)的抑制函數(shù)是十分有必要的。實驗場地如圖12所示,實驗硬件如圖13和圖14所示。

圖12 實驗場地圖Figure 12 Experimental site map

圖13 滅火機器人硬件圖Figure 13 Hardware diagram of fire fighting robot

圖14 邊緣傳感器節(jié)點硬件圖Figure 14 Edge sensor node hardware diagram

在PC端打開終端,利用安全外殼協(xié)議SSH連接到機器人樹莓派端系統(tǒng),啟動Gmapping功能包,打開Rviz可視化工具,用鍵盤控制機器人在試驗場地運動,構(gòu)建出運動場地的環(huán)境地圖,構(gòu)建圖如圖15所示,構(gòu)圖時為了防止其他多余環(huán)境因素干擾,將隔板擺在實驗路徑的兩旁,使地圖邊界趨于平滑,同時不擺放任何障礙物,便于實驗測試機器人在隨機環(huán)境下的應(yīng)對能力,即避障能力。

圖15 實驗場地建圖Figure 15 Experimental site drawing

以H值為0.7時的實驗為例,在整個實驗過程中,機器人的路徑規(guī)劃圖如圖16所示。實驗開始時,我們可以確定機器人的位置①,在試驗場地的拐角處②的位置安置一個傳感器節(jié)點并進行火災(zāi)模擬,傳感器節(jié)點將位置信息和異常信息傳送給機器人,機器人將該點位置設(shè)置為目標(biāo)位置,以自身的位置為起始位置,開始自動導(dǎo)航避障,在1～5五個位置臨時擺上5個障礙物,全程記錄機器人到終點的時間以及是否會撞擊到障礙物,多次修改H值并進行實驗,得到多組數(shù)據(jù),實驗部分結(jié)果如表1所示。

圖16 實驗中機器人路徑規(guī)劃圖Figure 16 Robot path planning diagram in the experiment

表1 確定參數(shù)實驗數(shù)據(jù)

由實驗結(jié)果可知,在當(dāng)前實驗環(huán)境下,最佳H值為0.7,雖然犧牲了一定的速度,但保證了避障的可靠性,增強了系統(tǒng)的安全性。

但是固定數(shù)量和位置障礙物的多次實驗所得出的最佳H值并不具備普遍性,于是在第一次實驗的基礎(chǔ)上,多次改變障礙物數(shù)量和位置,得到每一種情況下的最佳H值。結(jié)果表明,最佳H值基本在0.6到0.8之間,呈正態(tài)分布,由此證明實驗所得最佳H值具有一般普遍性。

4 結(jié) 語

本文提出了基于一種基于物聯(lián)網(wǎng)和機器視覺的自動導(dǎo)航滅火機器人,該機器人系統(tǒng)解決了監(jiān)測范圍受限缺點,通過結(jié)合改良算法后的自動導(dǎo)航避障和火焰識別技術(shù),機器人的安全性和滅火精準(zhǔn)度得到了很大的提升,解決了目前國內(nèi)外對滅火機器人研究所存在的環(huán)境監(jiān)測范圍受限、避障風(fēng)險高、火焰識別精度不高三個問題。實驗結(jié)果很好地驗證了該機器人系統(tǒng)的可行性和安全性,具有不錯的實際應(yīng)用價值。但本實驗是針對小型滅火機器人進行研究,今后可繼續(xù)深入研究,了解該系統(tǒng)在大型機器人上的應(yīng)用效果。