智能消防機器人與無人機協(xié)同系統(tǒng)*

陳昶宇 鐘琪 許正豪 鐘佩杭

廣東理工學院 信息技術學院 廣東 肇慶 526100

引言

隨著物聯(lián)網(wǎng)的興起，各種智能化設備應用，人物感應，都逐步普及到社會各個方面?；ヂ?lián)網(wǎng)經(jīng)過多年的發(fā)展，智能化應用設施的大量應用，為物聯(lián)網(wǎng)的下一步發(fā)展，飛躍前進，都打下了堅實的基礎。尤其在5G技術高速發(fā)展的今天，低延遲﹑高速率﹑大帶寬成為物聯(lián)網(wǎng)發(fā)展的一大推動力。

在我國現(xiàn)代消防救援中無人機是一種重要的輔助設備，通過無人機能大幅度增強消防搶險能力。無人機的主要優(yōu)點有指點飛行﹑視覺追蹤﹑感知避障﹑搜救可靠﹑視野范圍開闊﹑機動靈活等。通過這些優(yōu)點，再加上對無人機的規(guī)范利用，可提升火災救援效率，減少人民群眾的生命財產(chǎn)損失。

針對化工﹑石油類倉庫發(fā)生火災時，消防人員難以進入現(xiàn)場，火場易燃易爆等情況，消防人員隨時會有生命危險。履帶式消防機器人可以代替消防人員進入危險的火災救援現(xiàn)場實施滅火﹑救援等，最大程度上保障了消防員的人身安全，有效防止意外發(fā)生，滿足新形勢下的消防實戰(zhàn)需求。

1 運作流程

系統(tǒng)總體分為：無人機勘測模塊﹑地形分析模塊﹑智能消防機器人遠程操控模塊﹑火源追蹤模塊這四大模塊[1]。大體行動流程如下：由消防車搭載無人機﹑智能消防機器人﹑終端到達火情處，救援人員調(diào)度無人機，配合地形圖使用地面操作系統(tǒng)進行初步火情勘測，獲取三維立體地形圖。通過所搭載的傳感器，將溫度分布﹑火源分布點﹑火勢集中點﹑地形等數(shù)據(jù)發(fā)送給地面的5G基站，5G基站接收到數(shù)據(jù)以后，將數(shù)據(jù)中轉(zhuǎn)給服務器終端，經(jīng)過服務器進行大數(shù)據(jù)分析﹑對比﹑篩選﹑計算后，推演出智能消防機器人大致路線，再返還數(shù)據(jù)在終端上實時顯示。根據(jù)返還回來的數(shù)據(jù)結(jié)果，救援人員通過終端遠程操控智能消防機器人進入火情處，進行實時勘測，通過機器人搭載的火源追蹤模塊并上傳數(shù)據(jù)至服務器進行實時分析，實時更新救援路線。根據(jù)救援路線智能消防機器人迅速前往火源點，進行滅火或?qū)鹪袋c火情進行壓制。系統(tǒng)運行流程圖如圖1。

圖1 系統(tǒng)運行流程圖

2 功能具備

2.1 遠程實時控制

遠程實時控制建立在網(wǎng)絡和數(shù)據(jù)的基礎上，通過終端以無線形式讀取設備的狀態(tài)數(shù)據(jù)，并結(jié)合實際需求，借助無線網(wǎng)絡來給無人機和消防機器人的無線模塊發(fā)送指令，完成動作[2]。其控制靈活，可以突破時間﹑空間的限制。救援人員利用遠端遙控設備通過通信網(wǎng)絡將控制指令傳送到近端控制器 （一般是可編程控制器PLC），PLC接收到控制指令后通過內(nèi)部的可編程存儲器將指令轉(zhuǎn)化為機器語言指令，從而完成對設備的操控，達到遠程監(jiān)測﹑遠程控制﹑遠程維護設備的目的。遠程控制處理流程會持續(xù)進行，不斷循環(huán)，直到達成目標。而通信網(wǎng)絡的主要工作就是傳送狀態(tài)信息以及動作指令，通信網(wǎng)絡必須保證傳輸信息和指令的準確性和可靠性。 除此之外，監(jiān)測系統(tǒng)會將監(jiān)測到的數(shù)據(jù)以及設備的運行情況返回到計算機處理中心，數(shù)據(jù)平臺會將這些數(shù)據(jù)儲存起來并分析處理，為后續(xù)的控制和檢修提供基礎。

2.2 實時更新最佳路線

當消防機器人進入火場執(zhí)行滅火任務時，云端服務器結(jié)合無人機傳感器反饋至與云端信息，形成一個細粒度的柵格化的“路徑場”，再通過D*lite算法，做出最優(yōu)的路徑規(guī)劃。消防機器人不斷檢查不斷檢查該路徑上的障礙是否發(fā)生變化，當發(fā)現(xiàn)障礙或者障礙發(fā)生變化，且蔓延到該路徑上時，上傳至云端服務器，D*lite將第一次重新規(guī)劃路徑，服務器發(fā)送指令，使消防機器人繞過火情嚴重點，而當火情再次蔓延，封住之前規(guī)劃路徑的前進通道時，通過收集之前尋路產(chǎn)生的信息，D*lite將重新第二次規(guī)劃，通過增量搜索的數(shù)據(jù)再利用直接在受阻礙的當前位置重新規(guī)劃出一條最優(yōu)路徑，然后繼續(xù)前進[3]。

2.3 熱源探測系統(tǒng)

消防機器人通過熱成像傳感器掃描出溫度分布圖，掃描完成后，立刻通過RTMP協(xié)議將數(shù)據(jù)發(fā)送給服務器，檢測設備對周圍熱源實時更新，實時將數(shù)據(jù)返回給予云端服務器進行分析，將數(shù)據(jù)返回至救援人員所操作的終端上，確保救援人員能夠?qū)崟r了解火情。

3 技術含量

3.1 消防機器人探測系統(tǒng)

消防機器人可以根據(jù)災害事故現(xiàn)場情況依賴于各種電子元器件進行探測，裝載攝像頭可將現(xiàn)場情況通過通信網(wǎng)絡實時傳輸給后方系統(tǒng)處理，同時有賴于各種傳感器。主要分為兩類：一類是內(nèi)部傳感器，用來探測在災害事故現(xiàn)場中消防機器人自身狀態(tài)參數(shù)，反饋給中央大腦DSP，進行合理的路徑規(guī)劃，并根據(jù)災害事故現(xiàn)場情況合理安排，使消防機器人有序開展工作。另一類是外部傳感器，用來探測災害事故現(xiàn)場的各項數(shù)據(jù)（障礙物情況﹑火場溫度﹑輻射熱強度﹑有毒氣體或者可燃氣體種類和濃度和氧氣含量等），為后方處理系統(tǒng)提供原始數(shù)據(jù)。

3.2 圖像噪點修復

在對焦側(cè)及中部密集點進行拍攝時，小的晃動問題并顯示很嚴重，由于距離比較遠，小的晃動就會或畫面的不穩(wěn)定，影響識別精度。晃動的原因有以下幾種情況，一是氣流和風向?qū)o人機產(chǎn)生的影響，二是無人機電機轉(zhuǎn)速不平衡導致無人機導致行過程中出現(xiàn)低頻晃動，三是無人機與攝像系統(tǒng)的連接上有一定的方向震動。這些問題都有可能使圖像產(chǎn)生噪點。

而CCD和CMOS感光元件也都存在有熱穩(wěn)定性（hot pixel）的問題，就是對成像的質(zhì)量和溫度有關，如果機器的溫度升高，噪音信號過強，也會在畫面上不應該有的地方形成雜色的斑點[4]。

因此我們對設備進行設定，使設備在識別前對監(jiān)測圖形進行判斷噪點產(chǎn)生類型，進行調(diào)節(jié)相關傳感器的ISO的操作，通過對光的敏感度進行噪點控制，同時采用堆棧模式，將同一機位拍攝的同一場景的多張照片，按照一定的算法堆疊在一起合成一張照片，從而取得降噪﹑去除雜物等效果，達到噪點修復的效果。

3.3 無人機勘測系統(tǒng)

通過無人機飛行平臺搭載傾斜相機，采用傾斜攝影的方式獲取測區(qū)的影像數(shù)據(jù)，利用自動建模的技術構(gòu)建實景三維模型；在構(gòu)建的實景三維模型基礎上，通過三維立體量測技術，采集地物地貌特征點﹑線﹑面，最后通過內(nèi)業(yè)編輯的方式制作地形圖，從而省去煩瑣的外業(yè)調(diào)繪工作，為快速制作大比例尺地形圖測繪提供一種新的解決方案?；跓o人機傾斜攝影的大比例尺地形圖測繪技術路線如圖所示。

圖2 無人機傾斜攝影的大比例尺地形圖測繪技術路線

構(gòu)建工程加載影像數(shù)據(jù)，設置相機參數(shù)，編輯pos數(shù)據(jù)，引入控制點及檢查點數(shù)據(jù)，建立好Smart3D工程，采用2個相機，需設置2個相機文件，通過七參數(shù)模型及似大地水準面補償模型轉(zhuǎn)換到聯(lián)網(wǎng)所獲取的地圖下。采取區(qū)域網(wǎng)布點，解算控制點5個，檢查控制點8個。通過三維實景模型生成基于空中三角測量成果，進行模型分塊，在分塊模型的基礎上，提取測區(qū)密集點云，構(gòu)建不規(guī)則三角網(wǎng)，最后對改進后的工作流程中提取的點云進行精度評估。從兩個平面區(qū)域中，在原始和改進后的工作流節(jié)點上選擇點的子集，然后分別將平面擬合到這些子集上，比較了擬合平面上各點的均方誤差更密集﹑更精確的點云可以為建筑提取清除邊界輪廓。

4 本項目優(yōu)勢

4.1 提高消防人員安全系數(shù)

當火場里有被困人員時，可供選擇的方案就只有消防人員進入火場作業(yè)。穿戴式空氣呼吸器，理論上能夠維持30min供氧，但由于人員多的體力消耗以及神經(jīng)緊繃，呼吸器往往只能維持20min，整套裝備重量達到15kg。消防人員穿著厚重的裝備，深入火場內(nèi)部搜救被困人員，面對隨時可能發(fā)生坍塌，爆炸，墜樓，穿刺等不可預知的危險，還有著視野受限，現(xiàn)場情況不詳，找不到著火點等極端情況。本項目提供的消防機器人可代替消防員，在保證人身安全的情況下完成危險作業(yè)。無人機通過高空掃描地形，熱成像掃描，精確判斷事故發(fā)生的地點。在極短時間內(nèi)為消防機器人與消防人員提供最優(yōu)救援路線與火情信息，為消防人員提供更精準的判斷與抉擇。

4.2 5G低延遲

5G技術有低延遲﹑高速率﹑大帶寬等優(yōu)點，在救援前期，火勢變化快，利用5G網(wǎng)絡低延遲的優(yōu)點，可實時更新火場狀況，高速上傳至云端，經(jīng)過云端服務器，利用D*lite等算法，進行分析﹑對比﹑篩選﹑計算后，統(tǒng)計出數(shù)據(jù)反饋至終端，以便救援人員能實時檢測火情。

4.3 3D地形模型

消防機器人所收集數(shù)據(jù)通過RTMP協(xié)議將AVC（H264）數(shù)據(jù)發(fā)送到流媒體服務器，DensePCR在每一個點周圍建造一個鄰域，在每一個鄰域內(nèi)運用MLP就可以獲得這個鄰域內(nèi)的全局特征，相對于整個點云來說，也就是局部特征，這樣能夠獲取更加準確的輪廓，使消防機器人避障效率提高。

5 結(jié)束語

本文基于一種無人機與智能消防機器人協(xié)同偵察滅火的應用展開論述。通過無人機裝置傳感器，對火勢變化進行實時遠程監(jiān)測，利用5G網(wǎng)絡將數(shù)據(jù)傳至終端，最后進行一系列算法分析得出最優(yōu)撲滅路線，全程無須人員操作，降低了消防人員的工作難度，最大程度上保障了消防人員的人身安全。