基于精準信息采集與智能分析的新型消防機器人設計

關鍵詞：智能視覺感知機器人系統(tǒng)；精準信息采集；雙目立體視覺系統(tǒng)；多源異構信息融合；各向異性卷積

近年來，消防機器人（Fire-fighting Robots，FFR） 技術及產業(yè)發(fā)展迅速，消防機器人在火源探測和滅火中發(fā)揮著越來越重要的作用。

高階智能滅火機器人是目前研究的重點。而對于傳統(tǒng)的消防機器人無法應對多種復雜的火場環(huán)境，不能精確采集火場內部信息，做出智能化判斷。同時，在信息集成方面，傳統(tǒng)的消防機器人信息集成系統(tǒng)在短時間內無法將多種來源的信息進行有效集成，因此采用了能夠有效解決此類問題的多源異構信息集成技術。相較于傳統(tǒng)的機器人視覺感知系統(tǒng)，智能視覺感知機器人系統(tǒng)在圖像處理方面展現出了顯著的優(yōu)勢。該系統(tǒng)不僅能夠準確識別環(huán)境中的物體種類，還能精準感知視覺目標的空間狀態(tài)，從而實現對環(huán)境的全面、高效理解[1]。能夠有效地識別在復雜火場內機器周圍的物品，并在短時間內做出有效判斷。

在針對火場的障礙物進行識別和三維重建方面，傳統(tǒng)的消防機器人并不能根據采集信息進行精確識別、立體重建，且該技術仍然處于探索階段。機器人三維視覺感知數據提供了豐富的周圍環(huán)境信息，其獨特的物體形貌記錄方式。從三維數據中直接識別出物體的種類，不僅可以有效避免在使用信息判斷后再映射到三維空間時可能引入的誤差，而且在環(huán)境光照因素對信息采集的干擾方面也有了顯著的降低，從而在識別精度和穩(wěn)定性方面都有了顯著的提升，從數據的角度來看，盡管 3D 視覺感知數據具備對物體形貌進行記錄的能力，但其局限性卻不容忽視。相較于圖像數據所包含的豐富紋理信息，三維數據在這方面顯得捉襟見肘，導致了關鍵信息的缺失。此外，由于數據維度的增加，物體種類識別的難度也隨之大幅提升，這無疑給后續(xù)處理和分析帶來了更大的挑戰(zhàn)。但主要依賴于三維形貌特征的傳統(tǒng)物體種類識別方法，在實際應用中局限性較大，挑戰(zhàn)也較大，往往難以達到機器人環(huán)境視覺感知的速度和精度的實際需求標準。

為攻克這一難題，引入立體形貌指向性特征提取模型。該模型能夠從特定方向的三維形貌截面中精確地提取關鍵信息，從而為后續(xù)對象的類型識別提供更加精確和有效的基礎。

1 智能視覺感知機器人系統(tǒng)

針對火場內部圖像處理設計了智能視覺感知機器人系統(tǒng)，其中包括對火焰的檢測，對人體的檢測以及對障礙物的檢測。識別和定位火焰屬于消防機器人的基本功能，相較于傳統(tǒng)的使用基于模型特征的識別方法，采用基于視覺特征的識別方法，對火焰的紋理特征進行分析，此方法穩(wěn)定性較高，不易受機器運動影響。而對于火焰的精準定位，則采用圖像傳感器和UV傳感器結合的方式進行高精度定位。在火場救援任務中，消防機器人實現高效救援的一個關鍵功能是對被困者的人體目標進行探測和識別，針對火場內部復雜多變的環(huán)境和相對較低的辨識度，在人體探測領域，人體模型法表現出了極佳的精準性，在消防救援任務中，機器人此法以簡潔明了的二維圖形，巧妙地概括、近似地描述人體的輪廓、骨架及各個關鍵部位，進而構造出精確的人體模型[2]。限制實際作戰(zhàn)性能的一個重要方面就是滅火機器人的機動能力。消防機器人要具備環(huán)境感知功能，正確識別地面障礙物，在各種復雜的火災現場環(huán)境中。通過規(guī)劃路徑、導航到達感應目標位置，確定地面上的可通行區(qū)域，才能進行滅火作業(yè)。針對當前問題，采用了融合非視覺與視覺技術的創(chuàng)新障礙物檢測方案[3]。首先利用紅外接近傳感器的精確性，對障礙物的距離進行初步判斷。隨后，借助立體視覺技術，通過高效的立體匹配算法，獲取視差圖。在此基礎上，進一步運用V-視差法，實現了對障礙物的精準檢測。充分利用環(huán)境中的顏色、深度等信息，顯著提升了檢測精度，確保了檢測結果的可靠性。

2 雙目立體視覺系統(tǒng)

作為機器視覺領域的關鍵環(huán)節(jié)，雙目立體視覺技術對人類雙眼視覺系統(tǒng)的運行機制進行了深度仿真。這一技術通過對兩臺攝像機的巧妙運用，將兩幅被測圖像從不同角度捕捉下來。在先進的電腦視覺技術的幫助下，細致地處理兩幅畫面，精確地計算出畫面的對應點與對應點的位置偏差。雙目立體視覺系統(tǒng)的核心在于它以視差原理為基礎的操作手法。這一方法的核心在于通過精確測量同一物體在不同視角下的位置差異，進而準確地推算出物體與攝像機之間的實際距離[4]。這種測量方式充分利用了視覺原理，提供了一種高效且精確的距離測量手段。TOF 攝像機和近紅外攝像機三種成像裝置利用可見光攝像機構建基礎視覺系統(tǒng)，從不同的視點對火場中的障礙物進行拍攝，獲取目標信息，并根據不同圖像的視差進行三維重建。

3 信息技術多源異構融合

針對信息處理和傳遞，考慮到有多種信息源，采用多源異構信息融合技術[5]。多源異構數據融合（Multi-Sourcedatafusion）是一種多樣化的數據，旨在對多種來源進行有效整合和綜合分析，包括不同的設備、傳感器、系統(tǒng)或網絡等。該技術通過充分利用不同數據源提供的多角度信息，旨在獲取更為全面、精準的數據結果，從而能夠為用戶提供更加優(yōu)質的業(yè)務應用和服務體驗。通過多源異構的數據整合，數據的潛在價值可以被數據驅動的業(yè)務創(chuàng)新和決策優(yōu)化更好地挖掘出來。在多源信息融合方面采用了特征層融合的方法，為后續(xù)的決策分析提供了堅實的數據支持和參考依據，通過對數據源特征信息的獲取、關鍵信息的深入解剖和處理以及關鍵信息的保留。

系統(tǒng)采用 B/S 模式，由四層架構構建而成，分別是支撐層、數據層、服務層、應用層。在視覺系統(tǒng)捕獲的圖像數據的基礎上，首先從原始觀測數據中提煉出具有顯著代表性的特征信息。這些特征信息被精心融合成一個統(tǒng)一且高效的特征矢量，進而運用先進的模式識別技術進行處理，以作為后續(xù)決策過程的重要參考依據。特征層融合在處理時，將原來的觀測數據提取并壓縮特征，在保留重要信息的同時，也使處理原始數據的量有所減少。整合二、三維火場內部障礙物特征數據，構建火場三維模型。

進行火災探測時，須綜合分析多傳感器數據和視頻圖像數據。由于傳感器設備的監(jiān)測范圍有限，需要從相關場所中篩選出對當前位置有效的傳感器設備和攝像頭，并根據位置信息調整攝像頭的方向，以確保采集到的視頻或圖像數據能夠準確反映當前位置的情況。各個傳感器設備相互獨立，它們的采樣周期和網絡協(xié)議各不相同，因此數據傳輸至平臺時可能會存在一定的時間誤差。為確保數據融合分析的精準性，須依據時間序列，仔細篩選并考慮一定時間段內的傳感器數據，從而確保數據的時效性和精確性。在此基礎上，將深入剖析單個傳感器與攝像頭監(jiān)測所得結果，并運用先進的數據融合算法進行綜合分析，從而得出更為精確且全面的火災探測結果，顯著提升火災探測的準確度和可靠性[6]。

4 立體形貌指向性特征提取各方向異性卷積的模型

為了更好地識別障礙和三維重建障礙，設計了以各種方向異性卷積為基礎，從三維形貌截面提取特定方向上的形貌關鍵信息的三維形貌定向特征提取模型。各向異性的單一卷積網絡往往僅限于特定方向的信息提取，如在使用 M × N × 1 的卷積核時，信息提取只能集中在 X-Y 平面上，而對重要 X-Z 方向、Y-Z 方向的信息則忽略不計。這導致模型在感知三維形貌的完整信息時存在明顯局限。分層網狀車型的設計是基于層狀融合來彌補這方面的不足。該模型可以通過巧妙的層狀特征融合，將多個從各個方向的異性卷積網絡中提取出來的特征整合起來，從而實現對三維形貌的全方位感知。這一創(chuàng)新設計使模型處理復雜數據的能力得到顯著提升。

層特征融合法的作用是將各截面形貌信息綜合在各向異性卷積模型的輸出結果中，從而獲得高維向量表達 Fv 的物體三維形貌的總體特征。要求其計算結果 Fv 在設計層特征融合函數時，需要包含三維張量 V 的所有重要信息，以確保分類器能夠對不同種類的物體進行正確的區(qū)分。 值得一提的是，特征的分層融合法應具有可微性，確保損失函數值能夠在訓練過程中精確地傳遞到各個相關的各個方向的異性卷積模型中，進而對模型的收斂性能進行有效保護。圖 4 為分層網絡模型結構，以層特征提取方法為基礎。該模型巧妙地利用了兩個各向異性的卷積模型，從而對X 和 Z 方向的物體立體的外形特征進行了精確的學習和提取。此外，這款車型還引入了將物體立體外觀的整體特征有效地融合在一起的創(chuàng)新分層融合機制[7]。模型在獲得三維形貌的整體特征后，進一步構建了一個強大的特征分類器，通過包含 128 個和 256個隱藏單元的兩層全鏈接函數來精確地輸出三維形貌的類別信息。這一設計不僅提升了模型的分類性能，還增強了其對三維形貌特征的捕捉能力。

5 結論

針對高級智能化消防機器人的創(chuàng)新思路，提出了一套基于精準信息采集和智能分析的方案。該方案以圖像為媒介，將視覺感知的基礎和核心支撐提供給消防機器人。為實現這一目標，設計了由可見光攝像機、TOF攝像機和近紅外攝像機組成的視覺系統(tǒng)，同時引入了立體視覺技術以精準采集環(huán)境信息。這一系統(tǒng)能夠實時將捕獲的信息傳遞給智能視覺感知機器人系統(tǒng)，并利用多源異構信息融合技術，對各類信息進行高效整合。給今后的消防安全工作帶來了更為廣闊的應用前景。