基于熱成像的FPV無(wú)人機(jī)搜救系統(tǒng)設(shè)計(jì)

莫雄 連濤 蔡定邦 陳倍昌 張劍彬

摘要：全國(guó)每年都會(huì)出現(xiàn)戶外人口失蹤事件，但野外救援通常采用人力搜尋的方式進(jìn)行救援，具有高延時(shí)性、低效性、人力資源浪費(fèi)的缺點(diǎn)。針對(duì)這種情況，設(shè)計(jì)一臺(tái)搜救FPV無(wú)人機(jī)，把紅外熱成像儀搭載在無(wú)人機(jī)上，紅外熱成像儀與圖傳模塊發(fā)射端連接，將航拍得到的圖像無(wú)線傳輸?shù)酱钶d圖傳模塊接收端的電腦端，電腦端接收?qǐng)D像后進(jìn)行人體識(shí)別算法，并且在原圖像上勾勒人體形狀后形成新圖像，再通過(guò)圖傳模塊發(fā)射端無(wú)線傳到FPV眼鏡。基于熱成像的FPV無(wú)人機(jī)搜救系統(tǒng)，可以自動(dòng)識(shí)別人體，并且傳輸?shù)牡谝灰暯菆D像提供更大的視野，能夠幫助有關(guān)人員搜尋失蹤人員。

關(guān)鍵詞：熱紅外成像;可穿戴設(shè)備;四旋翼無(wú)人機(jī);FPV眼鏡

中圖分類號(hào)：TD324 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-3044（2019）35-0192-02

1 概述

隨著民用無(wú)人機(jī)技術(shù)應(yīng)用領(lǐng)域不斷地拓展和深入，未來(lái)將迎來(lái)“無(wú)人機(jī)+”的時(shí)代。[1]搭載攝像頭的四旋翼無(wú)人機(jī)是我國(guó)應(yīng)用廣泛的一項(xiàng)航空攝錄設(shè)備，基于其自身的響應(yīng)速度快、可遠(yuǎn)程操控、運(yùn)行成本低、提供實(shí)時(shí)數(shù)據(jù)等優(yōu)勢(shì)，可以用于復(fù)雜地形的檢測(cè)工作[2]。

FPV無(wú)人機(jī)擁有第一視角視野廣闊的優(yōu)點(diǎn)，可以比傳統(tǒng)第三視角的顯示屏更有效地發(fā)現(xiàn)受困人員。紅外熱成像儀具有非接觸、直觀、操作方便、安全、單次檢測(cè)面積大等諸多優(yōu)點(diǎn)，并且針對(duì)可見(jiàn)光易受光照變化、夜間可視性以及其他環(huán)境因素影響的情況，采用紅外熱成像儀可以有效避免上述問(wèn)題[4]。

2 設(shè)計(jì)方案

整個(gè)設(shè)備的整體構(gòu)架如圖1所示，主要分為無(wú)人機(jī)、紅外熱成像儀、圖像處理三大部分。無(wú)人機(jī)使用PX4飛控作為飛行控制器主芯片。圖傳模塊發(fā)射端使用VT5804-V3模塊，圖傳模塊接收端使用RC832模塊。系統(tǒng)將紅外熱成像儀與飛行控制器、VT5804-V3模塊連接。可以將圖像輸出傳輸?shù)竭B接RC832模塊的電腦上，電腦端讀取傳輸?shù)降膱D像并且用對(duì)應(yīng)人體識(shí)別算法，對(duì)圖像進(jìn)行人體識(shí)別，將通過(guò)方框勾勒人體后保存為新圖像。再通過(guò)另一個(gè)VT5804-V3模塊將處理后的圖像傳輸?shù)紽PV眼鏡上。

3 硬件設(shè)計(jì)

3.1紅外熱成像儀

紅外熱成像儀是利用紅外探測(cè)器、光學(xué)成像物鏡和光機(jī)掃描系統(tǒng)接受被測(cè)目標(biāo)的紅外輻射能量分布圖形反映到紅外探測(cè)器的光敏云上，在光學(xué)系統(tǒng)和紅外探測(cè)器之間，有一個(gè)光機(jī)掃描型熱攝像機(jī)或者熱釋電電視攝像機(jī)對(duì)被測(cè)物體的紅外熱像進(jìn)行掃描，并聚焦在單元或分光探測(cè)器上，由探測(cè)器將紅外輻射能轉(zhuǎn)換成電信號(hào)，經(jīng)放大處理、轉(zhuǎn)換或標(biāo)準(zhǔn)視頻信號(hào)通過(guò)電視屏或監(jiān)測(cè)器顯示紅外熱像圖像[5]。

根據(jù)系統(tǒng)對(duì)于野外救援對(duì)溫度感知的需求，選擇被動(dòng)式紅外熱成像儀。具體型號(hào)選擇FLIR DUO無(wú)人機(jī)用微型紅外與可見(jiàn)光雙視融合相機(jī)。其包含1080P可見(jiàn)光相機(jī)和160*120分辨率紅外熱成像相機(jī)，可以自由切換可見(jiàn)光、紅外相機(jī)模式。并且采用了特有的MSX融合技術(shù)，將可見(jiàn)光拍攝到的關(guān)鍵細(xì)節(jié)信息實(shí)時(shí)添加至紅外圖像中形成融合圖像，可大幅度提高畫面質(zhì)量和輪廓清晰度。并且可搭配GoPro云臺(tái)進(jìn)行使用，保持拍攝平穩(wěn)性。

3.2無(wú)線圖傳模塊

圖傳模塊分為發(fā)射端和接收端。一般來(lái)說(shuō)，圖傳模塊分為模擬圖傳和數(shù)字圖傳。對(duì)于無(wú)人機(jī)來(lái)說(shuō)，低延時(shí)的傳播速度可以保證觀測(cè)到的圖像是第一時(shí)間觀測(cè)到的，傳播距離遠(yuǎn)有利于飛行的安全性。根據(jù)實(shí)際情況，采用低延時(shí)和傳播距離遠(yuǎn)的模擬圖傳。

綜合多種因素，我們選擇熊貓圖傳的VT5804-V3，這是工作在5.8GISM頻段內(nèi)的5.8G模擬圖傳發(fā)射模塊。使用RC832產(chǎn)品作為接收端，該產(chǎn)品是一個(gè)裸機(jī)接收端，可以在后續(xù)制作中接入顯示屏或者是FPV眼鏡。同樣工作在5.8G，具有38個(gè)頻點(diǎn)，保證了接收的穩(wěn)定性。圖傳模塊接收端后連接視頻采集卡插入電腦，再使用potplaer視頻處理軟件，將其視頻格式輸出為MP4文件供Python軟件進(jìn)行處理。

3.3飛行控制器硬件芯片列表

PX4飛控采用STM32F427芯片作為主處理器，其主頻最高可達(dá)168MHZ，高精度的主頻可以保證運(yùn)算的性能。且集成了FPU（專用于浮點(diǎn)運(yùn)算的處理器），因?yàn)樵陲w控的算法運(yùn)算中需要用到大量的浮點(diǎn)數(shù)，內(nèi)部集成FPU可以帶來(lái)更好的運(yùn)算性能。PX4飛控內(nèi)部集成的（MCU）微處理器包括了雙三軸加速度計(jì)、三軸磁力計(jì)、雙三軸陀螺儀、氣壓計(jì)。其中雙加速度計(jì)的方案可以減少單加速度計(jì)在各種環(huán)境因素下產(chǎn)生的混淆噪聲干擾，可以極大地改善飛行穩(wěn)定性。并且還具有一塊STM32F103芯片作為故障協(xié)處理器芯片，提供對(duì)意外事故的應(yīng)付能力。

3.4 FPV眼鏡

FPV眼鏡是用于航模飛行時(shí)實(shí)時(shí)將飛機(jī)上無(wú)線傳回的視頻信號(hào)接收后在眼鏡里顯示出來(lái)，相當(dāng)于用VR眼鏡的顯示方式替代傳統(tǒng)的顯示器，并且相比于VR眼鏡不同的是，在FPV眼鏡上集成了視頻采集處理器和無(wú)線圖傳接受設(shè)備，使得FPV眼鏡可以無(wú)線接收?qǐng)D傳模塊發(fā)射端發(fā)射的圖像信號(hào)。通過(guò)使用FPV眼鏡可以更好地模擬人眼，換取更大的視野范圍，以及比顯示屏更真實(shí)的視野情況。

4 系統(tǒng)軟件設(shè)計(jì)設(shè)計(jì)

4.1無(wú)人機(jī)飛行算法設(shè)計(jì)

無(wú)人機(jī)飛行核心算法有捷聯(lián)式慣性導(dǎo)航系統(tǒng)、卡爾曼濾波器、PID控制器。捷聯(lián)式慣性導(dǎo)航系統(tǒng)就是利用載體上的加速度計(jì)、陀螺儀這兩種慣性傳感器，去分別測(cè)出飛行器的角運(yùn)動(dòng)參數(shù)和線運(yùn)動(dòng)參數(shù)，由處理器通過(guò)慣性導(dǎo)航算法推算出飛機(jī)的姿態(tài)、速度、航向、位置等導(dǎo)航參數(shù);卡爾曼濾波算法采用信號(hào)與噪聲的狀態(tài)空間模型，利用前一時(shí)刻地估計(jì)值和現(xiàn)時(shí)刻地觀測(cè)值來(lái)更新對(duì)狀態(tài)變量的估計(jì)，求出現(xiàn)在時(shí)刻的估計(jì)值。

由于PX4飛控有一個(gè)開(kāi)源社區(qū)在維護(hù)，代碼系統(tǒng)比較完整。通過(guò)使用PX4飛控原生的Pixhawk固件可以比較容易地實(shí)現(xiàn)對(duì)無(wú)人機(jī)的飛行姿態(tài)結(jié)算以及飛行操控。組裝好無(wú)人機(jī)后，我們需要根據(jù)自身情況調(diào)節(jié)PID參數(shù)，即可實(shí)現(xiàn)無(wú)人機(jī)的平穩(wěn)飛行。再通過(guò)改變應(yīng)用層代碼來(lái)對(duì)PX4飛控二次開(kāi)發(fā)。

4.2熱成像人體識(shí)別算法設(shè)計(jì)

首先需要對(duì)圖像進(jìn)行預(yù)處理，即進(jìn)行對(duì)噪聲的濾波和對(duì)比度的增強(qiáng)[7]，采用中值濾波算法使得畫面更加平滑，直方圖均衡算法對(duì)圖像黑白對(duì)比度進(jìn)行加深，即畫面顏色更亮。通過(guò)這兩個(gè)算法對(duì)圖像進(jìn)行優(yōu)化以方便后續(xù)算法的進(jìn)行。

在對(duì)圖像進(jìn)行優(yōu)化后，我們需要對(duì)感興趣區(qū)域進(jìn)行勾選，即對(duì)人體進(jìn)行勾選。由于人體特征已被其他物體遮擋，所以我們選擇較復(fù)雜的特征進(jìn)行提取。使用目標(biāo)高寬比和目標(biāo)形狀分散度作為特征點(diǎn)，即勾選目標(biāo)的矩形框框中最小矩形的高度和寬度之比，和勾選目標(biāo)框框中周長(zhǎng)平方和面積之比。之后通過(guò)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)得到分類器，利用分類器對(duì)圖像進(jìn)行識(shí)別。本部分通過(guò)在Python中寫入算法，再利用numpy庫(kù)進(jìn)行神經(jīng)網(wǎng)絡(luò)庫(kù)函數(shù)調(diào)用，再通過(guò)調(diào)整訓(xùn)練度的值，進(jìn)行訓(xùn)練，直到訓(xùn)練效果成功。

4.3 FPV眼鏡軟件設(shè)計(jì)

顯示技術(shù)是VR眼鏡的核心，顯示技術(shù)包括：交錯(cuò)顯示、畫面交換、視差融合。

使用FPV眼鏡與交錯(cuò)模式搭配，則只需將圖場(chǎng)垂直同步訊號(hào)當(dāng)作快門切換同步訊號(hào)即可，即顯示單圖場(chǎng)（即左眼畫面）時(shí)，立體眼鏡會(huì)遮住使用者的一只眼睛，而當(dāng)顯示偶圖場(chǎng)時(shí)，則切換遮住另一只眼睛，如此周而復(fù)始，便可達(dá)到立體顯像的目的。

畫面交換畫面交互的工作原理是將左右眼圖像交互顯示在屏幕上的方式，使用FPV眼鏡與這類立體顯示模式搭配，只需要將垂直同步訊號(hào)作為快門切換同步訊號(hào)即可達(dá)成立體顯像的目的。而使用其他立體顯像設(shè)備則將左右眼圖像（以垂直同步訊號(hào)分隔的畫面）分送至左右眼顯示設(shè)備上即可。

視差融合的工作原理是讓左眼與右眼圖像的差異持續(xù)在屏幕上表現(xiàn)出來(lái)，通過(guò)控制處理器送出立體訊號(hào)到屏幕，并同時(shí)送出同步訊號(hào)到3D立體眼鏡，使其同步切換左、右眼圖像，使得兩只眼睛分別看到不同的景象，產(chǎn)生立體效果。

5 結(jié)束語(yǔ)

本項(xiàng)目通過(guò)采用紅外熱成像儀與四旋翼無(wú)人機(jī)相結(jié)合，通過(guò)2.4G遙控技術(shù)遠(yuǎn)程遙控?zé)o人機(jī)，遙控過(guò)程中通過(guò)紅外熱成像儀拍攝圖像，圖像通過(guò)圖傳設(shè)備傳回對(duì)應(yīng)的無(wú)人機(jī)用電腦，通過(guò)使用中值濾波和直方圖均衡算法對(duì)圖像進(jìn)行預(yù)處理，之后勾選高寬比和形狀分散度作為特征值后使用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練并識(shí)別人體，并且將勾勒人體加載在圖像中，再通過(guò)圖傳模塊傳回FPV眼鏡中。實(shí)現(xiàn)了在無(wú)人機(jī)上搭載熱成像相機(jī)，并且進(jìn)行了對(duì)紅外圖像下的人體識(shí)別。

參考文獻(xiàn)：

[1]金鋒淑，朱京海，李巖.“無(wú)人機(jī)+”時(shí)代城鄉(xiāng)規(guī)劃探索[A].中國(guó)城市科學(xué)研究會(huì)、海南省規(guī)劃委員會(huì)、?？谑腥嗣裾?2017城市發(fā)展與規(guī)劃論文集[C].中國(guó)城市科學(xué)研究會(huì)、海南省規(guī)劃委員會(huì)、?？谑腥嗣裾罕本┌畹贂?huì)務(wù)有限公司，2017：6.

[2]羅彥鵬.無(wú)人機(jī)在消防滅火救援工作中的運(yùn)用[J].中國(guó)科技信息，2019（13）：56+58.

[3]卓星宇.無(wú)人機(jī)山區(qū)搜尋方法研究[D].中國(guó)民用航空飛行學(xué)院，2017.

[4]電科小氙.五項(xiàng)新能力推動(dòng)無(wú)人機(jī)革命[N].中國(guó)航空?qǐng)?bào)，2019-09-10（007）.

[5]李梅芳，王靜，張會(huì)芝.淺談紅外攝像機(jī)原理及其應(yīng)用[J].中國(guó)高新區(qū)，2018（09）：22-23.

[6]李建福.紅外圖像中人體目標(biāo)檢測(cè)、跟蹤及其行為識(shí)別研究[D].重慶大學(xué)，2010.

[7]郭家歡.基于單幀紅外圖像的行人檢測(cè)[D].吉林大學(xué)，2008.

【通聯(lián)編輯：梁書】

收稿日期：2019-10-11

基金項(xiàng)目：國(guó)家大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（201910595025），國(guó)家大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（201610595014）

作者簡(jiǎn)介：莫雄，男，桂林電子科技大學(xué)本科生在讀學(xué)生。