基于紅外視覺(jué)的野外搜救無(wú)人機(jī)的設(shè)計(jì)與實(shí)現(xiàn)*

邵延華， 張得沛， 楚紅雨， 常志遠(yuǎn)， 展華益， 饒?jiān)撇?/p>

(1.西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621000;2.西北大學(xué) 電子工程和計(jì)算機(jī)系，美國(guó) 伊利諾斯州 埃文斯頓 60208;3.電子科技大學(xué) 信息與軟件工程學(xué)院,四川 成都 610054)

0 引 言

野外人員失蹤事件每年都時(shí)有發(fā)生，事件發(fā)生后，在48h內(nèi)對(duì)失蹤人員進(jìn)行搜救并給予必要的醫(yī)療救助是救援人員面臨的緊迫任務(wù)。由于野外環(huán)境的通信、醫(yī)療、氣候和地形等條件較差，若同時(shí)伴隨自然地質(zhì)災(zāi)害發(fā)生，通常將會(huì)使得救援人員無(wú)法在救援現(xiàn)場(chǎng)開(kāi)展及時(shí)有效的搜救[1]。2008年四川汶川地震和2010年玉樹(shù)地震，因地震而導(dǎo)致的塌方和泥石流等自然地質(zhì)災(zāi)害均給搜救工作帶來(lái)了極大的困難。因此，尋找一種便捷快速以及低廉的搜救方式對(duì)野外救援工作具有重要的意義。

本文設(shè)計(jì)了一種可以24 h作業(yè)的基于紅外視覺(jué)的野外自主搜救無(wú)人機(jī)。通過(guò)機(jī)載紅外熱像儀采集紅外人體圖像并提取方向梯度直方圖(histogram of oriented gradient，HOG)特征，結(jié)合線性支持向量機(jī)(support vector machine，SVM)分類(lèi)器實(shí)現(xiàn)對(duì)待救援人員的人體檢測(cè)。

在油菜花田、森林及道路等多種實(shí)際場(chǎng)景中測(cè)試表明，該系統(tǒng)工作穩(wěn)定，能夠滿足實(shí)際使用需求。

1 搜救無(wú)人機(jī)方案設(shè)計(jì)

搜救飛行機(jī)器人采用四旋翼架構(gòu)，為了保證順利完成搜救任務(wù)，四旋翼飛行器在具有一定負(fù)載能力的基礎(chǔ)上需要盡可能提高其續(xù)航時(shí)間。在四旋翼飛行器設(shè)計(jì)過(guò)程中，機(jī)架、電機(jī)、螺旋槳以及電池都決定了飛行器的負(fù)載能力以及續(xù)航時(shí)間。本文設(shè)計(jì)的四旋翼飛行器重量1.5 kg，電池5 200 mA[2]。

當(dāng)有人員遇險(xiǎn)后，搜救無(wú)人機(jī)將飛到事故發(fā)生區(qū)域上空，救援人員可通過(guò)地面站軟件對(duì)搜救無(wú)人機(jī)的飛行航跡進(jìn)行螺旋式規(guī)劃，之后搜救無(wú)人機(jī)將依預(yù)定航跡進(jìn)行搜尋。一旦檢測(cè)到待救援人員，便立刻將待救援人員的地理坐標(biāo)發(fā)送回地面站以指導(dǎo)救援人員開(kāi)展救援工作，給現(xiàn)場(chǎng)決策提供幫助，具體流程如圖1所示。

圖1 搜救無(wú)人機(jī)搜救方案

2 紅外視覺(jué)人體檢測(cè)及定位

傳統(tǒng)的空中搜救方式多通過(guò)無(wú)人機(jī)搭載高清攝像頭，但是高清攝像頭在夜晚或光照較暗的環(huán)境中局限性十分明顯[3]。而紅外熱像儀不依賴可見(jiàn)光，可在一定程度上打破受光線影響的局限。本文主要從樣本獲取、HOG特征提取、SVM訓(xùn)練分類(lèi)及目標(biāo)定位4部分介紹紅外視覺(jué)人體檢測(cè)的技術(shù)路線。

2.1 樣本獲取

HOG+SVM是一種十分經(jīng)典有效的人體目標(biāo)檢測(cè)方法[4]，速度和檢出效果的綜合平衡性能較好。OpenCV提供的行人檢測(cè)器模型是根據(jù)普通相機(jī)拍攝的圖像訓(xùn)練而來(lái)，鑒于紅外成像與可見(jiàn)光成像的區(qū)別，該模型并不適合紅外人體目標(biāo)檢測(cè)。為了提高HOG算法對(duì)紅外人體目標(biāo)檢測(cè)的準(zhǔn)確性，需標(biāo)記相應(yīng)的紅外數(shù)據(jù)來(lái)訓(xùn)練SVM。

為實(shí)現(xiàn)在復(fù)雜環(huán)境下的正確分類(lèi)，合理選擇訓(xùn)練集對(duì)實(shí)現(xiàn)正確分類(lèi)至關(guān)重要。本文在自建訓(xùn)練集時(shí)遵循了以下原則：1) 避免不平衡樣本集 ；2) 人體目標(biāo)樣本具有代表性；3) 背景樣本類(lèi)型豐富。具體訓(xùn)練集構(gòu)建方法為：通過(guò)搜救無(wú)人機(jī)機(jī)載的紅外熱像儀分別在道路、森林、灌木叢、油菜地等典型野外環(huán)境采集了大量的人體紅外圖像。以手動(dòng)標(biāo)定的方式標(biāo)出了圖像中人體目標(biāo)，并將其縮放到64像素×128像素作為SVM的正樣本；在不含人體目標(biāo)的圖像中隨機(jī)截取64像素×128像素的圖片作為負(fù)樣本。最終完成正樣本數(shù)2 200，負(fù)樣本數(shù)2 200。部分正負(fù)樣本如圖2。

圖2 自建數(shù)據(jù)集中部分正負(fù)樣本實(shí)例

2.2 HOG特征提取

HOG特征對(duì)光照變化和梯度特征的少量變化具有穩(wěn)定性，能夠較準(zhǔn)確地表達(dá)圖像中的人體目標(biāo)的特征，因而被廣泛應(yīng)用于人體目標(biāo)檢測(cè)[6,7]。

Dalal N[8]對(duì)比分析了不同檢測(cè)窗口對(duì)于人體目標(biāo)檢測(cè)效果的影響，分析結(jié)果表明，當(dāng)檢測(cè)窗口為64像素×128像素時(shí)對(duì)人體目標(biāo)檢測(cè)具有最佳效果，因此本文采用樣本尺寸為64像素×128像素的人體尺寸來(lái)提取HOG特征，并以8像素×8像素個(gè)像素點(diǎn)為單位將圖像劃分為若干個(gè)小cell，然后將4個(gè)cell組成一個(gè)塊(block)，如圖3所示。

圖3 HOG特征提取

對(duì)原圖像進(jìn)行實(shí)際運(yùn)算時(shí)，對(duì)圖像采用[-1 0 1]和[-1 0 1]T梯度算子進(jìn)行卷積運(yùn)算，可得到在水平方向和垂直方向的梯度分量[9]，然后再利用式(1)和式(2)得到該像素點(diǎn)的梯度大小和方向

(1)

(2)

式中Gx(x,y)和Gy(x,y)分別為圖像中像素點(diǎn)(x,y)處的水平和垂直方向梯度與該像素灰度值H(x,y)的關(guān)系

Gx(x,y)=H(x+1,y)-H(x-1,y)

(3)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(4)

對(duì)每個(gè)cell的梯度信息進(jìn)行統(tǒng)計(jì)，本文采用9個(gè)bin的直方圖來(lái)統(tǒng)計(jì)表示，即將其梯度方向360°分成9個(gè)方向塊來(lái)表示該cell的梯度方向直方圖。最終將block內(nèi)所有cell歸一化之后的特征向量串聯(lián)起來(lái)便可得到該block的HOG特征。

2.3 SVM分類(lèi)識(shí)別

目標(biāo)識(shí)別是紅外人體目標(biāo)檢測(cè)的核心，主要驗(yàn)證候選區(qū)域是否包含紅外人體目標(biāo)。目前，在人體檢測(cè)中最常用的方法之一為SVM對(duì)圖像HOG特征進(jìn)行分類(lèi)識(shí)別[10]。

前期獲得正負(fù)樣本后，分別計(jì)算正負(fù)樣本圖像的HOG描述子特征向量，并指定正負(fù)樣本所屬的類(lèi)別，訓(xùn)練SVM檢測(cè)模型，并保存為XML文件。

然后根據(jù)其中的支持向量和參數(shù)生成OpenCV中的HOG描述子可用的檢測(cè)子參數(shù)，再使用多尺度檢測(cè)對(duì)負(fù)樣本原圖進(jìn)行行人檢測(cè)，將所有檢測(cè)到的目標(biāo)截取并保存為圖片，將其加入負(fù)樣本集合中作為難例(hard example)重新訓(xùn)練SVM，獲得最終檢測(cè)子，以提高SVM分類(lèi)器的準(zhǔn)確性[11]。其識(shí)別過(guò)程如圖4所示。

圖4 人體目標(biāo)識(shí)別過(guò)程

2.4 遇險(xiǎn)地定位

目前民用GPS的位置更新速率通常為10 Hz，水平圓概率誤差一般能夠達(dá)到2 m，而垂直方向的誤差通常較大。全球定位系統(tǒng)(global positioning system,GPS)位置信息跳變大，更新速率較低，但靜態(tài)特性較好；氣壓計(jì)測(cè)得的高度信息連續(xù)，但存在漂移現(xiàn)象；慣導(dǎo)系統(tǒng)對(duì)加速度進(jìn)行雙重積分求出位移，數(shù)據(jù)更新速率較快，動(dòng)態(tài)性能較好，但容易出現(xiàn)發(fā)散現(xiàn)象。因此,本文采用互補(bǔ)濾波對(duì)GPS、氣壓計(jì)以及慣導(dǎo)數(shù)據(jù)進(jìn)行融合。

遇險(xiǎn)人員位置信息可以通過(guò)搜救無(wú)人機(jī)自身位置與救援目標(biāo)相對(duì)于飛行機(jī)器人的相對(duì)位置進(jìn)行精確計(jì)算，如圖5。

圖5 遇險(xiǎn)地定位示意

由圖可知，無(wú)人機(jī)的坐標(biāo)(xb，yb，zb)可由GPS數(shù)據(jù)獲得，無(wú)人機(jī)高度即為zb，有

R=zb×tanθ

(5)

當(dāng)紅外熱像儀安裝時(shí)θ角已經(jīng)確定，因此搜尋范圍即為以GPS坐標(biāo)(xb，yb，zb)為中心，以當(dāng)前電子羅盤(pán)的指向同時(shí)以距離R進(jìn)行搜救。

3 實(shí)驗(yàn)與結(jié)果分析

為測(cè)試野外自主搜救無(wú)人機(jī)在野外搜尋遇險(xiǎn)人員的性能，進(jìn)行了實(shí)際模擬測(cè)試。測(cè)試場(chǎng)地包括：油菜花田、森林及道路等。無(wú)人機(jī)飛控系統(tǒng)采用STM32F427處理器和μC/OS—Ⅲ操作系統(tǒng)；圖像處理系統(tǒng)采用英偉達(dá)TK1處理器、Ubuntu16.04和OpenCV 2.4.13。部分檢測(cè)效果如圖6。

圖6 不同環(huán)境下的檢測(cè)結(jié)果

從圖6可知，該野外自主搜救無(wú)人機(jī)能夠較好實(shí)現(xiàn)人體目標(biāo)的紅外圖像檢測(cè)，可以完成野外復(fù)雜環(huán)境下遇險(xiǎn)人員的搜尋工作。規(guī)避了森林等具有高遮擋性的環(huán)境對(duì)檢測(cè)的影響。測(cè)試表明，紅外人體檢測(cè)算法具有較好的檢測(cè)效果。多場(chǎng)景檢測(cè)效果如表1所示。

表1 多場(chǎng)景目標(biāo)檢測(cè)效果

由測(cè)試結(jié)果可以看出，當(dāng)環(huán)境越復(fù)雜、遮擋率越高，漏檢率和誤檢率越大以及平均每幀運(yùn)行時(shí)間越長(zhǎng)，這也與理論上的分析結(jié)果一致，說(shuō)明了測(cè)試結(jié)果具有可信性。

為了測(cè)試目標(biāo)定位的可靠性和準(zhǔn)確性，指定一個(gè)目標(biāo)人員在固定位置靜止不動(dòng)，且佩戴GPS定位設(shè)備對(duì)自身位置進(jìn)行定位；手動(dòng)控制搜救飛行機(jī)器人使其在目標(biāo)人員附近50 m高空巡飛。搜救飛行機(jī)器人對(duì)地面人員目標(biāo)進(jìn)行檢測(cè)并計(jì)算其地理位置。多次實(shí)際場(chǎng)景實(shí)驗(yàn)可知，本文的搜救飛行機(jī)器人對(duì)地面人員目標(biāo)位置的計(jì)算結(jié)果與地面目標(biāo)人員佩戴的GPS定位器給出的位置的誤差不超過(guò)3 m，一般能夠滿足對(duì)野外遇險(xiǎn)人員搜救的定位精度。

4 結(jié) 論

本文從搜救無(wú)人機(jī)方案設(shè)計(jì)、紅外視覺(jué)人體檢測(cè)及定位和實(shí)驗(yàn)結(jié)果分析等三個(gè)方面對(duì)野外自主搜救無(wú)人機(jī)的進(jìn)行了研究與實(shí)現(xiàn)。識(shí)別算法采用了HOG+SVM相結(jié)合的方法實(shí)現(xiàn)了紅外人體目標(biāo)的檢測(cè)。測(cè)試結(jié)果表明:所設(shè)計(jì)的基于紅外視覺(jué)的野外自主搜救無(wú)人機(jī)可依據(jù)地面站所預(yù)設(shè)的航跡進(jìn)行自主搜尋，在人體目標(biāo)檢測(cè)及定位方面具有較高的識(shí)別率和定位準(zhǔn)確性，能夠完成野外環(huán)境下的自主搜救任務(wù)。