融合熱釋電紅外傳感器與雙目系統(tǒng)室內(nèi)人體檢測(cè)追蹤方法的研究

石強(qiáng)，唐軍

（貴州大學(xué)電氣工程學(xué)院，貴州 貴陽(yáng) 550025）

0 引言

室內(nèi)人體檢測(cè)和追蹤方法的研究對(duì)于人機(jī)交互，智能監(jiān)控，虛擬現(xiàn)實(shí)和行人重檢測(cè)等領(lǐng)域有著重大的意義[1-3]。目前常用的人體檢測(cè)和追蹤方法有兩種，一種是基于紅外信息，另外一種是基于視頻信息。文獻(xiàn)[4]提出了在復(fù)雜背景下利用紅外圖像序列進(jìn)行人體檢測(cè)追蹤的方法，雖然在實(shí)時(shí)性和準(zhǔn)確性取得了一定成功，但是當(dāng)人體遮擋較多的時(shí)候，導(dǎo)致成像異常的時(shí)候，將無(wú)法有效的檢測(cè)和追蹤人體。文獻(xiàn)[5]提出了利用單目攝像頭進(jìn)行人體檢測(cè)和追蹤的方法，但是該方法的算法復(fù)雜度比較高，對(duì)一些場(chǎng)景缺乏分辨力，并且缺乏深度信息。文獻(xiàn)[6]提出了利用融合熱釋電紅外傳感器和視頻監(jiān)控系統(tǒng)的人體檢測(cè)和追蹤方法，但是他的融合算法較為復(fù)雜，實(shí)時(shí)性并不高。綜上所述，人體檢測(cè)和追蹤方法的主要缺陷是在于實(shí)時(shí)性和降低虛警率上，因此本文為了改進(jìn)上述缺陷，融合熱釋電紅外傳感器和雙目視覺(jué)系統(tǒng)，設(shè)計(jì)出一種實(shí)時(shí)性較好和虛警率較低的人體檢測(cè)和追蹤方法。

1 系統(tǒng)總體框架

系統(tǒng)主要由兩個(gè)子系統(tǒng)組成，一個(gè)是由熱釋電傳感器網(wǎng)絡(luò)組成的人體檢測(cè)和追蹤部分，另外一個(gè)是雙目視覺(jué)監(jiān)控設(shè)備組成的人體檢測(cè)追蹤部分，PC機(jī)為顯示終端。熱釋電傳感器網(wǎng)絡(luò)由帶有菲涅爾透鏡的熱釋電傳感器，信號(hào)放大電路，信號(hào)處理電路，節(jié)點(diǎn)通信網(wǎng)絡(luò)等組成。而雙目視覺(jué)監(jiān)控設(shè)備主要由雙目攝像頭和處理器構(gòu)成。圖1為系統(tǒng)總體設(shè)計(jì)框圖。

圖1 系統(tǒng)設(shè)計(jì)框圖Fig.1 System configuration block diagram

2 人體檢測(cè)追蹤模型設(shè)計(jì)

2.1 熱釋電紅外傳感器人體檢測(cè)追蹤模式

采集節(jié)點(diǎn)主要由16個(gè)熱釋電紅外傳感器，信號(hào)處理電路，信號(hào)放大電路，電池保護(hù)充電電路，以及無(wú)線收發(fā)模塊組成，其組成如圖2所示：

圖2 采集節(jié)點(diǎn)組成框圖Fig.2 Block diagram of collection node

2.1.2 信號(hào)處理電路

采集節(jié)點(diǎn)通過(guò)供電模塊提供+5V 電壓，并通過(guò)TPS79301為采集節(jié)點(diǎn)的各個(gè)部分供電。當(dāng)人體出現(xiàn)在檢測(cè)區(qū)域時(shí)，PIR 傳感器負(fù)責(zé)檢測(cè)并采集目標(biāo)人體的紅外信號(hào)，之后被轉(zhuǎn)變成電信號(hào)，然后通過(guò)兩級(jí)放大電路將電壓信號(hào)放大[4-5,7-9,12]。其電路圖如圖3所示：

圖3 信號(hào)處理電路Fig.3 Signal processing circuit

2.1.3 AD轉(zhuǎn)換電路

LTC1867 轉(zhuǎn)換芯片及周圍電阻、電容等構(gòu)成了AD轉(zhuǎn)換電路。單個(gè)采集節(jié)點(diǎn)需16 個(gè)數(shù)據(jù)通道用于信號(hào)的模數(shù)轉(zhuǎn)換，但是LTC1867型號(hào)的 AD 芯片只有有8個(gè)通道，因此電路中使用兩個(gè) LTC1867 構(gòu)成16個(gè)通道，同時(shí)為有效采集16個(gè)PIR 傳感器輸出的信號(hào)，需將 LTC1867 設(shè)置為單端輸入模式，即LTC1867 的CH0至CH7通道均作為信號(hào)的輸入通道，其電路圖如圖4所示[10]。

圖4 AD轉(zhuǎn)換電路Fig.4 AD converter circuit

2.1.4 控制電路的設(shè)計(jì)

牧兒和草兒都不言語(yǔ)，因?yàn)楸舜说男脑缫延辛四?。此時(shí)，他們沉默著，望著天，望著山，望著歡快吃草的羊兒，感受著陽(yáng)光的撫摸，感受著這美好的一切，在心里產(chǎn)生對(duì)明天的美好向往。

節(jié)點(diǎn)的處理器采用Stm32F103VCT6，控制電路的主要功能包括對(duì)數(shù)據(jù)進(jìn)行拆包和打包，以及控制無(wú)線模塊NRF24L01進(jìn)行工作[6,11,13-15]。控制電路如圖5所示：

圖5 控制電路Fig.5 Control circuit

2.1.5 無(wú)線模塊的設(shè)計(jì)

采集節(jié)點(diǎn)上的NRF24L01具備發(fā)送數(shù)據(jù)功能，他的主要任務(wù)是將STM32微控制器輸出的數(shù)據(jù)包按照特定協(xié)議發(fā)送給網(wǎng)關(guān)節(jié)點(diǎn)上的NRF24L01無(wú)線模塊。NRF24L01的電路圖如圖6所示。

圖6 無(wú)線模塊Fig.6 Wireless module

2.2 熱釋電人體檢測(cè)和追蹤算法概述

采集節(jié)點(diǎn)通過(guò) 14 個(gè) PIR 傳感器模塊實(shí)現(xiàn)人體紅外信號(hào)的采集，如圖7所示，其探測(cè)范圍可達(dá)70°，且設(shè)計(jì)中采用將采集結(jié)點(diǎn)置于區(qū)域拐角處的設(shè)計(jì)方式，使得系統(tǒng)的有效探測(cè)范圍增大，減少了虛警點(diǎn)，有助于提高跟蹤精度。

圖7 熱釋電紅外采集節(jié)點(diǎn)構(gòu)成圖Fig.7 Structure of thermal emission infrared acquisition node

利用熱釋電紅外傳感器進(jìn)行人體檢測(cè)和追蹤的首先要對(duì)區(qū)域分割，然后不同的區(qū)域8個(gè)傳感器由于接收信號(hào)的強(qiáng)弱最終輸出不同的0，1值，這些0，1組合完成對(duì)劃分區(qū)域的編碼。但是，一個(gè)采集節(jié)點(diǎn)是無(wú)法完成對(duì)人體的追蹤定位的，所以本文使用了四個(gè)采集節(jié)點(diǎn)，然后組合四個(gè)采集節(jié)點(diǎn)獲取的編碼值實(shí)驗(yàn)定位。假定采集點(diǎn)1的坐標(biāo)為（x1, y1）,采集點(diǎn)2的坐標(biāo)（x2, y2），兩者相距d,根據(jù)采集點(diǎn)1和采集點(diǎn)2的編碼值可以求出兩者相交的位置。

2.3 基于機(jī)器視覺(jué)人體檢測(cè)和追蹤模型

雙目攝像頭放置于距離地面250cm的房間正中央位置，人體目標(biāo)的檢測(cè)高度為50～190cm，對(duì)雙目攝像頭進(jìn)行標(biāo)定以后，采用基于Hough變換頭頂圓特征的雙目立體與匹配的算法進(jìn)行人體檢測(cè)和追蹤。圖8為本次實(shí)驗(yàn)平臺(tái)所用的雙目攝像頭。

圖8 雙目攝像頭Fig.8 Binocular camera

3 人體檢測(cè)和追蹤實(shí)時(shí)數(shù)據(jù)融合算法

3.1 算法整體介紹

單一的熱釋電紅外傳感器網(wǎng)絡(luò)對(duì)人體檢測(cè)和追蹤由于受到噪聲的影響，其結(jié)果可能存在很大的誤差。因此本文采用基于Hough變換頭頂圓特征的雙目立體與匹配的算法在熱釋電紅外傳感器網(wǎng)絡(luò)人體檢測(cè)的算法基礎(chǔ)上進(jìn)行再檢測(cè)和再追蹤定位，最終使用深度學(xué)習(xí)的算法對(duì)兩次結(jié)果進(jìn)行融合修正，最終獲得人體檢測(cè)和追蹤的結(jié)果。

算法信息流程圖如圖9所示：

圖9 算法信息流程圖Fig.9 Algorithm information flow chart.

3.2 融合算法

雙目攝像頭的人體檢測(cè)和定位模式是以熱釋電紅外傳感器網(wǎng)絡(luò)采集的定位數(shù)據(jù)為基礎(chǔ)的，因此兩者的數(shù)據(jù)相差并不大，為了降低人體檢測(cè)和追蹤的誤差，本文采用基于新型支持度函數(shù)的人體檢測(cè)和追蹤的冪均方數(shù)據(jù)融合方式進(jìn)行數(shù)據(jù)融合。首先對(duì)熱釋電傳感器網(wǎng)絡(luò)采集的人體定位位置（xr, yr）和雙目攝像頭系統(tǒng)采集的位置（xk,yk）進(jìn)行一致性檢測(cè)和三次指數(shù)平滑，從而獲取人體在室內(nèi)的位置最佳估計(jì) xV，然后利用PC機(jī)對(duì)處理好的數(shù)據(jù)采用冪均方算子完成最終的數(shù)據(jù)融合，各傳感器的最優(yōu)權(quán)重Wi根據(jù)傳感器數(shù)據(jù)之間的支持程度由支持度函數(shù)給出。假定兩種人體檢測(cè)和追蹤模式的中的一種在時(shí)間人測(cè)得人體位置為，三次指數(shù)平滑遞推公式為：

支持度函數(shù)sup(a,b)表示數(shù)據(jù)b對(duì)a的支持程度，也表示a和b的相似程度[12]。他必須滿足3個(gè)條件：

1）sup(a,b)∈ [0, 1]

2）sup(a,b)=sup(b,a)

3）如果 |a-b|＜|x-y|，那么 sup(a,b)＞sup(x,y)

基于對(duì)支持度函數(shù)的分析，系統(tǒng)的支持度函數(shù)采用熊近軍的新型支持度函數(shù)。

式中|a-b|代表兩種采集方式的人體位置數(shù)據(jù)絕對(duì)值之差。

設(shè)定在t時(shí)刻，熱釋電傳感器網(wǎng)絡(luò)和雙目攝像頭采集的人體位置信息分別為Qi(t)和Qj(t)，代入 s u pnew( a , b ) ，可以獲得兩者之間的支持度 λ0。根據(jù)實(shí)驗(yàn)，設(shè)定λ0∈ (η , ψ ) ，一旦 λ0不在這個(gè)區(qū)間，則判定該值無(wú)效，因此在融合以前要進(jìn)行一致性檢查，若不一致，則需要剔除無(wú)效值。將 λ0代入冪均方算子,兩種融合方式的權(quán)值 Wi= 1 + λ0，可以最終得到我們?nèi)诤虾蟮娜梭w位置。

4 實(shí)驗(yàn)及結(jié)果

本文在實(shí)驗(yàn)室平臺(tái)布置了四個(gè)圖3所示的熱釋電紅外傳感器采集節(jié)點(diǎn)，在實(shí)驗(yàn)室的正中央距離地面H=250cm的地方布置了可360度旋轉(zhuǎn)的的雙目攝像頭。實(shí)驗(yàn)平臺(tái)如圖10示：

實(shí)驗(yàn)員在不同的位置行走，然后采集融合算法得到的位置，單獨(dú)的熱釋電紅外傳感器的位置，以及實(shí)際人體所處的位置，然后將采集的數(shù)據(jù)繪制成軌跡圖。當(dāng)實(shí)驗(yàn)員沿著房間對(duì)角線走時(shí)，采集的三種所得到的人體位置圖如圖11所示，圖中紅線代表人體實(shí)際所在位置，藍(lán)線是代表利用單純的熱釋電紅外傳感器方法獲得人體位置，綠線代表的是利用本文方法獲得的人體位置。

圖10 實(shí)驗(yàn)平臺(tái)Fig.10 Experimental platform

圖11 實(shí)驗(yàn)結(jié)果圖Fig.11 Experimental results

當(dāng)人沿著房間隨機(jī)行走時(shí)，得到的軌跡圖如圖12：

實(shí)驗(yàn)結(jié)果顯示，單獨(dú)的紅外熱釋電傳感器進(jìn)行人體檢測(cè)和追蹤時(shí)，在距離傳感器較近的位置，測(cè)定誤差較小，當(dāng)距離較大時(shí)，誤差會(huì)影響到定位精度，而融合算法卻大致接近真實(shí)位置，可以看出，融合了雙目視覺(jué)和熱釋電傳感器網(wǎng)絡(luò)的算法對(duì)人體檢測(cè)和追蹤精度都有了一定的提升。

圖12 實(shí)驗(yàn)結(jié)果圖Fig.12 Experimental results

5 結(jié)論

本文在傳統(tǒng)的熱釋電紅外傳感器人體檢測(cè)和追蹤的方法的基礎(chǔ)上，引進(jìn)融合了雙目攝像頭行人檢測(cè)的方法，降低了傳統(tǒng)熱釋電紅外傳感器人體檢測(cè)和追蹤在由遮擋物或者軌跡相近時(shí)存在的誤差，通過(guò)搭建實(shí)驗(yàn)平臺(tái)和仿真證明了該方法是行之有效的。雖然該方法也存在一些缺陷，比如該方法的成本較高，并且算法處理速度有待改進(jìn)。但是對(duì)室內(nèi)人體檢測(cè)和追蹤方法的研究有助于智能監(jiān)控，以及人工智能的發(fā)展。

參考文獻(xiàn)

[1] 沈航, 龐觀士, 林詩(shī)美. 物聯(lián)網(wǎng)工控平臺(tái)現(xiàn)場(chǎng)級(jí)無(wú)線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)的研究和設(shè)計(jì)[J]. 新型工業(yè)化, 2016, 6(10): 94-98.SHEN Hang, PANG Guan-shi, LIN Shi-mei.Study and Design on IOT Industrial Platform at the Field Level Wireless Sensor Network Nodes[J]. The Journal of New Industrialization, 2016, 6(10): 94-98.

[2] 劉維.基于雙目立體視覺(jué)的物體深度信息提取系統(tǒng)研究[D]. 長(zhǎng)沙: 中南大學(xué), 2009: 38-49.LIUWei.Research on object depth information extraction system based on binocular stereo vision[D]. Changsha：Central South University,2009: 38-49.

[3] 羅桂娥.雙目立體視覺(jué)深度感知與三維重建若干問(wèn)題研究[D]. 長(zhǎng)沙: 中南大學(xué), 2012: 53-60.LUOGui-e. Research on the deep perception and three-dimensional reconstruction of binocular stereoscopic vision[D]. Changsha: Central South University,2012: 53-60.

[4] 尹宏鵬.基于計(jì)算機(jī)視覺(jué)的運(yùn)動(dòng)目標(biāo)跟蹤算法研究[D].重慶: 重慶大學(xué), 2009: 37-50.YINHong-peng. Research on motion target tracking algorithm based on computer vision[D]. Chongqing: Chongqing University,2009: 37-50.

[5] 王曉滿.監(jiān)控系統(tǒng)的目標(biāo)跟蹤算法的研究[D].黑龍江: 哈爾濱理工大學(xué), 2010: 22-29.WANGXiao-man. Research on the target tracking algorithm of the monitoring system[D]. Heilongjiang: Harbin Institute of Technology,2010:22-29.

[6] GANG L, ZENG R, LING L. Moving Target Detection in Video Monitoring System[C]//Intelligent Control and Automation, 2006. WCICA 2006. The Sixth World Congress on. IEEE, 2006: 9778-9781.

[7] HAO Q, HU F, LU J. Distributed multiple human tracking with wireless binary pyroelectric infrared (PIR) sensor networks[C]//Sensors. IEEE,2010: 946-950.

[8] LU J, GONG J, HAO Q, et al. Space encoding based compressive multiple human tracking with distributed binary pyroelectric infrared sensor networks[C]//Multisensor Fusion and Integration for Intelligent Systems. IEEE, 2012: 180-185.

[9] MOINI A, BURGESS N. Automatic thresholding for change detection in digital video[J]. Proceedings of SPIE -The International Society for Optical Engineering, 2000, 4067(1): 133-142.

[10] 高學(xué)彬，張志強(qiáng)，葉世偉，等. 無(wú)線傳感器網(wǎng)絡(luò)中的被動(dòng)式紅外傳感器模型研究[J]. 計(jì)算機(jī)應(yīng)用，2007, 27(5): 1086-1088.GAOXue-bin, ZHANGZhi-qiang,YEShi-wei. Research on passive infrared sensor models in wireless sensor networks [J]. Computer applications, 2007, 27(5): 1086-1088.

[11] ZHAO M, SUN D, HE H. Hair-color modeling and head detection[C]//Intelligent Control and Automation, 2008. Wcica 2008. World Congress on. IEEE, 2008: 7773-7776.

[12] 王杰貴, 羅景青. 基于多目標(biāo)多特征信息融合數(shù)據(jù)關(guān)聯(lián)的無(wú)源跟蹤方法[J]. 電子學(xué)報(bào), 2004,32(6): 1013-1016.WANG Jie-gui,LUO Jing-qing. Passive tracking based on dataassociation with information fusion of multi-feature andmulti-target[J]. Acta Electronica Sinica,2004,32(6): 1013-1016.

[13] LIU X, LEUNG H, VALIN P, et al. Multisensor joint tracking and identification using particle filter and Dempster-Shafer fusion[C]//International Conference on Information Fusion. IEEE, 2012: 902-909.

[14] 郭榮華, 李曉, 李耀煒, 等. 一種基于編隊(duì)中心的目標(biāo)跟蹤算法[J]．新型工業(yè)化, 2015, 5(4): 40-47.GUO Rong-hua, LI Xiao, LI Yao-wei, et al.A Center-based Formation Target Tracking Algorithm [J]. The Journal of New Industrialization,2015, 5(4): 40-47.

[15] SAID Y, ATRI M, TOURKI R. Human detection based on integral Histograms of Oriented Gradients and SVM[C]//International Conference on Communications, Computing and Control Applications. IEEE, 2011: 1-5.