崔 浩,萬亞平,鐘 華,聶明星,肖 楊
(南華大學(xué)計(jì)算機(jī)學(xué)院,湖南 衡陽 421001)
人體活動(dòng)識(shí)別HAR(Human Activity Recognition)在諸如醫(yī)療保健[1]、智能家居[2]和人員識(shí)別[3]等許多應(yīng)用中都有重要作用。相對(duì)于可穿戴式傳感器與攝像頭,無線傳感設(shè)備以其安裝于環(huán)境中而不需隨時(shí)佩戴,不采集用戶敏感信息而受到了更廣泛的關(guān)注。近年,基于WiFi[4]、FMCW(Frequency Modulated Continuous Wave)雷達(dá)[5]、RFID(Radio Frequency IDentification)[6]、多種設(shè)備混合檢測(cè)[7]、與深度學(xué)習(xí)結(jié)合檢測(cè)[8-10]的實(shí)驗(yàn)均取得了很多突破。
如表1所示,WiFi信號(hào)高頻信號(hào)穿透力較差,僅能保證有限的有效傳感范圍。FMCW雷達(dá)因其分辨率與數(shù)據(jù)的稀疏性[18]在細(xì)粒度人體活動(dòng)識(shí)別任務(wù)中表現(xiàn)較差。RFID常被用于分析人員流動(dòng)和用戶跟蹤[19],但用于人體活動(dòng)識(shí)別任務(wù)時(shí)就會(huì)對(duì)RFID標(biāo)簽的攜帶與RFID閱讀器的放置有較苛刻的要求[19]。前述工作沒能很好地解決有效傳感距離短的問題。LoRa(Long Range radio)[6]是低功耗廣域網(wǎng)絡(luò)的一種通信技術(shù),在過去的幾年中已經(jīng)在許多亞歐國(guó)家廣泛部署。此前工作大多只利用其傳遞其他傳感器采集的數(shù)據(jù)[21]。近年來,針對(duì)LoRa設(shè)備的傳感范圍[22]、抗干擾性[23]、感知人體活動(dòng)的能力[24]進(jìn)行研究,并將其用于解決多目標(biāo)呼吸檢測(cè)問題[25],展現(xiàn)了LoRa設(shè)備在長(zhǎng)距離傳感領(lǐng)域的巨大潛力。所以,本文引入LoRa設(shè)備,測(cè)試其在多個(gè)房間內(nèi)的人體活動(dòng)識(shí)別能力。本文提出一種LoRa數(shù)據(jù)的特征提取方法,通過分析LoRa信號(hào)變化提取特征,以便使用深度學(xué)習(xí)方法來完成人體活動(dòng)識(shí)別任務(wù)。該方法從LoRa數(shù)據(jù)中提取反映人體活動(dòng)的頻率變化特征并以圖像形式保存,然后使用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)不同活動(dòng)信號(hào)間的特征差異。為了檢驗(yàn)本文所提方法的性能,采集LoRa數(shù)據(jù),創(chuàng)建2個(gè)數(shù)據(jù)集并復(fù)現(xiàn)了數(shù)個(gè)當(dāng)前先進(jìn)的圖像分類深度學(xué)習(xí)網(wǎng)絡(luò)。本文的數(shù)據(jù)集獲取途徑已公開在Github并可在https://github.com/CocoNazZ/LoRa-Dataset下載。
Table 1 Comparison of conventional wireless sensor devices表1 常規(guī)無線傳感設(shè)備對(duì)比
Figure 1 Workflow of LoRa data processing圖1 LoRa數(shù)據(jù)處理流程
本節(jié)首先介紹提出的LoRa數(shù)據(jù)處理方法,然后分析LoRa數(shù)據(jù)與所提方法的流程細(xì)節(jié)。
如圖1所示,原始LoRa數(shù)據(jù)是包括I/Q雙通道的復(fù)數(shù)組,轉(zhuǎn)化到實(shí)數(shù)域可得到一個(gè)非常長(zhǎng)的時(shí)域信號(hào)序列。本文方法首先對(duì)原始LoRa數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換STFT(Short-Time Fourier Transform),得到一個(gè)反映時(shí)間-頻率變化規(guī)律的二維矩陣;然后去除其中與人體活動(dòng)無關(guān)的數(shù)據(jù)與靜態(tài)環(huán)境分量;最后重新排列該矩陣,得到大小合適的矩陣作為圖像分類網(wǎng)絡(luò)的輸入。
LoRa采用啁啾擴(kuò)頻CSS(Chirp Spread Spectrum)調(diào)制技術(shù)[26],將數(shù)據(jù)變換為頻率隨時(shí)間變化的啁啾發(fā)送。假設(shè)生成一個(gè)啁啾信號(hào)s(t)=ejπkt2(j為虛數(shù)單位,k為任意正整數(shù)),經(jīng)過N條不同的路徑傳播到達(dá)接收端,則由Zhang等人[24]的工作可知,接收端接收到的信號(hào)如式(1)所示:
(1)
其中,an(t)表示第n條路徑的衰減因子;τn(t)表示信號(hào)在第n條路徑上的傳播延遲;θc=2πΔft,Δf=fc-f′c是由發(fā)射器和接收器時(shí)鐘不同步引起的載波頻率偏移CFO(Carrier Frequency Offset)[24];θs是由采樣頻率偏移SFO(Sampling Frequency Offset)引起的相位誤差。θc和θs會(huì)顯著影響相位變化。
Figure 2 Change of two antenna signals and their ratios in frequency domain圖2 2根天線信號(hào)及其比值在頻域的變化
CFO與SFO產(chǎn)生的主要原因是收發(fā)器之間振蕩器的頻率誤差以及多普勒頻移,其中振蕩器頻率誤差主要受到所處環(huán)境及振蕩器溫度變化的容差等影響[28]。如何計(jì)算并消除CFO與SFO的誤差是存在已久的研究問題。在本文的研究中,θc=2πΔft=2π(fc-f′c)t。假設(shè)f′c=fc+Δt·k,Δt為f′c和fc之間的時(shí)間差,則θc在接收端對(duì)信號(hào)頻率引起的影響如式(2)所示:
(2)
在500 kHz的帶寬下(Band Width,公式中用變量B表示),LoRa設(shè)備具有±ΔfB=500=60 kHz的頻率偏移[29]。在125 kHz的帶寬下,LoRa設(shè)備的頻率偏移會(huì)更小。所以,2個(gè)設(shè)備間頻率相差的時(shí)間Δt<ΔfB=500/(B/T)≈0.48T,其中T為L(zhǎng)oRa信號(hào)啁啾的一個(gè)變化周期。實(shí)際上這種偏移對(duì)LoRa設(shè)備傳遞數(shù)據(jù)本就影響甚微[30],也可以通過查詢來自每個(gè)LoRa有效載荷前面的前置和SFD(Start Frame Delimiter)位的信息來糾正[30],但本文僅通過不同時(shí)間多次采集多組數(shù)據(jù)來減弱其對(duì)數(shù)據(jù)的影響。
而多普勒頻移則指發(fā)射端、接收端與傳播介質(zhì)之間存在相對(duì)運(yùn)動(dòng)時(shí),接收端接收的信號(hào)頻率不再是發(fā)射端發(fā)射的頻率的現(xiàn)象。這對(duì)于建立傳統(tǒng)處理模型的方法來說是一個(gè)很大的誤差,但其受到相對(duì)運(yùn)動(dòng)的影響也表明多普勒頻移的變化規(guī)律可以被機(jī)器學(xué)習(xí)方法捕捉來反向分析發(fā)射、接收端之間發(fā)生的相對(duì)運(yùn)動(dòng)。已有多項(xiàng)研究工作通過機(jī)器學(xué)習(xí)方法分析多普勒頻移,來識(shí)別傳播介質(zhì)之間存在的相對(duì)運(yùn)動(dòng)信息[31-33]。
LoRa信號(hào)傳播過程中的主要誤差CFO、SFO會(huì)影響對(duì)相位的分析,但它們對(duì)頻率的影響是相對(duì)可以容忍(CFO)并利用(SFO)的。所以,本文以受誤差影響小的頻率變化規(guī)律作為識(shí)別不同活動(dòng)的特征。區(qū)別于WiFi信號(hào)的分析CSI矩陣的方法[27],文獻(xiàn)[24]提出的消除CFO、SFO誤差的信號(hào)比方法提高了檢測(cè)相位變化的準(zhǔn)確度,如圖2c所示(圖2為本文在相同時(shí)刻2根天線各自信號(hào)及其比值的時(shí)頻圖,其中,橫坐標(biāo)表示時(shí)間,單位為s,與實(shí)際時(shí)間一致;縱坐標(biāo)表示頻率,單位為Hz,為方便觀察僅截取了變化明顯且位于相同頻段的部分,縱坐標(biāo)值不等于實(shí)際頻率值),該方法也完全消除了信號(hào)的頻域變化規(guī)律。為此,本文對(duì)LoRa信號(hào)頻率變化進(jìn)行了進(jìn)一步研究。
2.3.1 提取數(shù)據(jù)位啁啾
圖3所示為通過短時(shí)傅里葉變換后的數(shù)個(gè)LoRa數(shù)據(jù)片段。由圖3可知,在一個(gè)變化周期內(nèi),LoRa信號(hào)頻率首先是一個(gè)頻率隨時(shí)間從最小頻率向最大頻率增加的長(zhǎng)上行啁啾;然后是頻率隨時(shí)間從最大頻率向最小頻率減小的幀定界符SFD;最后就是數(shù)據(jù)位的啁啾。通過對(duì)比不同活動(dòng)的數(shù)據(jù)變化可以發(fā)現(xiàn),上啁啾和SFD部分的頻率不受活動(dòng)種類變化影響,但數(shù)據(jù)位啁啾頻率的變化受活動(dòng)種類影響十分明顯,那么去除上啁啾和SFD后的數(shù)據(jù)位頻率變化就可以作為識(shí)別不同種類活動(dòng)的特征。
Figure 3 Comparison of LoRa signal fragments of multiple groups of activities圖3 多組活動(dòng)的LoRa信號(hào)片段對(duì)比
2.3.2 用信號(hào)差去除靜態(tài)分量
Figure 4 Spread paths of LoRa signal in the room圖4 LoRa信號(hào)在房屋內(nèi)的傳播路徑
Figure 5 Change of two antenna signals and their differences in frequency domain圖5 2根天線的信號(hào)及其差在頻域的變化
Zhang等人[24]的工作顯示,信號(hào)的傳播路徑受人體活動(dòng)影響也會(huì)有一定變化。如圖4所示,如果將LoRa信號(hào)依據(jù)在整個(gè)傳感空間的傳播路徑是否會(huì)受人體活動(dòng)影響分為恒不受人體活動(dòng)影響(Sv1)和會(huì)受人體活動(dòng)影響(Dv1)2類,那么,在有人活動(dòng)時(shí)(如圖4a所示)接收端的信號(hào)可以表示如式(3)所示:
Rx1(t)=Sv1+Dv1
(3)
相對(duì)地,在無人活動(dòng)時(shí)(如圖4b所示)接收端的信號(hào)則可以表示如式(4)所示:
Rx2(t)=Sv1+Sv2
(4)
其中,Sv1不變,Sv2表示有人活動(dòng)時(shí)會(huì)受到影響但此時(shí)只受環(huán)境影響的那部分信號(hào)。
對(duì)比式(3)和式(4)可知,在任何活動(dòng)的傳播路徑中總會(huì)存在不受人體活動(dòng)影響的靜態(tài)分量Sv1,這對(duì)于分布范圍更小的動(dòng)態(tài)分量Dv1而言是一個(gè)很大的誤差項(xiàng)。但是,這2組信號(hào)的Sv1項(xiàng)是近似一致的,如果對(duì)這2組數(shù)據(jù)進(jìn)行減法運(yùn)算,即可得到式(5):
R′x=Dv1-Sv2
(5)
此時(shí)雖然仍有Sv2部分的誤差,但去掉了Sv1部分,靜態(tài)分量對(duì)Dv1的影響大幅下降。同時(shí),如圖5所示(圖5為本文在相同時(shí)刻2根天線各自信號(hào)及其差值的時(shí)頻圖,其中,橫坐標(biāo)表示時(shí)間,單位為s,與實(shí)際時(shí)間一致;縱坐標(biāo)表示頻率,單位為Hz,為方便觀察僅截取了變化明顯且位于相同頻段的部分,縱坐標(biāo)值不等于實(shí)際頻率值),由于短時(shí)傅里葉變換的性質(zhì),對(duì)信號(hào)值的加減可以變換成為對(duì)信號(hào)瞬時(shí)頻率的加減。這樣通過簡(jiǎn)單的減法運(yùn)算就能更準(zhǔn)確地突出不同活動(dòng)對(duì)LoRa信號(hào)頻率變化的影響。同時(shí)同一活動(dòng)數(shù)據(jù)經(jīng)過與不同無人活動(dòng)的數(shù)據(jù)做差也可以成為一種鍛煉數(shù)據(jù)對(duì)環(huán)境、CFO等誤差的魯棒性的數(shù)據(jù)增強(qiáng)策略。
Figure 6 Time frequency charts obtained using two downsampling methods圖6 使用2種下采樣方法得到的時(shí)頻圖
2.3.3 按時(shí)間排列每幀
時(shí)間間隔為5 s的LoRa數(shù)據(jù)經(jīng)過短時(shí)傅里葉變換可以得到大小約為25*39064的數(shù)組。受時(shí)間、設(shè)備和開始采集時(shí)刻等外部因素影響,每次采集實(shí)際得到的幀數(shù)、每幀實(shí)際長(zhǎng)度都會(huì)有一定變化。為突出活動(dòng)數(shù)據(jù),經(jīng)過裁剪后剩余數(shù)據(jù)每幀大小約為25*224,共有約173幀。在去除上行啁啾和SFD后得到的剩余數(shù)據(jù)中,每幀大小約為25*142,按每幀分隔開約25*(142*173),其長(zhǎng)寬不均衡、幀數(shù)過多并不適合直接進(jìn)行訓(xùn)練。針對(duì)此類問題,研究人員常對(duì)數(shù)據(jù)進(jìn)行下采樣后再進(jìn)行后續(xù)識(shí)別操作,如使用卷積神經(jīng)網(wǎng)絡(luò)提取每幀特征完成下采樣,再將每幀采樣結(jié)果輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中[33]完成識(shí)別的方法。本文首先嘗試了擴(kuò)大STFT窗口與隨機(jī)下采樣的下采樣方法,如圖6所示(同圖2和圖5一樣,縱坐標(biāo)值不等于實(shí)際頻率值),此時(shí)頻率變化特征已經(jīng)被稀釋,而且,過多幀數(shù)也對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練有較大壓力。對(duì)此本文提出了新的處理思路。
LoRa設(shè)備的采樣率能達(dá)到900 kHz,如果將代表整個(gè)活動(dòng)的頻率變化矩陣按幀分割開,此時(shí)幀數(shù)過多難以處理。由于該序列實(shí)際上是以長(zhǎng)寬不均衡的二維矩陣的形式保存的,二維矩陣又是圖像的常見保存形式,如果能重新排列每幀使矩陣更均衡就可以將幀序列作為頻率變化圖保存起來,使數(shù)據(jù)更容易被處理。本文仿照Vision Transformer網(wǎng)絡(luò)將圖像分為多個(gè)塊并按順序排列來將圖像轉(zhuǎn)換為序列的思路,逆向?qū)⒚繋瑪?shù)據(jù)分為多個(gè)塊并按順序拼接成一幅大小更均勻的圖像。如圖7所示,本文將幀序列中每數(shù)個(gè)連續(xù)幀拼接得到長(zhǎng)度一致的數(shù)個(gè)二維矩陣當(dāng)做塊,然后將這些矩陣在豎直方向再次拼接起來,最終得到長(zhǎng)寬相近(等)的一個(gè)二維矩陣并保存為圖像格式。這樣在按時(shí)間順序保留頻率變化特征的同時(shí)把幀序列轉(zhuǎn)化成了幀圖,此時(shí)圖像大小適宜,可以直接輸入圖像分類神經(jīng)網(wǎng)絡(luò)中訓(xùn)練,將序列分析問題轉(zhuǎn)換成了圖像分類問題。對(duì)于幀序列的處理會(huì)有更科學(xué)高效的方法,這需要后續(xù)進(jìn)一步研究。
Figure 7 Convering long matrix to square matrix圖7 將長(zhǎng)矩陣轉(zhuǎn)換為正方形矩陣
為了驗(yàn)證本文方法的有效性,選取近年來圖像分類任務(wù)中效果突出、有代表性的Vision Transformer網(wǎng)絡(luò)、Swin Transformer網(wǎng)絡(luò)和ConvNext網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。具體版本信息為:基于PyTorch框架復(fù)現(xiàn)的Vision Transformer網(wǎng)絡(luò)的base版本(vit_base_patch16_224_in21k)、Swin Transformer網(wǎng)絡(luò)的tiny版本(swin_tiny_patch4_window7_224)和ConvNext網(wǎng)絡(luò)的Base版本。
本節(jié)首先介紹實(shí)驗(yàn)設(shè)備信息與實(shí)驗(yàn)場(chǎng)景,然后介紹本文提出的2個(gè)數(shù)據(jù)集的具體采集過程,最后通過分類實(shí)驗(yàn)結(jié)果來驗(yàn)證本文方法的有效性和LoRa信號(hào)用于傳感的潛力。
如圖8所示,LoRa實(shí)驗(yàn)樣機(jī)由1個(gè)LoRa發(fā)射端和1個(gè)LoRa接收端構(gòu)成。其中,LoRa發(fā)射端由一個(gè)搭載Semtech SX1276[34]LoRa節(jié)點(diǎn)的Arduino Uno[35]開發(fā)板組成,并配備了一根定向天線用于發(fā)送信號(hào);接收端由2根分別接收數(shù)據(jù)的天線組成,這2根天線的距離非常近,來自這2根天線的數(shù)據(jù)可以近似認(rèn)為代表一致的結(jié)果。
上述LoRa發(fā)射端在915 MHz頻段以125 kHz的信道帶寬發(fā)送信號(hào),通過USRP B210[36]和GNU Radio[37]配置LoRa網(wǎng)關(guān)作為接收端接收LoRa信號(hào)并由GNU Radio直接保存在設(shè)備中。在GNU Radio中,采樣率設(shè)定為900 kHz,Gain type屬性設(shè)置為Normalized,逐漸調(diào)整增益值Gain Value以選出合適的增益,同時(shí)接收器通過USB連接到配備AMD R4800H CPU和16 GB內(nèi)存的華碩天選FA506IU筆記本電腦并用其收集、處理數(shù)據(jù)。
Figure 8 Devices and experiment scene layout圖8 設(shè)備及場(chǎng)景布置
3.2.1 收集1個(gè)房間內(nèi)細(xì)粒度活動(dòng)數(shù)據(jù)
本節(jié)以圖9所示的空曠房間作為實(shí)驗(yàn)場(chǎng)地,調(diào)整增益Gain Value值為0.3,并以900 kHz的采樣率每5 s數(shù)據(jù)記為一組活動(dòng)。
實(shí)驗(yàn)一共邀請(qǐng)了8名實(shí)驗(yàn)者(以姓名首字母B、C、D、F、L、R、W、X作為代號(hào))分別進(jìn)行慢跑、步行、撿東西、下蹲、起立與站立的活動(dòng),與無人活動(dòng)(代號(hào)為E)的空活動(dòng)一起共7類活動(dòng)。由相同2名采集人員始終在接收端檢查接收的數(shù)據(jù),并標(biāo)注數(shù)據(jù),保證受試者的活動(dòng)符合預(yù)期。如此保證每名受試者每種活動(dòng)均重復(fù)采集數(shù)十次。每次采集前也會(huì)先額外采集人員C與人員X站立的數(shù)據(jù)以測(cè)試設(shè)備,最終采集結(jié)果如表2所示,其中,Tol表示該行/列的總采集組數(shù),Perc表示該行/列采集組數(shù)占全部組數(shù)的比重。
Figure 9 Activity recognition experimental site in one room圖9 1個(gè)房間內(nèi)活動(dòng)識(shí)別的實(shí)驗(yàn)場(chǎng)地
3.2.2 收集多個(gè)房間內(nèi)活動(dòng)的數(shù)據(jù)
本節(jié)以圖10所示的4間相鄰房間作為實(shí)驗(yàn)場(chǎng)景,調(diào)整增益值Gain Value為0.83,并以900 kHz的采樣率邀請(qǐng)5名實(shí)驗(yàn)者分別在4個(gè)房間內(nèi)隨意走動(dòng),不限速度、位置和方向,每走動(dòng)5 s記為一組運(yùn)動(dòng)。實(shí)驗(yàn)一共邀請(qǐng)了5名實(shí)驗(yàn)者(以姓名首字母C、S、W、X、Y作為代號(hào))在4個(gè)房間分別走動(dòng),與4個(gè)房間均無人活動(dòng)的空活動(dòng)共組成5類活動(dòng)。由相同2名采集人員始終在接收端檢查接收的數(shù)據(jù),并標(biāo)注數(shù)據(jù)。如此保證每名受試者每種活動(dòng)均重復(fù)采集數(shù)十次,最終采集結(jié)果如表3所示。
本節(jié)測(cè)試使用本文方法在創(chuàng)建的數(shù)據(jù)集上進(jìn)行活動(dòng)識(shí)別的結(jié)果,包括在1個(gè)房間內(nèi)的活動(dòng)識(shí)別、在1個(gè)房間內(nèi)對(duì)各種活動(dòng)的人員識(shí)別、在4個(gè)房間內(nèi)的活動(dòng)所在房屋識(shí)別以及在4個(gè)房間內(nèi)的人員識(shí)別。
Table 2 Collection of activity data in one room 表2 1間房屋內(nèi)活動(dòng)數(shù)據(jù)采集情況
Figure 10 Experimental sites for identification of active room in four rooms圖10 4個(gè)房間內(nèi)活動(dòng)發(fā)生房間識(shí)別的實(shí)驗(yàn)場(chǎng)地
Table 3 Collection of activity data in four rooms
3.3.1 1個(gè)房間內(nèi)活動(dòng)識(shí)別
本節(jié)對(duì)原始數(shù)據(jù)以及與經(jīng)過做差之后的數(shù)據(jù)分別進(jìn)行訓(xùn)練,效果如圖11a所示。可以看到,ConvNext與Swin Transformer的準(zhǔn)確率都達(dá)到了89%,Vision Transformer則只有86%。這說明LoRa信號(hào)頻率受人體活動(dòng)影響產(chǎn)生的變化可以作為對(duì)人體活動(dòng)分類的一種依據(jù)。
在與空活動(dòng)做差的數(shù)據(jù)上的分類結(jié)果如圖11b所示??梢钥吹?3種網(wǎng)絡(luò)的分類效果都有一定提升,ConvNext用更少的批次Epoch分類準(zhǔn)確率就提升了5%(達(dá)到94%),Swin Transformer則提升了3%(達(dá)到92%),Vision Transformer則提升了3%(達(dá)到89%)。這說明通過信號(hào)差方法去除部分靜態(tài)分量可以提高通過分析時(shí)頻圖完成人體活動(dòng)識(shí)別的準(zhǔn)確率。原始數(shù)據(jù)集的LoRa信號(hào)頻率變化中不受人活動(dòng)影響的靜態(tài)分量的確會(huì)影響對(duì)活動(dòng)的識(shí)別效果。
Figure 11 Recognition results of activities圖11 對(duì)活動(dòng)的識(shí)別效果
此外,為探究LoRa設(shè)備識(shí)別人體活動(dòng)的泛化能力,本節(jié)將數(shù)據(jù)集中由人員C完成活動(dòng)的數(shù)據(jù)刪除,以其他7人的活動(dòng)組成新的數(shù)據(jù)集進(jìn)行訓(xùn)練,然后由人員C的活動(dòng)數(shù)據(jù)作為驗(yàn)證集檢測(cè)分類的泛化能力,結(jié)果如圖12和圖13所示。
Figure 12 Recognition results after removing data of tester C圖12 去除人員C數(shù)據(jù)后的識(shí)別效果
Figure 13 Confusion matrix obtained by inputting data of tester C data into ConvNext network, reflecting the ability to identify types of activities圖13 人員C數(shù)據(jù)輸入ConvNext網(wǎng)絡(luò) 得到的反映識(shí)別活動(dòng)種類能力的混淆矩陣
Figure 14 Identification recognition results of each activity圖14 每種活動(dòng)的人員識(shí)別效果
由圖12和圖13可以發(fā)現(xiàn),3種網(wǎng)絡(luò)均能識(shí)別人員C的活動(dòng),而且對(duì)跑步、步行、站立和起立的活動(dòng)識(shí)別效果明顯,但是在下蹲和撿東西這2種活動(dòng)中都出現(xiàn)了相當(dāng)多的項(xiàng)被誤判為起立。這可能是由于跑步、步行和站立這3種動(dòng)作與其他動(dòng)作的姿態(tài)變化相差巨大,分辨這些動(dòng)作比較容易,但完整的撿東西動(dòng)作需要依次彎腰→撿東西→起立,其中彎腰與起立的姿態(tài)與下蹲、起立的姿態(tài)相似。撿東西活動(dòng)的姿態(tài)變化過程近似包含下蹲和起立的姿態(tài)變化。由于不同人做這些活動(dòng)的不同特點(diǎn)會(huì)對(duì)分類有所影響,所以對(duì)于這種細(xì)粒度多姿態(tài)的復(fù)雜活動(dòng)通過現(xiàn)有方法暫時(shí)難以準(zhǔn)確分辨,需要在未來對(duì)LoRa信號(hào)進(jìn)行更進(jìn)一步的分析研究。
3.3.2 1個(gè)房間內(nèi)的人員識(shí)別
在完成對(duì)活動(dòng)的識(shí)別后,本節(jié)改變數(shù)據(jù)的分類方式,將每種活動(dòng)的數(shù)據(jù)按照實(shí)驗(yàn)人員進(jìn)一步分組,并使用3種網(wǎng)絡(luò)測(cè)試此時(shí)在各種活動(dòng)數(shù)據(jù)中對(duì)人員的分類效果,結(jié)果如圖14所示。從圖14中發(fā)現(xiàn),3個(gè)網(wǎng)絡(luò)在各種活動(dòng)中對(duì)實(shí)驗(yàn)人員的分類效果都較好。盡管此時(shí)數(shù)據(jù)集過小導(dǎo)致曲線波動(dòng)較大,但大體上升到了較高的識(shí)別準(zhǔn)確率,這依然表明了LoRa信號(hào)的頻率變化在人員識(shí)別工作方面的潛力。
3.3.3 活動(dòng)所在房屋識(shí)別
與在1間房屋內(nèi)的活動(dòng)識(shí)別的驗(yàn)證流程一致,本節(jié)首先對(duì)比在原始數(shù)據(jù)以及在與空活動(dòng)做差后的數(shù)據(jù)上的分類效果。
如圖15a所示,3種網(wǎng)絡(luò)均體現(xiàn)了LoRa信號(hào)分辨活動(dòng)發(fā)生房間的能力。在原始數(shù)據(jù)集上,ConvNext達(dá)到了81%的識(shí)別準(zhǔn)確率,Swin Transformer達(dá)到了75%的識(shí)別準(zhǔn)確率,Vision Transformer則達(dá)到了78%的識(shí)別準(zhǔn)確率。在與空活動(dòng)數(shù)據(jù)做差后ConvNext的識(shí)別準(zhǔn)確率迅速提升了16%(達(dá)到了97%),Swin Transformer的識(shí)別準(zhǔn)確率提升了18%(達(dá)到了93%),Vision Transformer的識(shí)別準(zhǔn)確率則提升了5%(達(dá)到83%)。這說明LoRa信號(hào)在長(zhǎng)40 m、有3堵厚約30 cm的墻相隔的4間房屋構(gòu)成的實(shí)驗(yàn)環(huán)境中仍保持了對(duì)活動(dòng)所發(fā)生房間的分辨能力,同時(shí)3種網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率的提升也驗(yàn)證了本文方法的可行性。
Figure 15 Recognition results of rooms with tester activities圖15 對(duì)有測(cè)試人員活動(dòng)的房間的識(shí)別效果
然后去除人員C的數(shù)據(jù),采取剩余4人的數(shù)據(jù)重新訓(xùn)練并用人員C的數(shù)據(jù)進(jìn)行驗(yàn)證,其結(jié)果與混淆矩陣分別如圖16和圖17所示。由圖16可以發(fā)現(xiàn)3種網(wǎng)絡(luò)仍然保持了較高的準(zhǔn)確率。由圖17的混淆矩陣可以發(fā)現(xiàn),此時(shí)對(duì)人員C所處的第1,2和4個(gè)房間的識(shí)別都表現(xiàn)良好,在第3個(gè)房間的識(shí)別雖有一定誤差但正確識(shí)別數(shù)也占據(jù)了較大的比重,且當(dāng)人員C處于第3個(gè)房間時(shí)對(duì)相鄰第2和第4個(gè)房間的誤判占據(jù)了較大的誤差比。這說明活動(dòng)發(fā)生的房間的確在一定程度上影響了信號(hào)變化。而由識(shí)別準(zhǔn)確率(4>1>2>3)的結(jié)果可知,LoRa信號(hào)在穿墻傳感時(shí),對(duì)靠近信號(hào)收發(fā)器尤其是信號(hào)接收器的活動(dòng)分辨效果更明顯。
Figure 16 Recognition results after removing data of tester C圖16 去除人員C數(shù)據(jù)后的識(shí)別效果
Figure 17 Confusion matrix obtained by inputting data of tester C data into ConvNext network, reflecting the ability to identify the rooms with activities圖17 人員C數(shù)據(jù)輸入ConvNext網(wǎng)絡(luò) 得到反映識(shí)別發(fā)生活動(dòng)的房屋能力的混淆矩陣
3.3.4 4個(gè)房間內(nèi)的人員識(shí)別
在完成對(duì)活動(dòng)的識(shí)別后,本文改變數(shù)據(jù)的分類格式,在每個(gè)房間中依據(jù)實(shí)驗(yàn)者進(jìn)一步分組,并重新使用3種網(wǎng)絡(luò)測(cè)試在每個(gè)房間內(nèi)對(duì)實(shí)驗(yàn)者的分類效果。如圖18所示,3種網(wǎng)絡(luò)對(duì)4個(gè)房間內(nèi)活動(dòng)人員的分類效果依舊比較明顯。這表明了LoRa信號(hào)的頻率變化在多個(gè)房間內(nèi)人員識(shí)別工作方面的潛能,同時(shí)也反映出了活動(dòng)越靠近發(fā)射器,人員識(shí)別效果相對(duì)越好,越靠近接收器,人員識(shí)別效果相對(duì)越差的規(guī)律。
Figure 18 Identification recognition results in each room圖18 每個(gè)房屋內(nèi)的人員識(shí)別效果
3.3.5 與卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的對(duì)比
對(duì)于多幀無線信號(hào)數(shù)據(jù),目前常用的方法是先使用卷積神經(jīng)網(wǎng)絡(luò)從各幀數(shù)據(jù)中提取特征,再把這些特征按時(shí)間順序輸入循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)[8,9]。為此,本文實(shí)現(xiàn)了由RESNET34網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)構(gòu)成的卷積循環(huán)網(wǎng)絡(luò)RESNET34-LSTM,并用采集的數(shù)據(jù)進(jìn)行訓(xùn)練。
如圖19所示,該模型對(duì)活動(dòng)識(shí)別和所在房屋識(shí)別的準(zhǔn)確率能達(dá)到92%和94%,這表明了數(shù)據(jù)的正確性。但是,該方法在訓(xùn)練過程中也出現(xiàn)了一些問題。首先,以900 kHz采樣率得到的LoRa數(shù)據(jù)原始幀數(shù)與文獻(xiàn)[8,9]中的輸入幀數(shù)相差很大,這對(duì)RESNET34-LSTM網(wǎng)絡(luò)訓(xùn)練與硬件設(shè)備而言壓力過大。其次,RESNET34-LSTM網(wǎng)絡(luò)的訓(xùn)練用時(shí)也數(shù)倍于ConvNext、Swin Transformer和Vision Transformer網(wǎng)絡(luò)的。與卷積循環(huán)網(wǎng)絡(luò)相比,本文方法相對(duì)不受幀數(shù)的數(shù)量制約,可接受大量數(shù)據(jù)同時(shí)輸入。同時(shí),將數(shù)據(jù)幀按時(shí)間排列,既保留了時(shí)間規(guī)律又不需嚴(yán)格按時(shí)間序列訓(xùn)練,節(jié)約了大量訓(xùn)練時(shí)間。
Figure 19 Recognition results of RESNET34-LSTM network圖19 RESNET34-LSTM網(wǎng)絡(luò)的識(shí)別效果
針對(duì)長(zhǎng)距離無線人體活動(dòng)識(shí)別問題,本文基于LoRa設(shè)備提出了一個(gè)數(shù)據(jù)處理方法。首先通過提取數(shù)據(jù)位頻率變化并與空活動(dòng)信號(hào)做差來提取LoRa信號(hào)特征,再重新排列每幀形成具有時(shí)間、信號(hào)變化特征的圖像。由該方法處理得到的圖像數(shù)據(jù)可直接作為圖像分類神經(jīng)網(wǎng)絡(luò)的輸入。然后本文設(shè)計(jì)實(shí)驗(yàn)收集LoRa信號(hào)制作數(shù)據(jù)集并通過對(duì)比有代表性的圖像分類深度學(xué)習(xí)網(wǎng)絡(luò)驗(yàn)證該方法的有效性與可行性,并與已有的直接經(jīng)過卷積-循環(huán)網(wǎng)絡(luò)的方法進(jìn)行了對(duì)比。
實(shí)驗(yàn)結(jié)果表明,LoRa設(shè)備的傳感能力在一個(gè)房間內(nèi)能對(duì)活動(dòng)種類與活動(dòng)人員進(jìn)行一定的識(shí)別,也能對(duì)在多個(gè)房間內(nèi)活動(dòng)所處房間與每個(gè)房間內(nèi)活動(dòng)人員進(jìn)行一定的識(shí)別。本文提出的方法相比已有方法識(shí)別速度更快、識(shí)別準(zhǔn)確率更高。后續(xù)將圍繞降低環(huán)境敏感度,設(shè)計(jì)對(duì)LoRa信號(hào)更有針對(duì)性的神經(jīng)網(wǎng)絡(luò)模型展開研究。相信LoRa優(yōu)秀的傳感范圍及效果最終可以使其在日常生活中更高效地完成長(zhǎng)距離傳感任務(wù)。