基于深度學(xué)習(xí)方法的4D毫米波雷達點云人體關(guān)鍵點檢測

張遠 楊大林 車相豪 汪詩揚 何子恒

摘??要：人體關(guān)鍵點檢測是在行為識別、動作捕捉等領(lǐng)域有著重要作用?；谝曈X的方法會受光線環(huán)境影響，還可能會在室內(nèi)環(huán)境中引發(fā)隱私問題，可穿戴設(shè)備的方法則不適用于非合作目標(biāo)?；诖?，提出了一種基于4D毫米波雷達點云的人體關(guān)鍵點檢測方法，分析了使用毫米波點云進行關(guān)鍵點檢測存在的問題。為了解決這些問題，提出了毫米波人體關(guān)鍵點檢測（Millimeter?Wave?Human?Pose?Detection，mmWPose）系統(tǒng)，為了便于提取點云特征，設(shè)計了一種二維化方法用于處理點云數(shù)據(jù)，可以顯著減少模型在特征提取階段的參數(shù)量。為了進行數(shù)據(jù)標(biāo)注，運用跨模態(tài)監(jiān)督來訓(xùn)練目標(biāo)模型，為了增強目標(biāo)模型的泛化能力，設(shè)計了一個域適應(yīng)模塊協(xié)助目標(biāo)模型分辨點云數(shù)據(jù)中屬于環(huán)境的特征。實驗證明，研究提出的mmWPose系統(tǒng)能夠解決毫米波點云存在的問題，實現(xiàn)高精度的人體關(guān)鍵點檢測。

關(guān)鍵詞：毫米波雷達?人體關(guān)鍵點檢測?域適應(yīng)?跨模態(tài)學(xué)習(xí)?深度學(xué)習(xí)

中圖分類號：TN957.52

Human?Key?Point?Detection?Based?on?the?Deep?Learning?Method?and?the?4D?Millimeter-Wave?Radar?Point?Cloud

ZHANG?Yuan*??YANG?Dalin??CHE?Xianghao??WANG?Shiyang??HE?Ziheng

School?of?Information，?North?China?University?of?Technology，?Beijing，?100144?China

Abstract：?Human?key?point?detection?plays?an?important?role?in?fields?such?as?behavior?recognition?and?motion?capture.?Vision-based?methods?are?subject?to?the?light?environment?and?may?also?cause?privacy?issues?in?the?indoor?environment，?and?the?methods?based?on?wearable?devices?are?not?suitable?for?non-cooperative?targets.?Based?on?this，?this?article?proposes?a?method?of?human?key?point?detection?based?on?the?4D?millimeter-wave?radar?point?cloud，?and?analyzes?the?problems?of?using?the?millimeter-wave?point?cloud?for?key?point?detection.?In?order?to?address?these?issues，?this?study?proposes?a?Millimeter-Wave?Human?Pose?Detection?（mmWPose）?system，?and?in?order?to?facilitate?the?extraction?of?point?cloud?features，?it?designs?a?two-dimensional?method?for?processing?point?cloud?data，?which?can?significantly?reduce?the?number?of?parameters?in?the?model?in?the?feature?extraction?stage.?In?order?to?make?data?annotation，?it?uses?cross-modal?supervision?to?train?the?target?model，?and?in?order?to?enhance?the?generalization?ability?of?the?target?model，?it?designs?a?domain?adaptation?module?to?assist?the?target?model?in?distinguishing?the?features?belonging?to?the?environment?in?point?cloud?data.?Experiments?have?shown?that?the?mmWPose?system?proposed?in?this?study?can?solve?the?problems?of?millimeter-wave?point?clouds?and?achieve?high-precision?human?key?point?detection.

Key?Words：?Millimeter-wave?radar;?Human?key?point?detection;?Domain?adaptation;?Cross-modal?learning;?Deep?learning

人體姿態(tài)檢測技術(shù)在行為識別、跌倒檢測等實際應(yīng)用中發(fā)揮著至關(guān)重要的作用[1]?；谝曈X的人體關(guān)鍵點識別方法通過提取圖像中的人體相關(guān)特征來生成人體關(guān)鍵點信息，在私密場景下可能會觸及個人隱私問題。幸運的是，依靠電磁波媒介的探測技術(shù)或許能有所作為[2]。為了提取毫米波點云的特征，Sengupta?A等人[3]提出的mm-Pose，該算法使用將毫米波點云映射在XY，XZ兩個平面上，但會導(dǎo)致參數(shù)量冗余的問題。由于毫米波點云的稀疏性，人工進行標(biāo)注困難。由于毫米波雷達會受到環(huán)境的干擾，點云中可能存在環(huán)境噪聲，導(dǎo)致訓(xùn)練的模型泛化性差?[4]。

針對以上問題，提出了毫米波人體關(guān)鍵點檢測（mmWPose）系統(tǒng)。為了解決點云稀疏而導(dǎo)致的標(biāo)注困難問題，采用了跨模態(tài)學(xué)習(xí)方法。為了提取點云特征，設(shè)計了一種點云二維化方法，有效地減少了特征提取模塊的參數(shù)量。為了增強模型的泛化性，設(shè)計了一個域適應(yīng)模塊用于抑制模型對環(huán)境特征的提取，使模型在不同環(huán)境中具有適應(yīng)能力。

1技術(shù)原理

1.1??毫米波雷達數(shù)據(jù)采集

毫米波雷達可以通過發(fā)射天線發(fā)射頻率為30～300?GHz的毫米波，其通過發(fā)射天線Tx發(fā)射調(diào)頻連續(xù)波信號，接收天線Rx接收物體反射的信號來獲取數(shù)據(jù)。發(fā)射信號和接收信號在接收器處混合形成中頻（IF）信號，具體公式如下。

式（1）中：為發(fā)射信號的瞬時頻率；為接收信號的瞬時頻率；為發(fā)射信號的初始相位；為接收信號的初始相位。

通過獲取中頻信號，可以得到發(fā)射信號和接收信號之間的頻率差fIF，如式（2）所示。物體和雷達的距離由式（3）計算得出，d為物體到天線的距離，τ為啁啾信號的持續(xù)時間，B為啁啾信號的帶寬，c為光速。

通過使用2根接收天線接收相同的反射信號，可以得到兩個初始相位不同的信號，?如式（4）所示，其中λ為調(diào)頻連續(xù)波的初始波長；為兩個接收天線的接收信號之間的相位差；l為2根接收天線之間的距離；θ為到達角。

如圖1所示，通過測量物體到天線的距離和角度，可以得到被測物體的三維空間坐標(biāo)，具體公式如下。

式（5）、式（6）、式（7）中：?x、y、z為檢測物體在三維空間中的坐標(biāo)；為仰角；為方位角。

2?實驗方法

2.1點云數(shù)據(jù)標(biāo)準(zhǔn)化

為了對毫米波點云進行特征提取，我們將毫米波雷達采集的點云數(shù)據(jù)映射為圖像。具體公式如下。

式（8）中：u為圖像像素的橫坐標(biāo)；v為縱坐標(biāo)；K為相機的內(nèi)參。

本文使用基于視覺的人體關(guān)鍵點檢測算法OpenPose[5]作為例子講述。該算法通過特征提取模塊提取特征F來預(yù)測部分親和場和部分預(yù)測關(guān)鍵點熱圖。每個部分都由若干個階段相同的結(jié)構(gòu)順序堆疊而成，結(jié)構(gòu)如圖2的關(guān)鍵點檢測模塊，用式（9）、式（10）表示?[6]。

式（9）、式（10）中：?t為在階段t的部分親和場預(yù)測函數(shù)；為在階段t的關(guān)鍵點熱圖預(yù)測函數(shù)；L為部分親和場；S為關(guān)鍵點熱圖

2.2跨模態(tài)學(xué)習(xí)

在模型訓(xùn)練階段，把包含知識的基于視覺的人體關(guān)鍵點檢測模型稱為源模型，把需要獲取的模型稱為目標(biāo)模型。如圖3所示，使用源模型對彩色圖像上的關(guān)鍵點進行預(yù)測，將預(yù)測結(jié)果作為目標(biāo)模型上相應(yīng)二維圖像的標(biāo)簽。損失函數(shù)公式如下。

式（11）中：fop為跨模態(tài)學(xué)習(xí)的各階段的損失相加的總體損失

2.3域適應(yīng)模塊

域適應(yīng)部分由3個卷積層、4個全連接層和一個Softmax層組成，具體公式如下。

式（12）中：J為輸出向量的長度；D為輸出向量；D*為真實向量；i為向量的第i個元素。

為了抑制特征提取模塊提取屬于環(huán)境的特征，將fa作為全局損失函數(shù)的負因子對抗模型[7]訓(xùn)練，具體公式如下。

式（13）中：μ用于調(diào)節(jié)域自適應(yīng)部分對整個模型參數(shù)的影響。

3??實驗與分析

使用SKY32B750毫米波雷達作為點云數(shù)據(jù)采集設(shè)備，使用?？低晹z像機作為視覺圖像采集設(shè)備。如圖4所示，左側(cè)是雷達數(shù)據(jù)采集板，右側(cè)是攝像頭。使用筆記本電腦驅(qū)動雷達板和攝像頭進行數(shù)據(jù)采集，讓人在采集區(qū)域內(nèi)隨機移動，并隨機做出各種姿勢，如舉手、抬腿、行走等。

如圖5所示，mmWPose目標(biāo)模型能夠較準(zhǔn)確地預(yù)測人體關(guān)鍵點。本文將mm-Pose的二維化方式與我們的方式進行對比，如表1所示，在參數(shù)量只有其一半的情況下，本文的方法實現(xiàn)了相當(dāng)?shù)臋z測性能。為了展示域適應(yīng)模塊的性能，本文將其與未添加域適應(yīng)模塊的模型進行比較，如圖6所示，mmWPose*表示添加域適應(yīng)模塊的目標(biāo)模型性能，由此可以看出，加入域適應(yīng)模塊后，模型對各個關(guān)節(jié)的預(yù)測精度都有所提高。

4??結(jié)論

為了解決現(xiàn)有的毫米波點云人體關(guān)鍵點檢測存在的問題，本文提出一種二維化點云的方法，使點云特征提取能夠使用基于視覺的特征提取方法。使用跨模態(tài)學(xué)習(xí)的方式訓(xùn)練目標(biāo)模型，實現(xiàn)了較高的人類關(guān)鍵點預(yù)測精度。本研究模型中加入了域適應(yīng)模塊用于抑制環(huán)境特征，提高了模型的魯棒性，能夠進一步增強現(xiàn)有的毫米波點云人體關(guān)鍵點檢測方案的性能。

參考文獻

• ZHAO?M，?LI??T，?ALSHEIKH??M?A，?et?al.?Through-Wall?Human?Pose?Estimation?Using?Radio?Signals[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Salt?Lake?City，?UT，?USA，?2018：?7356-7365.
• LI?Z，?GAO?Y，?HONG?Q，?et?al.?Keypoint3D：?Keypoint-Based?and?Anchor-Free?3D?Object?Detection?for?Autonomous?Driving?with?Monocular?Vision[J].?Remote?Sensing，?2023，?15（5）：?1210.
• Sengupta??A?，?Jin?F?，?Zhang?R.?mm-Pose：?Real-Time?Human?Skeletal?Posture?Estimation?Using?mmWave?Radars?and?CNNs[J].?IEEE?Sensors?Journal，?2020：?10032-10044.
• Gochoo?M，?Akhter?I，?Jalal?A，?et?al.?Stochastic?Remote?Sensing?Event?Classification?over?Adaptive?Posture?Estimation?via?Multifused?Data?and?Deep?Belief?Network[J].?Remote?Sensing，?2021，?13（5）：?912.
• CAO?Z，?SIMON?T，?WEI?S-E，?et?al.?Realtime?Multi-Person?2D?Pose?Estimation?Using?Part?Affinity?Fields[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Honolulu，?HI，?USA，?2017：?7291-7299.
• TIAN?C，?YU?R，?ZHAO?X，?et?al.?Posedet：?Fast?Multi-Person?Pose?Estimation?Using?Pose?Embedding[C]//Proceedings?of?the?2021?16th?IEEE?International?Conference?on?Automatic?Face?and?Gesture?Recognition?（FG?2021）.?Jodhpur，?India，?2021：?1-8.
• CAO?Z，?LONG?M，?WANG?J，?et?al.?Partial?Transfer?Learning?with?Selective?Adversarial?Networks[C]//Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition?（CVPR）.?Salt?Lake?City，?UT，?USA，?2017：?2724-2732.