基于人體姿態(tài)識(shí)別的智能家居控制算法研究

編者按：基于資料分析、調(diào)查分析、總結(jié)研究等方法展開關(guān)于智能家居的思考，提出了一種基于人體姿態(tài)識(shí)別的智能家居控制的方法。提出了通過家居人體姿態(tài)控制算法（HBPCA）模型控制家居各個(gè)部件、家具、電器的方法。希望通過本方法推動(dòng)智能家居的發(fā)展。

研究背景及現(xiàn)狀

現(xiàn)狀背景

為進(jìn)一步了解基于姿態(tài)識(shí)別的智能家居現(xiàn)狀背景，本人展開了相關(guān)的資料、案例調(diào)查，發(fā)現(xiàn)目前相近的技術(shù)主要包括：基于便攜式傳感器的人體姿態(tài)識(shí)別技術(shù)、基于視頻檢測的人體姿態(tài)識(shí)別技術(shù)。

思考分析

基于便攜式傳感器的人體姿態(tài)檢測方法局限于設(shè)備，需要實(shí)時(shí)佩戴傳感器，當(dāng)行動(dòng)不便或者忘記佩戴，則無法監(jiān)測人體姿態(tài)情況。基于視頻檢測的人體姿態(tài)識(shí)別技術(shù)的精度高，且克服了佩戴的問題，但存在隱私暴露和在物體遮擋下無法識(shí)別的問題。且該方法會(huì)受光線、背景環(huán)境等因素的影響。

對于此缺陷，本文提出了一種新方法：基于光學(xué)攝像頭和紅外陣列傳感器的人體姿態(tài)識(shí)別方法。

針對智能家居的需求，本文引入基于光學(xué)攝像頭和紅外陣列傳感器的人體姿態(tài)識(shí)別方法，并且引入3D卷積和3D反卷積理論，構(gòu)建了基于姿態(tài)識(shí)別的智能家居控制算法網(wǎng)絡(luò)（Home body posture control algorithm，HBPCA）。

家居人體姿態(tài)控制算法

解決的技術(shù)問題

本文針對基于人體姿態(tài)識(shí)別的智能家居控制的需求分析，最終提出了基于光學(xué)攝像頭和紅外陣列傳感器的HBPCA算法，其中主要解決的技術(shù)問題有以下幾點(diǎn)。

1.數(shù)據(jù)處理

本文采用光學(xué)攝像頭和紅外陣列傳感器同時(shí)采集人體姿態(tài)數(shù)據(jù)，在進(jìn)行數(shù)據(jù)采集與處理時(shí)，主要解決的工作包括：數(shù)據(jù)采集的差異性、數(shù)據(jù)融合問題、數(shù)據(jù)集劃分。

2.特征網(wǎng)絡(luò)的構(gòu)建

通過紅外陣列采集的特征數(shù)據(jù)，由于位置問題、姿態(tài)問題，可能會(huì)存在特征信息不足和特征信息小等問題，針對此問題，需要選取合適的特征提取網(wǎng)絡(luò)。

3.HBPCA的訓(xùn)練優(yōu)化

搭建好HBPCA后，需要對HBPCA進(jìn)行訓(xùn)練優(yōu)化，期間解決的問題主要包括：訓(xùn)練方法、訓(xùn)練步驟的、參數(shù)選取、模型部署等相關(guān)的工作。

系統(tǒng)過程方案

1.系統(tǒng)總體架構(gòu)

根據(jù)以上的基于光學(xué)攝像頭和紅外陣列傳感器的HBPCA燈光控制的描述與分析，建立架構(gòu)系統(tǒng)，總體框架如下。

總體框架過程描述：

本方案主要包括兩部分：數(shù)據(jù)采集與處理部分、姿態(tài)指令識(shí)別部分。

（1）數(shù)據(jù)采集與處理部分

第一，普通光學(xué)攝像頭采集光學(xué)特征圖;

第二，在光學(xué)特征圖上進(jìn)行人體的18個(gè)關(guān)鍵點(diǎn)標(biāo)注;

第三，紅外陣列傳感器采集熱力圖;

第四，數(shù)據(jù)對齊處理，生成NPZ文件數(shù)據(jù);

（2）姿態(tài)指令識(shí)別部分

第一，基于NPZ文件數(shù)據(jù)訓(xùn)練HBPCA模型;

第二，將采集到的姿態(tài)數(shù)據(jù)，輸入到HBPCA，進(jìn)行人體姿態(tài)識(shí)別;

第三，將HBPCA識(shí)別到的人體姿態(tài)數(shù)據(jù)指令傳輸給燈光控制系統(tǒng)，燈光控制系統(tǒng)相應(yīng)做出指令響應(yīng)。

2.HBPCA的搭建思想

本發(fā)明基于局部極小值局限性，學(xué)習(xí)過程收斂速度，精度綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)的隱層、隱層節(jié)點(diǎn)數(shù)以及相關(guān)的函數(shù)。

步驟1：創(chuàng)建HBPCA。

步驟2：創(chuàng)建HBPCA數(shù)據(jù)集——npz數(shù)據(jù)集，將該數(shù)據(jù)作為HBPCA訓(xùn)練數(shù)據(jù)輸入，訓(xùn)練HBPCA模型。

步驟3：普通攝像頭和紅外陣列傳感器采集人體姿態(tài)數(shù)據(jù)指令。

步驟4：將采集的人體姿態(tài)數(shù)據(jù)指令輸入到HBPCA訓(xùn)練好的模型中，HBPCA識(shí)別人體姿態(tài)數(shù)據(jù)指令。

步驟4：燈光控制系統(tǒng)接收到人體姿態(tài)數(shù)據(jù)指令，并做出相應(yīng)的指令。

HBPCA設(shè)計(jì)

1.數(shù)據(jù)處理

本發(fā)明使用紅外陣列傳感器在數(shù)據(jù)處理時(shí)，遇到的主要問題：特征提取?；诖?，本發(fā)明提出了數(shù)據(jù)融合的方法——通過普通光學(xué)攝像頭采集光學(xué)特征圖;然后標(biāo)注人體的18個(gè)特征點(diǎn)，如圖3、圖4;最后通過基于時(shí)間戳的數(shù)據(jù)對齊的方法，將熱力圖和光學(xué)特征圖進(jìn)行數(shù)據(jù)對齊融合生成npz數(shù)據(jù)組。

2.網(wǎng)絡(luò)結(jié)構(gòu)

本發(fā)明由alphapose網(wǎng)絡(luò)、5層3D卷積、maxpooling、3層3D反卷積、全連接層構(gòu)成，網(wǎng)絡(luò)結(jié)構(gòu)與過程如圖5：

在HBPCA中，先通過alphapose網(wǎng)絡(luò)生成人體姿態(tài)關(guān)鍵點(diǎn)的置信圖，接著經(jīng)過四層3D卷積、maxpooling、四層3D反卷積提取圖像特征，經(jīng)過Full connection層，生成線性向量，輸入姿態(tài)指令（如“0”表示關(guān)、“1”表示開燈、“2”表示打開窗戶、“3”表示打開空調(diào)等）

3.HBPCA訓(xùn)練

（1）訓(xùn)練參數(shù)

訓(xùn)練的參數(shù)設(shè)置如表1：

（2）訓(xùn)練過程

HBPCA算法搭建訓(xùn)練步驟如下。

步驟1：預(yù)處理圖像。

步驟2：普通光學(xué)特征圖、熱力圖數(shù)據(jù)處理。

步驟3：將處理后的數(shù)據(jù)寫入 npz文件。

步驟4：定義HBPCA網(wǎng)絡(luò)模型。

步驟5：選擇訓(xùn)練策略——隨機(jī)梯度下降。

步驟6：設(shè)定合適的batch-size、學(xué)習(xí)率、優(yōu)化器等參數(shù)。

步驟7：HBPCA訓(xùn)練，打印訓(xùn)練過程中的損失值，保存 epoch 模型，使用驗(yàn)證數(shù)據(jù)集進(jìn)行驗(yàn)證，打印驗(yàn)證結(jié)果，并存入訓(xùn)練日志。

步驟8：導(dǎo)入測試數(shù)據(jù)，進(jìn)行測試。

步驟9：測試數(shù)據(jù)集上進(jìn)行模型評估。

結(jié)果評估

基于HBPCA系統(tǒng)，對輪形數(shù)據(jù)集進(jìn)行分析，構(gòu)建知識(shí)圖譜、訓(xùn)練集，搭建神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中網(wǎng)絡(luò)準(zhǔn)確率高達(dá)96.5%。

對結(jié)果文件進(jìn)行效果展示，構(gòu)建不同步數(shù)下的直方圖和基于熱力圖的姿態(tài)效果，如圖6所示。

結(jié)束語

21世紀(jì)以來，信息高速發(fā)展，云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等信息技術(shù)與各個(gè)行業(yè)逐步深入融合，關(guān)于人工智能相關(guān)的理念涌入市場?；谏疃葘W(xué)習(xí)的算法理論百花齊放，為智能家居發(fā)展提供了良好的信息技術(shù)環(huán)境。

參考文獻(xiàn)：

[1] 劉勇，李杰，張建林，等. 基于深度學(xué)習(xí)的二維人體姿態(tài)估計(jì)研究進(jìn)展[J]. 計(jì)算機(jī)工程，2021，47（3）：1-16.

[2] 周燕，劉紫琴，曾凡智，等. 深度學(xué)習(xí)的二維人體姿態(tài)估計(jì)綜述[J]. 計(jì)算機(jī)科學(xué)與探索，2021，15（4）：641-657.

[3] 喬迤，曲毅. 基于卷積神經(jīng)網(wǎng)絡(luò)的2D人體姿態(tài)估計(jì)綜述[J]. 電子技術(shù)應(yīng)用，2021，47（6）：15-21.

[4] 劉潔，李毅，朱江平. 基于雙相機(jī)捕獲面部表情及人體姿態(tài)生成三維虛擬人動(dòng)畫[J]. 計(jì)算機(jī)應(yīng)用，2021，41（3）：839-844.

作者簡介：陳彪（1994--），男，漢族，湖南人，研究生，AI算法工程師，深圳市信潤富聯(lián)數(shù)字科技有限公司，研究方向：AI視覺。