基于手勢識別的智能交互系統(tǒng)設(shè)計

張昊 徐萌 孟永哲 王巖 朱文印

（1.青島海爾智慧廚房電器有限公司，266100 山東青島；2.數(shù)字化家電國家重點實驗室，266100 山東青島；3.海爾智家股份有限公司，266100 山東青島；4.青島國創(chuàng)智能家電研究院有限公司，266101 山東青島；5.數(shù)字家庭網(wǎng)絡(luò)國家工程研究中心，266101 山東青島）

智能交互系統(tǒng)作為現(xiàn)代家庭的一部分，通過自動化和智能化的技術(shù)，提供了更加便捷、舒適和安全的居住環(huán)境[1]。傳統(tǒng)的智能交互系統(tǒng)需要通過遙控器、手機或語音識別等方式進行操作，但這些方式無法滿足所有家電使用場景，比如廚房電器跨界式油煙機在多種場景下使用，無接觸式手勢識別智能交互系統(tǒng)能夠創(chuàng)新性地解決廚房電器多場景的使用問題。基于手勢識別的智能交互系統(tǒng)通過識別用戶的手勢指令，可以實現(xiàn)更加直觀、自然的交互方式[2]。本文旨在設(shè)計、實現(xiàn)和應(yīng)用一種基于手勢識別的智能交互系統(tǒng)，以提高用戶的使用體驗。本文以深入用戶體驗，解決用戶痛點出發(fā)，創(chuàng)新性地提出一種無接觸式、多功能、智能化手勢識別交互系統(tǒng)設(shè)計方案，主導(dǎo)該方案中關(guān)鍵節(jié)點比如硬件設(shè)計、軟件開發(fā)、功能測試并通過該系統(tǒng)成功實現(xiàn)廚房電器無接觸式手勢控制。

1 智能交互系統(tǒng)硬件設(shè)計

1.1 嵌入式處理器

嵌入式處理器是系統(tǒng)的核心處理單元，負責(zé)圖像數(shù)據(jù)的處理和手勢識別算法的運算[3]。這種處理器通常具有較高的計算能力和低功耗特性。它可以集成在攝像頭或者模塊中，或者作為獨立的處理器單元連接到攝像頭模塊。ES7P7021F4SD 是一款基于高性能哈佛型RISC CPU 內(nèi)核的ES7P7021 系列的8 位的微控制器，它的程序存儲器為2KWords FLash，64Words數(shù)據(jù)Flash 存儲器，128Bytes SRAM 數(shù)據(jù)存儲器；支持13 個I/O 口和1 個輸入，內(nèi)部集成高頻16 MHz RC 振蕩時鐘源，ES7P7021F4SD 原理圖如圖1 所示。

圖1 ES7P7021F4SD 原理圖

1.2 手勢接收模塊

手勢接收模塊是基于手勢識別的智能交互系統(tǒng)的關(guān)鍵組件之一。它通常采用高性能的IR333C-A 紅外發(fā)射器和W0038NL-2-M1-W25 紅外接收器，能夠捕捉用戶手勢信息[4]。攝像頭模塊應(yīng)該具備適當?shù)囊曇胺秶徒嵌龋源_保能夠準確捕捉到用戶的手勢動作[5]。本設(shè)計選用 IR333C-A、W0038NL-2-M1-W25 傳感器。它可以實現(xiàn)7 種基本手勢動作識別，包括上下?lián)]動、左右揮動、懸停、連續(xù)多次揮動等手勢動作，SPTCN-938-Haier 懸停手勢模塊原理圖如圖2 所示。

圖2 SPTCN-938-Haier 手勢模塊原理圖

1.3 顯示模塊

設(shè)計使用型號以ET6144Q 為處理器核心的UI 顯示器來顯示傳感器捕捉到的手勢，根據(jù)UI 顯示器中UI 變化可以判斷所輸入的指令的正確性，實現(xiàn)系統(tǒng)控制模塊，根據(jù)手勢識別結(jié)果決定對交互設(shè)備的控制操作。利用選定的藍牙通信模塊與家居設(shè)備進行通信，發(fā)送控制指令和接收設(shè)備狀態(tài)反饋。確保控制和通信的穩(wěn)定性、安全性和實時性，ET6144Q 控制核心UI 顯示器原理圖如圖3 所示。

圖3 ET6144Q 控制核心UI 顯示器原理圖

1.4 驅(qū)動模塊

本設(shè)計采用型號為R7F100GBG2DFP 主控芯片搭配SSCU2L8 驅(qū)動芯片實現(xiàn)控制信號輸入和終端負載控制，同時設(shè)計開關(guān)電源、硬件保護、軟件電流檢測、顯示通信電路外圍集成電路實現(xiàn)家用電器無線控制，R7F100GBG2DFP 主控芯片和SSCU2L8 驅(qū)動芯片如圖4、5 所示。

圖4 R7F100GBG2DFP 主控芯片圖

圖5 SSCU2L8 驅(qū)動芯片圖

2 智能交互系統(tǒng)軟件設(shè)計

本系統(tǒng)的軟件部分主要通過系統(tǒng)初始化、顯示器顯示、手勢識別、驅(qū)動芯片控制來實現(xiàn)。采用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）手勢識別算法。設(shè)計一個合適的模型結(jié)構(gòu)，并使用大規(guī)模的手勢樣本數(shù)據(jù)進行模型訓(xùn)練。通過數(shù)據(jù)增強技術(shù)、模型壓縮和量化等方法優(yōu)化算法，以提高準確性和實時性[6]，軟件設(shè)計流程圖如圖6 所示。

圖6 軟件設(shè)計流程圖

3 結(jié)束語

本文介紹了一種基于手勢識別的智能交互系統(tǒng)的設(shè)計、實現(xiàn)和應(yīng)用。通過采用計算機視覺和機器學(xué)習(xí)技術(shù)，系統(tǒng)能夠準確識別用戶的手勢指令，并實現(xiàn)智能交互設(shè)備的自動化控制。實驗結(jié)果表明，該系統(tǒng)具有較高的識別準確性和實時性，用戶對其交互方式和控制效果普遍滿意。未來的研究可以進一步改進手勢識別算法，提高系統(tǒng)的性能和穩(wěn)定性，以及擴展系統(tǒng)的應(yīng)用場景和功能。