基于手勢(shì)識(shí)別的智能控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

劉長坤 符志強(qiáng) 李舒怡 蔣明亮 宋曉金

摘要：隨著AI技術(shù)和計(jì)算機(jī)視覺的不斷進(jìn)步，通過AI識(shí)別的智能控制系統(tǒng)開始蓬勃發(fā)展。該文研究基于手勢(shì)識(shí)別的智能家居控制系統(tǒng)，以數(shù)字手勢(shì)控制不同的智能家居產(chǎn)品。系統(tǒng)采用了Python的OpenCV、PyQt5和Sklearn庫搭建完整的手勢(shì)識(shí)別系統(tǒng)，以此作為控制智能家居的開關(guān)對(duì)智能家居進(jìn)行集中控制。系統(tǒng)具有操作便捷、識(shí)別率高的特點(diǎn)。

關(guān)鍵詞：計(jì)算機(jī)視覺;手勢(shì)識(shí)別;OpenCV;智能家居

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）16-0009-02

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

1 背景

隨著物聯(lián)網(wǎng)的快速發(fā)展，越來越多的家居產(chǎn)品也開始互聯(lián)互通。智能家居是物聯(lián)網(wǎng)在家庭環(huán)境中的體現(xiàn)，不僅為人們提供了安全的、便利的、舒適的基礎(chǔ)生活設(shè)施，而且還能保證人們的居住環(huán)境環(huán)保節(jié)能[1-2]。目前普通家庭生活水平提高，智能家居產(chǎn)品不斷增加，對(duì)各種智能家居產(chǎn)品做進(jìn)一步的集中、快捷管理的需求應(yīng)運(yùn)而生。而手勢(shì)作為人類的一種基本行為，是人與人交往和日常生活過程中的重要一部分。隨著AI技術(shù)和計(jì)算機(jī)視覺的不斷進(jìn)步，手勢(shì)識(shí)別的相關(guān)研究不斷前進(jìn)，以手勢(shì)識(shí)別來控制智能家居的方式成為目前研究的熱點(diǎn)之一。

2 關(guān)鍵技術(shù)

顏色空間YCrCb常用于手勢(shì)識(shí)別和人臉識(shí)別。其中Y為亮度信號(hào)，Cr為圖像中的紅色信號(hào)分量，Cb為圖像中的藍(lán)色信號(hào)分量。通過把基于RGB空間的圖像轉(zhuǎn)化為YCrCb后，亮度在該圖像中的影響就可以小到忽略不計(jì)，這樣處于膚色范圍內(nèi)的點(diǎn)就會(huì)聚集在一起。因此判斷當(dāng)前圖像內(nèi)某個(gè)點(diǎn)是否是人臉或者是手臂等其他部位，可以通過其Cr、Cb值是否分布于膚色點(diǎn)的取值范圍內(nèi)，以此來確定當(dāng)前像素點(diǎn)是否屬于膚色，進(jìn)一步區(qū)分識(shí)別圖像中的膚色與背景。最大類間差算法Otsu是目前用于圖像分割中閾值選取的算法，把前景和背景分成兩個(gè)灰度數(shù)不同的部分，使用聚類的思想，計(jì)算出最大的方差值，使得前景和后背景能夠明顯地區(qū)分開[3-4]。

本文主要通過Python的PyQt5進(jìn)行頁面的設(shè)計(jì)，采用OpenCV實(shí)現(xiàn)對(duì)手勢(shì)動(dòng)作的捕獲，用YCrCb顏色模型以及Otsu法閾值分割算法進(jìn)行去噪和膚色檢測(cè)，接著進(jìn)行形態(tài)學(xué)處理并提取手勢(shì)輪廓，完成對(duì)手勢(shì)圖像的預(yù)處理，再對(duì)輪廓點(diǎn)進(jìn)行傅立葉算子提取進(jìn)行二次降噪。之后采集手勢(shì)擴(kuò)充手勢(shì)樣本庫，最后利用已有的手勢(shì)樣本庫訓(xùn)練SVM模型，提高識(shí)別準(zhǔn)確率。

3 系統(tǒng)設(shè)計(jì)

本系統(tǒng)最重要的核心部分是手勢(shì)識(shí)別模塊。目前實(shí)現(xiàn)手勢(shì)識(shí)別主要有兩種方式：

1）基于圖像識(shí)別;

2）基于立體三維加速度識(shí)別。

兩者當(dāng)中，基于圖像識(shí)別的手勢(shì)識(shí)別技術(shù)較為成熟，理論研究較為廣泛且相關(guān)的算法識(shí)別成功率相對(duì)較高，復(fù)雜率也相對(duì)較低，可較好的完成對(duì)家居產(chǎn)品的控制操作。本文用PC機(jī)的攝像頭捕獲用戶做出的相應(yīng)手勢(shì)，再通過對(duì)手勢(shì)的處理識(shí)別，判斷用戶想要對(duì)相應(yīng)家居產(chǎn)品做出的相應(yīng)控制，再由虛擬按鈕做出進(jìn)一步響應(yīng)動(dòng)作，進(jìn)而集中統(tǒng)一地控制各種智能家電設(shè)備。

手勢(shì)識(shí)別模板主要是通過PC機(jī)的攝像頭捕獲用戶的手勢(shì)，產(chǎn)生控制命令，進(jìn)一步控制家居設(shè)備。該模塊主要由識(shí)別界面、圖像預(yù)處理、提取特征、模型訓(xùn)練組成。

手勢(shì)識(shí)別主界面如圖1所示。

該部分先調(diào)用OpenCV獲取用戶基本手勢(shì)，創(chuàng)建了main和picture兩個(gè)文件。其中main作用為錄制當(dāng)前攝像頭捕獲的畫面，picture作用則是完成對(duì)main中捕獲圖像的預(yù)處理，相關(guān)步驟為：去除噪點(diǎn)、基于YCrCb空間的膚色檢測(cè)、相關(guān)的形態(tài)學(xué)處理、提取處理過的圖像的輪廓。main調(diào)用攝像頭進(jìn)行錄制，然后框選出需要的手勢(shì)部分，接著對(duì)圖像進(jìn)行濾波，即對(duì)圖像實(shí)現(xiàn)噪聲的消除，增強(qiáng)圖像效果?；赮CrCb空間的膚色檢測(cè)，首先將原本基于RGB空間的圖像轉(zhuǎn)換到Y(jié)CrCb中去，將亮度這一條件對(duì)圖像產(chǎn)生的影響降到最低，這樣膚色就會(huì)得到很好的聚合，再通過判斷像素點(diǎn)的Cr、Cb值是否分布于膚色點(diǎn)的取值范圍內(nèi)，以此來確定當(dāng)前像素點(diǎn)是否屬于膚色。提取出Cr分量圖像后，再對(duì)對(duì)CR通道進(jìn)行單獨(dú)的Otsu處理，其中Otsu方法里的opencv用的是threshold對(duì)圖像灰度級(jí)進(jìn)行聚類。

經(jīng)過膚色檢測(cè)處理后的手勢(shì)圖像出現(xiàn)了背景白點(diǎn)，而且手勢(shì)上也有部分殘缺存在。這時(shí)需要對(duì)所分割出來的圖像做進(jìn)一步的處理。腐蝕和膨脹是形態(tài)學(xué)運(yùn)算中兩種基本運(yùn)算，主要作用是尋找圖像中極大極小區(qū)域。腐蝕操作就是將圖像“變瘦”，膨脹操作就是將圖像“變胖”。先腐蝕再膨脹其作用是分離物體，去除圖像中孤立的小像素點(diǎn)和毛刺。先膨脹再腐蝕其作用為融合物體，將圖像中的小孔填平，彌合細(xì)小裂縫[5-6]。對(duì)捕獲的手勢(shì)圖像進(jìn)行處理后效果如圖2所示。

可以看到經(jīng)過形態(tài)學(xué)處理后，圖中的背景雜質(zhì)點(diǎn)消除掉了。提取特征是對(duì)手勢(shì)圖像預(yù)處理后的輪廓點(diǎn)坐標(biāo)，進(jìn)行提取傅立葉描述子，建立手勢(shì)的特征庫。有許多計(jì)算表達(dá)不同物體形狀的方式，基于這些不同的形狀表示方式，有許多各種各樣的識(shí)別方法被研究提出，其中具有最佳識(shí)別物體形狀性能的就是傅立葉描述子。輪廓提取完成后，對(duì)圖像再進(jìn)行第二次去除噪點(diǎn)的處理，最后去除圖像中相對(duì)面積較小的部分，效果如圖3所示。

最后使用支持向量機(jī)SVM對(duì)輪廓進(jìn)行識(shí)別，它的基本思路就是在所給的空間中，找到一個(gè)平面，使得分離兩邊的間隔最大，這樣相關(guān)數(shù)據(jù)就較高的效率被分開了。SVM具有良好的學(xué)習(xí)能力，且得到的錯(cuò)誤率較低，一般可用于模式的識(shí)別和物品的分類。該部分主要是在手勢(shì)庫上進(jìn)行訓(xùn)練分類器。本文用網(wǎng)格搜索法進(jìn)行調(diào)參，保存模型用joblib模塊。通過識(shí)別用戶手勢(shì)，判斷用戶想對(duì)特定家居產(chǎn)品做出的控制，進(jìn)行下一步響應(yīng)。

4 結(jié)束語

本文研究基于手勢(shì)識(shí)別的智能家居控制系統(tǒng)，系統(tǒng)最重要的核心內(nèi)容就是對(duì)用戶手勢(shì)的識(shí)別，識(shí)別的準(zhǔn)確與否將進(jìn)一步影響用戶是否能準(zhǔn)確操作想要操控的家居產(chǎn)品并做出準(zhǔn)確的操作。本文采用了Python的OpenCV、PyQt5和Sklearn庫搭建完整的手勢(shì)識(shí)別系統(tǒng)，以此作為控制智能家居的開關(guān)，對(duì)智能家居進(jìn)行控制。經(jīng)測(cè)試系統(tǒng)識(shí)別率較高，能準(zhǔn)確地控制家居產(chǎn)品，系統(tǒng)操作較為便捷。

參考文獻(xiàn)：

[1] 韓洪江， 張建軍，張利魏，等. 智能家居系統(tǒng)與技術(shù)[M]. 合肥： 合肥工業(yè)大學(xué)出版社， 2011.

[2] 勝德8X家居智能化系統(tǒng)解決方案淺析[J]. 智能建筑技術(shù)， 2003（2）： 33-35.

[3] 易靖國， 程江華， 庫錫樹. 復(fù)雜背景下的手勢(shì)識(shí)別方法[J]. 數(shù)字技術(shù)與應(yīng)用， 2016（9）： 50-53.

[4] 丁毅， 曹江濤， 李平， 等. 復(fù)雜背景下的手勢(shì)識(shí)別算法研究[J]. 自動(dòng)化技術(shù)與應(yīng)用， 2016， 35（8）： 113-116.

[5] 徐戰(zhàn)武. 靜態(tài)圖像膚色檢測(cè)研究[D]. 杭州： 浙江大學(xué)， 2006.

[6] 魯一姝. 基于視覺的手勢(shì)識(shí)別研究[D]. 天津： 天津工業(yè)大學(xué)， 2016.

【通聯(lián)編輯：謝媛媛】