手勢(shì)識(shí)別在會(huì)議控制中的應(yīng)用研究

宋麗銘 陳虹云 徐歡瀟 胡瑞成 李佳雯

摘? 要：隨著人機(jī)交互技術(shù)的不斷發(fā)展，人與機(jī)器智能交流也受到越來(lái)越多專家學(xué)者的關(guān)注。如今，手勢(shì)識(shí)別作為當(dāng)前人機(jī)交互的主要方式之一，已經(jīng)廣泛應(yīng)用于圖像處理和虛擬現(xiàn)實(shí)等領(lǐng)域。文章打破以往會(huì)議中使用鼠標(biāo)或者翻頁(yè)筆進(jìn)行會(huì)議控制的局限性，并基于手勢(shì)識(shí)別的優(yōu)越性設(shè)計(jì)出根據(jù)會(huì)議演講者的實(shí)時(shí)手勢(shì)操作對(duì)PowerPoint進(jìn)行實(shí)時(shí)控制的會(huì)議控制系統(tǒng)。

關(guān)鍵詞：畫(huà)面捕捉;手勢(shì)識(shí)別;會(huì)議控制

中圖分類號(hào)：TP391? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）01-0079-04

Abstract： With the continuous development of human-computer interaction technology， more and more experts and scholars pay attention to the intelligent communication between human and machine. Nowadays， as one of the main ways of human-computer interaction， gesture recognition has been widely used in the fields of image processing and virtual reality. This paper breaks the limitations of using mouse or page turning pen for conference control in previous meetings， and designs a conference control system for real-time control of PowerPoint according to the real-time gesture operation of conference speakers based on the advantages of gesture recognition.

Keywords： picture capture; gesture recognition; conference control

0? 引? 言

人機(jī)交互一般是指人通過(guò)計(jì)算機(jī)設(shè)備能過(guò)與計(jì)算機(jī)相互交流的過(guò)程。以往人們是采用鍵盤(pán)、鼠標(biāo)或者翻頁(yè)筆來(lái)實(shí)現(xiàn)人機(jī)交互。隨著計(jì)算機(jī)硬件的不斷升級(jí)和計(jì)算機(jī)技術(shù)的不斷提高，人機(jī)交互的方式變得多種多樣，例如：可穿戴式設(shè)備、手勢(shì)識(shí)別、聲音識(shí)別和人臉識(shí)別等等。在人機(jī)交互領(lǐng)域里，使用計(jì)算機(jī)硬件來(lái)實(shí)現(xiàn)人機(jī)交互已經(jīng)不再流行，取而代之的是人體自然感應(yīng)，人體自然感應(yīng)的使用變得越來(lái)越普遍。手勢(shì)識(shí)別是當(dāng)前人機(jī)交互的主要方式之一。

在以往的會(huì)議中，通常是匯報(bào)者使用PowerPoint進(jìn)行展示并配合以相應(yīng)的解說(shuō)，結(jié)束后參會(huì)人員再分別發(fā)表各自意見(jiàn)。在演講中對(duì)PowerPoint進(jìn)行展示的時(shí)候，通常有重點(diǎn)部分和非重點(diǎn)部分。因此，對(duì)于每一頁(yè)的停留，翻頁(yè)就成了控制會(huì)議進(jìn)度的主要方式。因?yàn)槭謩?shì)多種多樣、靈活多變，及時(shí)從未使用過(guò)手勢(shì)識(shí)別的使用者也很容易上手，從而降低了用戶使用新產(chǎn)品難度，節(jié)約了大量的時(shí)間成本。手勢(shì)識(shí)別作為當(dāng)前社會(huì)比較熱門(mén)的一個(gè)研究方向，手勢(shì)識(shí)別還有一個(gè)好處是可以是人機(jī)交互更為自然，可以增加會(huì)議的趣味性。

經(jīng)調(diào)研，會(huì)議室的人一般都在十人左右，為了解決每個(gè)人都能參與到會(huì)議系統(tǒng)的控制中的問(wèn)題，本文結(jié)合手勢(shì)識(shí)別的優(yōu)越性設(shè)計(jì)出基于手勢(shì)識(shí)別的會(huì)議控制系統(tǒng)。

本系統(tǒng)可以通過(guò)手勢(shì)識(shí)別實(shí)現(xiàn)以會(huì)議為背景，對(duì)于PowerPoint的打開(kāi)，關(guān)閉，放大，縮小以及向上翻頁(yè)和向下翻頁(yè)。當(dāng)會(huì)議系統(tǒng)打開(kāi)時(shí)，通過(guò)連接攝像頭，可以捕捉手勢(shì)畫(huà)面并傳到后臺(tái)進(jìn)行識(shí)別，然后發(fā)出相應(yīng)指令。最后，屏幕上的PowerPoint頁(yè)面即可執(zhí)行相應(yīng)指令，本文中的系統(tǒng)識(shí)別率高達(dá)百分之九十，目測(cè)達(dá)到了預(yù)期的效果。

1? 系統(tǒng)設(shè)計(jì)

本文對(duì)很多家中小型公司以及中小學(xué)進(jìn)行了會(huì)議控制系統(tǒng)使用需求的調(diào)研。本文所闡述的系統(tǒng)主要運(yùn)用的是opency、python以及圖像處理的相關(guān)技術(shù)，需要用到的庫(kù)有cv2，numpy，copy，math等。

本系統(tǒng)的運(yùn)行環(huán)境是：使用軟件為pycharm，電腦系統(tǒng)為Windows 10。本系統(tǒng)在臺(tái)式機(jī)和筆記本上均可以運(yùn)行，為了系統(tǒng)運(yùn)行的穩(wěn)定性，建議使用臺(tái)式電腦，攝像頭另備，只需常規(guī)攝像頭連接電腦即可，打開(kāi)pycharm運(yùn)行代碼即可自動(dòng)連接攝像頭進(jìn)行識(shí)別。

系統(tǒng)主要需要突破兩大難點(diǎn)是定義攝像頭和捕捉圖像。本系統(tǒng)主要分為三大模塊，分別是會(huì)議準(zhǔn)備模塊、系統(tǒng)操作模塊和會(huì)議結(jié)束模塊。在系統(tǒng)操作模塊中包含PowerPoint的頁(yè)面放大和縮小以及向上和向下翻頁(yè)。會(huì)議控制系統(tǒng)框架圖如圖1所示。

2? 功能設(shè)計(jì)與實(shí)現(xiàn)

2.1? 會(huì)議控制系統(tǒng)手勢(shì)錄入

手勢(shì)輸入模型會(huì)對(duì)手勢(shì)是否定義進(jìn)行有效的判斷。如果系統(tǒng)沒(méi)有預(yù)先錄入手勢(shì)，則不能實(shí)現(xiàn)相應(yīng)的人機(jī)交互功能。因此，會(huì)議控制系統(tǒng)在使用前需要預(yù)先進(jìn)行手勢(shì)錄入。將會(huì)議所要使用的手勢(shì)錄入系統(tǒng)同并生成相應(yīng)的指令。本文所寫(xiě)的系統(tǒng)主要針對(duì)的是會(huì)議系統(tǒng)中PPT的操作，對(duì)會(huì)議中所要用到的放大頁(yè)面，縮小頁(yè)面，翻頁(yè)等功能指令進(jìn)行對(duì)比，運(yùn)用的代碼也是當(dāng)前比較流行的python。

目前的手勢(shì)識(shí)別技術(shù)主要包含數(shù)據(jù)處理、手勢(shì)分析和識(shí)別處理三個(gè)部分。數(shù)據(jù)處理主要是通過(guò)使用API技術(shù)截取當(dāng)前頁(yè)面下的一個(gè)矩形區(qū)域，在該矩形區(qū)域內(nèi)，錄制所要用到的手勢(shì)指令，該區(qū)域就是手勢(shì)識(shí)別的區(qū)域，形成該矩形區(qū)域的主要目的在于避免去識(shí)別一些不需要的東西，能夠?qū)⑺R(shí)別的手勢(shì)更加突出顯示。然后，系統(tǒng)再監(jiān)測(cè)該區(qū)域是否有手勢(shì)指令。如果檢測(cè)到對(duì)應(yīng)的手勢(shì)指令，則將該手勢(shì)指令從當(dāng)前矩形區(qū)域中分離出來(lái)，這就是手勢(shì)分析，分析得當(dāng)，則再對(duì)該手勢(shì)進(jìn)行相應(yīng)的指令檢測(cè)，并選用特定的手勢(shì)進(jìn)行對(duì)比，得出應(yīng)有的指令，最后對(duì)系統(tǒng)進(jìn)行對(duì)應(yīng)操作，這就是識(shí)別處理部分。手勢(shì)識(shí)別流程如圖2所示。

系統(tǒng)在獲得手勢(shì)輪廓后，繪制出手勢(shì)輪廓圖，再對(duì)手勢(shì)的二值圖進(jìn)行判斷。判斷采用特征法，先用API獲取手部輪廓計(jì)算手勢(shì)凹凸包，得到手部剛好包圍起來(lái)的凸多邊形，最后使用imshow得到大致的效果圖樣式。如圖3所示，在用戶握拳之后，系統(tǒng)可以的到效果樣式4。

2.2? 會(huì)議控制系統(tǒng)手勢(shì)實(shí)現(xiàn)

該P(yáng)owerPoint控制程序，包括四個(gè)命令：播放PowerPoint（全屏），退出全屏，下一頁(yè)，上一頁(yè)。

在控制程序中可設(shè)置了一個(gè)“開(kāi)關(guān)”：連續(xù)檢測(cè)到手掌5幀就打開(kāi)開(kāi)關(guān)，即可進(jìn)一步接受其他的命令。用戶可以預(yù)先并且設(shè)置時(shí)間，如果打開(kāi)開(kāi)關(guān)超過(guò)5秒鐘就會(huì)自動(dòng)關(guān)閉。這里設(shè)置為5秒鐘是因?yàn)檠葜v者一般一個(gè)命令時(shí)間很快，關(guān)閉命令開(kāi)關(guān)避免界面中其他干擾。

命令執(zhí)行：PowerPoint的這三個(gè)模塊可以通過(guò)簡(jiǎn)單的模擬鍵盤(pán)發(fā)送消息，“F5”，“ESC”，“→”，“←”，這個(gè)可以通過(guò)發(fā)送消息函數(shù)（定義一個(gè)函數(shù)）就可以了，當(dāng)執(zhí)行了這個(gè)命令以后就立馬關(guān)閉命令開(kāi)關(guān)，防止比如你移動(dòng)手的時(shí)候會(huì)出現(xiàn)連續(xù)發(fā)送消息造成錯(cuò)誤。

2.2.1? PowerPoint啟動(dòng)模塊

播放PowerPoint命令：如果已經(jīng)打開(kāi)了命令開(kāi)關(guān)并且沒(méi)有超過(guò)5秒鐘，手掌→拳頭→手掌。

首先，系統(tǒng)會(huì)對(duì)攝像頭中捕捉到的畫(huà)面進(jìn)行識(shí)別，當(dāng)在攝像頭中檢測(cè)到拳頭并且沒(méi)有超過(guò)20幀（這里設(shè)置成20幀是為退出全屏命令用的），忽然變成了手掌，可以認(rèn)為：拳頭變成手掌，手掌打開(kāi)就是打開(kāi)PowerPoint的命令。

此時(shí)電腦中的PowerPoint會(huì)進(jìn)行縮放全屏，會(huì)將整個(gè)頁(yè)面呈現(xiàn)到桌面上，接下來(lái)便可以進(jìn)行其他指令。此時(shí)，電腦的攝像頭捕捉到的畫(huà)面是握著的拳頭，時(shí)間沒(méi)有超過(guò)20幀，如圖4所示。

在沒(méi)有超過(guò)20幀的前提下，拳頭變成了伸開(kāi)的手掌，由拳頭變成手掌，意味著要將PowerPoint頁(yè)面放大，而此時(shí)畫(huà)面中所呈現(xiàn)出來(lái)的畫(huà)面就是PowerPoint全屏畫(huà)面，如圖5所示。

辨別“開(kāi)關(guān)”手勢(shì)代碼為：

輸入：系統(tǒng)開(kāi)始識(shí)別第一個(gè)手勢(shì)

輸出：對(duì)應(yīng)手勢(shì)和位置或者識(shí)別失敗

（1） global fist， palm， FIST， PALM

（2） fists = fist.detectMultiScale（img， 1.3， 5）

（3） if len（fists） > 0：

（4）? ? ? return FIST， fists[0]

（5） palms = palm.detectMultiScale（img， 1.3， 5）

（6） if len（palms） > 0：

（7）? ? ? return PALM， palms[0]

（8） return -1， -1

第（3）～（7）步，如果圖像包含一個(gè)拳頭，則返回FIST（0）和拳頭的位置。如果圖像包含一個(gè)手掌，則返回PALM（1）和手掌的位置。第（8）步識(shí)別失敗。

識(shí)別“開(kāi)始”手勢(shì)具體代碼為：

（1）global FIST， PALM

（2）? ? for i in range（len（seqs） - 1， 0， -1）：

（3）? ? ? ? if seqs[i] == PALM：

（4）? ? ? ? ? ? for j in range（i）：

（5）? ? ?   ? ? ? ? if seqs[j] == FIST：

（6）? ? ? ? ? ? ? ? ? ? return True

（7）? ? ? ? ? ? break

第（2）～（6）步，舉起拳頭之后，張開(kāi)手掌，表示“開(kāi)始”手勢(shì)。

2.2.2? PowerPoint關(guān)閉模塊

退出PowerPoint全屏：打開(kāi)命令以后，一直是拳頭超過(guò)20幀就可以認(rèn)為是關(guān)閉PowerPoint命令。如圖3所示，該系統(tǒng)捕捉到的手勢(shì)畫(huà)面是拳頭，手掌呈現(xiàn)握住狀態(tài)。

如圖6所示，當(dāng)攝像頭捕捉到的拳頭畫(huà)面超過(guò)20幀，PowerPoint的畫(huà)面由全屏變?yōu)榇翱冢赐顺觥?/p>

識(shí)別“關(guān)閉”手勢(shì)具體代碼設(shè)計(jì)為：

（1） global exit_fist_len， FIST， PALM

（2）off_count = 5

（3）win_width = exit_fist_len + off_count

（4）cur_fist_cnt = 0

（5）for i in range（min（win_width， len（seqs）））：

（6）? ? if seqs[i] == FIST：

（7）? ? ? ?cur_fist_cnt += 1

（8）if cur_fist_cnt >= exit_fist_len：

（9）? ? return True

（10）for i in range（win_width， len（seqs））：

（11）? ?if seqs[i] == FIST：

（12）? ? ? ? cur_fist_cnt += 1

（13）? ?if i - win_width >= 0 and seqs[i - win_width] == FIST：

（14）? ? ? ? cur_fist_cnt -= 1

（15）? ? if cur_fist_cnt >= exit_fist_len：

（16）? ? ? ? return True

第（5）～（9）步，在運(yùn)行過(guò)程中，如果[exit_fist_len+off_count]幀包含[exit_fist_len]拳頭，這是退出手勢(shì)。理想情況下，如果每一幀連續(xù)[exit_fist_len]幀的幀都包含拳頭，那就是退出手勢(shì)。

2.2.3? PowerPoint翻頁(yè)模塊：

向上翻頁(yè)命令：剛開(kāi)始張開(kāi)手掌打開(kāi)命令以后，程序會(huì)自動(dòng)計(jì)算手掌的中心位置，如果手掌移動(dòng)，會(huì)實(shí)時(shí)檢測(cè)手掌的中心位置，如果手掌的中心位置偏移超過(guò)一定的閾值，就可以做向下翻頁(yè)或者向上翻頁(yè)的命令。

如圖7所示，假設(shè)攝像頭捕捉到的畫(huà)面是一只張開(kāi)的手掌，系統(tǒng)記錄現(xiàn)在手掌在畫(huà)面中的位置。

如圖8所示，攝像頭捕捉到的畫(huà)面是一只張開(kāi)的手掌，系統(tǒng)記錄現(xiàn)在識(shí)別框中手掌在屏幕中的位置，并與上一張圖中手掌在屏幕中識(shí)別框的位置進(jìn)行對(duì)比，可見(jiàn)手掌從第一張圖到第二張圖的位置發(fā)生了變動(dòng)，向右移動(dòng)，此時(shí)PowerPoint從第一頁(yè)進(jìn)行到了第二頁(yè)，即為翻頁(yè)。

識(shí)別“翻頁(yè)”手勢(shì)具體代碼設(shè)計(jì)如下。

（1）omx = open_pos[0] + open_pos[2] / 2

（2）omy = open_pos[1] + open_pos[3] / 2

（3）cmx = cur_pos[0] + cur_pos[2] / 2

（4）cmy = cur_pos[1] + cur_pos[3] / 2

（5）thr = （open_pos[2] + open_pos[3] + cur_pos[2] + cur_pos[3]） / 4

（6）if abs（cmx - omx） > thr：

（7）return True， cmx > omx

（8）return False， 0

（9） else：

（10） start_seq = 0def draw_fist_palm（img， fop， pos）：

第（1）～（2）步計(jì)算手掌中心的原始位置，第（3）～（4）步計(jì)算手掌中心的當(dāng)前位置，第（5）步計(jì)算手掌大小平均值，第（6）～（10）步，判斷移動(dòng)的X個(gè)偏移量是否大于手掌的大小，如果手掌的中心位置偏移超過(guò)一定的閾值，就可以做向下翻頁(yè)或者向上翻頁(yè)的命令。

3? 結(jié)? 論

手勢(shì)識(shí)別作為該系統(tǒng)中的主要技術(shù)，在當(dāng)前國(guó)內(nèi)的各大高校和公司中所使用的技術(shù)仍然很不成熟。本文所寫(xiě)的很多代碼以及功能在其他很多設(shè)備中都是得以常見(jiàn)的功能，但對(duì)于會(huì)議控制系統(tǒng)中的手勢(shì)指令，該系統(tǒng)的想法和功能都是比較新穎的。本系統(tǒng)可以解決了會(huì)議中需要借助于鼠標(biāo)或者翻頁(yè)筆才能實(shí)現(xiàn)會(huì)議控制的局限性，便于在多人會(huì)議中會(huì)議系統(tǒng)的控制以及各抒己見(jiàn)，提高了會(huì)議中各位員工的交互。同時(shí)也可以減少以往會(huì)議控制中無(wú)趣性，對(duì)會(huì)議展示有了很大的提升。

參考文獻(xiàn)：

[1] MOSCHETTI A，F(xiàn)IORINI L，ESPOSITO D，et al. Recognition of Daily Gestures with Wearable Inertial Rings and Bracelets [J].Sensors，2016，16：1341.

[2] NISHIHARA H K，HSU S P，KAEHLER A，et al. Hand-gesture recognition method：US20090103780A1 [P].2009-04-23.

[3] 肖茜，楊平，徐立波.一種基于MEMS慣性傳感器的手勢(shì)識(shí)別方法 [J].傳感技術(shù)學(xué)報(bào)，2013，26（5）：611-615.

[4] 任海兵，祝遠(yuǎn)新，徐光祐，等.連續(xù)動(dòng)態(tài)手勢(shì)的時(shí)空表觀建模及識(shí)別 [J].計(jì)算機(jī)學(xué)報(bào)，2000（8）：824-828.

[5] YANG Q F，TANG H，ZHAO X B. Dolphin：Ultrasonic-Based Gesture Recognition on Smartphone Platform [C]//2014 IEEE 17th International Conference on Computational Science and Engineering.IEEE：Chengdu，2014：1461-1468.

作者簡(jiǎn)介：宋麗銘（1999—），女，漢族，江蘇泰州人，本科在讀;研究方向：軟件開(kāi)發(fā);通訊作者：陳虹云（1993—），女，漢族，江蘇南通人，講師，碩士，研究方向：信息安全、計(jì)算機(jī)技術(shù)。