基于YOLOv3的手勢(shì)識(shí)別技術(shù)

凌利，陶俊*，吳瑰

（江漢大學(xué)a.人工智能學(xué)院；b.工程訓(xùn)練中心，湖北武漢 430056）

0 引言

深度學(xué)習(xí)［1］（deep learning）是通過構(gòu)建含有多層隱藏層的學(xué)習(xí)器（模型）來模擬人腦的工作方式，每一層隱藏層包含若干個(gè)神經(jīng)元，若干隱藏層會(huì)相互作用，對(duì)輸入數(shù)據(jù)進(jìn)行計(jì)算和組合，隱藏層下一層又會(huì)對(duì)其上一層的輸出進(jìn)行再計(jì)算和組合，其相互作用運(yùn)算共同組成了神經(jīng)網(wǎng)絡(luò)模型（neural network）。該方法通過收集大量數(shù)據(jù)輸入網(wǎng)絡(luò)模型用于學(xué)習(xí)其特征，最終得到一個(gè)可以進(jìn)行準(zhǔn)確預(yù)測(cè)的高精度模型。

深度學(xué)習(xí)在物體檢測(cè)、機(jī)器人視覺等方面的應(yīng)用廣泛。深度學(xué)習(xí)的發(fā)展極大地提升了計(jì)算機(jī)處理抽象信息的能力，在處理自然交互信息方面具有明顯優(yōu)勢(shì)，成為人機(jī)交互技術(shù)中的有效手段［2］，掀起了智能人機(jī)交互研究的新熱潮［3］，并運(yùn)用于各種場(chǎng)景［4-5］。人機(jī)交互作為人與計(jì)算機(jī)溝通的橋梁是近年來的研究熱點(diǎn)，特別是語音識(shí)別、手勢(shì)識(shí)別［6］、人臉識(shí)別等自然交互方式［7］。手勢(shì)識(shí)別技術(shù)可以很好地解決人與智能設(shè)備之間的交互，提供便捷的使用體驗(yàn)［8］。2000年，清華大學(xué)祝遠(yuǎn)新等［9］提出了一種基于表觀的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)，一年之后，完成了在復(fù)雜背景下分割出手勢(shì)并實(shí)現(xiàn)對(duì)12種給定手勢(shì)的識(shí)別，最終的識(shí)別率達(dá)到了97%［10］。

傳統(tǒng)的基于人工建模方式的手勢(shì)識(shí)別技術(shù)有R-CNN［11-12］、Faster R-CNN［13］、FPN［14］，是一種基于建議框的方法［15-16］，以上方法在準(zhǔn)確率方面取得了較好的效果，能滿足靜態(tài)圖片和物體的識(shí)別，但要滿足大量靜態(tài)手勢(shì)的實(shí)時(shí)識(shí)別要求，且進(jìn)一步達(dá)到實(shí)時(shí)視頻識(shí)別的需求，需要進(jìn)一步提高識(shí)別速度。除此之外，通過人工建模方式設(shè)計(jì)手勢(shì)描述特征的過程十分繁瑣［17］，且無法深度挖掘更高層次、更多維度的特征信息，導(dǎo)致基于傳統(tǒng)方法的模型范性差［18］，很難達(dá)到實(shí)時(shí)檢測(cè)的目的。

為了克服傳統(tǒng)手勢(shì)識(shí)別算法在速度方面的劣勢(shì)，本文采用YOLOv3作為目標(biāo)檢測(cè)算法，它是一種免建議框方法，相對(duì)于mAP（mean average precision）衡量的訓(xùn)練后模型在所有類別上的平均精度，AP（average precision）指單個(gè)類別在測(cè)試集下的平均精度。在進(jìn)行大量手勢(shì)圖片處理的情況下，每秒幀速率（frames per second，F(xiàn)PS）顯得更加重要，YOLO作為一種快速識(shí)別的檢測(cè)算法正好符合這一點(diǎn)，并且在精度方面沒有落后于主流基于建議框的方法。根據(jù)國(guó)內(nèi)研究對(duì)比結(jié)果［19］，如圖1所示，YOLO在幀速率上有著明顯的優(yōu)勢(shì)。

圖1 不同模型的準(zhǔn)確率和識(shí)別速率Fig.1 The accuracy and recognition rate of different models

1 靜態(tài)手勢(shì)實(shí)時(shí)識(shí)別方法

1.1 YOLO目標(biāo)檢測(cè)

YOLO是一種基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）的免建議框的單步方法［20］。將物體檢測(cè)任務(wù)當(dāng)作回歸問題來處理，直接通過整張圖片的所有像素得到預(yù)測(cè)邊界框的坐標(biāo)，將一張圖像分為多個(gè)有界框，每一個(gè)有界框中包含物體的置信度和潛在類別概率。通過YOLO，每張圖像只需要看一眼就能得出圖像中都有哪些物體和這些物體的位置［21］。

YOLOv3共包含3個(gè)模塊（見圖2），分別為Darknet53特征提取模塊、特征金字塔模塊（fea?ture pyramid network，F(xiàn)PN）以及預(yù)測(cè)分支模塊。利用FPN對(duì)不同層次的特征進(jìn)行尺度變化后，再進(jìn)行信息融合，從而可以提取到比較低層的信息。FPN通過不同層次的特征融合，使得小物體的信息也能夠比較完整地反映出來。分支預(yù)測(cè)是用于解決分支指令（if-then-else）導(dǎo)致流水線失敗的數(shù)據(jù)處理方法，處理器耗費(fèi)大量時(shí)間處理錯(cuò)誤分支進(jìn)行回溯。由CPU來判斷程序分支的進(jìn)行方向，能夠加快運(yùn)算速度。

圖2 YOLOv3簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure diagram of YOLOv3 simplified network

YOLO能將接收到的圖像劃分為N×N的識(shí)別網(wǎng)格，每個(gè)網(wǎng)格有若干個(gè)預(yù)測(cè)邊界框和相應(yīng)的置信度（confidence），得出類別相應(yīng)概率圖［22］，而后得出最終檢測(cè)結(jié)果。每一個(gè)柵格預(yù)測(cè)B個(gè)邊界框以及這些邊界框的置信度，置信度反映了模型對(duì)于這個(gè)柵格的預(yù)測(cè)：該柵格是否含有物體以及這個(gè)預(yù)測(cè)框的坐標(biāo)預(yù)測(cè)有多準(zhǔn)。

當(dāng)前預(yù)測(cè)值（bounding box）是否有對(duì)象的概率Pr(Object)，如果不存在，則confidence為0；否則，confidence則為預(yù)測(cè)邊界（pred）與正確標(biāo)注框（truth）之間的交并比（intersection over union，IOU），即模型給出的預(yù)測(cè)框與標(biāo)記數(shù)據(jù)框的交集與并集的比值。

YOLO對(duì)每個(gè)預(yù)測(cè)邊界框有5個(gè)預(yù)測(cè)值：x、y、w、h、confidence。坐標(biāo)x、y代表了預(yù)測(cè)邊界框的中心與柵格邊界的相對(duì)值。坐標(biāo)w、h代表了預(yù)測(cè)邊界框的寬、高相對(duì)于整幅圖像寬、高的比例。置信度就是預(yù)測(cè)邊界框和正確標(biāo)注框的交并比值。

每一個(gè)柵格還要預(yù)測(cè)C個(gè)條件類別概率：Pr(Classi|Object)。即在一個(gè)柵格包含一個(gè)對(duì)象（Object）的前提下，它屬于某個(gè)類的概率。本文為每個(gè)柵格預(yù)測(cè)一組（C個(gè)）類概率，而不考慮預(yù)測(cè)框B的數(shù)量。

1.2 YOLO柵格識(shí)別

將YOLO用于本文的手勢(shì)數(shù)據(jù)集時(shí)：使用的N=10，即將一張圖像分為10×10=100個(gè)柵格，每一個(gè)柵格預(yù)測(cè)B個(gè)預(yù)測(cè)框（每個(gè)預(yù)測(cè)框有x、y、w、h、confidence5個(gè)預(yù)測(cè)值），同時(shí)C=10（本文數(shù)據(jù)集中有10個(gè)類別）。

YOLO檢測(cè)流程如圖3所示，系統(tǒng)將輸入的圖像調(diào)整為分辨率448×448作為輸入，在圖像上運(yùn)行單個(gè)卷積神經(jīng)網(wǎng)絡(luò)，得到識(shí)別的綁定框，綁定框中包含了物體的置信度和類別概率，最后由模型的置信度對(duì)所得到的檢測(cè)結(jié)果進(jìn)行閾值處理，即進(jìn)行非極大值抑制，篩選綁定框，輸出識(shí)別目標(biāo)。

2 基于深度學(xué)習(xí)的手勢(shì)識(shí)別與訓(xùn)練

利用TensorFlow的邏輯回歸算法對(duì)數(shù)據(jù)庫(kù)中的手勢(shì)圖像類別做識(shí)別，導(dǎo)入圖片進(jìn)行學(xué)習(xí)，并讓機(jī)器找出一次訓(xùn)練所選取好樣本數(shù)的規(guī)律，再導(dǎo)入下一次訓(xùn)練所選取的樣本數(shù)的手勢(shì)圖進(jìn)行學(xué)習(xí)，直到完成設(shè)定的訓(xùn)練次數(shù)或訓(xùn)練需求精度，停止訓(xùn)練。

手勢(shì)識(shí)別的數(shù)據(jù)集來自于Turkey Ankara Ayranc?Anadolu High School′s Sign Language Dig?its Dataset，含有10組手勢(shì)數(shù)據(jù)，分別代表0到9手勢(shì)的含義，共2 064張手勢(shì)圖片數(shù)據(jù)。手勢(shì)表達(dá)的意思和我國(guó)手勢(shì)含義有些許不同，圖4列出0～9手勢(shì)實(shí)例圖。

圖4 0～9手勢(shì)含義示意圖Fig.4 Schematic diagram of the meaning of 0-9 gestures

2.1 訓(xùn)練流程

訓(xùn)練流程包括5個(gè)部分：制作數(shù)據(jù)集進(jìn)行標(biāo)簽標(biāo)注、圖像預(yù)處理、手勢(shì)圖像的訓(xùn)練、模型評(píng)價(jià)、識(shí)別模型生成（見圖5）。

圖5 訓(xùn)練程序流程圖Fig.5 Flow chart of the training procedure

1）進(jìn)行標(biāo)簽標(biāo)注工作，使用labelImg對(duì)收集到的手勢(shì)數(shù)據(jù)集進(jìn)行標(biāo)注。

2）對(duì)手勢(shì)識(shí)別圖像進(jìn)行一定的預(yù)處理，以排除因環(huán)境因素造成的干擾。

3）下載預(yù)訓(xùn)練權(quán)重模型darknet53.conv.74，設(shè)定訓(xùn)練停止閾值，分別是訓(xùn)練滿8 000次以及訓(xùn)練精度達(dá)到90%，執(zhí)行訓(xùn)練操作，根據(jù)設(shè)定的停止條件終止訓(xùn)練得到模型。

4）對(duì)每一輪訓(xùn)練后的模型進(jìn)行精確度計(jì)算，即模型的評(píng)價(jià)操作。

5）判斷閾值是否達(dá)到，達(dá)到則輸出訓(xùn)練好的識(shí)別模型，未到達(dá)則執(zhí)行誤差反向傳播算法，使學(xué)習(xí)參數(shù)朝著精確度更高的方向更新變化，再進(jìn)行訓(xùn)練。

2.2 圖片標(biāo)簽

對(duì)于深度學(xué)習(xí)，在進(jìn)行模型訓(xùn)練前需要很多有標(biāo)簽的數(shù)據(jù)，要實(shí)現(xiàn)基于YOLOv3的手勢(shì)識(shí)別與大多數(shù)機(jī)器學(xué)習(xí)一樣，需要首先進(jìn)行數(shù)據(jù)打標(biāo)簽的操作。本文收集了10組共2 064張手勢(shì)圖片數(shù)據(jù)，進(jìn)行了圖片的標(biāo)簽工作，為不同類別的手勢(shì)分別打上0～9的標(biāo)簽信息共10類。

1）安裝圖像標(biāo)注工具labelImg。

2）添加自定義類別，修改文件labelImg/data/predefined_classes.txt，分別命名為手勢(shì)識(shí)別的0～9。

3）使用labelImg進(jìn)行圖像標(biāo)注，用labelImg標(biāo)注生成PASCAL VOC格式的xml標(biāo)記文件，程序標(biāo)注界面如圖6所示，“Open file”打開需要標(biāo)注的圖片；“Create rectbox”用鼠標(biāo)框選出需要識(shí)別的手勢(shì)；“輸入類別名稱”，例如圖示為0手勢(shì)，輸入“0”即可；“Save”保存標(biāo)記好的數(shù)據(jù)為xml格式。

圖6 labelImg標(biāo)記界面Fig.6 Labeling interface diagram of labelImg

2.3 手勢(shì)圖像數(shù)據(jù)集的預(yù)處理

手勢(shì)識(shí)別系統(tǒng)除了需要識(shí)別手勢(shì)數(shù)據(jù)集，還需要進(jìn)行視頻的實(shí)時(shí)手勢(shì)識(shí)別，與一般的數(shù)據(jù)集不同，通過攝像頭獲取的數(shù)據(jù)通常包含了復(fù)雜的背景信息，此時(shí)需要對(duì)獲取到的圖像進(jìn)行一定的處理，圖像的預(yù)處理即進(jìn)行圖像的濾波操作，過濾不重要信息和干擾部分。

2.3.1 圖像平滑技術(shù)首先對(duì)圖像進(jìn)行全局處理，除去圖像中的噪聲部分。中值濾波是非線性濾波的一種，其原理是將序列或數(shù)字圖像中一個(gè)點(diǎn)的值替換為場(chǎng)中每個(gè)點(diǎn)的中值，得到一張低噪聲圖片。數(shù)字圖像中值的定義為

式中，(xij,(i,j)∈I2)代表圖像各點(diǎn)的灰度值；A表示濾波窗口；yij表示在A中選取的xij中值。本文采用中值濾波法對(duì)手勢(shì)圖像進(jìn)行預(yù)處理。

2.3.2 圖像二值化 圖像二值化是將具有多個(gè)灰度級(jí)的圖像轉(zhuǎn)換為只有兩個(gè)灰度級(jí)的圖像。把要識(shí)別的目標(biāo)像素作為前景像素，背景像素設(shè)定為其余部分。假設(shè)圖像f(x,y)的灰度值范圍為[a,b]，二值化的閾值定義為t，圖像二值化的表達(dá)式為

g(x,y)表示得到的二值圖像，閾值t不同，二值圖像也不同。由數(shù)據(jù)所需要的閾值取決于該像素閾值及其周圍各像素的閾值以及該像素坐標(biāo)位置3個(gè)方面，確定本文選擇動(dòng)態(tài)閾值二值化。

2.4 訓(xùn)練數(shù)據(jù)集

本文使用基于darknet53網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練的YOLOv3手勢(shì)識(shí)別系統(tǒng)，首先需要在darknet目錄下下載預(yù)訓(xùn)練權(quán)重文件（darknet53.conv.74），導(dǎo)入標(biāo)記好的訓(xùn)練數(shù)據(jù)，然后檢測(cè)圖片中的手勢(shì)，并進(jìn)行數(shù)據(jù)增強(qiáng)的操作，通過旋轉(zhuǎn)角度，調(diào)整飽和度、曝光度、色調(diào)來生成更多的訓(xùn)練樣本進(jìn)行訓(xùn)練操作。啟動(dòng)網(wǎng)絡(luò)模塊進(jìn)行訓(xùn)練，最終輸出訓(xùn)練集模型。

設(shè)置訓(xùn)練的終止條件有兩個(gè)，一個(gè)是訓(xùn)練次數(shù)為8 000次，并且每訓(xùn)練1 000次就輸出一次結(jié)果。另一個(gè)是在訓(xùn)練過程中，一旦訓(xùn)練模型的準(zhǔn)確度達(dá)到90%及以上，就保存該模型，停止訓(xùn)練。所以本次實(shí)驗(yàn)保存最終8 000次后的模型，并且顯示模型訓(xùn)練成功。隨著訓(xùn)練次數(shù)的增加，模型的準(zhǔn)確率也在逐漸增加。

3 模型的檢驗(yàn)

3.1 測(cè)試模型

手勢(shì)數(shù)據(jù)集共2 064張，隨機(jī)分為1 496張訓(xùn)練樣本和568張測(cè)試樣本。首先對(duì)訓(xùn)練好的權(quán)重文件使用的YOLO網(wǎng)絡(luò)自帶的valid函數(shù)接口來測(cè)試大量的圖片，生成results/comp4_det_test_0～9.txt文件，文件包含了當(dāng)前手勢(shì)圖片置信度，該模型識(shí)別得到0～9手勢(shì)的文件名。

對(duì)圖片置信度進(jìn)行由高到低排序，與真實(shí)數(shù)據(jù)比對(duì)，即可得到預(yù)測(cè)是否為真實(shí)值（true）。根據(jù)公式（4）和（5），可以對(duì)測(cè)試圖片數(shù)據(jù)求得準(zhǔn)確率（precision）與召回率（recall）：

對(duì)測(cè)試集的568張靜態(tài)圖片進(jìn)行檢驗(yàn)，利用MATLAB進(jìn)行圖形的繪制，得到該手勢(shì)分類的PR曲線圖（見圖7），示例了手勢(shì)4訓(xùn)練后的PR曲線圖。

PR曲線可以將一個(gè)模型的檢索性能進(jìn)行量化的表現(xiàn)，橫坐標(biāo)精確度反映了模型識(shí)別正例的樣本比重，縱坐標(biāo)召回率反映了被模型正確判定的正例占總的正例的比重，即PR曲線越接近坐標(biāo)（1，1）代表模型的效果越好，由圖7可以得出此模型有著較好的效果。

圖7 手勢(shì)4的PR曲線Fig.7 PR curve of gesture 4

得到各手勢(shì)0～9的AP是指平均準(zhǔn)確率值即PR曲線下面積，其實(shí)是在0～1之間所有Recall值的Precision的平均值，如表1所示。

表1 手 勢(shì)0～9的AP值Tab.1 AP values of gesture 0 to 9

由表1可以求得該模型的mAP，即所有類別的AP平均值為0.767 563 5，得到準(zhǔn)確率接近80%。

通過對(duì)比2020年發(fā)表的YOLO相關(guān)文獻(xiàn)［23-25］，可以得到使用YOLO算法的識(shí)別精確度范圍（見表2）。

表2 性能參照表Tab.2 Performance parameter table

根據(jù)相關(guān)文獻(xiàn)得到的性能參照，本文mAP值達(dá)到了76.76%，性能較好。但因樣本數(shù)量還不夠多，識(shí)別手勢(shì)5的識(shí)別精確度還沒能達(dá)到一個(gè)很好的水平，可以繼續(xù)進(jìn)行優(yōu)化。

3.2 程序運(yùn)行結(jié)果

本程序基于YOLO算法實(shí)現(xiàn)對(duì)手勢(shì)的識(shí)別，使用OpenCV函數(shù)庫(kù)［26］，實(shí)現(xiàn)對(duì)圖片文件的導(dǎo)入與計(jì)算機(jī)硬件攝像頭的視頻抓取，利用Python自帶Tkinter模塊，創(chuàng)建的簡(jiǎn)單交互圖形顯示界面。手勢(shì)模型基于土耳其手勢(shì)的訓(xùn)練，完成了對(duì)0～9的手勢(shì)識(shí)別。

進(jìn)入系統(tǒng)選擇圖片后，系統(tǒng)會(huì)進(jìn)行手勢(shì)圖片的識(shí)別，并返回對(duì)應(yīng)的手勢(shì)值數(shù)據(jù)，并給出預(yù)測(cè)準(zhǔn)確率（見圖8），1∶0.92即表示識(shí)別手勢(shì)值為1，識(shí)別的準(zhǔn)確率為92%。

可以使用電腦CPU或GPU進(jìn)行實(shí)時(shí)的視頻識(shí)別，但準(zhǔn)確率會(huì)低于靜態(tài)圖片的識(shí)別，如圖9所示，得到的值含義與圖8所示相同。

圖8 識(shí)別結(jié)果反饋Fig.8 Recognition result feedback

圖9 攝像頭的實(shí)時(shí)識(shí)別Fig.9 Real-time recognition of the camera

4 結(jié)語

本文基于YOLOv3進(jìn)行了手勢(shì)識(shí)別檢測(cè)系統(tǒng)的設(shè)計(jì)，分析了手勢(shì)識(shí)別的相關(guān)理論，通過實(shí)驗(yàn)得出YOLO相對(duì)于主流的基于建議框的識(shí)別方法在識(shí)別效率上有著明顯優(yōu)勢(shì)。利用OpenCV打開攝像頭硬件進(jìn)行實(shí)時(shí)取樣，TensorFlow對(duì)預(yù)先標(biāo)注好的圖像樣本進(jìn)行訓(xùn)練，搭建網(wǎng)絡(luò)。根據(jù)圖像識(shí)別AP值進(jìn)行模型好壞的判斷，在靜態(tài)數(shù)據(jù)集中mAP達(dá)76.76%，同時(shí)在進(jìn)行攝像頭實(shí)時(shí)取景識(shí)別情況下，也能維持在不同類別下具有0.5左右的置信度，能夠較好地區(qū)分不同手勢(shì)類別，進(jìn)行識(shí)別分類。實(shí)驗(yàn)結(jié)果表明，YOLOv3能夠很好地實(shí)現(xiàn)對(duì)于手勢(shì)的實(shí)時(shí)識(shí)別，并且對(duì)于靜態(tài)手勢(shì)圖片也有著較高的精確度，能夠很好地實(shí)現(xiàn)手勢(shì)的快速識(shí)別，在對(duì)手勢(shì)圖片及攝像頭手勢(shì)實(shí)時(shí)識(shí)別方面有著良好的應(yīng)用價(jià)值。在今后的研究中也會(huì)進(jìn)一步加大數(shù)據(jù)樣本量，優(yōu)化識(shí)別系統(tǒng)對(duì)復(fù)雜環(huán)境的識(shí)別處理，增強(qiáng)模型的泛化能力和魯棒性，提高模型的識(shí)別準(zhǔn)確率。