基于組件樹結(jié)點(diǎn)屬性的靜態(tài)手勢(shì)分類

杜樹林，邱衛(wèi)根

（廣東工業(yè)大學(xué)計(jì)算機(jī)學(xué)院，廣州 510006）

0 引言

作為一種自然的交互手段，手勢(shì)交互是一種應(yīng)用廣泛的人機(jī)交互方式，手勢(shì)識(shí)別是實(shí)現(xiàn)手勢(shì)交互不可或缺的關(guān)鍵技術(shù)，基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別是機(jī)器視覺領(lǐng)域的一項(xiàng)重要的研究?jī)?nèi)容[1]。

作為數(shù)學(xué)形態(tài)學(xué)理論及方法的進(jìn)一步發(fā)展，組件樹[2]方法通過閾值截集產(chǎn)生連通分量，并構(gòu)造其上的層次樹關(guān)系，發(fā)展出一系列高效的基于樹的圖像處理算法。組件樹是一類應(yīng)用廣泛的連通算子，它通過合并圖像的平坦區(qū)域而實(shí)現(xiàn)形態(tài)學(xué)濾波，它既不會(huì)使圖像產(chǎn)生新的輪廓，也不會(huì)使輪廓的位置發(fā)生改變。因此，它們具有非常好的輪廓保持特性，能夠用于基礎(chǔ)的圖像濾波和高級(jí)的對(duì)象識(shí)別任務(wù)等。組件樹被廣泛應(yīng)用于對(duì)象識(shí)別[2]、圖像分類[3]、車牌的檢測(cè)、跟蹤與識(shí)別[4]等領(lǐng)域。

基于組件樹的對(duì)象識(shí)別和分類的方法，通常首先構(gòu)建圖像的組件樹，然后提取組件樹的結(jié)點(diǎn)屬性特征，最后結(jié)合先驗(yàn)知識(shí)設(shè)定閾值條件對(duì)圖像中符合條件的對(duì)象進(jìn)行識(shí)別和分類。本文提出一種針對(duì)靜態(tài)手勢(shì)圖像的分類方法，該方法首先采用高效的灰度圖像組件樹構(gòu)建算法對(duì)手勢(shì)圖像建立組件樹；由于原始圖像通常存在大量噪聲，組件樹的結(jié)構(gòu)相對(duì)復(fù)雜，存在大量葉子結(jié)點(diǎn)，因此采取基于組件樹的圖像濾波方法對(duì)圖像進(jìn)行濾波，再對(duì)濾波后的圖像建立組件樹并對(duì)組件樹做進(jìn)一步簡(jiǎn)化；在此基礎(chǔ)上，提取組件樹結(jié)點(diǎn)的屬性，并對(duì)組件樹結(jié)點(diǎn)的梯度屬性和面積屬性進(jìn)行分析，找出對(duì)應(yīng)于圖像中手部的組件樹結(jié)點(diǎn)；然后提取上述結(jié)點(diǎn)的其他屬性信息，并構(gòu)成此手勢(shì)圖像的特征向量，同時(shí)將特征向量存儲(chǔ)在數(shù)據(jù)集中；最后采用全連接的神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類器，通過實(shí)驗(yàn)檢驗(yàn)該分類器的分類效果。

1 組件樹相關(guān)理論

1.1 組件樹的定義

設(shè)f：Ω→V是規(guī)則域Ω上的圖像，具有完全預(yù)序集(V,≤ )上的值，并且令N為Ω上的鄰域。設(shè)λ∈V，把集合p∈Ω，f(p)≤λ記為[f≤λ]。設(shè)X?Ω，把X相對(duì)于鄰域N的連通分量集記為CC(X)?P(Ω)，P(Ω )是Ω的所有可能子集的冪集。記CC([f=λ] ),λ∈V為灰度級(jí)λ下的連通分量，則Ψ=CC([f≥λ])，λ∈V是灰度不小于λ的連通分量的集合。由于包含關(guān)系，Ψ可由樹結(jié)構(gòu)表示，這種樹結(jié)構(gòu)即組件樹。這種樹結(jié)構(gòu)被稱為連通分量樹（Connected Component Tree）[5]，簡(jiǎn)稱組件樹（Component Tree）。圖1所示是一個(gè)灰度圖像組件樹的例子。

圖1 灰度圖像組件樹示例

在上述定義中，組件樹的葉子結(jié)點(diǎn)存儲(chǔ)局部最大灰度值，因此這種樹結(jié)構(gòu)也被稱為最大樹（max-tree）。根據(jù)對(duì)稱性，如果用像素值小于給定閾值的點(diǎn)的集合來構(gòu)成連通分量，則葉子點(diǎn)存儲(chǔ)局部最小值，這種樹結(jié)構(gòu)就被稱為最小樹（min-tree）。最大樹（或最小樹）的結(jié)點(diǎn)通常只保存某一特定灰度值的點(diǎn)，最大樹是組件樹去除重復(fù)元素后的緊湊版本，最大樹能夠有效節(jié)省存儲(chǔ)空間。通常，在設(shè)計(jì)算法和應(yīng)用程序時(shí)考慮完整的組件樹，而在進(jìn)行運(yùn)算和處理時(shí)采用更高效的最大樹結(jié)構(gòu)。組件樹與最大樹之間的關(guān)系如圖2所示。

圖2 組件樹與最大樹

1.2 組件樹結(jié)點(diǎn)屬性

組件樹本身足以進(jìn)行某些圖像變換，但是對(duì)于圖像濾波等更復(fù)雜的圖像處理任務(wù)，則需要有關(guān)每個(gè)組件的一些匯總知識(shí)。這些知識(shí)由組件樹的結(jié)點(diǎn)屬性表示，所謂結(jié)點(diǎn)屬性就是表征每個(gè)結(jié)點(diǎn)的數(shù)值。相關(guān)文獻(xiàn)中常見的一些組件樹結(jié)點(diǎn)屬性如下：

●面積（area）：結(jié)點(diǎn)所包含的像素個(gè)數(shù)總數(shù)，在3D圖像中，這個(gè)數(shù)目又被稱為體積（volume）；

●最小值（minimum）：結(jié)點(diǎn)中各像素的灰度最小值，也被稱為水平（level）或者海拔（altitude）；

●最大值（maximum）：與最小值相對(duì)應(yīng)，即結(jié)點(diǎn)中的最大灰度值；

●高度（height或range）：結(jié)點(diǎn)中灰度最大值與最小值之間的差；

●深度（depth）：與二叉樹的定義類似，它表示組件樹中結(jié)點(diǎn)到根之間的距離。

1.3 組件樹的構(gòu)建

自組件樹理論形成以來，許多高效的組件樹構(gòu)建和處理算法以及用以提取組件樹結(jié)點(diǎn)的屬性的高效算法被相繼提出[6]。按算法所使用的數(shù)據(jù)結(jié)構(gòu)，可以將建立灰度圖像組件樹的算法分為兩大類，即基于優(yōu)先隊(duì)列的算法和基于并查集的算法。本文采用Berger等人[7]提出的算法建立手勢(shì)圖像的組件樹。建樹算法首先對(duì)圖像中的點(diǎn)按灰度值逆序排序，然后按照并查集的思想依次為每個(gè)點(diǎn)建立一個(gè)新的集合作為組件樹的一個(gè)結(jié)點(diǎn)，根據(jù)選定的鄰接規(guī)則查找已經(jīng)處理的鄰域點(diǎn)所屬集合（即父結(jié)點(diǎn)），如果當(dāng)前點(diǎn)與鄰域點(diǎn)分別屬于兩個(gè)不同的集合，則將它們合并到一個(gè)結(jié)點(diǎn)，最后再將生成的組件樹做正則化處理。算法的偽代碼如圖3所示，其中f表示灰度圖像，R、parent和zpar是和f大小相同的數(shù)組，R存儲(chǔ)結(jié)點(diǎn)的順序，parent用以保存圖像中每個(gè)點(diǎn)對(duì)應(yīng)的父結(jié)點(diǎn)，zpar是建樹過程中用于尋找父節(jié)點(diǎn)時(shí)保存額外信息的數(shù)組，undef表示未定義，實(shí)際應(yīng)用中可將其值取為-1。FIND-ROOT（x）

1.4 組件樹的濾波和簡(jiǎn)化

受光照、采集設(shè)備、背景等多方面的因素影響，自然圖像中不可避免地存在噪聲，而組件樹對(duì)噪聲極為敏感，因此自然圖像的組件樹通常具有非常復(fù)雜的結(jié)構(gòu)，結(jié)點(diǎn)數(shù)量成千上萬，其中存在大量的葉子結(jié)點(diǎn)和面積很小的非葉子結(jié)點(diǎn)。對(duì)于圖像處理任務(wù)來說，使用原始的組件樹是不現(xiàn)實(shí)的[1]。

實(shí)際應(yīng)用中，通常需要選取濾波規(guī)則，對(duì)組件樹做一定的簡(jiǎn)化。首先選擇適當(dāng)?shù)倪B通規(guī)則（4鄰接或8鄰接）構(gòu)建圖像的組件樹，然后根據(jù)大小或形狀等濾波條件移除組件樹中的部分結(jié)點(diǎn)，最后根據(jù)簡(jiǎn)化后的組件樹重建圖像。相對(duì)于中值濾波器和均值濾波器會(huì)對(duì)圖像造成模糊的不良影響，基于組件樹的區(qū)域開操作能夠很好地保持圖像的輪廓特性同時(shí)不會(huì)造成圖像模糊，并能夠去除噪聲。圖3展示的是組件樹濾波方法對(duì)圖像進(jìn)行濾波操作的結(jié)果，圖3（a）是帶有椒鹽噪聲的原始圖像，圖3（b）是對(duì)組件樹中面積小于25的結(jié)點(diǎn)過濾后重建的圖像。

圖3 組件樹濾波

為了簡(jiǎn)化組件樹同時(shí)不丟失相關(guān)信息且保留拓?fù)浣Y(jié)構(gòu)，Souza等人提出了最大組件樹簡(jiǎn)化方法（Maximal Max-tree Simplification，MMS）[3]。MMS 方法是一種非常實(shí)用且高效的組件樹簡(jiǎn)化方法，通常能夠大幅減少組件樹結(jié)點(diǎn)的數(shù)量，并且保留圖像中最重要的部分。對(duì)于在手勢(shì)圖像中尋找手勢(shì)目標(biāo)，MMS方法能夠大幅減少遍歷時(shí)間。

1.5 組件樹結(jié)點(diǎn)屬性計(jì)算

對(duì)手勢(shì)圖像建立組件樹之后，接下來的工作是計(jì)算組件樹的結(jié)點(diǎn)屬性特征。為便于屬性數(shù)據(jù)保存和結(jié)點(diǎn)遍歷，本文采用Souza等人[8]提出的一種基于數(shù)組的面向結(jié)點(diǎn)的最大樹表示方法，這種方法使用兩個(gè)數(shù)組，即存儲(chǔ)結(jié)點(diǎn)屬性的結(jié)點(diǎn)數(shù)組（Node Array，NA）和表示每個(gè)像素所屬結(jié)點(diǎn)的結(jié)點(diǎn)索引（Node Index，NI）。結(jié)點(diǎn)數(shù)組和結(jié)點(diǎn)索引能夠方便高效地從上一節(jié)所用算法的返回值（R,parent）生成。

實(shí)驗(yàn)中，考慮到手勢(shì)圖像的輪廓特性和計(jì)算復(fù)雜度，本文所采用的組件樹結(jié)點(diǎn)屬性除結(jié)點(diǎn)面積和高度之外，還使用了以下幾個(gè)特征：

●矩形比（Rectangularity Ratio）：結(jié)點(diǎn)對(duì)應(yīng)連通分量的面積與其外接矩形面積之間的比值；

●離心率：結(jié)點(diǎn)對(duì)應(yīng)圖像區(qū)域的離心率；

●形心：結(jié)點(diǎn)對(duì)應(yīng)圖像區(qū)域的形心位置；

●長(zhǎng)寬比：結(jié)點(diǎn)對(duì)應(yīng)圖像區(qū)域外接矩形長(zhǎng)和寬的比值；

●區(qū)域位置：結(jié)點(diǎn)對(duì)應(yīng)區(qū)域外接矩形的頂點(diǎn)位置。

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)中所采用的數(shù)據(jù)集包括兩部分：手勢(shì)圖像數(shù)據(jù)集和組件樹結(jié)點(diǎn)屬性數(shù)據(jù)集。

手勢(shì)圖像數(shù)據(jù)集來源于Jochen Triesch靜態(tài)手勢(shì)數(shù)據(jù)集（JTD）[9]，由24個(gè)人在3種不同的背景（明、暗和復(fù)雜）下各作10個(gè)手勢(shì)，共計(jì)720張圖像，圖像大小為128×128像素。圖4為該數(shù)據(jù)集中的部分示例圖像。由于實(shí)際應(yīng)用中通常使用最大樹來表示組件樹，因此本文選取暗背景的圖像進(jìn)行實(shí)驗(yàn)。

圖4 JTD中的手勢(shì)圖像示例

結(jié)點(diǎn)屬性數(shù)據(jù)集為自建數(shù)據(jù)集?；谏弦还?jié)提出的組件樹構(gòu)建算法和結(jié)點(diǎn)屬性提取方法，對(duì)JTD數(shù)據(jù)集中的暗色背景圖像建立組件樹，采用基于組件樹的區(qū)域開操作對(duì)圖像進(jìn)行濾波及MMS方法對(duì)組件樹做簡(jiǎn)化，然后提取簡(jiǎn)化后的組件樹中對(duì)應(yīng)于手勢(shì)部分結(jié)點(diǎn)的屬性，最后保存提取的屬性特征向量到結(jié)點(diǎn)屬性數(shù)據(jù)集中。數(shù)據(jù)集的樣本隨機(jī)打亂次序后，按8：2的比例劃分訓(xùn)練集和測(cè)試集。

2.2 分類器的訓(xùn)練

本文的實(shí)驗(yàn)采用全連接神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)深度為8，輸入層為圖像組件樹得結(jié)點(diǎn)屬性，各隱藏層的神經(jīng)元個(gè)數(shù)分別為 64、128、256、512、256 和 128，輸出層為分類結(jié)果。由于結(jié)點(diǎn)的不同屬性在數(shù)值上差異較大，因此先將各屬性的數(shù)值做歸一化處理。

實(shí)驗(yàn)中，采用隨機(jī)梯度下降法，訓(xùn)練過程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率，激活函數(shù)為ReLU。訓(xùn)練10000代之后，分類準(zhǔn)確率趨于穩(wěn)定，在參數(shù)量?jī)H為330K的情況下，分類的平均準(zhǔn)確率達(dá)95.83%。

3 結(jié)語

本文采用一種稱為組件樹的樹形結(jié)構(gòu)來表示圖像，定位樹結(jié)構(gòu)中的關(guān)鍵結(jié)點(diǎn)并提取其屬性特征，并將該特征作為圖像的特征描述，最后通過訓(xùn)練全連接神經(jīng)網(wǎng)絡(luò)對(duì)組件樹的結(jié)點(diǎn)屬性特征進(jìn)行學(xué)習(xí)，作為分類依據(jù)。作為一種高效的數(shù)據(jù)結(jié)構(gòu)和圖像表示方法，組件樹結(jié)構(gòu)能夠很好地表達(dá)圖像中的層次關(guān)系，方便提取圖像中的連通區(qū)域。由于圖像中包含大量的冗余信息，直接在圖像上使用CNN的方法包含了許多不必要的計(jì)算，增加了計(jì)算量，而使用組件樹的方法去除了圖像中的大量冗余信息，同時(shí)又保留了圖像的關(guān)鍵特征。實(shí)驗(yàn)結(jié)果表明，本文提取的組件樹結(jié)點(diǎn)屬性能夠較好地作為圖像的特征并用于圖像分類任務(wù)。