基于多特征融合的高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)

張紅麗

（寶雞職業(yè)技術(shù)學(xué)院，陜西 寶雞 721000）

1 引言

舞蹈是人們通過肢體來表達(dá)言語和情感的藝術(shù)形式，也是一種受大眾歡迎的活動(dòng)。尤其對于年輕女性來說，更是鍛煉的首要選擇，不僅能夠強(qiáng)身健體，還能夠減肥塑形，提升個(gè)人氣質(zhì)。對于舞蹈的學(xué)習(xí)主要有兩種方式，一是進(jìn)入舞蹈培訓(xùn)班，通過教師指導(dǎo)進(jìn)行學(xué)習(xí)。二是通過觀看視頻示范來進(jìn)行學(xué)習(xí)。這是當(dāng)下主流學(xué)習(xí)方式，因?yàn)榇蠖鄶?shù)人沒有時(shí)間去專門的地點(diǎn)上幾個(gè)小時(shí)的課程。這種學(xué)習(xí)方式雖然解決了時(shí)間和空間上的難題，但是當(dāng)面對一些高動(dòng)態(tài)舞蹈視頻時(shí)，人們很難在快速的動(dòng)作變化中準(zhǔn)確識別出動(dòng)作要點(diǎn)[1]。在此背景下，找出高動(dòng)態(tài)舞蹈視頻中的關(guān)鍵幀具有重要的現(xiàn)實(shí)意義。

對于視頻中的關(guān)鍵幀提取研究有很多。如，國外學(xué)者Gunhee 利用視頻重構(gòu)的摘要提取視頻關(guān)鍵幀，并取得了一定的效果；alic，J．，Izuierdo，E．采用離散輪廓演化算法，在曲線簡化過程中利用差分度量實(shí)現(xiàn)關(guān)鍵幀提取。國內(nèi)也有關(guān)于此方面的研究，例如張武等人提出了一種基于閾值篩選的關(guān)鍵幀提取算法，通過計(jì)算當(dāng)前幀與后續(xù)幀的特征差值和閾值比較，差值大于設(shè)定閾值的即為關(guān)鍵幀；王璐針對花卉生長視頻監(jiān)控提出了基于光流法和熵統(tǒng)計(jì)法融合的關(guān)鍵幀提取算法。

以往研究雖然都取得了一定成功，但是大多數(shù)都以一種特征作為提取依據(jù)的，因此常常發(fā)生關(guān)鍵幀個(gè)數(shù)不全，關(guān)鍵對象丟失或錯(cuò)誤等問題。為此，本文設(shè)計(jì)一種基于多特征融合的高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)，從多特征角度出發(fā)，利用權(quán)重賦值理論進(jìn)行多特征融合，然后再進(jìn)行關(guān)鍵幀提取。最后經(jīng)測試，證明了所設(shè)計(jì)系統(tǒng)提取質(zhì)量較高，可以成為高動(dòng)態(tài)舞蹈視頻示范與學(xué)習(xí)的重要輔助工具。

2 高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)設(shè)計(jì)

在一個(gè)視頻中，并不是所有內(nèi)容都是重點(diǎn)，就好比一篇文章中有一部分或幾部分是重點(diǎn)內(nèi)容，找出該內(nèi)容，就能對文章有一個(gè)大致了解。關(guān)鍵幀是視頻中最具代表性的一幀或若干幀，這些視頻幀能代表一個(gè)鏡頭中內(nèi)在的信息。在此背景下，如何從一個(gè)視頻中準(zhǔn)確找出關(guān)鍵幀至關(guān)重要。關(guān)鍵幀尋找過程就是關(guān)鍵幀提取過程，其思路是依靠人為設(shè)定的檢測目標(biāo)為導(dǎo)向，對視頻內(nèi)容進(jìn)行解析，以便從眾多幀圖像中甄別出關(guān)鍵的、有意義的視頻幀序列[2]。視頻關(guān)鍵幀提取能夠快速、有效的幫助用戶從大量的冗余視頻中快速分析和定位視頻中的關(guān)鍵信息，掌握視頻重點(diǎn)。舞蹈是一項(xiàng)動(dòng)作轉(zhuǎn)換復(fù)雜、快速的運(yùn)動(dòng)，因此錄制的視頻一般都是高動(dòng)態(tài)視頻。從這類視頻中提取關(guān)鍵幀是十分困難和復(fù)雜的，到目前為止，也沒有一個(gè)較為成熟解決方法。本文基于多特征融理論，設(shè)計(jì)一個(gè)高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)，以期為輔助運(yùn)動(dòng)者更好的學(xué)習(xí)舞蹈動(dòng)作。

2.1 系統(tǒng)設(shè)計(jì)目標(biāo)

高動(dòng)態(tài)舞蹈視頻信息數(shù)據(jù)量大，結(jié)構(gòu)復(fù)雜，要想從中提取關(guān)鍵幀需要經(jīng)過復(fù)雜的過程。這就要求本文設(shè)計(jì)的系統(tǒng)需要滿足一些目標(biāo)。

目標(biāo)1：本系統(tǒng)的操作界面要能夠方便、靈活操作，且還要美觀友好，個(gè)性化服務(wù)要強(qiáng)。

目標(biāo)2：系統(tǒng)各功能劃分要清晰、明確，邏輯處理關(guān)系要科學(xué)、合理。

目標(biāo)3：系統(tǒng)要具體視頻播放、暫停、停止、設(shè)置視頻播放速度等功能。

目標(biāo)4：系統(tǒng)要具有強(qiáng)大的視頻處理功能，能夠集視頻預(yù)處理算法、特征提取與融合算法、關(guān)鍵幀提取算法等為一體。

目標(biāo)5：系統(tǒng)能夠最大限度地實(shí)現(xiàn)易維護(hù)性和易操作性[3]。

2.2 系統(tǒng)框架設(shè)計(jì)

本系統(tǒng)基于B/S 三層架構(gòu)來設(shè)計(jì)本文基于多特征融合的高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)。B/S三層架構(gòu)，即表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問層，如下圖1所示。

圖1 B/S三層架構(gòu)

(1) 數(shù)據(jù)訪問層：主要負(fù)責(zé)高動(dòng)態(tài)舞蹈視頻圖像數(shù)據(jù)儲存工作，是系統(tǒng)的數(shù)據(jù)庫，具體為業(yè)務(wù)邏輯層或表示層提供數(shù)據(jù)服務(wù)。

(2) 業(yè)務(wù)邏輯層：主要負(fù)責(zé)對數(shù)據(jù)層中的高動(dòng)態(tài)舞蹈視頻圖像進(jìn)行處理、運(yùn)算和分析，是系統(tǒng)的核心部分。

(3) 表示層：主要負(fù)責(zé)業(yè)務(wù)邏輯層結(jié)果顯示、用戶操作以及瀏覽任務(wù)的進(jìn)行，是系統(tǒng)與用戶交流的平臺和媒介。

基于B/S 三層架構(gòu)設(shè)計(jì)的高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)優(yōu)勢在于能夠簡化客戶端電腦負(fù)載、減輕系統(tǒng)維護(hù)與升級的成本和工作量、降低用戶總體成本[4]。

2.3 系統(tǒng)主要硬件分析

在本文設(shè)計(jì)的系統(tǒng)中，主要有三個(gè)關(guān)鍵硬件設(shè)備，即嵌入式核心處理器、多媒體接口發(fā)送器和觸控播放設(shè)備。下面針對這三個(gè)關(guān)鍵硬件設(shè)備進(jìn)行分析。

2.3.1 嵌入式核心處理器

嵌入式核心處理器是系統(tǒng)核心部件，相當(dāng)于一個(gè)微型計(jì)算機(jī)，主要負(fù)責(zé)程序控制和運(yùn)算[5]。本系統(tǒng)當(dāng)中的嵌入式核心處理器為八網(wǎng)兩串嵌入式計(jì)算機(jī)，具體技術(shù)參數(shù)設(shè)置如下表1所示。

表1 八網(wǎng)兩串嵌入式計(jì)算機(jī)技術(shù)參數(shù)

2.3.2 多媒體接口發(fā)送器

多媒體接口發(fā)送器主要用于數(shù)據(jù)傳輸與交換[6]。本系統(tǒng)中的多媒體接口發(fā)送器特征如下：

◆傳輸線抗干擾性強(qiáng)。無氧銅純銅導(dǎo)體，鋁箔等多層屏蔽，降低損耗，HDM信號高暢傳輸；

◆高兼容設(shè)計(jì)，具備Micro USB安卓供電接口；

◆獨(dú)立音頻輸出。HDM 轉(zhuǎn)vGA 帶音頻接口，可自由外接音響設(shè)備，可實(shí)現(xiàn)音視頻同步；

◆采用優(yōu)質(zhì)芯片，減少發(fā)熱，拒絕水波紋，閃屏現(xiàn)象；

◆適用于帶HDM接口的設(shè)備，通過vGA線與帶∨GA接口的顯示設(shè)備連接使用。

2.3.3 觸控播放設(shè)備

在關(guān)鍵幀提取之后，還需要一個(gè)平臺作為視頻關(guān)鍵幀播放媒介以及一個(gè)操作平臺作為用戶操作的面板。同時(shí)滿足視頻播放需求和用戶操作需求的硬件設(shè)備，本系統(tǒng)界面層選擇觸控面板作為觸控播放設(shè)備[7-8]。本文所選擇的觸控面板優(yōu)勢特點(diǎn)如下：

◆靈敏觸摸屏：手指任何位置點(diǎn)擊觸摸，都能快速運(yùn)作觸摸無源移，無壞點(diǎn)高強(qiáng)度抗干擾，操作快。

◆高品質(zhì)液晶屏：LED背光技術(shù)結(jié)合工控A規(guī)屏，畫面清晰，壽命長久。對比度為1000：1；背光亮度為500cd/m2；顯色系數(shù)為16．7M。

◆采用Intel J1800雙核處理器，具有高性能、低功耗、靜音等優(yōu)良特性，因此性能更好，動(dòng)力更強(qiáng)，更節(jié)能，更穩(wěn)定。

◆采用高速2G 內(nèi)存和32G 固態(tài)硬盤，大幅度提升運(yùn)行速度。

◆支持通電開機(jī)，24小時(shí)不間斷運(yùn)行。

◆內(nèi)置Intel CPU 的工業(yè)平板電腦，支持Win7 系統(tǒng)，可運(yùn)行大部分工控組態(tài)軟件。

2.4 系統(tǒng)軟件程序關(guān)鍵算法

相比較硬件，軟件運(yùn)行程序是系統(tǒng)工作的邏輯思想。本系統(tǒng)當(dāng)中，軟件程序關(guān)鍵算法主要有三個(gè)，即視頻圖像灰度化處理算法、視頻圖像邊界檢測算法、關(guān)鍵幀提取算法[9-10]。

2.4.1 視頻圖像灰度化處理算法

視頻圖像灰度化是指將彩色視頻圖像轉(zhuǎn)變成灰度圖像，其作用是提高圖像質(zhì)量。處理方法有三種，具體如下：

最大值法：

平均值法：

加權(quán)平均法：

式中，R(i，j)、G(i，j)、B(i，j)分別是圖像在點(diǎn)(i，j)處的像素值。

2.4.2 鏡頭邊界檢測算法

鏡頭邊界檢測是指檢測出一段視頻片段中發(fā)生鏡頭切換的圖像幀，這是進(jìn)行后續(xù)關(guān)鍵幀提取的前提和基礎(chǔ)。具體過程如圖2所示。

圖2 鏡頭邊界檢測算法流程

2.4.3 關(guān)鍵幀提取算法

基于上述提取出來的鏡頭邊界，進(jìn)行關(guān)鍵幀提取。關(guān)鍵幀是一段完整視頻中的關(guān)鍵部分，能代表視頻圖像內(nèi)容。本文設(shè)計(jì)的系統(tǒng)中關(guān)鍵幀提取方法是基于鏡頭邊界特征的提取方法。該方法包括兩個(gè)部分，即圖像邊界特征提取以及融合；關(guān)鍵幀提取。

(1) 圖像邊界特征提取以及融合

鏡頭邊界上蘊(yùn)含了豐富的特征信息，透過這些信息可以較為快速發(fā)現(xiàn)關(guān)鍵幀的存在。圖像邊界上的特征包括顏色、紋理以及形狀等。以往采用的關(guān)鍵幀提取大多數(shù)都是以單一特征為依據(jù)的。而單一的圖像特征并不能很準(zhǔn)確的描述視頻內(nèi)容，因此導(dǎo)致后續(xù)提取出來的關(guān)鍵幀出現(xiàn)漏檢和錯(cuò)檢現(xiàn)象[11]。為解決這種情況，在這里引入權(quán)重理論進(jìn)行顏色、紋理以及形狀三種特征融合，即按照需要給不同的特征向量分配合適的權(quán)值。這種方式將整體特征和局部特征以相同的分量進(jìn)行組合，同時(shí)又能突出局部目標(biāo)形狀特征的重要性。

(2) 關(guān)鍵幀提取

將上述得到的多特征組合作為視覺特征，然后利用聚類算法對視頻幀進(jìn)行分類，最后選取每個(gè)幀類簇中最具代表性的幀作為關(guān)鍵幀[12]。具體過程如下：

步驟1：輸入視頻圖像幀序列；

步驟2：計(jì)算相鄰圖像幀之間的距離和閾值；

步驟3：選擇視頻圖像幀的第一幀為第一類；

步驟4：計(jì)算第一幀與相鄰第二幀之間的距離，并與閾值相比較。當(dāng)距離值大于閾值，建立新的類簇Wk；當(dāng)距離值小于閾值，則將該幀圖像劃分到Wk-1當(dāng)中。

步驟5：判斷當(dāng)前是否滿足迭代條件。滿足，則進(jìn)入下一步；不滿足則回到步驟4；

步驟6：完成視頻幀的分類。

步驟7：在每一個(gè)類簇中選取最具代表的幀作為關(guān)鍵幀。選取距類中所有幀的目標(biāo)重心位置的平均值最近的那一幀作為關(guān)鍵幀。

步驟8：視頻關(guān)鍵幀提取完成。

3 系統(tǒng)實(shí)現(xiàn)與測試

系統(tǒng)設(shè)計(jì)完成后，為測試本系統(tǒng)提取性能，進(jìn)行系統(tǒng)測試。系統(tǒng)測試環(huán)境如表2所示。

表2 系統(tǒng)測試環(huán)境

3.1 實(shí)驗(yàn)樣本

錄制一段芭蕾舞動(dòng)作視頻，在該視頻中有6 個(gè)關(guān)鍵動(dòng)作，為保證實(shí)驗(yàn)條件的真實(shí)性，動(dòng)作由重復(fù)6次，同樣的動(dòng)作內(nèi)容，組成不同的動(dòng)作序列。具體如表3所示。

表3 芭蕾舞動(dòng)作描述

3.2 鏡頭邊界檢測

圖3 鏡頭邊界檢測選項(xiàng)設(shè)置

圖4 鏡頭邊界檢測結(jié)果示例圖

3.3 關(guān)鍵幀提取

圖5 關(guān)鍵幀提取示例圖

3.4 結(jié)果分析

應(yīng)用本系統(tǒng)對錄制的一段芭蕾舞動(dòng)作視頻進(jìn)行關(guān)鍵幀提取，然后統(tǒng)計(jì)結(jié)果，結(jié)果如表4所示。

表4 系統(tǒng)應(yīng)用結(jié)果

從表4中可以看出，在本系統(tǒng)應(yīng)用下得到的關(guān)鍵幀提取結(jié)果與實(shí)際結(jié)果完全一致，證明了本系統(tǒng)的有效性。

4 結(jié)束語

綜上所述，舞蹈是現(xiàn)代年輕人鍛煉的首選，不僅能夠鍛煉身體，還能夠減肥塑性。然而，快節(jié)奏的生活和工作，使得人們很難擠出時(shí)間參加培訓(xùn)班，因此通過網(wǎng)絡(luò)上教學(xué)示范進(jìn)行學(xué)習(xí)成為當(dāng)下的主流，然而在學(xué)習(xí)中，學(xué)習(xí)者很難準(zhǔn)確掌握關(guān)鍵動(dòng)作。為此，為幫助舞蹈者進(jìn)行標(biāo)準(zhǔn)的舞蹈動(dòng)作學(xué)習(xí)，本文設(shè)計(jì)一個(gè)基于多特征融合的高動(dòng)態(tài)舞蹈視頻關(guān)鍵幀提取系統(tǒng)。該系統(tǒng)經(jīng)測試，證明了其有效性。然而，由于時(shí)間等因素限制，所做的工作有限。在實(shí)驗(yàn)部分，是在理想的環(huán)境下錄制的舞蹈視頻，因此圖像質(zhì)量較高，提取出來的結(jié)果較好。然而，在現(xiàn)實(shí)環(huán)境中，受到各種環(huán)境影響，錄制的舞蹈視頻質(zhì)量并不好，可能會對關(guān)鍵幀提取結(jié)果造成影響。