基于關(guān)鍵點(diǎn)和局部特征的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)

耿明萌

(安徽工貿(mào)職業(yè)技術(shù)學(xué)院 藝術(shù)與傳媒學(xué)院， 安徽 淮南 232001)

隨著數(shù)字媒體技術(shù)的不斷發(fā)展，動(dòng)畫產(chǎn)業(yè)飛速崛起，動(dòng)畫視頻類型繁多，受到了不同年齡段人們的追捧，因此產(chǎn)生了大量的動(dòng)畫媒體視頻[1]。如何對(duì)海量動(dòng)畫媒體視頻幀數(shù)據(jù)進(jìn)行分解，從中得到動(dòng)畫媒體視頻幀的關(guān)鍵信息，可以大大提高動(dòng)畫視頻的渲染質(zhì)量[2]。賈旭等[3]提出普適性的改進(jìn)非負(fù)矩陣分解圖像特征提取系統(tǒng)設(shè)計(jì)方法，該方法通過非負(fù)矩陣分解模型對(duì)圖像進(jìn)行降維，并根據(jù)圖像的特征劃分圖像屬性區(qū)間,最后通過梯度下降算法完成圖像的分解。劉瑞華等[4]提出基于改進(jìn)全變差方法的圖像分解系統(tǒng)設(shè)計(jì)方法，該方法構(gòu)建圖像分解的極小泛函模型，并結(jié)合拉格朗日方程得到圖像分解的數(shù)值解，根據(jù)數(shù)值解進(jìn)行圖像的分解處理。

上述兩種方法雖然能夠完成圖像的分解，但是針對(duì)動(dòng)畫媒體視頻幀的分解存在延時(shí)長(zhǎng)與精度不高的問題，為此本文以關(guān)鍵點(diǎn)和局部特征為依據(jù)，提出并設(shè)計(jì)一種新的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)。

1 動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)硬件設(shè)計(jì)

基于關(guān)鍵點(diǎn)和局部特征設(shè)計(jì)的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)由動(dòng)畫識(shí)別模塊、色彩傳感器模塊、動(dòng)畫媒體視頻幀分解模塊組成，系統(tǒng)硬件架構(gòu)如圖1所示。

圖1 系統(tǒng)硬件架構(gòu)

1.1 動(dòng)畫識(shí)別模塊

動(dòng)畫識(shí)別模塊通過調(diào)用軟件區(qū)域數(shù)據(jù)庫中的動(dòng)畫數(shù)據(jù)，然后將SQL語言的數(shù)據(jù)格式轉(zhuǎn)化為動(dòng)畫模擬命令格式，完成媒體動(dòng)畫的識(shí)別[5]，模塊結(jié)構(gòu)如圖2所示。

媒體動(dòng)畫識(shí)別模塊由西門子公司生產(chǎn)的FG5735型號(hào)處理器、數(shù)據(jù)存儲(chǔ)器構(gòu)成，此處理器采用2 070 dpi/s的顯卡，具有高速的識(shí)別功能。動(dòng)畫識(shí)別模塊中的FG5735處理器具備色彩識(shí)別和動(dòng)畫數(shù)據(jù)自動(dòng)存儲(chǔ)功能。數(shù)據(jù)存儲(chǔ)器采用32 bit的半導(dǎo)體架構(gòu)，其目的是存儲(chǔ)識(shí)別模塊的識(shí)別結(jié)果，并且保證識(shí)別數(shù)據(jù)的安全性。

圖2 媒體動(dòng)畫識(shí)別模塊

1.2 色彩傳感器模塊

動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)硬件區(qū)域的色彩傳感器模塊由濾波器組件[6]、TCS230芯片、光接收器組成，色彩傳感器結(jié)構(gòu)如圖3所示。

圖3 色彩傳感器結(jié)構(gòu)

濾波器組件的功能是調(diào)整動(dòng)畫媒體視頻幀分解過程中的幅度譜，TCS230芯片的任務(wù)是進(jìn)行動(dòng)畫媒體視頻幀顏色識(shí)別，通過R、G、B參數(shù)，檢測(cè)動(dòng)畫媒體視頻幀的色彩。光接收器的功能是通過接收動(dòng)畫識(shí)別模塊轉(zhuǎn)換的數(shù)據(jù)，通過數(shù)據(jù)模擬重現(xiàn)基本的動(dòng)畫媒體視頻幀，確定標(biāo)準(zhǔn)的動(dòng)畫媒體視頻幀。

1.3 動(dòng)畫媒體視頻幀分解模塊

動(dòng)畫媒體視頻幀自適應(yīng)分解模塊的主要功能是需要調(diào)用數(shù)據(jù)庫內(nèi)的動(dòng)畫媒體視頻幀數(shù)據(jù)，針對(duì)一整套的動(dòng)畫視頻數(shù)據(jù)進(jìn)行分析處理。本文以IE5386處理器作為核心的數(shù)據(jù)處理單元模塊，工作電壓為3～5 V，工作頻率為30～35 MHz，內(nèi)部采用A/D轉(zhuǎn)換技術(shù)實(shí)現(xiàn)復(fù)位電路結(jié)構(gòu)，數(shù)據(jù)轉(zhuǎn)換速度為250 k/s。該芯片對(duì)于數(shù)據(jù)的識(shí)別速度快，識(shí)別分辨率精度高，會(huì)自動(dòng)屏蔽外界的其他干擾，能耗低。

此模塊通過識(shí)別數(shù)據(jù)庫中的動(dòng)畫視頻數(shù)據(jù)，依據(jù)芯片的高精度分辨率將動(dòng)畫視頻數(shù)據(jù)轉(zhuǎn)化為文字格式的數(shù)據(jù)，然后對(duì)動(dòng)畫媒體視頻數(shù)據(jù)進(jìn)行分解，分解完成后再將數(shù)據(jù)轉(zhuǎn)化為幀數(shù)據(jù)，存入數(shù)據(jù)庫中，以便學(xué)習(xí)者的學(xué)習(xí)。數(shù)據(jù)處理單元模塊如圖4所示。

圖4 數(shù)據(jù)處理單元模塊

2 動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)軟件設(shè)計(jì)

動(dòng)畫視頻是由一幀又一幀的媒體幀組成，為了提高動(dòng)畫媒體視頻幀數(shù)據(jù)錄入與采集工作的準(zhǔn)確性，本文利用一個(gè)函數(shù)表示一個(gè)動(dòng)畫媒體視頻幀的執(zhí)行過程。根據(jù)關(guān)鍵點(diǎn)的提取結(jié)果，構(gòu)建以關(guān)鍵點(diǎn)和局部特征技術(shù)為基礎(chǔ)動(dòng)畫媒體視頻幀分解函數(shù)，函數(shù)算法工作流程如圖5所示。

在分解復(fù)雜的動(dòng)畫媒體視頻幀時(shí)，需要對(duì)動(dòng)畫媒體視頻進(jìn)行簡(jiǎn)化處理，并且將每一幀動(dòng)畫數(shù)據(jù)表示為

M(t)=(p1(t),q1(t),q2(t),...,qM(t)),

qM(t)∈S3,

(1)

式中：M(t)表示動(dòng)畫媒體視頻幀的總體數(shù)量；p1(t)表示第一幀所處的位置；qM(t)∈S3表示幀的滾動(dòng)方向。

在實(shí)際的計(jì)算過程中，采用映射方法[7]將動(dòng)畫媒體視頻幀數(shù)據(jù)映射到R3空間中，具體計(jì)算如式(2)，即

yt=(p1(t),log(q1(t)),log(q2(t)),...,log(qM(t))).

(2)

圖5 函數(shù)算法工作流程

完成動(dòng)畫媒體視頻幀數(shù)據(jù)的空間映射處理后，根據(jù)線性時(shí)不變系統(tǒng)的原理對(duì)動(dòng)畫媒體視頻幀數(shù)據(jù)進(jìn)行降維處理[8]。線性時(shí)不變系統(tǒng)的空間狀態(tài)方程為

(3)

式中:wt與vt均表示高斯白噪聲，分布條件分別為wt～N(0,Q)、vt～N(0,R);Q、R表示協(xié)方差矩陣;A表示狀態(tài)轉(zhuǎn)移矩陣;C表示輸出矩陣;xt表示狀態(tài)變量。通過上述計(jì)算，可以將高維的動(dòng)畫媒體視頻幀數(shù)據(jù)集{y1,y2,...,yt}映射到低維空間，得到低維的動(dòng)畫媒體視頻幀數(shù)據(jù)集{x1,x2,...,xt}。

以獲得的低維度動(dòng)畫媒體視頻幀數(shù)據(jù)為基礎(chǔ)，進(jìn)行關(guān)鍵點(diǎn)提取。動(dòng)畫媒體視頻幀數(shù)據(jù)是時(shí)序的幀序列[9]，因此2個(gè)視頻幀之間具有一定的相似性。在關(guān)鍵點(diǎn)提取前，需要計(jì)算2個(gè)動(dòng)畫媒體視頻幀之間的距離,有

d(yi,yj)=d(xi,xj)=dp(xi,xj)+μdv(xi,xj)，

(4)

式中:yi、yj分別表示高維幀數(shù)據(jù);xi、xj分別表示低維幀數(shù)據(jù);μ表示距離計(jì)算的權(quán)重參數(shù);dp(xi,xj)與dv(xi,xj)分別表示視頻幀的時(shí)序變化位置與速度計(jì)算函數(shù)。

(5)

根據(jù)公式(5)的計(jì)算結(jié)果，可以提取出關(guān)鍵點(diǎn)，有

(6)

根據(jù)關(guān)鍵點(diǎn)的提取結(jié)果，對(duì)動(dòng)畫多媒體視頻幀進(jìn)行局部特征提取，以提高動(dòng)畫媒體視頻幀自適應(yīng)分解的精度。在動(dòng)畫媒體視頻幀中，由于顯著性區(qū)域可以表示出任意的圖形，可以更好的體現(xiàn)出局部特征，因此通過顯著性區(qū)域進(jìn)行局部特征提取。定義(Center_x,Center_y)表示顯著性區(qū)域的中心坐標(biāo)，Width與Height分別表示顯著性區(qū)域的寬度與長(zhǎng)度。

關(guān)鍵點(diǎn)的顯著性權(quán)值計(jì)算式為

(7)

式中:KPRdis表示關(guān)鍵點(diǎn)與顯著性區(qū)域中心點(diǎn)的距離;SRweight表示顯著性區(qū)域的顯著性權(quán)值，二者的計(jì)算公式如下,即

KPRdis=1-

(8)

SRweight=Rarea*Rpos，

(9)

式中：Rarea、Rpos分別表示面積權(quán)值與位置權(quán)值。

根據(jù)上述權(quán)值的計(jì)算公式，構(gòu)建局部特征提取公式，即

(10)

式中：areacurrent關(guān)鍵點(diǎn)所處的顯著性區(qū)域；areai表示顯著性區(qū)域的位置。

以上述公式提取的動(dòng)畫媒體視頻幀局部特征結(jié)果為基礎(chǔ)，為了簡(jiǎn)化動(dòng)畫媒體視頻幀的數(shù)據(jù)表示，本文利用一個(gè)函數(shù)表示一個(gè)動(dòng)畫媒體視頻幀的分解執(zhí)行過程。根據(jù)關(guān)鍵點(diǎn)與局部特征的提取結(jié)果，構(gòu)建動(dòng)畫媒體視頻幀分解函數(shù)。動(dòng)畫媒體視頻幀分解函數(shù)的表達(dá)式為

(11)

式中：Di(x,y)表示動(dòng)畫媒體視頻幀分解的尺度函數(shù)[10]。分解函數(shù)的輸出結(jié)果即為動(dòng)畫媒體視頻幀的分解結(jié)果。

3 實(shí)驗(yàn)研究

為了更好地驗(yàn)證本文提出的基于關(guān)鍵點(diǎn)和局部特征的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)的有效性，將本文系統(tǒng)與傳統(tǒng)系統(tǒng)進(jìn)行對(duì)比實(shí)驗(yàn)。設(shè)置的實(shí)驗(yàn)組為本文設(shè)計(jì)的基于關(guān)鍵點(diǎn)和局部特征的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)，對(duì)照組為文獻(xiàn)[3]以及文獻(xiàn)[4]系統(tǒng)。

設(shè)定實(shí)驗(yàn)參數(shù)如表1所示。

表1 實(shí)驗(yàn)參數(shù)

根據(jù)表1所示的實(shí)驗(yàn)參數(shù)進(jìn)行實(shí)驗(yàn)，得到的實(shí)驗(yàn)結(jié)果如下。

1) 分解延時(shí)實(shí)驗(yàn)結(jié)果

動(dòng)畫媒體視頻幀分解延時(shí)實(shí)驗(yàn)結(jié)果數(shù)據(jù)如表2所示。

表2 分解延時(shí)實(shí)驗(yàn)結(jié)果

根據(jù)表2可知，3種系統(tǒng)都存在分解延時(shí)，但是本文提出的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)的分解延時(shí)要小于傳統(tǒng)系統(tǒng)。在5次實(shí)驗(yàn)中，本文系統(tǒng)的分解延時(shí)均低于5s，而傳統(tǒng)系統(tǒng)的分解延時(shí)都在5s以上，甚至分解延時(shí)更長(zhǎng)。由此可見，本文系統(tǒng)的動(dòng)畫媒體視頻幀分解能力更強(qiáng)。

2) 分解精度實(shí)驗(yàn)結(jié)果

3種系統(tǒng)的動(dòng)畫媒體視頻幀分解精度對(duì)比結(jié)果如圖6所示。

圖6 動(dòng)畫媒體視頻幀分解精度對(duì)比

根據(jù)圖6可知，本文提出的基于關(guān)鍵點(diǎn)和局部特征的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)的分解準(zhǔn)確率高于傳統(tǒng)系統(tǒng)，說明本文系統(tǒng)得到的分解結(jié)果與實(shí)際視頻幀更加吻合，由于本文提出的系統(tǒng)能夠更好地分析關(guān)鍵點(diǎn)和局部特征，所以能夠有效地重現(xiàn)動(dòng)畫媒體視頻幀。

綜上所述，本文提出的基于關(guān)鍵點(diǎn)和局部特征的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)能夠在短時(shí)間內(nèi)實(shí)現(xiàn)動(dòng)畫媒體視頻幀的分解，分解能力更高，適用范圍更廣，未來可以應(yīng)用到更多的動(dòng)畫媒體視頻處理工作中。

4 結(jié)語

本文從動(dòng)畫媒體視頻的特性出發(fā)，分別從硬件與軟件兩方面設(shè)計(jì)動(dòng)畫媒體視頻幀分解的相關(guān)模塊與程序，完成基于關(guān)鍵點(diǎn)和局部特征分解的動(dòng)畫媒體視頻幀自適應(yīng)分解系統(tǒng)的設(shè)計(jì)。通過實(shí)驗(yàn)證明本文系統(tǒng)在動(dòng)畫媒體視頻幀分解方面的性能高，可以在降低分解延時(shí)的同時(shí)提高分解精度。