基于Morphing算法的定格場(chǎng)景動(dòng)畫(huà)生成方法研究

左毅子

（安徽工商職業(yè)學(xué)院信息工程學(xué)院，安徽 合肥 231131）

動(dòng)畫(huà)將圖像技術(shù)和數(shù)學(xué)、物理等學(xué)科結(jié)合起來(lái)，形成了豐富多彩的生動(dòng)畫(huà)面，在兒童教育、虛擬現(xiàn)實(shí)以及事務(wù)處理等方面獲得了廣泛應(yīng)用［1］。在兒童教育領(lǐng)域，將兒童故事以定格場(chǎng)景動(dòng)畫(huà)形式呈現(xiàn)出來(lái)，不僅能激發(fā)兒童的學(xué)習(xí)興趣，還能促進(jìn)兒童的直觀(guān)學(xué)習(xí)效果；在虛擬現(xiàn)實(shí)領(lǐng)域，可以依據(jù)體驗(yàn)人的需求，生成吻合的定格場(chǎng)景動(dòng)畫(huà)［2，3］，使體驗(yàn)人感受到較為真實(shí)的趣味；在事務(wù)處理方面，可以依據(jù)現(xiàn)場(chǎng)視頻和報(bào)告書(shū)，重現(xiàn)事件發(fā)生時(shí)的定格場(chǎng)景動(dòng)畫(huà)，以便于直觀(guān)分析及理解各類(lèi)事務(wù)［4］。因此，研究定格場(chǎng)景動(dòng)畫(huà)生成方法具有極大的現(xiàn)實(shí)意義。

當(dāng)前已有很多專(zhuān)家對(duì)此類(lèi)方法作出了一系列研究，例如張迎凱［5］、葉亞男等利用改進(jìn)CycleGan模型結(jié)合區(qū)域分割的方法［6］生成定格場(chǎng)景動(dòng)畫(huà)。以上方法所得動(dòng)畫(huà)的逼真性和沉浸性相對(duì)優(yōu)良，但生成動(dòng)畫(huà)的成本較大，且動(dòng)畫(huà)圖像的特征識(shí)別效果不甚理想。

Morphing算法已大量應(yīng)用到影視業(yè)中的虛擬角色、虛擬現(xiàn)實(shí)、人臉合成等方面，并且結(jié)合非統(tǒng)一混合技術(shù)能產(chǎn)生各種有趣的動(dòng)畫(huà)效果，這些應(yīng)用可以讓視頻、圖像更加富有生氣，效果更加真實(shí)自然。這項(xiàng)技術(shù)是近年來(lái)廣受歡迎的圖像變形技術(shù)之一。

1 定格場(chǎng)景動(dòng)畫(huà)生成方法

1.1 定格場(chǎng)景圖像的輪廓線(xiàn)提取和源網(wǎng)格生成

使用Canny算子提取視頻中某個(gè)定格場(chǎng)景圖像的輪廓線(xiàn)，并據(jù)其生成能夠?qū)Χǜ駡?chǎng)景中各目標(biāo)對(duì)象進(jìn)行控制的源網(wǎng)格。

1.1.1 定格場(chǎng)景圖像的輪廓線(xiàn)提取過(guò)程

（1）定格場(chǎng)景圖像的平滑處理。分別依據(jù)定格場(chǎng)景圖像的行和列，Canny算子運(yùn)用高斯濾波器的一階導(dǎo)數(shù)按照公式（1）所示過(guò)程對(duì)圖像實(shí)施卷積操作，即可達(dá)到平滑處理定格場(chǎng)景圖像的目的。

式內(nèi)，高斯函數(shù)的標(biāo)準(zhǔn)差用σ描述，主要負(fù)責(zé)控制平滑效果；公式（2）原始定格場(chǎng)景圖像像素點(diǎn)用f(x,y)描述；處理后的平滑定格場(chǎng)景圖像像素點(diǎn)用I(x,y)描述。

（2）梯度幅值與方向的計(jì)算。I(x,y)的高斯函數(shù)用G(x,y)描述，通過(guò)鄰域一階偏導(dǎo)的有限差分，依據(jù)公式（3）所示過(guò)程對(duì)G(x,y)的梯度矢量?G進(jìn)行計(jì)算：

將高斯函數(shù)的分離性作為依據(jù)，可將上式分解成公式（4）、公式（5）所示的一維行、列濾波器：

其中，高斯系數(shù)用m描述，一維行、列用n1、n2描述。

利用卷積運(yùn)算處理上式和f()x,y，能獲得公式（6）所示的梯度幅值以及公式（7）所示的方向角的計(jì)算過(guò)程：

式內(nèi)，原始定格場(chǎng)景圖像上，點(diǎn)(i,j)位置的梯度幅值用A(i,j)描述，方向角用?(i,j)描述；利用濾波器沿行處理圖像的結(jié)果用Hx描述，沿列處理的結(jié)果用Hy描述。

（3）梯度幅值的非極大值抑制。在規(guī)模為3×3的窗口中進(jìn)行像素插值，以A(i,j)作為中心，將附近像素劃分成八個(gè)方向鄰域，計(jì)算這九個(gè)像素的梯度，同時(shí)在相應(yīng)方向上完成結(jié)果的插值［7］。針對(duì)各像素，比較A(i,j)以及順著梯度方向的兩個(gè)梯度幅值，若A(i,j)的值最小，則將其輪廓點(diǎn)賦值為0，否則將其輪廓點(diǎn)記作待選輪廓點(diǎn)。

（4）雙閾值檢測(cè)及輪廓連接。設(shè)置Th和Tb分別代表高閾值、低閾值，通過(guò)兩者可分別獲得閾值圖像I2(i,j)、I1(i,j)，其中I2(i,j)所含假輪廓較少，但存在斷開(kāi)的輪廓。當(dāng)I2(i,j)的輪廓出現(xiàn)斷開(kāi)現(xiàn)象時(shí)，在I1(i,j)中不斷尋找I2(i,j)的可能斷點(diǎn)位置，直到連接全部斷點(diǎn)，即可提取完整、閉合的定格場(chǎng)景圖像的輪廓線(xiàn)。

1.1.2 定格場(chǎng)景圖像的源網(wǎng)格生成

針對(duì)上節(jié)提取的定格場(chǎng)景圖像的輪廓線(xiàn)，以某條輪廓線(xiàn)當(dāng)作基準(zhǔn)，規(guī)范化處理其余全部輪廓線(xiàn)，生成定格場(chǎng)景圖像源網(wǎng)格的重要基礎(chǔ)。下述為定格場(chǎng)景圖像源網(wǎng)格生成的具體過(guò)程：

（1）標(biāo)出每條輪廓線(xiàn)的起始點(diǎn)和其上頂點(diǎn)，計(jì)算輪廓線(xiàn)的總長(zhǎng)度以及各頂點(diǎn)與起始點(diǎn)間的長(zhǎng)度，依據(jù)計(jì)算結(jié)果對(duì)輪廓線(xiàn)實(shí)施參數(shù)化，所得參數(shù)均介于[0,1]區(qū)間內(nèi)。

（2）通過(guò)基準(zhǔn)輪廓線(xiàn)的頂點(diǎn)對(duì)其他輪廓線(xiàn)的頂點(diǎn)進(jìn)行重構(gòu)?；鶞?zhǔn)輪廓線(xiàn)上各頂點(diǎn)用P1描述，相應(yīng)的參數(shù)值用t描述，搜索其他輪廓線(xiàn)上參數(shù)值等于t的點(diǎn)，并將其當(dāng)作輪廓線(xiàn)的新頂點(diǎn)，以此便能建立各條輪廓線(xiàn)上頂點(diǎn)之間的對(duì)應(yīng)關(guān)系［8，9］。

（3）順著各輪廓線(xiàn)所處平面的法線(xiàn)方向，使輪廓線(xiàn)中心點(diǎn)分別升高和降低指定高度，得到兩個(gè)虛擬點(diǎn)V′、V′′，連接其與輪廓線(xiàn)上的新頂點(diǎn)，即可生成定格場(chǎng)景圖像源網(wǎng)格。

1.2 基于Morphing算法的定格場(chǎng)景圖像變形

通過(guò)Morphing算法的網(wǎng)格配準(zhǔn)階段，創(chuàng)建1.1小節(jié)所得定格場(chǎng)景圖像的源網(wǎng)格與目標(biāo)網(wǎng)格的匹配關(guān)系，在此基礎(chǔ)上利用Morphing算法的形狀插值階段，獲取兩個(gè)網(wǎng)格之間的Morphing序列，從而得到兩個(gè)網(wǎng)格相應(yīng)的對(duì)齊定格場(chǎng)景圖像SI(t)和DI(t)。

定格場(chǎng)景圖像的源網(wǎng)格和目標(biāo)網(wǎng)格分別用Ms、Mt描述，將兩者作為網(wǎng)格配準(zhǔn)階段的輸入，輸出為兩者相應(yīng)的參考網(wǎng)格Mr1、Mr2，它不僅包含Ms的連接關(guān)系，還包含Mt的位置信息。下述為網(wǎng)格配準(zhǔn)階段的具體過(guò)程：

（1）利用微分坐標(biāo)創(chuàng)建基網(wǎng)格，實(shí)現(xiàn)定格場(chǎng)景圖像源網(wǎng)格中各目標(biāo)對(duì)象和目標(biāo)網(wǎng)格中相應(yīng)目標(biāo)對(duì)象的初始對(duì)齊。從輸入網(wǎng)格中選擇初始匹配點(diǎn)對(duì)［10］，得到匹配點(diǎn)集C，依據(jù)其內(nèi)Mt上控制點(diǎn)的位置，通過(guò)Ms和Mt的連接關(guān)系求解下式，便能獲得對(duì)應(yīng)于定格場(chǎng)景圖像兩個(gè)網(wǎng)格的基網(wǎng)格，分別用Mts、Mtt描述。

式內(nèi)，網(wǎng)格頂點(diǎn)的列向量用X描述，網(wǎng)格拉普拉斯算子用B描述，面積微元用q描述。

（2）利用MLS投影算子對(duì)C進(jìn)行更新。以上兩個(gè)基網(wǎng)格的位置接近，且局部較為光滑［11］，因此可使用MLS投影算子映射Mst至Mtt上，同時(shí)，使用全局Laplacian方法完成Mst的更新。對(duì)于C的更新，當(dāng)基網(wǎng)格Mst上某點(diǎn)vi在Mtt上的最近點(diǎn)為wj，并且其在Mst上的最近點(diǎn)為vi時(shí)，需要在C中添加點(diǎn)對(duì)(i,j)。依據(jù)C內(nèi)Mt上控制點(diǎn)的位置，通過(guò)Ms和Mt的連接關(guān)系求解公式（8），便能完成兩個(gè)基網(wǎng)格的更新。不斷執(zhí)行以上過(guò)程，直到C的規(guī)模停止增大。

（3）通過(guò)微分坐標(biāo)對(duì)參考網(wǎng)格進(jìn)行重建，以達(dá)到整體配準(zhǔn)定格場(chǎng)景圖像源網(wǎng)格中各目標(biāo)對(duì)象和目標(biāo)網(wǎng)格中相應(yīng)目標(biāo)對(duì)象的目的。針對(duì)基網(wǎng)格上未獲取到對(duì)應(yīng)點(diǎn)的vi，順其法向與Mt相交于點(diǎn)，依據(jù)所得交點(diǎn)和C內(nèi)Mt上控制點(diǎn)的位置，通過(guò)Ms的連接關(guān)系求解公式（8）便能完成的更新，在此基礎(chǔ)上利用法向投影算子映射至Mt上，得出定格場(chǎng)景圖像兩個(gè)網(wǎng)格的參考網(wǎng)格Mr1、Mr2。

在Morphing算法的形狀插值階段，通過(guò)插值網(wǎng)格頂點(diǎn)的內(nèi)在信息，獲得定格場(chǎng)景圖像的源網(wǎng)格與目標(biāo)網(wǎng)格間的Morphing序列［12，13］。假設(shè)兩個(gè)網(wǎng)格中第i點(diǎn)的微分坐標(biāo)分別用δi、δ′i描述，且hi=‖δi‖、h′i=‖δ′i‖，則可以利用公式（9）、公式（10）和公式（11）描述t時(shí)刻的插值微分坐標(biāo)以及曲率信息補(bǔ)償過(guò)程：

依據(jù)兩個(gè)參考網(wǎng)格中任意點(diǎn)位置，將其微分坐標(biāo)代入上式，便能得到相應(yīng)的關(guān)鍵幀網(wǎng)格M1(t)和M2(t)，兩者即可構(gòu)成對(duì)齊定格場(chǎng)景圖像SI(t)和DI(t)。

1.3 定格場(chǎng)景動(dòng)畫(huà)生成實(shí)現(xiàn)

使用透射率估計(jì)方法融合上小節(jié)獲取的對(duì)齊定格場(chǎng)景圖像，實(shí)現(xiàn)定格場(chǎng)景動(dòng)畫(huà)生成。

定格場(chǎng)景動(dòng)畫(huà)的虛擬視覺(jué)重構(gòu)輸出模型用J描述，其具體形式如公式（12）所示：

式內(nèi)，定格場(chǎng)景動(dòng)畫(huà)的像素點(diǎn)坐標(biāo)變化量分別用s1、s2描述。定格場(chǎng)景動(dòng)畫(huà)的點(diǎn)分布模型Z可通過(guò)下式求得：

式內(nèi)，對(duì)齊定格場(chǎng)景圖像融合結(jié)果和兩張對(duì)齊圖像的特征差異值用U描述，灰度不變函數(shù)用Rk描述，透射率用e描述。定格場(chǎng)景動(dòng)畫(huà)的虛擬視覺(jué)圖像用f描述，其內(nèi)某像素用()a,b描述，通過(guò)自適應(yīng)加權(quán)控制，可以獲得行、列頻率分布模型，在對(duì)齊定格場(chǎng)景融合圖像的點(diǎn)分布范圍中，能得出公式（14）和公式（15）所示的聚焦位置的細(xì)節(jié)特征量表達(dá)式：

式內(nèi)，聯(lián)合概率密度用P描述；對(duì)齊定格場(chǎng)景圖像的融合相似度系數(shù)用τ描述，模糊度系數(shù)用ε描述。依據(jù)對(duì)齊定格場(chǎng)景圖像的模糊融合結(jié)果，通過(guò)歸一化的低照度圖像融合［14，15］，可達(dá)到定格場(chǎng)景動(dòng)畫(huà)生成的目的。定格場(chǎng)景動(dòng)畫(huà)的歸一化概率分布函數(shù)形式如公式（16）所示：

式內(nèi)，平均梯度系數(shù)用f(x)描述，白色亮斑參數(shù)用ω描述。通過(guò)對(duì)齊定格場(chǎng)景融合圖像的梯度變化特征的分析，能獲得公式（17）所示的像素灰度值計(jì)算過(guò)程：

利用邊緣強(qiáng)度估計(jì)處理對(duì)齊定格場(chǎng)景融合圖像，可以得到公式（18）所示的定格場(chǎng)景動(dòng)畫(huà)的邊緣強(qiáng)度特征分布表達(dá)式：

式（18）中，灰色特征點(diǎn)和標(biāo)準(zhǔn)化正則特征點(diǎn)用r、u描述；r的灰色特征分布集用描述，u的標(biāo)準(zhǔn)化正則特征解用描述，兩個(gè)特征點(diǎn)的絕對(duì)距離用 ||描述。使用連續(xù)邊緣分解的形式獲取對(duì)齊定格場(chǎng)景融合圖像的分割區(qū)域特征集，公式（19）所示的標(biāo)準(zhǔn)化特征解，可通過(guò)對(duì)該特征集進(jìn)行標(biāo)準(zhǔn)化估計(jì)獲得：

利用公式（20）描述從連通域中獲得的定格場(chǎng)景動(dòng)畫(huà)的連通分量集合表達(dá)式：

在以上集合Q中，分析對(duì)齊定格場(chǎng)景融合圖像的背景區(qū)域的暗原色，以完成定格場(chǎng)景動(dòng)畫(huà)的歸一化低照度圖像融合，并在定格場(chǎng)景動(dòng)畫(huà)生成過(guò)程中利用公式（21）所示的學(xué)習(xí)函數(shù)，結(jié)合對(duì)齊定格場(chǎng)景融合圖像中目標(biāo)對(duì)象的標(biāo)記符分析，生成定格場(chǎng)景動(dòng)畫(huà)。

利用公式（21），生成定格場(chǎng)景動(dòng)畫(huà)。

2 結(jié)果分析

以從某視頻合集中隨機(jī)選取的30張定格場(chǎng)景圖像作為實(shí)驗(yàn)對(duì)象，使用MATLAB軟件搭建測(cè)試環(huán)境，在此環(huán)境中將圖像的像素灰度值設(shè)置成0.25，亮度與邊緣感知區(qū)域的柔和度設(shè)置成1.72，完成設(shè)置后利用本文方法實(shí)現(xiàn)各定格場(chǎng)景圖像的動(dòng)畫(huà)生成。

從定格場(chǎng)景圖像數(shù)據(jù)集中隨機(jī)選擇一幅圖像進(jìn)行測(cè)試，使用本文方法對(duì)其進(jìn)行平滑處理和輪廓線(xiàn)提取，所得結(jié)果用圖1描述。

從圖1可以發(fā)現(xiàn)，將原始定格場(chǎng)景圖像使用本研究方法平滑處理后，明顯改善了圖像的顏色和清晰度；在此基礎(chǔ)上使用本研究方法提取的定格場(chǎng)景圖像的輪廓線(xiàn)較為連續(xù)、完整，并且對(duì)于難以處理的樹(shù)木輪廓也能呈現(xiàn)出良好的細(xì)節(jié)信息。因此可得，本研究方法具有較優(yōu)異的定格場(chǎng)景圖像輪廓線(xiàn)提取能力。

從某定格場(chǎng)景圖像源網(wǎng)格中任意選取11個(gè)匹配點(diǎn)，其位置信息和目標(biāo)網(wǎng)格中相應(yīng)匹配點(diǎn)的位置信息，如表1所示。

分析表1可以看出，定格場(chǎng)景圖像源網(wǎng)格中各匹配點(diǎn)的坐標(biāo)與目標(biāo)網(wǎng)格中相應(yīng)匹配點(diǎn)的坐標(biāo)十分接近，X向和Y向的位置偏差始終低于2%，表明本研究方法能夠較為準(zhǔn)確地將定格場(chǎng)景圖像源網(wǎng)格中各匹配點(diǎn)配準(zhǔn)到目標(biāo)網(wǎng)格中相應(yīng)的位置上，具有較理想的定格場(chǎng)景圖像變形效果。

從定格場(chǎng)景圖像數(shù)據(jù)集中，隨機(jī)選擇一幅圖像進(jìn)行動(dòng)畫(huà)生成測(cè)試，結(jié)果用圖2描述。

圖2 定格場(chǎng)景動(dòng)畫(huà)生成結(jié)果

分析圖2可以看出，使用本研究方法生成的定格場(chǎng)景動(dòng)畫(huà)十分逼真，能夠完整、形象地還原真實(shí)場(chǎng)景的特點(diǎn)及結(jié)構(gòu)，因此表明本研究方法的定格場(chǎng)景動(dòng)畫(huà)生成效果較理想。

人眼容許的視差范圍通常為［-50nm，+60nm］，此區(qū)間代表人眼舒適區(qū)，統(tǒng)計(jì)分析3名正常視力人員對(duì)9幅定格場(chǎng)景動(dòng)畫(huà)的視差范圍，結(jié)果用圖3描述。

圖3 3名測(cè)試人員對(duì)定格場(chǎng)景動(dòng)畫(huà)的視差范圍結(jié)果

從圖3可以看出，針對(duì)本研究方法生成的定格場(chǎng)景動(dòng)畫(huà)，3名正常視力人員對(duì)其視差范圍均保持在人眼舒適區(qū)間內(nèi)，可進(jìn)一步驗(yàn)證本研究方法具有較好的定格場(chǎng)景動(dòng)畫(huà)生成效果，能夠滿(mǎn)足人眼視覺(jué)舒適度要求。

3 結(jié)語(yǔ)

本研究基于Morphing算法的定格場(chǎng)景動(dòng)畫(huà)生成方法，通過(guò)定格場(chǎng)景圖像輪廓線(xiàn)提取、圖像變形和圖像融合，生成形象、生動(dòng)的定格場(chǎng)景動(dòng)畫(huà)。經(jīng)實(shí)驗(yàn)分析，該方法提取的定格場(chǎng)景圖像輪廓線(xiàn)連續(xù)且完整，同時(shí)該方法具有良好的圖像網(wǎng)格配準(zhǔn)效果，此外該方法生成的定格場(chǎng)景動(dòng)畫(huà)十分逼真，并能滿(mǎn)足人眼視覺(jué)舒適度要求，對(duì)促進(jìn)動(dòng)畫(huà)處理技術(shù)在各大領(lǐng)域的進(jìn)一步應(yīng)用具有積極影響。