基于鄰域一致性的數(shù)字媒體視頻圖像超清修復(fù)方法

夏弘睿，趙 靜

(馬鞍山師范高等?？茖W(xué)校 藝術(shù)設(shè)計(jì)系，安徽 馬鞍山 243000)

0 引言

當(dāng)修復(fù)數(shù)字媒體視頻圖像時(shí)，需要修復(fù)破損區(qū)域或剔除圖像中的多余目標(biāo)[1]，令修復(fù)后的圖像信息完整性較好，符合人眼視覺效果[2-4].孫艷敏等通過log函數(shù)約束圖像修復(fù)的秩，利用log函數(shù)建立非凸低秩約束的圖像修復(fù)模型，通過交替方向乘子法求解該模型，完成圖像修復(fù)，該方法可有效處理不同情況下的像素缺失問題，具備較優(yōu)的修復(fù)效果[5].強(qiáng)振平等通過結(jié)構(gòu)成分法獲取優(yōu)先修復(fù)樣本塊，利用增加結(jié)構(gòu)成分引導(dǎo)法，修復(fù)待優(yōu)先修復(fù)樣本塊，完成圖像修復(fù)，該方法可有效修復(fù)圖像[6].上述兩種方法在修復(fù)圖像過程中，無法較好地保持結(jié)構(gòu)部分連續(xù)性，修復(fù)后的圖像紋理部分清晰度不佳.鄰域一致性約束能夠較好地保持圖像結(jié)構(gòu)部分連續(xù)性，提升圖像清晰度.為此研究基于鄰域一致性的數(shù)字媒體視頻圖像超清修復(fù)方法，提升數(shù)字媒體視頻圖像超清修復(fù)效果.

1 數(shù)字媒體視頻圖像超清修復(fù)方法

1.1 確定圖像樣本塊的魯棒結(jié)構(gòu)稀疏度

利用魯棒結(jié)構(gòu)稀疏度(Robust Struture Sparsity，RSS)函數(shù)S(p)，分析數(shù)字媒體視頻圖形樣本塊在結(jié)構(gòu)部分的置信度，S(p)的公式如下：

(1)

其中，以數(shù)字媒體視頻圖像待超清修復(fù)邊界δΩ中p點(diǎn)為中心點(diǎn)的待超清修復(fù)樣本塊是Xp；數(shù)字媒體視頻圖像破損區(qū)域是Ω；歸一化常數(shù)是Z(p)；點(diǎn)p的魯棒結(jié)構(gòu)稀疏度是S(p)；以點(diǎn)p為中心的鄰域塊內(nèi)像素點(diǎn)數(shù)量是N(p)；Xp的鄰域樣本塊是Xk；Xk的中心點(diǎn)是k；Xp與Xk間已知像素點(diǎn)的均方距離是d(Xp,Xk)；Xp與Xk間的相似度是ωp,k.

(2)

其中，拉格朗日乘子是α；常數(shù)是λ；N(p)內(nèi)有關(guān)點(diǎn)k的函數(shù)是E(p)；求解有關(guān)點(diǎn)k的偏導(dǎo)數(shù)[9]，并令該值是0，則：

(3)

1.2 數(shù)字媒體視頻圖像超清修復(fù)的鄰域一致性約束

令數(shù)字媒體視頻圖像待超清修復(fù)樣本塊是Xp；Xp內(nèi)已知與未知信息的標(biāo)志矩陣是F與G，Xp的M個(gè)最佳匹配塊是{Xq}q=1,2,…,M；通過M個(gè)匹配塊稀疏描繪待超清修復(fù)數(shù)字媒體視頻圖像樣本塊，公式如下：

(4)

其中，稀疏表示信息是Xt；常數(shù)是λ；稀疏表示系數(shù)是β={β1,β2,…,βM}；第q個(gè)數(shù)字媒體視頻圖像待超清修復(fù)樣本塊的最佳匹配塊是Xq；第q個(gè)數(shù)字媒體視頻圖像待超清修復(fù)樣本塊的最佳匹配塊稀疏表示系數(shù)是βq.

融合上述約束條件獲取數(shù)字媒體視頻圖像超清修復(fù)時(shí)的鄰域一致性約束方程，公式如下：

(5)

其中，第i個(gè)數(shù)字媒體視頻圖像待超清修復(fù)樣本塊最佳匹配塊的稀疏表示系數(shù)是βi.

計(jì)算式(5)能夠得到β={β1,β2,…,βM}，這樣就可計(jì)算獲取Xt，同時(shí)展開超清修復(fù).

1.3 數(shù)字媒體視頻圖像超清修復(fù)的實(shí)現(xiàn)

利用結(jié)構(gòu)稀疏性與鄰域一致性，完成數(shù)字媒體視頻圖像超清修復(fù).令待超清修復(fù)數(shù)字媒體視頻圖像是I，待超清修復(fù)區(qū)域是Ω；數(shù)字媒體視頻圖像超清修復(fù)步驟如下：

步驟1：求解δΩ中各點(diǎn)p的優(yōu)先權(quán)值P(p)，令數(shù)字媒體視頻圖像待超清修復(fù)樣本塊Xp的同心鄰域是Rp；Rp和已知區(qū)域相交部分是R′p；以R′p內(nèi)點(diǎn)q為中心的數(shù)字媒體視頻圖像樣本塊是Hq；Hq與Xp大小一致，鄰域關(guān)聯(lián)因子如下：

(6)

其中，R′p和Rp的面積是A(R′p)、(ARp)；關(guān)聯(lián)系數(shù)是θ；Xp和Hq歸一化互相關(guān)值是B(Xp,Hq)；B(Xp,Hq)的公式如下：

(7)

Xp和Hq相關(guān)性越強(qiáng)，則B(Xp,Hq)越大，U(p)也越大[13]；U(p)代表Xp和其鄰域的關(guān)聯(lián)性，該關(guān)聯(lián)性與U(p)具有正相關(guān)關(guān)系[14].

利用U(p)與魯棒結(jié)構(gòu)稀疏度是S(p)求解數(shù)字媒體視頻圖像超清修復(fù)的優(yōu)先權(quán)值P(p)，公式如下：

P(p)=wCS(p)C(p)+wDD(p)+wUU(p)

(8)

步驟2：選取最高優(yōu)先權(quán)值點(diǎn)pm，按照點(diǎn)pm的魯棒結(jié)構(gòu)稀疏度S(pm)[15]，確定待超清修復(fù)數(shù)字媒體視頻圖像樣本塊窗口半徑o、γ與搜索區(qū)域半徑O；o的公式如下：

(9)

其中，常數(shù)是μ1、μ2，且0<μ1≤μ2≤1；δΩ中全部點(diǎn)的最大、最小魯棒結(jié)構(gòu)稀疏度是pmax、pmax.

鄰域一致性約束的權(quán)重系數(shù)γ的公式如下：

(10)

其中，比例系數(shù)是ρ.

O的公式如下：

O=min(max(κ·S(p),40),60)

(11)

其中，參數(shù)是κ，通常取值是50.

步驟3：在O內(nèi)按照最小誤差平方和準(zhǔn)則尋找前M個(gè)最相似匹配塊{Xq}q=1,2,…,M；

步驟4：按照γ獲取稀疏表示信息，指導(dǎo){Xq}q=1,2,…,M的稀疏表示，在優(yōu)先權(quán)值點(diǎn)pm的樣本塊Xpm內(nèi)填充稀疏表示信息，完成優(yōu)先權(quán)值點(diǎn)pm對(duì)應(yīng)的數(shù)字媒體視頻圖像樣本塊的超清修復(fù)；

步驟5：更新C(p)、Ω與δΩ，再次求解δΩ中新添加點(diǎn)的優(yōu)先權(quán)值，反復(fù)操作步驟2至步驟5，以數(shù)字媒體視頻圖像破損區(qū)域全部被超清修復(fù)為止.

2 實(shí)驗(yàn)分析

以某道路監(jiān)控?cái)?shù)字媒體視頻圖像為實(shí)驗(yàn)對(duì)象，利用本文方法超清修復(fù)該數(shù)字媒體視頻圖像內(nèi)的破損圖像，驗(yàn)證本文方法超清修復(fù)的有效性.

在該數(shù)字媒體視頻圖像內(nèi)隨機(jī)選擇兩幅破損圖像，破損區(qū)域分別為小區(qū)域破損與大區(qū)域破損，利用本文方法超清修復(fù)這兩幅破損數(shù)字媒體視頻圖像，超清修復(fù)結(jié)果如圖1、圖2所示.

圖1 小區(qū)域破損圖像的超清修復(fù)效果

圖2 大區(qū)域破損圖像的超清修復(fù)效果

綜合圖1與圖2可知，當(dāng)數(shù)字媒體視頻圖像出現(xiàn)小區(qū)域破損時(shí)，本文方法可有效超清修復(fù)該幅圖像，超清修復(fù)后的數(shù)字媒體視頻圖像與真實(shí)信息更加接近，能夠保持圖像結(jié)構(gòu)連貫性與鄰域信息的連續(xù)一致性，符合人眼視覺需求；當(dāng)數(shù)字媒體視頻圖像出現(xiàn)大區(qū)域破損時(shí)，本文方法依舊可有效超清修復(fù)該幅圖像，符合人眼視覺需求.實(shí)驗(yàn)證明：在數(shù)字媒體視頻圖像出現(xiàn)小區(qū)域與大區(qū)域破損情況時(shí)，本文方法均可有效超清修復(fù)數(shù)字媒體視頻圖像，超清修復(fù)后的圖像完全符合人眼視覺需求.

本文方法中鄰域一致性約束權(quán)重的大小取決于比例系數(shù)，利用成功率衡量不同比例系數(shù)時(shí)，本文方法超清修復(fù)數(shù)字媒體視頻圖像效果，其值越高，修復(fù)效果越佳，分析結(jié)果如圖3所示.

圖3 成功率分析結(jié)果

根據(jù)圖3可知，隨著比例系數(shù)的增長，本文方法超清修復(fù)數(shù)字媒體視頻圖像的成功率呈先上升后下降趨勢，當(dāng)比例系數(shù)達(dá)到5時(shí)，成功率達(dá)到最高，說明此時(shí)本文方法的修復(fù)效果最佳.實(shí)驗(yàn)證明：為提升本文方法的修復(fù)效果，比例系數(shù)需選取5.

以峰值信噪比PSNR、噪聲抑制均方誤差MSENS與SA主觀分值為衡量本文方法超清修復(fù)效果，PSNR值越高，說明超清修復(fù)效果越佳；MSENS值越低，說明噪聲抑制效果越佳；SA值越高，說明超清修復(fù)后的圖像主觀感受越佳；在不同數(shù)字媒體視頻圖像破損百分比時(shí)，本文方法超清修復(fù)數(shù)字媒體視頻圖像的效果如表1所示.

表1 本文方法超清修復(fù)數(shù)字媒體視頻圖像的效果

根據(jù)表1可知，隨著數(shù)字媒體視頻圖像破損百分比的增長，本文方法超清修復(fù)數(shù)字媒體視頻圖像的PSNR值與SA值隨之下降，MSENS值隨之提升，當(dāng)破損百分比達(dá)到32%時(shí)，PSNR值不再發(fā)生改變，穩(wěn)定至44.08，明顯高于PSNR閾值，說明本文方法超清修復(fù)效果較佳；當(dāng)破損百分比達(dá)到34%時(shí)，MSENS值不再發(fā)生改變，穩(wěn)定至0.127，明顯低于MSENS閾值，說明本文方法噪聲抑制效果較優(yōu)；當(dāng)破損百分比達(dá)到34%時(shí)，SA值穩(wěn)定至5.17，明顯高于SA閾值，說明本文方法超清修復(fù)后的數(shù)字媒體視頻圖像主觀感受較好.實(shí)驗(yàn)證明：在不同數(shù)字媒體視頻圖像破損百分比時(shí)，本文方法超清修復(fù)數(shù)字媒體視頻圖像的PSNR值較高，MSENS值較低，SA值較高，總體來說本文方法超清修復(fù)數(shù)字媒體視頻圖像效果較優(yōu).

3 結(jié)論

數(shù)字媒體視頻圖像修復(fù)指填充修復(fù)破損區(qū)域，或去掉圖像內(nèi)需移除的物體，并保持圖像完整性的視覺效果，在劃痕移除與數(shù)字修復(fù)等領(lǐng)域意義重大，為此研究基于鄰域一致性的數(shù)字媒體視頻圖像超清修復(fù)方法，實(shí)驗(yàn)結(jié)果表明，無論是破損程度較大還是較小的圖像，本文方法均可以有效超清修復(fù)數(shù)字媒體視頻圖像，為目標(biāo)識(shí)別與檢測等提供更加有力的圖像數(shù)據(jù)支持.