基于局部卷積的視頻圖像像素補(bǔ)償方法*

查懷志

(安慶師范大學(xué)教師教育學(xué)院,安徽 安慶 246133)

視頻圖像像素補(bǔ)償算法是在低像素視頻圖像序列中獲取高像素圖像的過程[1].由于視頻圖像具備較強(qiáng)的動(dòng)態(tài)連續(xù)性,因此高速運(yùn)動(dòng)目標(biāo)存在像素丟失現(xiàn)象[2].針對(duì)該問題,張德園等[3]提出了一種基于模型的視頻圖像像素補(bǔ)償算法,即在低像素圖像恢復(fù)高像素視頻圖像的過程中引入正則化項(xiàng),完成對(duì)視頻圖像的補(bǔ)償.該方法需要建立較復(fù)雜的模型來描述圖像的特征和補(bǔ)償過程,導(dǎo)致算法的計(jì)算復(fù)雜度和實(shí)現(xiàn)難度增加,視頻圖像空間分辨率較低.劉晨羽等[4]提出了一種基于學(xué)習(xí)的視頻圖像像素補(bǔ)償算法,即利用標(biāo)準(zhǔn)稀疏編碼技術(shù)獲取權(quán)重系數(shù),找到對(duì)應(yīng)低像素圖像塊并應(yīng)用到高像素字典中,完成對(duì)應(yīng)圖像補(bǔ)償.該方法需要大量的訓(xùn)練數(shù)據(jù)來獲取權(quán)重系數(shù),不能很好滿足特定場(chǎng)景的補(bǔ)償需求,特別是當(dāng)訓(xùn)練數(shù)據(jù)中有噪聲或失真時(shí),可能會(huì)導(dǎo)致補(bǔ)償結(jié)果出現(xiàn)偽影或其他失真現(xiàn)象.吳磊等[5]構(gòu)建了一個(gè)基于多尺度遞歸網(wǎng)絡(luò)的圖像超分辨率網(wǎng)絡(luò)模型.該模型由多個(gè)多尺度特征映射單元級(jí)聯(lián)構(gòu)成,在低分辨率圖像中進(jìn)行特征提取,并利用亞像素卷積對(duì)圖像完成補(bǔ)償.由于特征提取方式和亞像素卷積操作的限制,該方法可能無法很好地捕捉和重建圖像中的細(xì)節(jié)信息.針對(duì)上述方法存在的問題,為了修復(fù)高速運(yùn)動(dòng)目標(biāo)缺失像素,筆者擬設(shè)計(jì)一種基于局部卷積的視頻圖像像素補(bǔ)償方法(簡(jiǎn)稱“局部卷積補(bǔ)償方法”).局部卷積補(bǔ)償方法運(yùn)用局部卷積并結(jié)合神經(jīng)網(wǎng)絡(luò)模型,可以實(shí)現(xiàn)視頻圖像幀的像素補(bǔ)償.

1 局部卷積視頻圖像重建

(1)去除視頻幀冗余信息.在發(fā)送視頻數(shù)據(jù)前需去除冗余信息.冗余信息提取公式為

其中r為提取信息計(jì)算參數(shù),ap為視頻信息p點(diǎn)的像素信息.將數(shù)據(jù)編碼發(fā)送至目的端,經(jīng)過解碼端重建編碼.生成完整的視頻圖像后,即可解碼出完整的視頻文件.

(2)采用局部卷積方法重建前幾幀視頻圖像塊.根據(jù)局部卷積原理,將神經(jīng)網(wǎng)絡(luò)模型分為3個(gè)部分:①使用局部卷積方法提取視頻圖像特征;②使用局部卷積方法重建視頻幀;③根據(jù)重建視頻幀的損失,優(yōu)化視頻塊和圖像塊的參數(shù).局部卷積重建視頻圖像塊的過程如圖1所示.

圖1 局部卷積重建視頻圖像塊Fig. 1 Local Convolutional Reconstruction of Video Image Blocks

由圖1可知,前3幀視頻圖像為輸入數(shù)據(jù),先填充卷積核尺寸、步幅和內(nèi)邊距,依次設(shè)為4,2,1,輸入層的第1層卷積核為4×4×3.設(shè)置成功后,選取線性單元函數(shù),將其作為激活函數(shù).需要注意的是,所有輸入的視頻圖像像素大小皆為128×128.在局部卷積處理的過程中,經(jīng)過激活處理得到64×64像素大小的特征圖,再進(jìn)入下一層特征.同理,依次處理得到包含3 000個(gè)元素的特征向量,以此保證輸出與輸入的視頻圖像均具有空間分辨率.

(3)將重建的圖像塊與原視頻幀融合在一起,即可得到一個(gè)完整幀[6].融合計(jì)算公式為

其中P表示重建圖像塊與原視頻的關(guān)聯(lián)性.在融合時(shí),擬定計(jì)算特征t與估計(jì)相似類比c,從而完成重建的圖像塊與原視頻幀融合.

2 視頻圖像像素空間激活

圖2 激活過程Fig. 2 Activation Process

利用局部卷積方法重建視頻幀和圖像塊后,需要激活視頻圖像像素空間,改善視頻圖像質(zhì)量.激活過程如圖2所示.

建立激活原則:

原則1若被激活的視頻圖像像素空間域與源圖像像素對(duì)應(yīng)區(qū)域相差較大,則需在低像素視頻圖像中突出細(xì)節(jié)和紋理特征.

若該像素空間對(duì)應(yīng)的梯度強(qiáng)度較大,則按照原則1處理[7].

原則2通過像素空間檢測(cè)提取出的源視頻圖像,在理想狀態(tài)下是與源圖像聚焦區(qū)域相對(duì)應(yīng)的.

尋找源圖像聚焦區(qū)域的公式為

Y=J(X),

其中J為圖像聚焦系數(shù),X為源視頻圖像相似數(shù)據(jù)樣本.

原則3將源視頻圖像像素空間與激活后的視頻圖像像素空間作差后,需要檢查紋理和邊緣細(xì)節(jié)信息是否有殘留[8].殘留不明顯,說明該像素空間為源視頻圖像的聚焦區(qū)域;殘留明顯,說明該像素空間為源視頻圖像的離焦區(qū)域.

激活源視頻圖像,得到臨時(shí)視頻像素空間和源視頻圖像像素空間后,計(jì)算視頻圖像各像素鄰域窗口的梯度能量[9].根據(jù)梯度能量大小構(gòu)建決策矩陣,并根據(jù)激活規(guī)則激活源圖像中的對(duì)應(yīng)像素空間.具體激活步驟如下:

(ⅰ)配準(zhǔn)源視頻圖像IA,得到轉(zhuǎn)換后的視頻圖像IB,再將IA和IB轉(zhuǎn)換為列向量,構(gòu)成觀測(cè)矩陣V,

其中:VA為源視頻圖像像素;VB為源視頻轉(zhuǎn)換后的視頻圖像像素;VmnA為m×n的源視頻圖像像素;VmnB為轉(zhuǎn)換后的m×n視頻圖像像素.

(ⅱ)用激活算法分解V.

(ⅲ)將觀測(cè)矩陣V還原成m×n的視頻圖像.該視頻圖像為臨時(shí)激活的視頻圖像[10].

(ⅳ)計(jì)算差異視頻圖像DA和DB的像素E(DA,DB),

確定源視頻圖像像素(m,n)是否處于聚焦區(qū)域內(nèi)[11].若處于聚焦區(qū)域,則可以構(gòu)建臨時(shí)激活視頻圖像與源視頻圖像的相似特征矩陣S[12],

S=(VpVp′),

其中Vp為激活圖像前p點(diǎn)像素特征,Vp′為激活圖像后p點(diǎn)像素特征.

(ⅴ)根據(jù)激活原則,合并源圖像中的聚焦區(qū)域,得到激活后的視頻圖像[13].

3 視頻圖像像素補(bǔ)償

圖3 局部卷積補(bǔ)償方法Fig. 3 Local Convolution Compensation Method

采用局部卷積補(bǔ)償方法實(shí)現(xiàn)圖像像素補(bǔ)償,原理如圖3所示.

局部卷積生成的視頻圖像的內(nèi)插幀會(huì)存在空洞.為了解決這一問題,采用線性均值補(bǔ)償方法將時(shí)域中需要內(nèi)插的視頻幀平均分成若干份,在第1幀和第2幀中的對(duì)稱區(qū)域?qū)ふ移ヅ鋲K(圖3)[14].傳統(tǒng)的視頻圖像像素補(bǔ)償方法最大的缺點(diǎn)在于像素矢量是不精確的,采用線性均值補(bǔ)償方法可以獲得更好的像素補(bǔ)償及高質(zhì)量視頻圖像.線性均值補(bǔ)償方法用公式表示為

其中:fq為源視頻圖像參考幀;vx為搜索獲得的前一幀像素;vy為搜索獲得的后一幀像素.由于利用幀間像素信息可以在線性插幀基礎(chǔ)上完成像素補(bǔ)償,因此能夠有效提高像素分辨率.

為了簡(jiǎn)化線性均值補(bǔ)償方法的計(jì)算過程,假設(shè)視頻圖像幀平面由互不重疊的規(guī)則塊組成,每塊像素模型均代表一個(gè)塊像素矢量,像素矢量代表每一塊的像素情況[15].簡(jiǎn)化公式為

因視頻圖像編碼以宏塊為單位,故將當(dāng)前的參考幀分成若干塊,且為互不重疊的塊.將這些宏塊視為一個(gè)運(yùn)動(dòng)物體,為了方便計(jì)算,設(shè)定宏塊大小為M×M.補(bǔ)償準(zhǔn)則:按照搜索順序,在處理當(dāng)前待插幀的宏塊時(shí),要給定搜索范圍,并按照匹配規(guī)則搜索與當(dāng)前宏塊最匹配的塊[16].搜索最匹配塊的公式為

圖4 塊匹配原理Fig. 4 Block Matching Principle

得到匹配塊后,計(jì)算當(dāng)前塊和宏塊的相對(duì)位置,位移為當(dāng)前宏塊的像素矢量.在通常情況下,參考幀與當(dāng)前幀為前后相鄰的一幀或者多幀[17].當(dāng)前塊和宏塊的原有計(jì)算公式為

其中:g為宏塊位置的定位系數(shù);m為宏塊中圖像幀數(shù)的最大值;zc′為相鄰幀c′的位移.在計(jì)算時(shí),需要注意參考幀與當(dāng)前幀的關(guān)系,若為多幀,則需要先確定搜索范圍,再進(jìn)行搜索.塊匹配原理如圖4所示.根據(jù)塊匹配原理,計(jì)算當(dāng)前塊與宏塊的相對(duì)位置.需要注意的是,分塊大小和搜索窗方位會(huì)影響補(bǔ)償精度.

計(jì)算出當(dāng)前宏塊的位置后,判斷塊匹配原則的性能是否會(huì)影響計(jì)算結(jié)果[18].在局部卷積補(bǔ)償方法中,常用的塊匹配原則有最小準(zhǔn)則和歸一化相關(guān)函數(shù)準(zhǔn)則.定義ft(m,n)與ft+1(m,n)分別為ft和ft+1的灰度值,M×N為宏塊尺寸.根據(jù)最小準(zhǔn)則,最佳匹配塊像素矢量的計(jì)算公式為

其中D表示匹配塊m與n之間的歐式距離[19].

匹配結(jié)束后,劃分高、低相關(guān)區(qū)域,實(shí)現(xiàn)補(bǔ)償塊的高、低相關(guān)劃分.高、低區(qū)域劃分用公式表示為

圖5 視頻圖像高、低相關(guān)區(qū)域劃分Fig. 5 Division of High and Low Correlation Regions in Video Images

設(shè)前一參考幀匹配塊為Blk_FP(ll,rr),后一參考幀匹配塊為Blk_FN(ll,rr),其中(ll,rr)表示視頻圖像塊中像素的相對(duì)坐標(biāo).用前一幀匹配塊像素減去后一幀匹配塊像素,得到灰度值[21],并以此判斷閾值.視頻圖像高、低相關(guān)區(qū)域劃分如圖5所示.

通過圖5求前一幀匹配塊像素減去后一幀匹配塊像素的均值.具體計(jì)算公式為

其中:f(u,y,t)為待插像素灰度值;f(u,y,t-1)為補(bǔ)償后前一幀匹配塊像素;f(u,y,t+1)為補(bǔ)償后后一幀匹配塊像素.

由此,完成局部卷積補(bǔ)償.

圖6 基于局部卷積的視頻圖像像素補(bǔ)償流程Fig. 6 Pixel Compensation Process for Video Images Based on Local Convolution

基于局部卷積的視頻圖像像素補(bǔ)償流程如圖6所示.局部卷積補(bǔ)償方法的具體步驟如下:

(ⅰ)去除視頻幀冗余信息.發(fā)送視頻數(shù)據(jù)前,利用壓縮編碼去除視頻幀冗余信息.通過計(jì)算公式得到冗余信息,將數(shù)據(jù)編碼發(fā)送至目的端,經(jīng)過解碼端重建編碼,即可解碼出完整的視頻文件.

(ⅱ)重建視頻圖像塊.利用局部卷積原理,重建前幾幀視頻圖像塊.選取線性單元函數(shù),將其作為激活函數(shù).處理特征向量,保證輸出與輸入的視頻圖像均具有空間分辨率.

(ⅲ)視頻圖像像素空間激活.激活源視頻圖像,得到臨時(shí)視頻像素空間與源視頻圖像像素空間后,計(jì)算視頻圖像各像素鄰域窗口的梯度能量.根據(jù)梯度能量大小構(gòu)建決策矩陣,再根據(jù)激活規(guī)則激活源圖像中的對(duì)應(yīng)像素空間.

(ⅳ)補(bǔ)償視頻圖像內(nèi)插幀空洞.采用線性均值補(bǔ)償方法,利用幀間像素信息,在線性插幀基礎(chǔ)上實(shí)現(xiàn)像素補(bǔ)償.

(ⅴ)尋找與源視頻圖像待插幀像素對(duì)應(yīng)的匹配塊.按照搜索順序,在處理當(dāng)前待插幀的宏塊時(shí)給定搜索范圍,并按照匹配規(guī)則搜索與當(dāng)前宏塊最匹配的塊.根據(jù)源視頻圖像待插幀當(dāng)前塊的像素矢量,找出對(duì)應(yīng)的匹配塊.

(ⅵ)判斷視頻圖像匹配程度.對(duì)匹配塊中的每個(gè)像素進(jìn)行高、低相關(guān)判斷,再結(jié)合前一參考幀匹配塊和后一幀匹配塊的灰度值來判斷閾值.

4 實(shí)驗(yàn)部分

圖7 視頻圖像樣本Fig. 7 Sample Video Image

4.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

選擇操作系統(tǒng)Windows10,GPU 版本為 NVIDIA GeForce RTX 3060 6 GB ,在Matlab(2015a)平臺(tái)上進(jìn)行對(duì)比實(shí)驗(yàn).設(shè)置實(shí)驗(yàn)組為局部卷積補(bǔ)償方法,對(duì)照組為遙感圖像分類方法[3]、單幅圖像超分辨率重建方法[4]和多尺度遞歸圖像超分辨率重建方法[5].實(shí)驗(yàn)數(shù)據(jù)采集1 000張分辨率為1 280×720 p/60 Hz的日常視頻圖像,通過LabelImg對(duì)每張圖像進(jìn)行標(biāo)注,其中800張圖像用于訓(xùn)練,200張圖像用于測(cè)試.實(shí)驗(yàn)選用紋理簡(jiǎn)單的視頻圖像(圖7)作為樣本.

4.2 實(shí)驗(yàn)指標(biāo)

(1)平均梯度.平均梯度能敏感地反映圖像對(duì)微小細(xì)節(jié)反差表達(dá)的能力,可用來評(píng)價(jià)圖像的模糊程度.平均梯度越大,圖像越清晰,補(bǔ)償效果越好.平均梯度的計(jì)算公式為

H(x,y)=bx(i,j)+by(i,j),

其中b為圖像像素的值,(i,j)為像素的坐標(biāo).

(2)信息熵.信息熵又稱平均自信息量,自信息是從信號(hào)源發(fā)出的消息所包含的信息.信息熵反映了圖像中某種特征的統(tǒng)計(jì)特性,可以描述圖像邊緣信息的變化.信息熵越大,圖像像素補(bǔ)償效果越好.信息熵的計(jì)算公式為

其中pm表示灰度值為m的像素在所有像素中的占比.

(3)圖像像素補(bǔ)償效果.該效果主要判斷處理后的圖像的質(zhì)量,是一種主觀的評(píng)價(jià)方法.利用4種像素補(bǔ)償算法對(duì)樣本圖像進(jìn)行像素補(bǔ)償,從圖像質(zhì)量的變化、是否妨礙觀看等方面,對(duì)輸出圖像質(zhì)量進(jìn)行對(duì)比.

4.3 實(shí)驗(yàn)結(jié)果

4.3.1 平均梯度對(duì)比 4種算法處理后的視頻圖像的平均梯度見表1.

表1 4種像素補(bǔ)償方法的平均梯度Table 1 Average Gradient of Four Pixel Compensation Methods

由表1可知,3種傳統(tǒng)處理方法處理后視頻圖像的平均梯度均小于9,而局部卷積補(bǔ)償方法處理后的平均梯度為11.239,說明局部卷積補(bǔ)償方法的圖像補(bǔ)償效果最好.這是因?yàn)?種傳統(tǒng)方法在計(jì)算過程中未考慮邊緣方向,缺少多發(fā)方向性,從而導(dǎo)致最終的像素補(bǔ)償效果不佳.

4.3.2 信息熵對(duì)比 4種算法處理后的視頻圖像信息熵見表2.

表2 4種像素補(bǔ)償方法的信息熵Table 2 Information Entropy of Four Pixel Compensation Methods

由表2可知,局部卷積補(bǔ)償方法處理后的視頻圖像的信息熵為8.665,大于其他3種傳統(tǒng)方法的處理結(jié)果,說明局部卷積補(bǔ)償方法能更有效地反映出邊緣信息.這是因?yàn)?局部卷積補(bǔ)償方法在計(jì)算過程中考慮了視頻圖像邊緣的方向和視頻圖像像素的全局相關(guān)性,從而獲得較好的圖像邊緣信息,有效提高視頻圖像空間分辨率.

4.3.3 視頻圖像像素補(bǔ)償效果對(duì)比 4種算法的視頻圖像像素補(bǔ)償效果如圖8所示.

圖8 不同像素補(bǔ)償方法的視頻圖像像素補(bǔ)償效果Fig. 8 Video Image Compensation Effects of Different Pixel Compensation Algorithms

由圖8可知:遙感圖像分類方法的補(bǔ)償效果圖灰度大,補(bǔ)償效果不明顯;單幅圖像超分辨率重建方法的補(bǔ)償效果圖明暗度區(qū)分不明顯,細(xì)節(jié)顯示不清晰;多尺度遞歸圖像超分辨率重建方法的補(bǔ)償效果圖出現(xiàn)曝光過度的情況,且圖像邊緣細(xì)節(jié)粗糙;局部卷積補(bǔ)償方法的補(bǔ)償效果圖不僅細(xì)節(jié)清晰,而且明暗度區(qū)分明顯,分辨率高,效果最佳.

5 結(jié)語(yǔ)

為了修復(fù)高速運(yùn)動(dòng)目標(biāo)視頻圖像的缺失像素,提出了一種局部卷積補(bǔ)償方法.采用局部卷積方法重建視頻圖像,再利用激活方法激活視頻圖像像素空間.局部卷積補(bǔ)償方法能有效完成動(dòng)態(tài)連續(xù)性視頻圖像的補(bǔ)償,在監(jiān)控領(lǐng)域具有較好的實(shí)際應(yīng)用價(jià)值.但由于局部卷積補(bǔ)償方法主要關(guān)注目標(biāo)像素的鄰域信息,因此可能導(dǎo)致其在處理全局信息以及長(zhǎng)程依賴方面表現(xiàn)不佳.為了提升像素補(bǔ)償?shù)木_性和魯棒性,下一步研究考慮將局部卷積方法與全局信息融合方法結(jié)合,以更好地增強(qiáng)長(zhǎng)程依賴性和全局一致性.