高色彩飽和度視頻序列過渡幀合成仿真優(yōu)化

楊舒悅，劉維浩

(1.南昌大學(xué)，江西南昌330031；2.培材大學(xué)，韓國030008)

1 引言

視頻色彩飽和度指的是視頻內(nèi)色彩的鮮艷程度，在HSV色彩模型的視角下，色彩飽和度的取值范圍在0～100%，飽和度數(shù)值越大則表明色彩飽和度的等級越高[1]。視頻序列能夠?qū)⒂袝r空聯(lián)系的視頻圖像按照一定的順序進行排列組合，在定義了視頻的起始關(guān)鍵幀和結(jié)束關(guān)鍵幀后，兩者之間的幀則定義為過渡幀[2]。隨著多媒體以及網(wǎng)絡(luò)技術(shù)發(fā)展，視頻處理技術(shù)已成成為了當(dāng)今研究的熱點，視頻領(lǐng)域內(nèi)存在著多種格式的過渡幀，根據(jù)視頻序列的需求合成處理過渡幀已經(jīng)成為了研究難點[3]。為此研究一種高色彩飽和度視頻序列過渡幀合成仿真優(yōu)化方法，國外在研究過渡幀合成較早，自20世紀80年代開始，如今已經(jīng)研究的到了多種幀率處理技術(shù)，在仿真優(yōu)化過渡幀合成技術(shù)上也獲得了多個分析模型。國內(nèi)研究視頻序列過渡幀起步較晚，在仿真優(yōu)化過渡幀的合成還處于起步階段[4]。綜合國內(nèi)外的研究成果來看，仿真優(yōu)化高色彩飽和度視頻序列過渡幀合成是很有必要的，為此提出高色彩飽和度視頻序列過渡幀合成仿真優(yōu)化。

2 高色彩飽和度視頻序列過渡幀合成仿真優(yōu)化

2.1 獲取高色彩飽和度視頻序列過渡幀

定義視頻內(nèi)的起始關(guān)鍵幀，以視頻內(nèi)的起始關(guān)鍵幀作為研究起點，轉(zhuǎn)換處理含有色彩飽和度的像素點[5]，轉(zhuǎn)換處理過程就可表示為

(1)

(2)

上述計算公式中，T表示視頻幀的重復(fù)周期參數(shù)，其余參數(shù)含義不變。隨著過渡幀的不斷推移，為了控制序列質(zhì)量，在視頻序列的播放刻度下，設(shè)定實際的插幀位置，設(shè)定的插幀位置如圖1所示。

圖1 設(shè)定的過渡幀插幀位置

在圖1所示的插幀位置下，為了將單位幀劃分為不重疊的塊，計算各個幀塊之間的歐式距離，計算公式就可表示為：

(3)

其中，m×n表示單位的幀塊，(dx，dy)表示選定視頻幀的位置，I(m，n)表示選定幀像素的亮度值。根據(jù)上述計算公式得到歐氏距離大小，以中間像素數(shù)值作為對比，劃定像素亮度數(shù)值大于中間像素數(shù)值的作為高色彩飽和度視頻序列[6]，整合該部分高色彩飽和度的視頻序列作為處理對象，為了消除相同色彩飽和度的視頻幀中運動矢量的一致性[7]，采用遞歸搜索處理獲得的高色彩飽和度視頻序列，控制其在空間與時間上的一致性，根據(jù)視頻序列過渡幀運動矢量的收斂性，控制視頻序列內(nèi)的物體處于單一的遞歸方向后，將當(dāng)前視頻序列處理為一個矢量集。將該矢量集作為獲取高色彩飽和度視頻序列過渡幀集合，以該集合作為處理基礎(chǔ)，仿真過渡幀合成過程。

2.2 仿真過渡幀合成過程

仿真過渡幀合成過程時，根據(jù)上述得到的過渡幀集合，綜合過渡幀集合的大小，設(shè)定一個靈活尺寸的窗口，定義最佳匹配過渡幀間的相對位移量，根據(jù)選擇不同的起始幀，設(shè)定向前與向后的運動仿真窗口，設(shè)定的仿真窗口如圖2所示。

圖2 設(shè)定的仿真窗口

在圖2所示的仿真窗口下，定義兩種單一仿真方向涉及的圖像塊數(shù)量后，計算相同運動軌跡的參考塊與過渡幀間的交匯位置，計算公式可表示為

(4)

其中，λ表示自適應(yīng)調(diào)節(jié)函數(shù)，?u表示軌跡邊緣梯度參數(shù)，k表示調(diào)節(jié)參數(shù)。以該交匯位置作為仿真窗口與過渡幀合成的開始點，為了控制仿真窗口與過渡幀合成間的匹配[8]，使用全搜索運動估計對過渡幀中所有的點進行搜索，為了降低搜索過程產(chǎn)生的復(fù)雜度，設(shè)定一個標準像素塊消除過程，搜索幀產(chǎn)生的冗余計算量，消除過程就可表示為

|R-M(x，y)|≤MAD(x，y)

(5)

其中，R表示搜索參數(shù)，M(x，y)表示過渡幀的位置，MAD(x，y)表示標準像素塊的位置。消除該部分冗余計算量后，將剩余的搜索幀作為仿真窗口的內(nèi)插幀，使用MVF處理技術(shù)處理內(nèi)插幀為一個運動的矢量場，濾波處理該矢量場后，使用自適應(yīng)加權(quán)矢量中值濾波算法控制仿真窗口與過渡幀間的精度處于一個固定的數(shù)值區(qū)間內(nèi)[9]，采用4×4塊的仿真窗口在該區(qū)間內(nèi)作用，當(dāng)仿真窗口處理的合成塊處于過渡幀的邊界時，投影處理該過渡幀的運動矢量，投影處理過程如圖3所示。

圖3 投影處理過程

在上圖所示的投影處理下，根據(jù)運動矢量在二維坐標系中表現(xiàn)出的正負數(shù)值的絕對值，分類處理窗口未處理的過渡幀，當(dāng)過渡幀的矢量不再發(fā)生變化時，則表示仿真窗口完成了對過渡幀合成過程的仿真[10]。在上述過渡仿真過程內(nèi)設(shè)定一個優(yōu)化參數(shù)，增強仿真過程的魯棒性。

2.3 設(shè)定合成仿真優(yōu)化參數(shù)

根據(jù)上述設(shè)定的仿真過渡幀合成過程可知，在仿真窗口處理過程中，窗口的仿真參數(shù)會隨著移動過程產(chǎn)生一定的衰減，不同階段的仿真窗口存在一定的偏差，計算該部分產(chǎn)生的偏差，計算公式可表示為

(6)

其中，η表示仿真窗口的二階矩均值，β1表示仿真窗口的移動數(shù)值，gt表示衰減參數(shù)。根據(jù)該偏差參數(shù)可知，仿真參數(shù)的衰減對過渡幀產(chǎn)生了一定的像素誤差，影響了仿真結(jié)果得到的量化指標[11]。為此在仿真參數(shù)內(nèi)設(shè)定一個固定的范數(shù)，控制產(chǎn)生的像素誤差。以相近的過渡幀作為處理對象，設(shè)定真實的仿真中間幀為It，計算該部分損失，計算公式就可表示為

(7)

圖4 設(shè)定的感知模擬過程

在圖4所示的感知模擬過程下，將仿真窗口處理過的過渡幀看作為一個池化層，聯(lián)合上述計算式(7)，計算得到仿真過程產(chǎn)生的感知損失，計算公式可表示為

(8)

3 實驗

3.1 實驗準備

選取時長為30分鐘的高色彩飽和度視頻，根據(jù)各個幀之間的時空相鄰塊之間的位置，連續(xù)采樣100幀，采集過程可表示為圖5。

圖5 設(shè)定的過渡幀采集過程

在圖5所示的采集過程下，將不同幀之間的過渡作為實驗對象，將10幀作為一個測試組，設(shè)定測試組的參數(shù)，參數(shù)結(jié)果如表1所示。

表1 設(shè)定的視頻幀參數(shù)

以上表所示的視頻幀參數(shù)作為實驗對象，分別使用傳統(tǒng)仿真優(yōu)化方法、文獻[2]中的仿真優(yōu)化方法以及文中設(shè)計的仿真優(yōu)化方法進行實驗，對比三種仿真優(yōu)化方法的性能。

3.2 實驗結(jié)果及分析

基于上述實驗準備，選擇上表1中50幀的圖像進行處理，定義三種仿真優(yōu)化方法處理后的視頻序列信噪比可計算得到

(9)

圖6 三種仿真優(yōu)化方法信噪比結(jié)果

由圖6所示的信噪比結(jié)果可知，在三種仿真優(yōu)化方法的控制下，隨著仿真優(yōu)化幀數(shù)不斷地增加，傳統(tǒng)合成優(yōu)化方法仿真優(yōu)化的信噪比數(shù)值的數(shù)值最小，文獻[2]中的仿真優(yōu)化方法仿真優(yōu)化后的視頻序列信噪比數(shù)值大于傳統(tǒng)仿真優(yōu)化方法，而文中設(shè)計的仿真優(yōu)化方法，與兩種現(xiàn)有的仿真優(yōu)化方法相比，實際仿真優(yōu)化的信噪比數(shù)值最大，合成得到的視頻序列圖像質(zhì)量最強。

保持上述實驗環(huán)境不變，以三種仿真優(yōu)化方法的信噪比數(shù)值作為變量，設(shè)定其變量區(qū)間在10～60dB之間，統(tǒng)計三種仿真優(yōu)化方法實際編碼處理過渡幀的時間，時間結(jié)果如表2所示。

表2 三種仿真優(yōu)化方法的編碼處理時間

由表2所示的實驗結(jié)果可知，設(shè)定固定的視頻序列信噪比數(shù)值區(qū)間后，統(tǒng)計三種仿真優(yōu)化方法的處理時間，根據(jù)表中的時間結(jié)果可知，傳統(tǒng)仿真優(yōu)化方法平均編碼時間在340s左右，所需的編碼時間最長。文獻[2]中的仿真優(yōu)化方法的平均編碼時間在225s左右，實際編碼時間較短，而文中設(shè)計的仿真優(yōu)化方法所需的平均編碼時間在110s左右，與兩種現(xiàn)有的仿真優(yōu)化相比，該種仿真優(yōu)化方法編碼過渡幀所需的時間最短。

在上述實驗環(huán)境下，選定實驗準備所有測試組中的視頻幀，使用上述計算式(9)計算視頻幀的信噪比數(shù)值，計算各個測試組內(nèi)過渡幀的比特率，計算公式可表示為

(10)

其中，T表示仿真優(yōu)化的處理時間，ε表示過渡幀的參數(shù)，其余參數(shù)含義不變。使用上述計算公式計算三種仿真優(yōu)化方法的比特率，比特率結(jié)果如表3所示。

表3 三種仿真優(yōu)化方法的比特率結(jié)果

由表3所示的實驗結(jié)果可知，在相同數(shù)量及相同信噪比數(shù)值的視頻幀作為實驗對象，三種仿真優(yōu)化方法表現(xiàn)出了不同大小的比特率結(jié)果，根據(jù)上表中的數(shù)值可知，傳統(tǒng)仿真優(yōu)化方法得到的比特率數(shù)值最小，對應(yīng)仿真優(yōu)化過程傳送處理的過渡幀數(shù)據(jù)量最小，文獻[2]中的仿真優(yōu)化方法得到的比特率數(shù)值較大，對應(yīng)仿真優(yōu)化傳送處理過渡幀的數(shù)據(jù)量也較大，而文中設(shè)計的仿真優(yōu)化方法得到的比特率數(shù)值最大，對應(yīng)傳送處理過渡幀的數(shù)據(jù)量最大，與兩種現(xiàn)有的仿真優(yōu)化方法相比，文中設(shè)計的仿真優(yōu)化方法可處理過渡幀數(shù)據(jù)量最大。綜合上述實驗結(jié)果可知，文中設(shè)計的仿真優(yōu)化方法得到的視頻序列過渡幀信噪比數(shù)值最大、編碼處理時間最短且得到的比特率數(shù)值最大，適合實際在實際處理中使用。

4 結(jié)束語

在視頻處理技術(shù)不斷的發(fā)展下，對高色彩飽和度視頻序列過渡幀合成仿真優(yōu)化成為了研究熱點，文中提出的仿真優(yōu)化方法，經(jīng)實驗研究證明，能夠一定程度地改善現(xiàn)有仿真優(yōu)化方法的不足，能夠為今后仿真優(yōu)化視頻序列過渡幀的合成提供一定的研究方向。