無(wú)參考視頻平滑度的評(píng)價(jià)方法

王海暉，盧培磊，吳云韜，陳雙玉，孫志宏

1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室（武漢工程大學(xué)），湖北 武漢 430205

無(wú)參考視頻平滑度的評(píng)價(jià)方法

王海暉1，2，盧培磊1，2，吳云韜1，2，陳雙玉1，孫志宏1

1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205；2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室（武漢工程大學(xué)），湖北 武漢 430205

為了客觀地評(píng)價(jià)視頻圖像的質(zhì)量，提出了一種基于無(wú)參考視頻平滑度的評(píng)價(jià)方法.該方法使用ORB（Oriented FAST and Rotated BRIEF）特征點(diǎn)來(lái)描述視頻幀，并通過(guò)使用仿射變換和FLANN（Fast Library for Approximate Nearest Neighbors）算法，得出相鄰兩幅視頻幀中特征序列的平移軌跡和旋轉(zhuǎn)軌跡，然后對(duì)軌跡進(jìn)行高斯濾波和計(jì)算其抖動(dòng)次數(shù)，最后計(jì)算出整個(gè)視頻序列相鄰兩幀圖像的參數(shù)序列，并得出視頻平滑度.由于該算法無(wú)需借助任何參考圖像，僅依靠待評(píng)價(jià)圖像本身的信息就可以進(jìn)行質(zhì)量評(píng)價(jià)，因此使用更加簡(jiǎn)便.與標(biāo)準(zhǔn)視頻圖像檢測(cè)結(jié)果相比，采用該方法所得出的檢測(cè)結(jié)果具有極高的吻合度，完全滿足實(shí)用性要求.

視頻平滑度；ORB特征；仿射變換；平滑度評(píng)價(jià)

0 引言

隨著互聯(lián)網(wǎng)技術(shù)和移動(dòng)終端技術(shù)的發(fā)展，人們獲取多媒體信息的需求日益增多，尤其是和視頻有關(guān)的應(yīng)用領(lǐng)域，視頻的產(chǎn)量也明顯增加，因此人們也提高了對(duì)視頻的質(zhì)量要求.因?yàn)橐曨l所包含的信息量很大，僅僅依靠人眼判斷視頻的質(zhì)量費(fèi)時(shí)費(fèi)力，不適合大規(guī)模實(shí)際應(yīng)用，因此使用計(jì)算機(jī)技術(shù)來(lái)完成對(duì)視頻的質(zhì)量的自動(dòng)評(píng)價(jià)成為發(fā)展趨勢(shì).視頻質(zhì)量評(píng)價(jià)算法分為全參考型評(píng)價(jià)算法、部分參考型評(píng)價(jià)算法和無(wú)參考型評(píng)價(jià)算法三大類，在過(guò)去20年中，學(xué)術(shù)界對(duì)視頻質(zhì)量評(píng)價(jià)方法的研究主要集中在全參考方法和部分參考方法上，并取得了一定的進(jìn)展［1－4］.全參考方法需要利用完整的沒(méi)有失真的原始視頻，部分參考方法也需要利用原始視頻相關(guān)的部分信息，是一種算法靈活性和結(jié)果準(zhǔn)確性的折中方案［5］，而無(wú)參考方法只根據(jù)待評(píng)價(jià)視頻，可以完全脫離基準(zhǔn)視頻來(lái)對(duì)目標(biāo)視頻進(jìn)行質(zhì)量評(píng)價(jià).相比之下，不需要任何原始視頻相關(guān)的信息，直接根據(jù)待評(píng)價(jià)視頻的信息評(píng)價(jià)視頻質(zhì)量的無(wú)參考方法，具有更好的靈活性和通用性，以及更廣泛的應(yīng)用價(jià)值.本文提出了無(wú)參考視頻平滑度的評(píng)價(jià)方法對(duì)視頻的平滑度評(píng)估來(lái)完善補(bǔ)充對(duì)視頻質(zhì)量的評(píng)價(jià).也正是在這樣的背景原因下，對(duì)無(wú)參考視頻平滑度評(píng)價(jià)方法進(jìn)行深入研究，進(jìn)一步補(bǔ)充了對(duì)視頻質(zhì)量的評(píng)價(jià)方法，具有重要的理論意義和應(yīng)用價(jià)值.

1 實(shí)驗(yàn)部分

1.1 ORB特征算子

ORB算法英文全稱為Oriented FAST and Rotated BRIEF，它基于FAST（Features from Accelerated Segment Test）關(guān)鍵點(diǎn)檢測(cè)算法及BRIEF（Bi nary Robust Independent Elementary Feature）特征提取算法，主要解決BRIEF算法對(duì)噪聲敏感及不具備旋轉(zhuǎn)不變性的缺陷.FAST關(guān)鍵點(diǎn)檢測(cè)算法由于其計(jì)算復(fù)雜度低、關(guān)鍵點(diǎn)檢測(cè)穩(wěn)定等特點(diǎn)被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域，如目標(biāo)跟蹤、對(duì)象檢測(cè)、圖像對(duì)齊與拼接等.ORB算法中利用FAST關(guān)鍵點(diǎn)檢測(cè)算法的高效性以保證算法的實(shí)時(shí)性并采用圖像金字塔實(shí)現(xiàn)方式對(duì)以提取具有多尺度特征的FAST關(guān)鍵點(diǎn).對(duì)于特征描述子，ORB算法繼承了Rotated BRIEF算法速度快，對(duì)光照、模糊及透視失真（perspective distortion）等較強(qiáng)的魯棒性等優(yōu)點(diǎn)，同時(shí)又增強(qiáng)了算法對(duì)噪聲及旋轉(zhuǎn)的魯棒性.BRIEF描述子通過(guò)一個(gè)二進(jìn)制串描述某個(gè)圖像塊，該二進(jìn)制串的構(gòu)造方式如下：

其中p（x）表示點(diǎn)x處圖像塊p的灰度值.ORB算法中采用5×5的子窗口作為測(cè)試點(diǎn)，圖像塊大小為31×31，n取值為256.由于BEIEF算法在圖像發(fā)生內(nèi)平面旋轉(zhuǎn)時(shí)，算法性能將急速下降，為解決這個(gè)問(wèn)題，ORB算法中提出一種稱之為Steered BRIEF的算法，它在特征點(diǎn)位置（xi，yi）構(gòu)造一個(gè)2×n的矩陣S：

利用圖像塊的主方向θ及對(duì)應(yīng)的旋轉(zhuǎn)矩陣Rθ構(gòu)造Steered版本的S：

其中圖像塊的主方向θ通過(guò)灰度中心（intensity centroid）［6］法計(jì)算得到，公式如下：

式（5）~（7）中mpq表示點(diǎn)（x，y）處的力矩（moments），C表示圖像塊的中心，θ表示圖像塊的主方向.因此，ORB算法所得到的描述子為

算法將360°方向分成30份，并預(yù)先構(gòu)造BRIEF模式的查找表，以加速ORB描述子的生成.

1.2 ORB特征算子的匹配和篩選

利用ORB特征對(duì)圖像進(jìn)行特征提取描述，為計(jì)算兩幅圖像間的平移、旋轉(zhuǎn)需要對(duì)相鄰兩幅圖像的特征點(diǎn)進(jìn)行匹配，F(xiàn)LANN算法已經(jīng)在計(jì)算機(jī)視覺(jué)領(lǐng)域有著廣泛的應(yīng)用，本文同樣采用FLANN算法進(jìn)行特征點(diǎn)的匹配.圖1給出了基于FLANN特征點(diǎn)匹配的視頻中相鄰兩幅圖像特征匹配效果.從圖1中可以看到，特征點(diǎn)大部分匹配比較正確，但其中也存在著一些誤匹配的點(diǎn).為排除這些誤匹配點(diǎn)給后續(xù)運(yùn)動(dòng)參數(shù)估計(jì)帶來(lái)的影響，需要對(duì)誤匹配的特征點(diǎn)進(jìn)行剔除.剔除方法為：求所有匹配特征點(diǎn)兩兩之間的距離，取得其距離的最小值記為min＿dist，將特征點(diǎn)距離大于N·min＿dist的特征點(diǎn)進(jìn)行剔除，N取值一般取6～10即可.圖2給出了特征點(diǎn)篩選后的匹配效果，從圖2中可以看出，經(jīng)過(guò)篩選后的匹配的特征點(diǎn)已經(jīng)不存在誤匹配問(wèn)題.

圖1 ORB特征點(diǎn)匹配效果圖Fig.1 ORB feature point matching renderings

圖2 特征點(diǎn)篩選后的匹配效果圖Fig.2 Results of matching the feature points after screening

1.3 視頻運(yùn)動(dòng)估計(jì)

運(yùn)動(dòng)估計(jì)是指通過(guò)對(duì)提取相鄰兩幀圖像的特征點(diǎn)，然后根據(jù)這些特征點(diǎn)計(jì)算圖像的運(yùn)動(dòng)參數(shù)即平移、旋轉(zhuǎn)、尺度變化等.因此，通常對(duì)圖像間的運(yùn)動(dòng)進(jìn)行建模，模型的選取對(duì)運(yùn)動(dòng)估計(jì)有著十分重要的影響，模型一般可以分為兩種：二維運(yùn)動(dòng)模型和三維運(yùn)動(dòng)模型.

由于移動(dòng)攝像頭得到的視頻圖像運(yùn)動(dòng)主要是二維平面的，這里使用二維運(yùn)動(dòng)模型.通常利用仿射變換便能夠滿足實(shí)際應(yīng)用中的需求，仿射變換模型定義如下：

其中（x，y）表示第一幅圖像中的像素點(diǎn)，（x′，y′）表示視頻序列中相鄰的第二幅圖像中的像素點(diǎn)，矩陣A稱為仿射變換矩陣也稱為單應(yīng)性（Homog raphy）矩陣，m13和m23用于描述視頻序列中相鄰兩幅圖像間的平移運(yùn)動(dòng)，m11、m12、m21及m22則用于描述相鄰兩幅圖像間的尺度變化和旋轉(zhuǎn)運(yùn)動(dòng)，因此要計(jì)算兩幅圖像間的仿射變換需要計(jì)算6個(gè)參數(shù).通過(guò)前述的特征點(diǎn)匹配與篩選過(guò)程，可以得到篩選后的特征點(diǎn)，由于受篩選參數(shù)選取等的情況，篩選后的特征點(diǎn)誤匹配特征點(diǎn)數(shù)可能仍然會(huì)存在，因此在求解單應(yīng)性矩陣A時(shí)通過(guò)會(huì)利用RANSAC算法排除這些仍然沒(méi)有被剔除的特征點(diǎn)，以減小其對(duì)求解結(jié)果的影響.RANSAC算法是隨機(jī)抽樣一致性算法（Random Sample Consensus）的簡(jiǎn)稱，它由Fischler和Bolles于1981年提出［7］，它主要用于對(duì)存在外點(diǎn)（Outlier）的數(shù)據(jù)集進(jìn)行迭代模型參數(shù)估計(jì)，它是一種非確定性的算法但隨著迭代次數(shù)的增加能夠得到精確的估計(jì)結(jié)果.反映在本算法中則是將所有正確匹配的特征點(diǎn)看作是內(nèi)點(diǎn)（Inlier）即符合整個(gè)模型要求解的參數(shù)，則那些誤匹配的特征點(diǎn)則看作是外點(diǎn)，在求解單應(yīng)性矩陣時(shí)將這些外點(diǎn)排除在外以精確求解兩幅圖像間的運(yùn)動(dòng)參數(shù).利用RANSAC算法求解單應(yīng)性矩陣A的流程如下：

（1）從匹配的ORB特征點(diǎn)對(duì)中隨機(jī)抽4個(gè)匹配的特征點(diǎn)對(duì)作為一個(gè)RANSAC樣本.

（2）利用這4個(gè)匹配的ORB特征點(diǎn)對(duì)計(jì)算單應(yīng)性矩陣A.

（3）利用ORB特征點(diǎn)對(duì)集、單應(yīng)性矩陣A及誤差度量函數(shù)計(jì)算滿足當(dāng)前單應(yīng)性矩陣.

A的一致集consensus，并返回一致集中元素個(gè)數(shù).

（4）如果當(dāng)前一致集中元素個(gè)數(shù)大于某個(gè)閾值，則認(rèn)為它是最優(yōu)一致集，并利用此一致集對(duì)當(dāng)前最優(yōu)一致集進(jìn)行更新.

（5）更新當(dāng)前錯(cuò)誤概率p，如果p大于設(shè)定的最小錯(cuò)誤概率則重復(fù)（1）至（4）繼續(xù)迭代，直到當(dāng)前錯(cuò)誤概率p小于最小錯(cuò)誤概率.得到單性矩陣A值后，便可以得到其兩幅圖像間相應(yīng)的運(yùn)動(dòng)參數(shù)，設(shè)前一幀圖像為I，當(dāng)前幀圖像為J，則其運(yùn)動(dòng)參數(shù)可以通過(guò)下列公式求解.

其中X、Y分別表示原始圖像I的中心點(diǎn)，Height、Width分別表示圖像的高、寬，Dx、Dy分別表示圖像水平、垂直方向的位移，θ表示圖像間的旋轉(zhuǎn)角度變化.

1.4 視頻抖動(dòng)檢測(cè)

將視頻序列中所有兩兩相鄰圖像間的位移及旋轉(zhuǎn)角度求解出來(lái)便得到整個(gè)視頻序列的平移、旋轉(zhuǎn)軌跡，記D＝［Dx，Dy］有

其中N表示視頻序列總幀數(shù)，DN－1表示第N－1幅視頻圖像與第N幅視頻圖像間的平移向量，θN－1表示第N－1幅視頻圖像與第N幅圖像間的旋轉(zhuǎn)角度.K．Y Lee等［8］指出，如果視頻序列中圖像存在抖動(dòng)，則其估計(jì)得到的運(yùn)動(dòng)軌跡包含高頻噪聲部分，這部分高頻噪聲是視頻獲取過(guò)程中攝像機(jī)隨機(jī)抖動(dòng)所產(chǎn)生的，這些高頻噪聲可以通過(guò)低通濾波器進(jìn)行去除.去除噪聲后的運(yùn)動(dòng)軌跡反映的是攝像機(jī)自然運(yùn)動(dòng)軌跡，而不包括隨機(jī)抖動(dòng)，有多種低通濾波器可以進(jìn)行該操作，最常用的主要包括：均值濾波器、卡爾曼濾波器、擴(kuò)展的卡爾曼濾波器及高斯濾波器等.其中高斯濾波器由于其簡(jiǎn)單、高效且可以消除累積誤差等優(yōu)點(diǎn)，被廣泛用于圖像處理及信號(hào)濾波等應(yīng)用場(chǎng)景［9］，高斯濾波器的定義如下：

對(duì)視頻序列的運(yùn)動(dòng)軌跡進(jìn)行高斯平滑有：

其中DSTajectoty、θSTajectoty表示平滑后的平移、旋轉(zhuǎn)運(yùn)動(dòng)軌跡，N表示與圖像前后兩相鄰的若干幅圖像，例如對(duì)于第i幅圖像，N取值可以為2M，即圖像i前M幅圖像與i后M幅圖像間的運(yùn)動(dòng)軌跡都被高斯濾波器覆蓋.

圖3給出了無(wú)抖動(dòng)的Bolt視頻序列部分圖像.該視頻序列用于對(duì)百米賽跑道上的參賽者進(jìn)行跟蹤監(jiān)控，攝像頭變化比較平滑，視頻不存在抖動(dòng)，視頻質(zhì)量較高.圖4給出了利用前述基于ORB特征點(diǎn)的視頻運(yùn)動(dòng)估計(jì)得到的圖像平移運(yùn)動(dòng)軌跡，觀察其軌跡可以清晰地看出視頻序列位移變化比較均勻、有規(guī)律，視頻中各幀圖像間的位移不存在突變情況，從圖4中可以看出，該視頻序列不存在平移抖動(dòng).圖5給出了高斯平滑后的平移軌跡.對(duì)比圖4和圖5可知，高斯平滑前后的軌跡變化較小，即平滑后與平滑前的軌跡差異較小，這主要是因?yàn)锽olt視頻序列中幾乎不存在抖動(dòng)情況，從而其平移運(yùn)動(dòng)軌跡中不存在高頻噪聲.

圖6給出了利用前述基于ORB特征點(diǎn)的視頻運(yùn)動(dòng)估計(jì)得到的圖像旋轉(zhuǎn)運(yùn)動(dòng)軌跡（圖像值均為sinθ值），從圖6中可以看出圖像旋轉(zhuǎn)變化也很有規(guī)律，解度變化突變情況幾乎不存在，由圖6可以判斷，該視頻序列不存在旋轉(zhuǎn)抖動(dòng).

圖7給出了Bolt視頻序列平滑后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡，對(duì)比圖6與圖7可以看到，平滑前后其運(yùn)動(dòng)軌跡差異比較小，原因在于視頻旋轉(zhuǎn)變化比較均勻有規(guī)律，視頻中不存在因?yàn)樾D(zhuǎn)抖動(dòng)而造成的高頻噪聲.

圖3 無(wú)抖動(dòng)的Bolt視頻序列部分圖像Fig.3 Some images Jitter-free Bolt video sequence part of the image

圖4 無(wú)抖動(dòng)的Bolt視頻序列對(duì)應(yīng)的平移運(yùn)動(dòng)軌跡Fig.4 Translational trajectory for the jitter－free Bolt video sequence.

圖5 無(wú)抖動(dòng)的Bolt視頻序列對(duì)應(yīng)平滑后的平移運(yùn)動(dòng)軌跡Fig.5 Smoothed translational trajectory for the jitter－free Bolt video sequence.

圖6 無(wú)抖動(dòng)的Bolt視頻序列對(duì)應(yīng)的旋轉(zhuǎn)運(yùn)動(dòng)軌跡Fig.6 Rotational trajectory for the jitter－free Bolt video sequence

圖7 無(wú)抖動(dòng)的Bolt視頻序列對(duì)應(yīng)平滑后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡Fig.7 Smoothed rotational trajectory for the jitter－free Bolt video sequence

圖8給出了存在比較嚴(yán)重的抖動(dòng)的移動(dòng)視頻的平移運(yùn)動(dòng)軌跡，從圖8中可以看出，圖像間的平移變化是不均勻的，某些幀間的平移變化突然變小，某些幀間的平移變化又突然變大，這種平移變化是跳躍性的，直觀地看，該視頻序列明顯存在抖動(dòng)；圖9給出了抖動(dòng)的視頻序列平滑后的平移運(yùn)動(dòng)軌跡，對(duì)比圖8與圖9可以明顯發(fā)現(xiàn)，平滑前后的運(yùn)動(dòng)軌跡有著非常顯著的差異，平滑后的平移運(yùn)動(dòng)軌跡中平移變化的突變明顯減少，運(yùn)動(dòng)軌跡更為平滑有序，分析其原因不難發(fā)現(xiàn)，視頻序列中存在著較為嚴(yán)重的平移抖動(dòng)，這些抖動(dòng)包括在高頻噪聲部分，利用高斯濾波器能夠?qū)⑦@些高頻噪聲去除從而反映自然狀態(tài)下攝像機(jī)的運(yùn)動(dòng)軌跡.圖10給出了抖動(dòng)的移動(dòng)視頻序列的旋轉(zhuǎn)運(yùn)動(dòng)軌跡（圖中給出的是sinθ值的變化），從圖10中也可以看出，某些幀間旋轉(zhuǎn)角度變化較小，某些幀間的旋轉(zhuǎn)變化角度又太大，也呈跳躍性的變化，產(chǎn)生這一問(wèn)題的原因在于視頻序列中的圖像間存在著一定的旋轉(zhuǎn)抖動(dòng)，這些抖動(dòng)造成旋轉(zhuǎn)角度不規(guī)則變化；圖11給出了抖動(dòng)的移動(dòng)視頻序列平滑后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡，對(duì)比圖10與圖11可知，平滑后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡更為平滑、有序列，不存在平滑前的跳躍式變化的情況，原因在于視頻序列圖像間存在著一定的旋轉(zhuǎn)抖動(dòng)，這些抖動(dòng)包含在運(yùn)動(dòng)軌跡的高頻噪聲部分，利用高斯低通濾波器處理能夠有效地去除這部分高頻噪聲，從而還原真實(shí)的旋轉(zhuǎn)運(yùn)動(dòng)軌跡.

綜上分析可知，要檢測(cè)視頻中是否存在抖動(dòng)，只要利用提取視頻序列中各圖像中的ORB特征點(diǎn)，并通過(guò)相鄰兩幅圖像間匹配的特征點(diǎn)求取其運(yùn)動(dòng)參數(shù)（平移、旋轉(zhuǎn)），得到整個(gè)視頻序列的運(yùn)動(dòng)參數(shù)之后，生成其運(yùn)動(dòng)軌跡，利用高斯濾波器對(duì)運(yùn)動(dòng)軌跡進(jìn)行濾波處理，得到平滑后的平移運(yùn)動(dòng)軌跡、旋轉(zhuǎn)運(yùn)動(dòng)軌跡，其符號(hào)定義為：

求解平滑后幀間運(yùn)動(dòng)的平均值為

若圖像中存在DS，i＞m·Daverage（i＝1，…N－1）則表示視頻序列中存在平移抖動(dòng)，若圖像中存在θS，i＞m·θaverage（i＝1，…N－1）則表示視頻序列中存在旋轉(zhuǎn)抖動(dòng)，m表示調(diào)整系數(shù)，取值范圍一般為1～1．2.

圖8 帶抖動(dòng)的移動(dòng)視頻的平移運(yùn)動(dòng)軌跡Fig.8 Translational trajectory for the mobile video containing jitter

圖9 帶抖動(dòng)的移動(dòng)視頻平滑后的平移運(yùn)動(dòng)軌跡Fig.9 Smoothed translational trajectory for the mobile video sequence containing jitter

圖10 帶抖動(dòng)的移動(dòng)視頻的旋轉(zhuǎn)軌跡Fig.10 Rotational trajectory for the mobile video containing jitter

圖11 帶抖動(dòng)的移動(dòng)視頻平滑后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡Fig.11 Smoothed rotaational trajectory for the mobile video sequence containing jitter

1.5 平滑度評(píng)價(jià)

對(duì)移動(dòng)視頻進(jìn)行平滑度評(píng)價(jià)，可以反映行動(dòng)監(jiān)控設(shè)備的性能，為設(shè)備的改進(jìn)及相應(yīng)參數(shù)的調(diào)整起著重要的作用.在前述抖動(dòng)檢測(cè)的基礎(chǔ)上，使用歐氏距離法通過(guò)分別計(jì)算高斯濾波前后平移及旋轉(zhuǎn)的距離，如果距離值越大表明視頻抖動(dòng)越厲害，視頻平滑度較差；這種方法明顯的缺點(diǎn)在于其輸出的值范圍不確定，只能一定程度說(shuō)明視頻平滑度情況.為解決這個(gè)問(wèn)題，本文采用抖動(dòng)計(jì)數(shù)法對(duì)視頻序列中的抖動(dòng)進(jìn)行計(jì)數(shù)，算法思想是：如果DS，i＞m·Daverage，則認(rèn)為視頻序列第i幀與第i＋1幀間存在平移抖動(dòng)，則平移抖動(dòng)計(jì)數(shù)器加1；如果θS，i＞m·θaverage則認(rèn)為視頻序列第i幀與第i＋1幀間存在旋轉(zhuǎn)抖動(dòng)，則旋轉(zhuǎn)抖動(dòng)計(jì)數(shù)器加1；最后，將平移抖動(dòng)計(jì)數(shù)器、旋轉(zhuǎn)抖動(dòng)計(jì)數(shù)器與N－1作商便得到平移抖動(dòng)程度及旋轉(zhuǎn)抖動(dòng)程度值.公式表示如下：

其中count＿T表示平移抖動(dòng)數(shù)，count＿R表示旋轉(zhuǎn)抖動(dòng)數(shù)，δ（x）表示判斷函數(shù).平移抖動(dòng)程度Tmeasure及旋轉(zhuǎn)抖動(dòng)程度值Rmeasure計(jì)算公式為

因此，其水平平滑度值Tsmoothness及旋轉(zhuǎn)平滑度值Rsmoothness為

其中Tsmoothness與Rsmoothness的值介于0～1之間，越接近于0表示視頻序列中不存在抖動(dòng)，視頻平滑度好，越接近于1表示視頻序列中抖動(dòng)幀數(shù)越多視頻平滑度越差.

2 結(jié)果與討論

本節(jié)對(duì)前面提出的移動(dòng)視頻平滑度評(píng)價(jià)算法進(jìn)行實(shí)驗(yàn)驗(yàn)證，以證明本算法的有效性.表1給出了無(wú)抖動(dòng)Bolt視頻序列及移動(dòng)視頻序列得到的評(píng)價(jià)結(jié)果.圖8、圖9分別給出了移動(dòng)視頻序列幀間平移運(yùn)動(dòng)軌跡圖、移動(dòng)視頻序列幀間高斯平滑濾波后的平移運(yùn)動(dòng)軌跡圖.對(duì)比濾波前后的平移運(yùn)動(dòng)軌跡圖可知，視頻序列中存在著比較嚴(yán)重的抖動(dòng)，表1中第三行第一列、第二列給出了檢測(cè)出的水平抖動(dòng)幀數(shù)、垂直抖動(dòng)幀數(shù)，表1第三行第四列給出了視頻平移平滑度結(jié)果.從結(jié)果來(lái)看，本文提出的算法能夠有效地對(duì)視頻中旋轉(zhuǎn)抖動(dòng)進(jìn)行檢測(cè)并對(duì)其平移平滑度進(jìn)行計(jì)算.

圖10與圖11給出了移動(dòng)視頻序列幀間旋轉(zhuǎn)運(yùn)動(dòng)軌跡圖、移動(dòng)視頻序列幀間高斯平滑濾波后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡圖，對(duì)比濾波前后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡圖可知，移動(dòng)視頻中存在著比較嚴(yán)重的旋轉(zhuǎn)抖動(dòng)（表1第三行第三列給出了旋轉(zhuǎn)抖動(dòng)幀數(shù)），表1第三行第五列給出了視頻旋轉(zhuǎn)平滑度結(jié)果，從算法結(jié)果來(lái)看，本算法能夠有效地對(duì)旋轉(zhuǎn)抖動(dòng)進(jìn)行檢測(cè)并對(duì)其平滑度進(jìn)行計(jì)算.

圖4與圖5分別給出了無(wú)抖動(dòng)Bolt視頻序列幀間平移運(yùn)動(dòng)軌跡圖、無(wú)抖動(dòng)Bolt視頻序列幀間高斯平滑濾波后的平移運(yùn)動(dòng)軌跡圖.對(duì)比兩幅圖可以看出：無(wú)抖動(dòng)Bolt視頻序列水平方向不存在抖動(dòng)，只有垂直方向存在著少量的抖動(dòng)幀，表1中第二行第一列、第二列給出了算法得到的水平方向抖動(dòng)幀數(shù)及垂直方向抖動(dòng)幀數(shù)，表1第二行第四列給出了視頻平移平滑度值，該結(jié)果進(jìn)一步證明了本算法能夠有效地對(duì)視頻序列中的抖動(dòng)幀進(jìn)行檢測(cè)計(jì)數(shù)，得到的平滑度結(jié)果能夠準(zhǔn)確地反映視頻序列的狀態(tài).圖6與圖7給出了無(wú)抖動(dòng)Bolt視頻序列幀間旋轉(zhuǎn)運(yùn)動(dòng)軌跡圖、無(wú)抖動(dòng)Bolt視頻序列幀間高斯平滑濾波后的旋轉(zhuǎn)運(yùn)動(dòng)軌跡圖，對(duì)比兩幅圖可以看出，無(wú)抖動(dòng)Bolt視頻序列中不存在旋轉(zhuǎn)抖動(dòng)，表1第二行第三列給出了算法得到的旋轉(zhuǎn)抖動(dòng)幀數(shù)，表1第二行第五列給出了視頻旋轉(zhuǎn)平?jīng)]度值，該結(jié)果進(jìn)一步說(shuō)明了算法對(duì)旋轉(zhuǎn)抖動(dòng)檢測(cè)、計(jì)數(shù)及平滑度度量的有效性.

表1 無(wú)參考視頻平滑度的值Table 1 Measure results of no-reference video smoothness

3 結(jié)語(yǔ)

上述提出的一種基于ORB特征算子的檢測(cè)視頻平滑度的算法，屬于無(wú)參考的視頻質(zhì)量檢測(cè)的方法.首先使用ORB特征算子對(duì)視頻幀進(jìn)行描述，然后使用FLANN算法將相鄰視頻幀的特征點(diǎn)兩兩匹配，再去篩選匹配效果好的特征點(diǎn)，使用仿射變換對(duì)視頻序列進(jìn)行二維平面運(yùn)動(dòng)建模，這一過(guò)程中利用RANSAC算法求解運(yùn)動(dòng)參數(shù)視頻幀的水平位移和旋轉(zhuǎn)角度，同時(shí)，RANSAC算法也對(duì)匹配后的特征點(diǎn)有再次篩選的效果，得到運(yùn)動(dòng)參數(shù)序列水平位移序列和旋轉(zhuǎn)角度序列，最后對(duì)運(yùn)動(dòng)參數(shù)序列進(jìn)行高斯濾波處理，計(jì)算出平均水平位移和平均旋轉(zhuǎn)角度，將序列與這兩個(gè)平均參數(shù)比較，判定抖動(dòng)幀的數(shù)量，即可計(jì)算出平滑度的值，平滑度是應(yīng)當(dāng)介于0～1之間，越接近于0表示視頻序列中不存在抖動(dòng)，視頻平滑度好，越接近于1表示視頻序列中抖動(dòng)幀數(shù)越多，視頻平滑度越差.實(shí)驗(yàn)結(jié)果證明該算法不需要借助任何參考圖像，依靠待評(píng)價(jià)圖像本身各種信息進(jìn)行質(zhì)量評(píng)價(jià)，對(duì)視頻平滑度檢測(cè)有一定效果.

致謝

感謝湖北省高等學(xué)校優(yōu)秀中青年團(tuán)隊(duì)計(jì)劃項(xiàng)目（T201206）的資助！

［1］WANG Z，LU L，BOVIK A C．Video quality assessment based on structural distortion measurement［J］．Signal Processing：Image Communication，2004，19（2）：121－132．

［2］ONG E P，YANG X，LIN W，et al．Perceptual quality and objective quality measurements of compressed videos［J］．Journal of Visual Communication and Image Representation，2006，17（4）：717－737．

［3］SESHADRINATHANK，BOVIK A C．Motion－tuned Spatio－temporal Quality Assessment of Natural Videos［J］．IEEE Transactions on Image Processing，2010，19（2）：335－350．

［4］GUNAWAN I P，GHANBARI M．Reduced－reference video quality assessment using discriminative local harmonic strength with motion consideration［J］．IEEE Transactions on Circuits and Systems for Video Technology，2008，18（1）：71－83．

［5］ZENG K，WANG Z．Terrporal motion smoothness measurement forreduced－refere nee video quality assessment［C］//IEEE International Conference on Acoustics，Speech，and Signal Processing，2010：1010－1013．

［6］ROSIN P L．Measuring corner properties［J］．Computer Vision and Image Understanding，1999，73（2）：291－307．

［7］MARTIN A F，ROBERT C BES．Random sample onsensus：A paradigm for model fitting with applications to image analysis and automated cartography［J］．Communication of the ACM,1981,24（6）：381－395．

［8］LEE K Y，CHUANG Y Y，CHEN B Y，et al．Video stabilization using robust feature trajectories［C］//In Proceedings of the IEEE International Conference on Computer Vision，2009：1397–1404．

［9］RAWATAND P，SINGHAI J．Efficient video stabilization technique for hand held mobile videos［J］．International Journal of Signal Processing，Image Processing and Pattern Recognition，2013，6（3）：17－32．

Evaluation method of no－reference video smoothness

WANG Hai－h(huán)ui1，2，LU Pei－lei1，2，WU Yun－tao1，2，CHEN Shuang－yu1，SUN Zhi－h(huán)ong1
1．School of Computer Science and Technology，Wuhan Institute of Technology，Wuhan 430205，China；2．Hubei Key Laboratory of Intelligent Robot（Wuhan Institute of Technology），Wuhan 430205，China

To evaluate the quality of video image objectively，a no－reference evaluation method based on video smoothness was proposed．The feature points of Oriented FAST and Rotated BRIEF were used to describe the video frame，and the affine transformation and the Fast Library for Approximate Nearest Neighbors algorithm were also used to get characteristics of translational trajectory and rotational trajectory in sequence of two consecutive video frames．Then we operated Gauss filter to the trajectories，and calculated the jitter times．Finally，we calculated parameters sequence of the whole video sequence of two adjacent frames，and got the video smoothness．The method is more convenient in use because it only relies on the evaluated images themselves to evaluate without using any reference images．Comparing with the detection results of standard video image，the detection results obtained by this method have goodness of fit，and meet the practical requirements．

video smoothness；ORB features；affine transformation；smoothness evaluation．

TP391

A

10.3969/j.issn.1674-2869.2015.06.012

1674－2869（2015）06－0056－07

本文編輯：陳小平

2015－03－25

湖北省高等學(xué)校優(yōu)秀中青年團(tuán)隊(duì)計(jì)劃項(xiàng)目（T201206）

王海暉（1969－），男，河北石家莊人，教授，博士.研究方向：數(shù)字圖像處理、機(jī)器視覺(jué)、模式識(shí)別.