侯慶云
(天津廣播電視臺,天津 300221)
隨著數(shù)字電視技術(shù)的不斷發(fā)展,數(shù)字電視播出系統(tǒng)正朝著自動化和智能化的方向發(fā)展。為切實提高播出系統(tǒng)業(yè)務(wù)能力,快速發(fā)現(xiàn)問題,準(zhǔn)確定位故障點,提高事件響應(yīng)及處理能力,一致性比對等智能化信號故障判斷方法正成為信息化時代安全播出的重要手段。
一致性比對是播出系統(tǒng)智能化故障判斷的核心技術(shù)。該技術(shù)通過計算播出系統(tǒng)各鏈路畫面的特征值和技術(shù)指標(biāo),基于邏輯進(jìn)行故障判斷,快速做出應(yīng)急處理[1]。這種應(yīng)急處理大幅度降低故障判斷時間,增強(qiáng)了播出安全,同時降低了值機(jī)人員的工作量。在典型的播出系統(tǒng)中,可以選擇多處監(jiān)測點,并將多路信號分別送至一致性比對主機(jī)和4×1應(yīng)急切換設(shè)備,由一致性比對主機(jī)控制4×1應(yīng)急切換設(shè)備做應(yīng)急處理,也可在一致性比對發(fā)現(xiàn)信號不一致或當(dāng)前輸出鏈路有劣播情況時,通知應(yīng)急切換面板蜂鳴以示異態(tài)報警,由系統(tǒng)自動或值班人員手動切換到正常鏈路。
一致性比對通常選擇監(jiān)測末級主、備及三備PGM輸出,在播出系統(tǒng)中的監(jiān)測點如圖1所示。鏈路間不一致的情況主要有播出異常和停播等情況。播出異常的原因有節(jié)目單不一致和節(jié)目文件內(nèi)部錯誤等,在這種情況下,3路都有播出但存在不一致的情況,本文主要探討為這類情況提供解決方案。停播是播出系統(tǒng)沒有及時對播出服務(wù)器或渲染服務(wù)器發(fā)出指令,或出現(xiàn)軟硬件故障等,導(dǎo)致畫面出現(xiàn)無信號、黑場或靜幀的情況,這種情況可以通過技審優(yōu)先判斷出非正常鏈路并及時解決問題。
圖1 一致性比對在播出系統(tǒng)中的監(jiān)測點
除進(jìn)行圖像是否一致的判斷外,設(shè)計算法時需要考慮一些前提條件。這些條件包括空間因素、時間因素及算法適應(yīng)性3方面。
空間因素主要包括3種情況。
(1)不同鏈路的畫面包裝元素區(qū)存在不同,如三備沒有疊加臺標(biāo)等情況。
(2)畫面平移。出于建設(shè)周期和安全性考慮,播出系統(tǒng)可能采用不同廠家的視頻服務(wù)器。這些設(shè)備的輸出并不能完全一致,如相同幀間有畫面平移現(xiàn)象。
(3)對于高標(biāo)清同播的系統(tǒng),上下變換將改變分辨率、像素亮度值及像素色度值。
有多種因素可能造成不同鏈路之間存在時間差。例如,播出系統(tǒng)受控于不同的自動控制系統(tǒng),控制命令的發(fā)出存在時間差;鏈路之間串聯(lián)的設(shè)備有區(qū)別;服務(wù)器硬件可能對輸出響應(yīng)快慢存在差異等。
設(shè)計算法時,要先設(shè)定最大時間差范圍,在此范圍內(nèi)搜索同步點,確定各路間時間差。另外,在節(jié)目播出期間,需要對時間差進(jìn)行跟蹤檢測。
一致性比對基于技審系統(tǒng),這兩種產(chǎn)品在有些功能上存在互補,在技術(shù)上存在共同之處。如果僅僅整合獨立功能,則系統(tǒng)中可能存在多種算法,導(dǎo)致對圖像進(jìn)行多次特征提取,增加計算量,這樣會降低系統(tǒng)工作效率,限制產(chǎn)品檢測容量。
本文分析了電視臺播出系統(tǒng)中鏈路間信號差異的原因,并分析幾種判斷圖像相似性的方法。在保證正確率的前提下,以算法的復(fù)雜性和運算量最低為原則,算法需要基于圖像特征值,實現(xiàn)3路信號快速循環(huán)比對。通過原理分析和實踐測試,最終選擇塊均值哈希比對算法作為一致性比對的主要算法。
峰值信噪比(Peak Signal-to-Noise Ratio,PSNR) 是信號最大可能功率和破壞性噪聲功率的比值。該指標(biāo)廣泛應(yīng)用于圖像質(zhì)量評估,特別是對壓縮算法質(zhì)量的評估。PSNR的值可以理解為原始圖像和壓縮后圖像間數(shù)值變化占原始圖像最大值的比例,即通過計算兩幅圖像間功率差異占原始圖像功率的比例,反映兩幅圖像之間的一致性。計算方法采用原始圖像和對比圖像的均方誤差作為噪聲功率,原始圖像的峰值功率為信號最大可能功率[2]。
若給定對比原始圖像I和對比圖像K,均方誤差定義為:
式中:I(i,j)和K(i,j)是圖像I和K在i行j列的像素數(shù)值,取原始圖像為真實值;MSE是對比圖像與真實值間的均方誤差。
PSNR定義為:
式中:MAXI是圖像為原始圖像可能的最大值,如果數(shù)值由8位二進(jìn)制來表示,MAXI為255。為閱讀方便,PSNR取MAXI2和MSE比值的對數(shù)。
PSNR簡單地利用圖像間的差值作為判斷的依據(jù),在驗證編碼造成的損耗方面有非常重要的參考價值。然而,將PSNR應(yīng)用到一致性比對有兩個明顯的缺陷。第一,對圖像之間的像素進(jìn)行直接比較,即遍歷比對圖像所有像素,其計算過程不能利用以往的知識,對算法優(yōu)化不利。如果把該指標(biāo)應(yīng)用到一致性比對,在進(jìn)行多路信號比較和時差信號比較時,將使計算量快速增長,其中,多路間比較時間復(fù)雜度為O(Cn2),時差信號間比較時間復(fù)雜度為O(W2)。第二,比較效果并不理想,數(shù)值偏差與人的主觀感覺有時會存在不一致。例如,局部內(nèi)容有差別的圖像的PSNR可能大于有平移的圖像的PSNR,這與觀眾的認(rèn)知完全相反。其原因在于PSNR并未考慮到圖像的結(jié)構(gòu)信息。為此,人們提出了更接近于主觀評價的結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)指標(biāo)。
SSIM模型研究可視化場景中物體結(jié)構(gòu)的重要信息,而不是基于數(shù)值偏差[3]。相對于PSNR,SSIM是更接近主觀評測圖像質(zhì)量的方法。SSIM的原理是從人類視覺感知角度提取圖像結(jié)構(gòu)信息,用來判斷圖像的相似性和質(zhì)量。SSIM的重要改進(jìn)是對比圖像塊的3種統(tǒng)計特征,即亮度(均值)、對比度(方差)及結(jié)構(gòu)(協(xié)方差)信息,其計算方法如下。
(1)亮度測量。使用平均亮度來評估,設(shè)單一像素亮度為xi,則圖像x的平均亮度為:
可定義圖像x,y的亮度對比函數(shù)l(x,y)=,式中C1為常量,避免除零。
(2)對比度測量。設(shè)圖像x的亮度標(biāo)準(zhǔn)差為:
可定義圖像x,y對比度對比函數(shù)c(x,y)=,式中C2為常量,避免除零。。
在此步計算過程中,去除了平均亮度值??梢?,SSIM認(rèn)為圖像整體亮度改變不影響圖像的相似性。
(3)結(jié)構(gòu)測量。設(shè)兩個圖像x,y的亮度協(xié)方差為:
最終,3個對比模塊組合成一個完整的相似測量函數(shù):
α、β、γ為各因子的權(quán)重系數(shù),針對不同應(yīng)用可適度調(diào)整。為方便討論,取α、β、γ為1,且 ,兩幅圖像間結(jié)構(gòu)相似性可簡化為:
由于圖像的統(tǒng)計特征在空間上很不穩(wěn)定,因此該算法在實際應(yīng)用中通常采用索引圖,用不同圖組的加權(quán)平均值計算最終值MSSIM。進(jìn)一步地,可以對圖像中不同的分割區(qū)域賦予不同的權(quán)重。
由以上計算過程可知,在結(jié)構(gòu)測量階段,SSIM仍然是基于不同圖像間像素對比,因此和PSNR一樣,存在多路間比較和時差信號間比較時的復(fù)雜度快速上升問題,不利于算法優(yōu)化。SSIM由3個因素決定,最終結(jié)果變化范圍大,會影響到判定閾值的選定。另外,SSIM在處理平移圖像時會得到較小值,易判定為圖像不一致,尤其是對比度比較大的圖像。
一致性比對的本質(zhì)是查詢?nèi)忠曈X相似。圖片像素值數(shù)據(jù)的差異不應(yīng)該影響判斷結(jié)果。此類圖片相似性可以使用圖片的全局特征或圖片哈希算法來解決。
圖像哈希算法的相關(guān)算法眾多,它們在功能、復(fù)雜度及應(yīng)用場景等方面等具有較大差異,但是這些算法均圍繞著魯棒性和區(qū)分性這兩個核心特性進(jìn)行調(diào)整和改進(jìn)。具有高魯棒性的算法會將具有較大差異的圖片判斷為一致。在圖像識別領(lǐng)域,希望圖像特征能夠?qū)s放、平移、有損壓縮、全局色調(diào)變換甚至輕度旋轉(zhuǎn)都具有較強(qiáng)的魯棒性,即這些操作都對圖片特征值基本沒有影響。區(qū)分性是對圖片分辨能力的要求,例如,對兩張圖片中文字內(nèi)容的差異和色彩不一致等的分辨能力。
圖像哈希算法應(yīng)用于靈活多變的場景,當(dāng)前并沒有最好的算法,只有在特定應(yīng)用場景最合適的算法。從前提條件分析可知,面向電視臺自動播出的一致性比對需要算法具有縮放和平移等魯棒性,并且在其他方面的魯棒性和區(qū)分性可以有靈活的要求。塊均值算法滿足以上兩項基本要求。
塊均值算法有多種不同實現(xiàn)方法,其中基礎(chǔ)的算法步驟如下。
(1)選擇特征值長度N,如N=256,即特征值為256位,將圖像劃分成l1,l2,…,lN共N個塊。特征值越長,圖像劃分的粒度越細(xì),對區(qū)部的變化也越敏感。
(2)計算每個塊中所有像素亮度均值,記為{M1,M2,…,MN},并取Md為此均值隊列的中值。
(3)歸一化上述均值隊列為二進(jìn)制形式,其中各位值由此公式計算:
該算法從整體圖像提取特征,符合人類對圖像的感知,同時也能夠捕獲局部的顯著差異。將該算法應(yīng)用于播出系統(tǒng)一致性比對取得了良好的效果。另外,此算法的特征值簡單,適合多路、時間差序列比對的場景,計算復(fù)雜度較低,在目前主流的計算平臺上可以實時處理。
本文分析了播控系統(tǒng)出現(xiàn)故障的原因,介紹了內(nèi)容一致性檢測的關(guān)鍵算法,從理論上分析PSNR和SSIM等算法的不足,得出以像素比較為基礎(chǔ)的算法不適合電視臺播出系統(tǒng)比對的結(jié)論。塊均值算法計算量較低,可適應(yīng)縮放和一定范圍的平移,以此為基礎(chǔ)建立的一致性比對不僅能夠滿足電視臺播出系統(tǒng)需求,而且算法簡潔、運行高效。本產(chǎn)品已經(jīng)用于播出信號監(jiān)測系統(tǒng),可以利用比對結(jié)果進(jìn)行自動化倒換工作,提高了播出安全的保障能力。