基于TS流的音視頻監(jiān)測報警系統(tǒng)原理

馮莉

【摘要】 隨著數(shù)字化廣播電視技術(shù)的發(fā)展，衛(wèi)星數(shù)字電視技術(shù)日益普及，因此播出質(zhì)量至關(guān)重要，對于大量的數(shù)字電視信號的播出質(zhì)量的自我監(jiān)測或統(tǒng)一的有效監(jiān)管，必須引入自動監(jiān)測技術(shù)。本文介紹了當(dāng)前一種基于TS流的音視頻監(jiān)測報警系統(tǒng)的原理，包括廣播電視中對音視頻監(jiān)測的報警判斷和一種基于MMX技術(shù)的圖像內(nèi)容檢測快速算法。

【關(guān)鍵詞】數(shù)字電視音視頻監(jiān)測 監(jiān)測報警系統(tǒng) MMX技術(shù)

一. 前言

隨著廣播電視技術(shù)的發(fā)展，衛(wèi)星數(shù)字電視日益普及，節(jié)目數(shù)量日益增長，目前國內(nèi)衛(wèi)星電視節(jié)目已將近270路，在快速、準(zhǔn)確、及時、高效的監(jiān)測方針下，必須使用成熟、完善的自動監(jiān)測技術(shù)。目前監(jiān)測臺的衛(wèi)星接收天線接收到衛(wèi)星信號后輸出射頻信號到衛(wèi)星接收機(jī)，衛(wèi)星接收機(jī)對射頻信號進(jìn)行解調(diào)輸出ASI形式的TS流，TS流中包含多路復(fù)用的TS流或單路TS清流，該TS流的采集可以直接用ASI采集卡采集，也可以輸出到解復(fù)用設(shè)備解成TS清流后組播輸出[1]。目前在監(jiān)測臺內(nèi)使用的是第二種方法。音視頻監(jiān)測報警系統(tǒng)就是針對解復(fù)用組播輸出的TS清流進(jìn)行解碼、分析、判斷和報警。

二. 音視頻監(jiān)測原理分析

如圖1所示，音視頻監(jiān)測報警主機(jī)接收監(jiān)測前端通過IP網(wǎng)絡(luò)發(fā)送的TS流數(shù)據(jù)，根據(jù)音視頻的PID信息進(jìn)行解調(diào)，分別對音視頻內(nèi)容進(jìn)行解碼的同時，完成內(nèi)容層的故障監(jiān)測，音視頻信息的展示，同時還進(jìn)行實(shí)時轉(zhuǎn)碼存儲的功能。

1. 音頻報警

報警系統(tǒng)通過分析TS流中的PID信息捕獲音頻碼流，對音頻碼流進(jìn)行解碼就可以得到原始采樣的音頻數(shù)據(jù)。音頻數(shù)據(jù)按不同聲道依次排列。

靜音：按聲道取出的音頻數(shù)據(jù)就是該聲道的音量值，如果音量值一直保持在我們預(yù)先設(shè)定的閾值以下并持續(xù)一個設(shè)定的時間段，那么該時間段的音頻就處于靜音狀態(tài)。

因?yàn)榭梢詫Σ煌暤肋M(jìn)行取值，所以靜音報警可以針對每個聲道進(jìn)行單獨(dú)報警。目前，衛(wèi)星信號中傳輸?shù)囊纛l數(shù)據(jù)往往是用同一個PID傳輸兩路音頻信號，左聲道可能是電視伴音，右聲道可能是一路廣播節(jié)目。對于這種情況，由于監(jiān)測對象的不同就要區(qū)分不同聲道進(jìn)行報警。

2. 視頻報警

報警系統(tǒng)接收到的視頻數(shù)據(jù)經(jīng)解碼后，得到的是一幀幀YUV格式的圖像，其中Y是圖像中像素點(diǎn)的亮度信號，UV是像素點(diǎn)的色差信號。將每幀圖像需要判斷的范圍（除去各種疊加圖像的干擾）分成若干個大小相同的子區(qū)域，取每個區(qū)域的亮度值Y的總合建成一個m*n的亮度矩陣，通過對亮度矩陣的分析來判斷以下報警：

黑場：亮度矩陣的所有亮度值均小于一個設(shè)定的閾值，并持續(xù)一個設(shè)定的時間段，則該時間段圖像為黑場。

靜幀：如果本幀的亮度矩陣與緩存的前一幀的亮度矩陣相似（每個對應(yīng)位置的亮度值都基本相同），那么這兩幀圖像相似。如果一個時間頻段內(nèi)的視頻信號所有連續(xù)的兩幀圖像均相似，那么該時間段內(nèi)圖像靜幀。

無數(shù)據(jù)：在一定時間內(nèi)，無視頻信號輸入，那么將判斷無數(shù)據(jù)。同時會輸出標(biāo)準(zhǔn)黑場圖像。

由于疊加的內(nèi)容（包括臺標(biāo)、時鐘等）會影響亮度矩陣的特征，因此判斷區(qū)域須除去有疊加內(nèi)容的區(qū)域才能保證系統(tǒng)做出正確的判斷。

除無數(shù)據(jù)外，視頻報警的判斷均只針對圖形的亮度值，而忽略色差信息。圖像變化時亮度值的變化更為敏感，如果對UV分量也進(jìn)行判斷，數(shù)據(jù)存儲量大，且運(yùn)算量大，而效果提高卻不明顯。

當(dāng)收到一幀視頻數(shù)據(jù)后，首先進(jìn)行黑場判斷，再進(jìn)行靜幀判斷。如果長時間收不到數(shù)據(jù)則認(rèn)為是無數(shù)據(jù)。音頻數(shù)據(jù)則要進(jìn)行靜音的判斷。其判斷流程入圖2所示。

三. 監(jiān)測系統(tǒng)中使用的報警組合

當(dāng)音頻信號出現(xiàn)靜音或者視頻信號出現(xiàn)靜幀或黑場等異常情況時，系統(tǒng)會自動判斷并計(jì)時，當(dāng)異常信號持續(xù)一定時長（預(yù)先設(shè)定的閾值），系統(tǒng)產(chǎn)生報警并發(fā)送到控制臺讓值班人員進(jìn)行處理。當(dāng)信號恢復(fù)正常后，停止報警并通知控制臺報警結(jié)束。

監(jiān)測系統(tǒng)在報警的時候，分以下幾種情況：

只有音頻靜音而同時刻沒有視頻報警時產(chǎn)生報警，如：無伴音。

視頻信號異常，同時對音頻信號進(jìn)行測量產(chǎn)生組合的報警，如：黑場無伴音、黑場有伴音、靜幀無伴音、靜幀有伴音。

異常信號結(jié)束后系統(tǒng)向控制臺發(fā)送報警結(jié)束：如無伴音結(jié)束、黑場無伴音結(jié)束、黑場有伴音結(jié)束、靜幀無伴音結(jié)束、靜幀有伴音結(jié)束。同一時刻只有一種報警存在，例如，如果先報的是靜幀無伴音，如果靜幀結(jié)束但無伴音仍然存在，系統(tǒng)將先報靜幀無伴音結(jié)束，然后接著報無伴音開始，直到有伴音后再報無伴音結(jié)束。

在實(shí)際應(yīng)用中，很多正常節(jié)目會出現(xiàn)長時間靜幀或無聲情況（如財經(jīng)類節(jié)目就經(jīng)常會出現(xiàn)長時間靜止解說畫面）。為了避免經(jīng)常性誤報警，此類節(jié)目的報警閾值可以適當(dāng)?shù)募哟?，如果普通?jié)目的靜幀閾值設(shè)的是10秒，此類節(jié)目的閾值可以設(shè)為20秒。系統(tǒng)為每個節(jié)目的不同報警（靜音、黑場、靜幀）都可以設(shè)定閾值，用戶可以調(diào)節(jié)閾值以達(dá)到減少誤報警的幾率。

四. 基于MMX的快速圖像監(jiān)測算法

MMX技術(shù)[2]是Intel公司為增強(qiáng)處理器的多媒體功能和通信能力而提出的一項(xiàng)新技術(shù)。它的重要特點(diǎn)是單指令多數(shù)據(jù)，即在一個指令周期內(nèi)可以對多個數(shù)據(jù)進(jìn)行并行處理。這種平行操作，使得性能得到大幅提高。

由于MMX的運(yùn)算指令必須在數(shù)據(jù)配對整齊的時候才能使用，所以使用MMX指令要比普通的匯編指令多余許多分組配對的指令，如果運(yùn)算不是特別的整齊的話，就要浪費(fèi)大量的時間在數(shù)據(jù)的配對上，所以說MMX指令也不是萬能的，也有其很大的缺陷。同時MMX指令在處理16位數(shù)據(jù)的時候才能發(fā)揮最大的作用，處理8位數(shù)據(jù)要有一點(diǎn)技巧。

對于連續(xù)存儲一幀圖像的YUV數(shù)據(jù)，每個像素的灰度或色差數(shù)據(jù)均為8位整形數(shù)據(jù)，處理器可在一個頻率周期內(nèi)，同時執(zhí)行16個8位整形數(shù)據(jù)的乘法、加法、減法、數(shù)據(jù)加載數(shù)據(jù)回存等計(jì)算，明顯的提高運(yùn)算速度。據(jù)研究表明，可以提高40%至50%的效率。

通過采用基于MMX的圖像監(jiān)測算法，能夠滿足實(shí)時監(jiān)測的需求，降低圖像監(jiān)測的CPU占用，提高效率。

五. 總結(jié)

基于TS流的音視頻監(jiān)測報警系統(tǒng)，通過對TS流進(jìn)行分析，提取出音視頻碼流并解碼。根據(jù)經(jīng)驗(yàn)制定監(jiān)測策略，采用先進(jìn)、快速算法進(jìn)行音視頻數(shù)據(jù)監(jiān)測，形成監(jiān)測結(jié)果，幫助值班員自動、實(shí)時反映出異態(tài)等情況，并可對歷史監(jiān)測結(jié)果進(jìn)行查詢和回看。該監(jiān)測機(jī)制不僅適用于監(jiān)測臺完成數(shù)字廣播電視的質(zhì)量實(shí)時監(jiān)測，同樣使用于上行地球站對于接收到的衛(wèi)星廣播電視節(jié)目進(jìn)行自臺監(jiān)測。B&P

參考文檔：

[1] 總局?jǐn)?shù)字有線電視前端監(jiān)測系統(tǒng) 王慶偉 國家廣播電影電視總局節(jié)目傳輸中心 數(shù)字電視 2010年第12期 總第252期

[2] MMX 技術(shù)在視頻編碼的實(shí)時軟件實(shí)現(xiàn)中的應(yīng)用 石 峻，余松煜 上海交通大學(xué)圖像通信與信息處理研究所 多媒體世界 1999年第10期