視頻質(zhì)量智能檢測技術(shù)研究及其在鐵路中的應(yīng)用

何百千 中國鐵路上海局集團有限公司科研所

1 概述

近年來，隨著現(xiàn)代化、數(shù)字化鐵路的建設(shè)，視頻監(jiān)控已成為現(xiàn)代化鐵路必不可少的組成部分，同時也是保障鐵路運輸、行車人員、施工作業(yè)安全的重要手段。在視頻監(jiān)控設(shè)備規(guī)模性投入使用后，信號丟失、雪花干擾、偏色、畫面抖動等各類視頻質(zhì)量問題隨之而來，面對海量的視頻數(shù)據(jù)，人工巡查已無法滿足現(xiàn)場生產(chǎn)的需要。

視頻質(zhì)量智能檢測技術(shù)結(jié)合了圖像處理、機器視覺、人工智能等前沿技術(shù)，可以有效解決視頻質(zhì)量問題所帶來的困擾。本文針對常見的幾類視頻質(zhì)量問題，開展了一系列關(guān)鍵技術(shù)研究，配套開發(fā)了視頻質(zhì)量診斷系統(tǒng)，并在上海虹橋站、無錫站等客站進行了實際應(yīng)用。

2 視頻質(zhì)量檢測關(guān)鍵技術(shù)

視頻質(zhì)量問題較為多樣化，常見問題主要有信號丟失、清晰度異常、亮度異常、偏色、雪花干擾、畫面抖動等，主要表現(xiàn)形式如圖1所示：

圖1 六種典型視頻質(zhì)量問題

2.1 信號缺失檢測

在視頻監(jiān)控系統(tǒng)中，當(dāng)網(wǎng)絡(luò)無法連接，視頻傳輸線路接觸不良或者損壞時，監(jiān)控客戶端將會呈現(xiàn)無法獲取碼流的現(xiàn)象，出現(xiàn)黑屏、白屏或“無視頻信號”字樣提醒。

根據(jù)信號缺失視頻圖像顏色值單一這一特點，可以從像素域的角度出發(fā)來進行診斷分析。本文采用了方差計算法進行分析，公式如下所示：

其中，W和H表示圖像的寬和高，μ表示灰度圖的期望值，ω表示方差。通過對不同類型信號缺失的單幀圖像進行方差計算，發(fā)現(xiàn)其值分布在0～0.15之間。

2.2 清晰度異常檢測

視頻圖像的清晰度是衡量視頻質(zhì)量最主要、最直接的指標(biāo)，清晰度表現(xiàn)良好的圖像包含了豐富的邊緣輪廓信息和細(xì)節(jié)信息。視頻圖像清晰度異常也即圖像模糊，是指視頻中空間細(xì)節(jié)的丟失和邊緣的清晰度減弱。圖像清晰度評價方法通常分為頻域和空間域方法，頻域方法區(qū)分度較好，但是其計算量大，運行效率低下；空間域方法中主要有熵函數(shù)法、平方梯度法、能量方差法、平方高斯梯度法等等，其中平方梯度法區(qū)分度較好，但是計算量大，實時性表現(xiàn)較差，不利于區(qū)分圖像的模糊與否和圖像模糊程度。

平方梯度法計算公式如下所示：

本文采用了一種改進的平方梯度法，用一種平方梯度聚焦評價函數(shù)（基于聚焦窗口模式）和圖像RGB色差（平均距離值）分析圖像幀的方法。這種方法能克服計算量大的缺點，并且在區(qū)分圖像清晰度上表現(xiàn)良好，兼顧了準(zhǔn)確性和實時性。具體方法為：選取正常圖像的梯度變化值和RGB色差值作為閾值參考值；計算檢測圖像的RGB色差值和聚焦窗口的梯度變化值，并將其與設(shè)定閾值比較，判定其是否為模糊圖像。

2.3 亮度異常檢測

視頻亮度異常是指由攝像頭故障、增益控制紊亂或者照明條件異常等原因引起的視頻畫面總體偏亮或偏暗，而不包括天氣、晝夜變化等環(huán)境因素導(dǎo)致的視頻亮度異常。

本文采用了一種基于圖像亮度平均值的診斷方法。首先將圖像從RGB顏色空間轉(zhuǎn)換到HSV空間，通過大量實驗取得正常圖像的亮度平均值，作為算法的參考閾值，再計算檢測圖像的平均亮度值，將其值與參考閾值比較，若平均亮度值過大，則圖像偏亮；若平均亮度值過小，則圖像偏暗。同時，針對不同時間段自然光的變化，應(yīng)設(shè)置相應(yīng)的閾值，以保證診斷功能在晝夜都能正常運行。平均亮度值的計算公式如下所示：

2.4 偏色檢測

視頻圖像偏色是指視頻監(jiān)控在遇到外界環(huán)境的強烈有色燈光干擾，或者其他外界無線電信號影響，可能會造成視頻圖像偏向與某一色系的情況。

本文采用了一種基于RGB三通道能量系數(shù)來診斷圖像偏色的方法，通過RGB三通道能量占比系數(shù)來判斷圖像是否發(fā)生偏色現(xiàn)象。具體方法為：計算出圖像的RGB三通道平均能量和整體平均能量；求出每個通道的能量系數(shù)；利用標(biāo)準(zhǔn)差公式得出RGB三通道在圖像整體平均能量所占比例（即偏色系數(shù)），將偏色系數(shù)與設(shè)定閾值比較，判斷該幅圖像是否發(fā)生偏色現(xiàn)象。

下面以R通道為例給出偏色計算公式：

2.5 雪花干擾

雪花干擾是視頻監(jiān)控系統(tǒng)中出現(xiàn)頻率較高的故障，主要是由于線路老化、傳輸故障、接觸不良、電磁干擾等因素造成的視頻圖像疊加噪聲，畫面會出現(xiàn)雪花、條狀、帶狀條紋干擾等現(xiàn)象。

本文采用了中值濾波法來診斷雪花干擾。具體方法為：通過對圖像進行中值濾波得到清晰圖像，與原圖做幀差后得到疑似噪聲圖像；將疑似噪聲圖像分塊（本算法中分為8×8塊），統(tǒng)計每一塊中的噪點數(shù)值，并求出64個分塊噪點數(shù)值的均值和標(biāo)準(zhǔn)差；對原圖進行canny算子的邊緣檢測，將邊緣檢測圖像與疑似噪音圖像求并集，得到由邊緣而不是雪花產(chǎn)生的椒鹽噪聲圖像；在疑似噪聲圖像中去除邊緣噪聲，得到最后的噪聲圖像；計算噪點占比，并將其與閾值比較，若超過閾值則認(rèn)為此圖像存在雪花干擾。

2.6 畫面抖動

視頻圖像畫面抖動主要是由于視頻信號傳輸線路受強電干擾或供電不穩(wěn)定等因素形成而非視頻監(jiān)控設(shè)備受振動影響而產(chǎn)生的畫面抖動現(xiàn)象。

本文采用了基于圖像灰度投影的運動估計方法。具體方法為：選擇一幀圖像作參考幀圖像；將當(dāng)前幀圖像和參考幀圖像作灰度投影，計算兩者之間的互相關(guān)值，選取互相關(guān)值曲線的峰值為兩幀圖像的行列位移矢量值；根據(jù)此矢量絕對值判斷兩幀圖像相對運動的程度，通過與設(shè)定閾值比較，判斷是否發(fā)生圖像抖動。

2.7 分類判據(jù)動態(tài)優(yōu)化

在視頻質(zhì)量檢測技術(shù)的實際應(yīng)用中，各類檢測算法無法做到百分之百的準(zhǔn)確判斷，因此本文開展了分類判據(jù)優(yōu)化，以提高檢測效果。具體方法為：設(shè)定初始分類判據(jù)，系統(tǒng)在檢出視頻異常事件后進行人工復(fù)核；將人工復(fù)核發(fā)現(xiàn)的機器誤判事件特征向量及類別自動導(dǎo)入分類數(shù)據(jù)集，利用機器學(xué)習(xí)技術(shù)對模型進行再訓(xùn)練，得出新的分類判據(jù)。在視頻檢測的持續(xù)應(yīng)用過程中，分類判據(jù)將自我學(xué)習(xí)與進化，持續(xù)提高檢測精度。

3 實際應(yīng)用

基于上述圖像處理技術(shù)和人工智能技術(shù)，研發(fā)形成了一套視頻質(zhì)量診斷系統(tǒng)。系統(tǒng)采用分布式結(jié)構(gòu)，利用視頻診斷服務(wù)器實現(xiàn)視頻診斷，利用Web服務(wù)器完成用戶交互，利用數(shù)據(jù)庫服務(wù)器存儲診斷結(jié)果。系統(tǒng)的硬件架構(gòu)如圖2所示：

圖2 硬件架構(gòu)示意圖

系統(tǒng)包含用戶交互層、業(yè)務(wù)邏輯層和視頻數(shù)據(jù)源三層。用戶交互層可實現(xiàn)各種用戶交互操作，包括用戶登錄、系統(tǒng)管理、攝像頭管理、信息分析查詢、視頻診斷管理、故障處理等多個模塊。業(yè)務(wù)邏輯層可實現(xiàn)視頻數(shù)據(jù)接入、視頻質(zhì)量診斷、業(yè)務(wù)邏輯控制、分析結(jié)果存儲等功能，包括Web服務(wù)、中央控制、邏輯控制、視頻質(zhì)量診斷、視頻切換、數(shù)據(jù)庫等模塊。視頻數(shù)據(jù)源提供用于進行視頻質(zhì)量診斷的視頻數(shù)據(jù)。系統(tǒng)模塊示意圖如圖3所示：

圖3 軟件模塊示意圖

系統(tǒng)自2017年起，于上海虹橋站和無錫站既有視頻監(jiān)控系統(tǒng)相繼開展實際應(yīng)用，共接入上千路攝像頭。經(jīng)長期運行結(jié)果統(tǒng)計，系統(tǒng)檢測率≥98%，誤報率≤3%，每100路視頻通道狀態(tài)巡檢時間平均約為2 min。

4 結(jié)束語

視頻質(zhì)量診斷系統(tǒng)能夠快速準(zhǔn)確預(yù)警信號丟失、清晰度異常、亮度異常、偏色、雪花干擾、畫面抖動等圖像質(zhì)量問題，可以及時預(yù)警工作人員進行處置，保障監(jiān)控系統(tǒng)有效運行。同時，系統(tǒng)可以大幅度提高運維作業(yè)質(zhì)量、效率，降低人工、時間成本，給大規(guī)模視頻系統(tǒng)的運用維護帶來極大便利，對于減員增效、保障鐵路安全運營具有重要意義。