高速公路視頻圖像典型異?，F(xiàn)象的檢測(cè)方法

摘 要：在交通領(lǐng)域，隨著高速公路網(wǎng)監(jiān)控設(shè)備鋪設(shè)的日益完善，圖像的數(shù)據(jù)量顯著增加，僅靠目前的人工識(shí)別以獲取圖像內(nèi)存在的具體信息，不僅對(duì)于工作人員而言是較大的負(fù)擔(dān)，同時(shí)也難以精確獲取圖像內(nèi)的有效信息。針對(duì)目前存在的現(xiàn)象，文中提出了一種針對(duì)高速公路視頻圖像的檢測(cè)算法。該算法基于無參考的評(píng)價(jià)方法和傳統(tǒng)的圖像處理，對(duì)黑屏、亮度異常、模糊等視頻圖像存在的主要問題進(jìn)行了異常檢測(cè)。實(shí)驗(yàn)表明，該算法對(duì)圖像模糊異常的識(shí)別率達(dá)96.4%，對(duì)黑屏的識(shí)別率達(dá)100%，對(duì)亮度異常的識(shí)別率達(dá)95%，且處理速度達(dá)到了30張/s，基本實(shí)現(xiàn)了對(duì)攝像頭獲取圖像進(jìn)行實(shí)時(shí)監(jiān)測(cè)的目標(biāo)。

關(guān)鍵詞：高速公路；視頻圖像；無參考評(píng)價(jià)；圖像處理；異常檢測(cè)；質(zhì)量檢測(cè)

中圖分類號(hào)：TP312 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2024）06-00-05

0 引 言

隨著計(jì)算機(jī)性能的提高，視頻監(jiān)控技術(shù)日趨成熟，已被應(yīng)用在很多方面，如智慧城市建設(shè)、城市交通以及社區(qū)醫(yī)院等。大型監(jiān)控視頻系統(tǒng)需要大量攝像頭，如陜西省高速公路“云上高速”管理平臺(tái)，與云端平臺(tái)有數(shù)據(jù)連通的攝像機(jī)有

1 083臺(tái)，攝像機(jī)總數(shù)高達(dá)20 778臺(tái)，且24小時(shí)不間斷工作。數(shù)量龐大的攝像機(jī)產(chǎn)生了大量數(shù)據(jù)圖像，為了分析圖像中的數(shù)據(jù)質(zhì)量，管理人員需要對(duì)視頻圖像內(nèi)容進(jìn)行辨別和篩選。若對(duì)視頻圖像進(jìn)行處理前視頻圖像質(zhì)量出現(xiàn)問題，將會(huì)影響后續(xù)操作。監(jiān)控視頻圖像出現(xiàn)質(zhì)量問題時(shí)無法得到準(zhǔn)確的視頻圖像信息，影響后續(xù)管理人員對(duì)圖像的分析和處理過程，極大影響監(jiān)控效果。

隨著攝像機(jī)的不斷普及與應(yīng)用，視頻圖像質(zhì)量異常檢測(cè)方法的研究引起了國(guó)內(nèi)外相關(guān)研究人員的極大關(guān)注。

20世紀(jì)90年代以來，圖像質(zhì)量的檢測(cè)應(yīng)用研究得到重視。最初，圖像質(zhì)量的檢測(cè)方法是基于人類視覺模型DMOS進(jìn)行考量，即為差異平均主觀評(píng)分的測(cè)量[1]。1996年，美國(guó)研究機(jī)構(gòu)ITS制定了視頻圖像質(zhì)量客觀化評(píng)估標(biāo)準(zhǔn)ANSITI，801.03[2-4]。2003年3月，日本、德國(guó)和美國(guó)等國(guó)家的一些研究機(jī)構(gòu)共提交了9個(gè)關(guān)于圖像質(zhì)量客觀評(píng)價(jià)模型標(biāo)準(zhǔn)的提

案[5]，VQEG組織對(duì)這9個(gè)提案分別進(jìn)行客觀和主觀測(cè)試，制定了圖像質(zhì)量客觀評(píng)價(jià)模型標(biāo)準(zhǔn)，常用的模型包括基于結(jié)構(gòu)相似度（SSIM）以及基于人類視覺系統(tǒng)（HVS）的評(píng)價(jià)模型等[6-7]。

在我國(guó)，視頻圖像質(zhì)量檢測(cè)領(lǐng)域雖然起步較晚但發(fā)展迅速，清華大學(xué)、上海交通大學(xué)、北京郵電大學(xué)等高校均已開始圖像質(zhì)量檢測(cè)相關(guān)研究工作?；谌祟愐曈X模型DMOS對(duì)圖片、視頻進(jìn)行質(zhì)量檢測(cè)，由于其視覺模型對(duì)于不同場(chǎng)景的圖片準(zhǔn)確率有所變化，且往往受觀察者主觀因素的影響，因而該模型逐漸被淘汰；為提出一種更為客觀、能夠針對(duì)多場(chǎng)景的圖像質(zhì)量評(píng)價(jià)體系，上海交通大學(xué)科研團(tuán)隊(duì)已于2006年研究出了無參考圖像質(zhì)量評(píng)估算法[8]。俞勝[9]等通過再模糊理論建立了一種無參考的圖像質(zhì)量評(píng)價(jià)算法，并通過提取圖像的局部特征和全局特征進(jìn)行圖像質(zhì)量評(píng)價(jià)；竇思冬等[10]考慮到基于模糊核的評(píng)價(jià)方法不能區(qū)分模糊平滑區(qū)域和焦點(diǎn)平滑區(qū)域，進(jìn)而導(dǎo)致模糊圖像不易被檢測(cè)的問題，提出了一種將再模糊理論和相關(guān)系數(shù)相結(jié)合的模糊圖像檢測(cè)算法，該算法結(jié)合了兩種類型的模糊檢測(cè)算法特點(diǎn)，改進(jìn)了模糊圖像的檢測(cè)準(zhǔn)確率。賈惠珍等[11]為了更加有效地評(píng)價(jià)模糊圖像的圖像質(zhì)量，提出一種基于梯度失真測(cè)度圖和顯著區(qū)域圖的無參考模糊圖像質(zhì)量評(píng)價(jià)方法，預(yù)測(cè)結(jié)果與人的主觀判斷具有較好的一致性，且計(jì)算復(fù)雜度較低。武利秀等[12]提出一種基于相位一致變換和卷積神經(jīng)網(wǎng)絡(luò)的無參考圖像質(zhì)量評(píng)價(jià)方法，預(yù)測(cè)的圖像質(zhì)量分和主觀質(zhì)量評(píng)分實(shí)現(xiàn)了很好的一致性。Liu R[13]、Xu G[14]、lang C[15]等人也基于機(jī)器學(xué)習(xí)、邊緣分析等理論提出了圖像質(zhì)量分析評(píng)價(jià)的方法。

盡管目前研究了多種方法對(duì)圖像質(zhì)量進(jìn)行評(píng)價(jià)，且取得了較好的理論成果。但實(shí)際應(yīng)用中傳統(tǒng)的監(jiān)控視頻圖像質(zhì)量診斷仍以人工方式進(jìn)行。這種人工方法在大型監(jiān)控系統(tǒng)中需要耗費(fèi)大量的人力和物力，且人工評(píng)價(jià)方法受環(huán)境、心理狀態(tài)、自身認(rèn)知等因素的影響，會(huì)直接或間接導(dǎo)致評(píng)價(jià)結(jié)果不準(zhǔn)確，所以采取客觀方法來評(píng)價(jià)圖像質(zhì)量非常重要?？紤]到在高速公路的視頻圖像中，出現(xiàn)圖像異常的情況較為少見且難以捕捉，因而圖片數(shù)量難以滿足機(jī)器學(xué)習(xí)所需的數(shù)據(jù)量，故采取傳統(tǒng)的圖像處理技術(shù)對(duì)視頻圖像進(jìn)行處理，以期得到更好的處理效果。

基于圖像處理技術(shù)，針對(duì)高速公路攝像機(jī)可能存在的黑屏、亮度、模糊等異常，通過對(duì)圖像的基本特征進(jìn)行分析，建立一種對(duì)高速公路攝像頭圖像客觀高效的檢測(cè)算法，能夠?qū)崿F(xiàn)高速公路監(jiān)控視頻圖像質(zhì)量自動(dòng)檢測(cè)，提升高速公路監(jiān)測(cè)、服務(wù)水平，降低高速公路管理人力成本的目標(biāo)。

1 圖像數(shù)據(jù)來源

本次實(shí)驗(yàn)數(shù)據(jù)均來源于高速公路實(shí)時(shí)監(jiān)控視頻圖像數(shù)據(jù)，包括陜-G30（連霍高速-寶天段 K1194+970-上行方向）、陜-G3511（荷寶高速-旬鳳段 K813+040-下行方向）、陜-G5（京昆高速-漢寧段、西禹段 K891+650-下行方向）、陜-G85（銀昆高速-寶川段石窯壩隧道 K679+647-上行方向）等高速路段，將得到對(duì)應(yīng)的視頻圖像數(shù)據(jù)作為檢測(cè)數(shù)據(jù)集。

2 攝像頭獲取圖像質(zhì)量檢測(cè)方法

由于在實(shí)時(shí)視頻監(jiān)控系統(tǒng)中，監(jiān)控場(chǎng)景復(fù)雜多變，要得到可參考的圖像信號(hào)比較困難，而且視頻質(zhì)量異常形式多樣，不能使用同一種評(píng)價(jià)方法。因此研究采用無參考的客觀評(píng)價(jià)方法，針對(duì)不同的質(zhì)量異常選用不同的評(píng)價(jià)方法。對(duì)每一種質(zhì)量異常圖像，提取它們與正常圖像的特征差異，這些特征的提取可以通過時(shí)域、頻域、變換域完成。對(duì)提取的特征進(jìn)行評(píng)價(jià)，判斷圖像的質(zhì)量異常類型及嚴(yán)重程度。

一般情況下，視頻監(jiān)控系統(tǒng)產(chǎn)生質(zhì)量異常的原因可以分為兩大類：內(nèi)部因素以及外部因素。內(nèi)部因素是指攝像元件或顯示設(shè)備自身的質(zhì)量問題以及傳輸線路的質(zhì)量問題；外部因素是指電磁干擾，如果在攝像元件附近、顯示屏幕附近或者傳輸線路周圍存在比較強(qiáng)的電磁干擾，那么最終顯示的圖像就會(huì)出現(xiàn)噪聲，亮度異常等。常見的質(zhì)量異常狀態(tài)包括：色偏、亮度異常、抖動(dòng)、信號(hào)缺失、條紋干擾、噪聲、遮擋等。本研究在假設(shè)所有事故可被攝像頭感知的前提下，主要解決外部元素引起的黑屏、亮度異常以及模糊異常等問題。

2.1 黑屏檢測(cè)

在視頻監(jiān)控系統(tǒng)中，無論是前端攝像機(jī)還是視頻傳輸線，一旦出現(xiàn)故障，接收端都可能無法接收到視頻信號(hào)。在監(jiān)控顯示器上一般表現(xiàn)為黑屏或者“無視頻信號(hào)”屏。其中，黑屏圖像、正常圖像如圖1所示。

當(dāng)監(jiān)控系統(tǒng)出現(xiàn)黑屏異常時(shí)，屏幕顏色具有單一性?；谶@一特點(diǎn)，可以從圖像像素分布特征檢測(cè)黑屏。將彩色圖像轉(zhuǎn)換成灰度直方圖后，再對(duì)其灰度直方圖進(jìn)行分析。其轉(zhuǎn)換原理是基于人眼對(duì)顏色的敏感度不同來計(jì)算圖像的灰度值。

灰度圖像只是一張單通道圖像，其中的每個(gè)像素值代表著對(duì)應(yīng)位置的灰度程度。因此，將彩色圖像轉(zhuǎn)換為灰度圖像需要對(duì)每個(gè)彩色像素進(jìn)行轉(zhuǎn)換。通過下式可以計(jì)算上述圖像各像素點(diǎn)的灰度值，并繪制其對(duì)應(yīng)直方圖，如圖2所示。

gray= 0.298 9×R+0.587 0×G+0.114 0×B" " " " " " " "（1）

式中：R、G、B分別代表該像素點(diǎn)的紅、綠、藍(lán)通道的值；gray代表轉(zhuǎn)換后的灰度值。

從單幀圖像的灰度值分析，低灰度值的黑像素率越高，圖像越暗。因此，將灰度值小于閾值的像素定義為黑像素點(diǎn)，并根據(jù)圖像的黑像素率來判斷黑屏；考慮到實(shí)際圖像中往往出現(xiàn)白色字體用于介紹圖片的具體信息，因而在黑屏處理中，對(duì)像素點(diǎn)的灰度值與白色字體的灰度值進(jìn)行判斷，若確認(rèn)為白色字體，則該像素點(diǎn)不被記入像素點(diǎn)總數(shù)。黑屏檢測(cè)算法步驟如圖3所示。

2.2 亮度異常檢測(cè)

當(dāng)監(jiān)控視頻出現(xiàn)亮度異?，F(xiàn)象時(shí)，一般表現(xiàn)為圖像過暗或者過亮，如圖4所示。造成該現(xiàn)象的原因有多種，如攝像頭故障、增益控制紊亂或照片條件異常等。但不論是哪種異常，都會(huì)使人的主觀感知受到影響，導(dǎo)致監(jiān)控人員觀察疲勞。不僅如此，亮度異常還會(huì)模糊圖像內(nèi)前景的邊界，減少圖片所包含的信息，降低了圖片的信息熵。

一般情況下，對(duì)彩色圖像的亮度檢測(cè)需要將圖像從RGB色彩空間轉(zhuǎn)換為HSV色彩空間，其中H代表圖像色彩，S代表圖像色彩的深淺，V代表圖像的亮度。其轉(zhuǎn)換步驟如下：

（1）分別對(duì)圖像的R、G、B三通道進(jìn)行歸一化處理；

（2）找出三通道中的最大值與最小值Cmax，Cmin，計(jì)算其差值delta；

（3）對(duì)H（色彩通道）的轉(zhuǎn)換遵循式（2）：

（2）

對(duì)S（飽和度通道）的轉(zhuǎn)換遵循式（3）：

（3）

對(duì)V（亮度通道）的轉(zhuǎn)換遵循式（4）：

（4）

基于上述步驟，在圖像HSV色彩空間V通道的基礎(chǔ)上，通過滑動(dòng)窗口遍歷整幅圖像，并將每個(gè)窗口內(nèi)的平均亮度與高、低曝光閾值進(jìn)行比較，根據(jù)曝光率判斷圖像是否存在亮度異常。亮度異常檢測(cè)算法實(shí)現(xiàn)步驟如圖5所示。

2.3 模糊檢測(cè)

在數(shù)字視頻監(jiān)控系統(tǒng)中，攝像機(jī)參數(shù)、鏡頭焦距、編解碼器匹配程度、顯示器分辨率、線路老化等多方面原因會(huì)造成視頻圖像清晰度異常。當(dāng)視頻出現(xiàn)清晰度異常現(xiàn)象時(shí)，圖像中的邊緣特征表現(xiàn)弱化，物體之間無明顯界限，十分模糊，如圖6所示。

一般而言，圖像越清晰，其前景邊緣越明顯，邊緣梯度值越大；相反，圖像越模糊，其前景邊緣也越模糊，邊緣梯度值越小。圖像梯度是一個(gè)二維向量，表示圖像中每個(gè)像素的變化方向和程度。梯度值的計(jì)算可以幫助我們分析圖像的紋理和邊緣信息，在計(jì)算機(jī)視覺、圖像處理和模式識(shí)別等領(lǐng)域有廣泛應(yīng)用。

一般來說，圖像梯度的計(jì)算有兩種方法：一種是使用領(lǐng)梯微積分法，即求解圖像的偏導(dǎo)數(shù)；另一種是使用圖像卷積，即使用Sobel、Scharr或其他卷積核對(duì)圖像進(jìn)行卷積操作。

對(duì)于領(lǐng)梯微積分法，梯度值可以通過以下兩個(gè)公式計(jì)算：

（5）

（6）

式中：Gx表示圖像x方向的梯度值；Gy表示圖像y方向的梯度值；l為圖像強(qiáng)度函數(shù)；x和y分別表示圖像的兩個(gè)維度。

本研究利用拉普拉斯算子（卷積核）求解圖像梯度值，其原理如下：

拉普拉斯算子是一個(gè)線性卷積核，它利用圖像的二階導(dǎo)數(shù)來計(jì)算圖像的梯度并獲取圖像的邊緣信息。拉普拉斯算子的卷積核通常是一個(gè)二維的Laplacian算子，以如下二維矩陣表示：

（7）

圖像梯度值的計(jì)算過程如下：

（1）將圖像與卷積核進(jìn)行卷積；

（2）計(jì)算每個(gè)像素的卷積值；

（3）根據(jù)卷積值計(jì)算圖像的梯度。

在此基礎(chǔ)上，利用Python中的CV庫對(duì)圖像進(jìn)行拉普拉斯梯度計(jì)算。當(dāng)圖像梯度值處于邊界閾值附近時(shí)，可以對(duì)原圖像進(jìn)行銳化操作，若原圖像為清晰度正常的圖像，則其梯度值越大；若原圖像為清晰度異常的圖像，雖然梯度值會(huì)較原圖像有所增加，但兩者之間差值遠(yuǎn)小于正常圖像與其銳化圖像梯度之差。因此，通過分析圖像的梯度信息來實(shí)現(xiàn)圖像的清晰度異常檢測(cè)。清晰度異常檢測(cè)算法實(shí)現(xiàn)步驟如圖7所示。

3 圖像視頻質(zhì)量檢測(cè)實(shí)驗(yàn)結(jié)果

基于上述算法理論搭建對(duì)應(yīng)的算法模型，并對(duì)該數(shù)據(jù)集進(jìn)行檢測(cè)，部分結(jié)果如圖8所示，得到對(duì)應(yīng)異常檢測(cè)的閾值見表1所列。

通過分析上述檢測(cè)結(jié)果可以得知，視頻異常檢測(cè)算法模型基本達(dá)到要求，但是在一些細(xì)節(jié)檢測(cè)上有些許誤差，比如在曝光度過低時(shí)會(huì)檢測(cè)為黑屏圖像以及在攝像頭周圍因客觀原因?qū)е氯鄙俟庠磿r(shí)，夜間的視頻圖像往往會(huì)被誤認(rèn)為黑屏；當(dāng)客觀認(rèn)為存在局部曝光過高時(shí)，系統(tǒng)檢測(cè)結(jié)果卻為曝光度正常。針對(duì)該現(xiàn)象，需要大量的圖像數(shù)據(jù)，統(tǒng)計(jì)其閾值分布規(guī)律，最終確定符合高速公路監(jiān)控視頻質(zhì)量檢測(cè)的閾值。在時(shí)效性上，針對(duì)數(shù)據(jù)集中所需處理的視頻圖像，可以達(dá)到實(shí)時(shí)處理（即達(dá)到每秒處理30張，與視頻截取頻率30幀/s吻合），能夠滿足實(shí)際應(yīng)用需求。

基于現(xiàn)有數(shù)據(jù)集，綜合準(zhǔn)確率可以達(dá)到約97%，分析其實(shí)驗(yàn)圖像，發(fā)現(xiàn)異常圖像不僅包括黑屏、亮度異常以及模糊異常，還包括噪聲干擾、攝像機(jī)遮擋、灰屏以及圖像顯示尺寸異常等問題。由于算法模型僅針對(duì)圖像目標(biāo)異常進(jìn)行檢測(cè)，當(dāng)出現(xiàn)其他異常時(shí)會(huì)導(dǎo)致檢測(cè)誤差，表現(xiàn)為算法模型魯棒性欠佳。針對(duì)其余非常見視頻圖像質(zhì)量問題，其算法可靠性較為有限。后續(xù)需要針對(duì)常見的視頻異常進(jìn)行總結(jié)歸納，并融合其檢測(cè)算法模型構(gòu)建完整的視頻質(zhì)量異常檢測(cè)系統(tǒng)。

4 結(jié) 語

本研究基于圖像處理技術(shù)，通過對(duì)圖像質(zhì)量異常的分類以及檢測(cè)方法進(jìn)行分析，實(shí)現(xiàn)了高速公路監(jiān)控視頻圖像的異常檢測(cè)，包括黑屏、亮度異常以及模糊異常的檢測(cè)。由實(shí)驗(yàn)結(jié)果可知，研究還存在些許不足，表現(xiàn)為高速公路監(jiān)控視頻圖像質(zhì)量檢測(cè)需要根據(jù)實(shí)際場(chǎng)景人為確定閾值范圍，導(dǎo)致識(shí)別結(jié)果產(chǎn)生誤差。通常來說，針對(duì)圖像問題，采用機(jī)器學(xué)習(xí)是行之有效的處理方法，但采用該方法需要大量的圖像數(shù)據(jù)集，而高速公路監(jiān)控?cái)z像頭故障為小概率事件，異常視頻圖像難以獲取?？梢酝ㄟ^利用該研究的成果，對(duì)高速公路監(jiān)控視頻進(jìn)行實(shí)時(shí)檢測(cè)獲取所需圖像質(zhì)量異常數(shù)據(jù)集，為后續(xù)利用機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)高速公路監(jiān)控視頻質(zhì)量自動(dòng)檢測(cè)提供數(shù)據(jù)支持。

參考文獻(xiàn)

[1] YOU J Y，KORHONEN J，PERKIS A. Attention modeling for video quality assessment： Balancing global quality and local quality.Multimedia and Expo （ICME） [C]// 2010 IEEE International Conference on Publication Year：2010：914-919.

[2] STAELENS N，DE MEULENAERE J，CLAEYS M，et al. Subjective quality assessment of longer duration videosequences delivered over HTTP adaptive streaming to tablet devices broadcasting [J]. IEEE transactions，2014，60：707-714.

[3] CHEN G H，YANG C L，SHENG L X. Gradient-based structural similarity for image quality assessment [C]// IEEE International Conference on Image Processing，Oct. 2012：2929-2932.

[4] ITU-T Study Group9 Contribution COM 9-80-E，F(xiàn)inal report from the Video Quality Experts Group on tire validation of objective models of video quality assessment [Z]. 2010.

[5] ITU-T J.144，Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference t [Z]. 2009.

[6] SAKIC K，DUMIC E，GRGIC S. Crowdsourced subjective video quality assessment systems，signals and image processing（IWSSIP）" [C]// 2014 International Conference on Publication Year：2014：223-226.

[7] YOU J Y，KORHONEN J，PERKIS A，et al. Balancing attended and global stimuli in perceived video quality assessment multimedia [J]. IEEE transactions，2011，13（6）：1269-1285.

[8]余燕飛，鄭烇，王嵩，等.基于空間域的圖像噪聲檢測(cè)技術(shù)[J].計(jì)算機(jī)應(yīng)用，2012，32（6）：1552-1556.

[9]俞勝，張懷亮，彭玲，等.應(yīng)用再模糊理論的無參考圖像質(zhì)量評(píng)價(jià)算法[J].傳感器與微系統(tǒng)，2021，40（8）：140-143.

[10]竇思冬，朱玉全，林慶，等.基于模糊核和梯度分布的部分模糊圖像檢測(cè)[J]. 信息技術(shù)，2018，42（9）：147-151.

[11]賈惠珍，雷初聰，王同罕，等.基于梯度和顯著性的無參考模糊圖像質(zhì)量評(píng)價(jià)方法[J]. Journal of southeast university（english edition），2021，37（2）：184-191.

[12]武利秀，桑慶兵.基于卷積神經(jīng)網(wǎng)絡(luò)的無參考混合失真圖像質(zhì)量評(píng)價(jià)[J].光學(xué)技術(shù)，2018，44（5）：555-561.

[13] LIU R，LI Z，JIA J. Image partial blur detection and classification [C]// 2008 IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2008：1-8.

[14] XU G，QUAN Y，JI H. Estimating defocus blur via rank of local patches [C]// Proceedings of the IEEE International Conference on Computer Vision. 2017：5371-5379.

[15] LANG C，HOU C，SONG Z. Depth recovery and refinement from a single image using defocus cues [J]. Journal of modem optics，2015，62（6）：204-211.