基于臺標識別的網絡視頻分類系統(tǒng)

劉 纓,尹 珩戴文娟

(1.北京市網信辦,北京 100062;2.北京理工大學 管理與經濟學院,北京 100062;3.訊飛智元信息科技有限公司,安徽 合肥 230088)

基于臺標識別的網絡視頻分類系統(tǒng)

劉 纓1,2,尹 珩1,戴文娟3

(1.北京市網信辦,北京 100062;2.北京理工大學 管理與經濟學院,北京 100062;3.訊飛智元信息科技有限公司,安徽 合肥 230088)

為了快速準確地清理互聯網平臺上的非法視頻，減少人力物力的投入，在研究非法視頻特征的基礎上，提出一套基于臺標識別的網絡視頻分類系統(tǒng)。在分析不同來源非法視頻臺標特性的基礎上，根據不同來源的非法視頻所攜帶的臺標特性不同，系統(tǒng)采用基于模板匹配和特征識別相結合的方法進行臺標識別，以提升識別的準確率。同時采用多種圖像增強技術降低分辨率、清晰度、背景等不確定因素對識別結果的影響，提升對非法視頻的召回率以及召回的準確率。實驗結果表明，該系統(tǒng)可通過篩選出確認安全視頻和疑似非法視頻來有效減少非法視頻篩選中的人力投入。另外，采用FFMPEG解碼庫解碼視頻抽取關鍵幀，提高了系統(tǒng)處理效率，平均單個視頻處理時間縮短30%。

公共安全；網絡視頻；臺標識別；模板匹配；ORB特征識別

1 概 述

隨著互聯網技術的發(fā)展，越來越多的視頻通過網絡傳播，其中充斥著大量危害公共安全的不健康視頻，而在海量的視頻庫中要將這些不安全視頻挑出需要耗費大量的人力物力。而臺標作為視頻的一個重要標識，包含了視頻來源、視頻類別和節(jié)目取向等重要信息，近年來臺標識別在視頻檢索的研究中受到了越來越多的重視[1-5]，也提出了一些針對視頻臺標檢測的算法。將臺標作為檢索依據，根據視頻來源可將網絡視頻分為三類：帶有省市級衛(wèi)視臺臺標的絕對安全的視頻、帶有非法組織電視臺臺標的危險視頻，以及不包含前兩種臺標、需要采用其他方法進一步判別的視頻。依據臺標將網絡視頻分類可以極大減少在網絡視頻審查中的人力物力，保障互聯網視頻的健康、安全。

視頻臺標通常由圖像、圖像型字母、字母、漢字組合而成，如圖1所示。就電視臺標而言，很多臺標具有很大的局部相似性，比如CCTV系列的所有臺標、衛(wèi)視臺與對應的二級電視臺臺標，而很多非法組織的標識含有復雜圖像和字母，如圖1(b)。為了分析視頻來源，不僅要分辨出臺標是否是合法的，還要準確識別出具體臺標的名稱。

圖1 常見臺標

由于背景的影響，同一段視頻不同幀的清晰度也會有比較大的差距，如圖1所示。為了應對實際應用中的各種不理想情況，文中在結合圖像配準和多種圖像增強方法[6-8](如方差法去背景、區(qū)域擴展、多幅圖疊加等)降低背景的影響的基礎上，采用模板匹配和特征點匹配相結合的方法識別臺標，同時采用FFMPEG關鍵幀抽取技術降低系統(tǒng)的時間消耗。該系統(tǒng)在保證時間效率的基礎上可有效分離衛(wèi)視臺標與二級子臺的臺標、識別低分辨率視頻中的非健康臺標。

2 臺標識別系統(tǒng)總體設計

根據目前的已有數據顯示，中國大陸電視臺的臺標均位于屏幕的左上角，部分香港澳門的電視臺臺標位于屏幕的右上角，而非法組織的標志通常分布在視頻的四個角，根據已有視頻資源，統(tǒng)計各非法臺標的分布規(guī)律，從而配置各個區(qū)域的需要識別的臺標模板。

2.1 系統(tǒng)結構

系統(tǒng)總體結構如圖2所示。該系統(tǒng)包含模板資源制作、資源加載、臺標識別與結果處理等模塊，系統(tǒng)功能除了將網絡視頻分為三類集合(即正常視頻集合、危險視頻集合以及需要進一步甄別的視頻集合)以外還承擔收集臺標模板的功能。對于客戶端不能識別的臺標將會上傳至云端，由后臺工作人員審核處理后，由云端更新資源。對于系統(tǒng)沒有召回的視頻，將繼續(xù)采用人臉檢索、視頻拷貝等視頻檢索的方法繼續(xù)識別。

2.2 資源制作

資源模板應盡可能應對由于視頻信號、清晰度、視頻比例等的差異導致的臺標位置、形態(tài)偏差，同時降低非目標臺標帶來的干擾，因此需要收集目標臺標的各種版本以及干擾臺標。該系統(tǒng)模板的獲取主要分兩個途徑：一個是在前期的臺標模板通過選取清晰穩(wěn)定的視頻，將其縮放至指定尺寸后，截取臺標所在區(qū)域，并將背景替換為純色，以減少背景對識別的影響；另一個是在后期系統(tǒng)上線后會傳回大量不能識別的圖片，經后臺工作人員審核后加入到模板庫中。

圖2 系統(tǒng)總體設計圖

根據先驗知識，大陸地區(qū)省市級電視臺的臺標均位于視頻的左上角，對樣本庫中的4 000余條非法視頻危險臺標進行統(tǒng)計，包含250余種非法臺標，視頻中非法臺標的分布規(guī)律統(tǒng)計結果顯示，約60%的非法視頻臺標位于右下角，29%的非法視頻臺標位于右上角，另外分別有9%位于左上角和2%位于左下角。

統(tǒng)計電視臺標和非法臺標的分布規(guī)律，根據分布規(guī)律統(tǒng)計結果和各臺標本身性質配置各監(jiān)測區(qū)域以及識別算法對應的模板特征。

3 系統(tǒng)臺標識別算法

根據模板特性制作臺標的梯度模板、邊緣模板和特征資源庫，采用多種圖像切割算法[9]切割觀測視頻監(jiān)測區(qū)域圖像，計算其梯度模板、邊緣模板和特征點集合，與可信任電視臺標、非法組織的復雜臺標模板庫分別比對，完成視頻的分類。

3.1 梯度直方圖法

由于臺標背景變化大，通過提取臺標位置的圖像特征時，背景特征摻雜其中，容易造成分類器識別結果錯誤。

為提高抗背景干擾能力，去除無關雜點的影響，該系統(tǒng)將傳統(tǒng)的統(tǒng)計區(qū)域內梯度方向直方圖轉換為統(tǒng)計匹配點的梯度方向直方圖，并將傳統(tǒng)模板匹配的0-1匹配轉換為梯度方向的0-7匹配。抵抗背景干擾的同時增強子臺的可區(qū)分性，圖3為安徽衛(wèi)視及其各子臺臺標的梯度方向圖。

圖3 臺標梯度方向模板

(1)

圖4 梯度方向劃分

如果觀測圖與模板圖對應的像素點梯度方向在同一個方向區(qū)域即標注結果相同，則認為該點匹配成功。

統(tǒng)計區(qū)域內梯度方向匹配成功的像素點數得到匹配直方圖p，與之對應的模板直方圖記為q，兩個直方圖的Bhattacharyya距離為：

(2)

選取最優(yōu)匹配作為結果，若識別得分低于閾值，則上傳視頻臺標至云端，待后臺人員審核后上傳到待審圖片庫中的新臺標，加以標注后加入到臺標模板序列中。

3.2 邊緣模板匹配

圖像邊緣是指圖像局部強度變化顯著的部分，是圖像分割和形狀特征等圖像分析的重要基礎，常用的檢測算子有Roberts算子、Sobel算子、Prewitt算子、Log算子等。Canny算子可有效抑制噪聲，采用雙閾值精確確定邊緣的位置，Canny邊緣計算流程為：

(1)像素點的梯度計算。

(3)

(2)邊緣點判定。

采用雙閾值，梯度大于高閾值的點確定為邊緣點，梯度小于低閾值或者梯度取到極大值的點確定為非極值點，介于高低閾值之前的點通過邊緣的連續(xù)性判斷是否是邊緣點，得到邊緣二值圖，統(tǒng)計邊緣點數N1。

(4)

臺標邊緣模板包含邊緣點個數N2，將觀測圖像的邊緣二值圖與臺標邊緣模板做與運算，設與運算后得到邊緣點數為N。匹配得分為：

Score=0.5*(N/N1+N/N2)

(5)

選得分最高作為結果，若結果得分低于閾值，則上傳截圖至云端。

3.3 特征識別

非法視頻的清晰度、臺標位置、臺標形態(tài)等都非常不穩(wěn)定，部分非法視頻是由手機錄制后再二次編輯，分辨率很低，采用模板對臺標位置與比例進行暴力匹配非常耗時，且效果也不理想。特征將圖像映射為局部特征向量集，將圖像的匹配轉化為特征點間的匹配，可以抵抗平移、縮放和旋轉，對光照變化、仿射及投影變換也有一定不變性，而且提取特征點數量較多，以量取勝，可抵抗一定的背景變化。

常用特征識別算法包括Sift[10]、Surf[11]、Orb[12]等，其中Orb算法是最具效率的一個，效率比Sift算法高兩個數量級。Orb算法實際是具有方向性的fast角點檢測[13]加上可旋轉的Brief特征點描述[14]的方法組合，以改進Brief不具有旋轉不變性和不具有多尺度等特性。

FAST算法檢測關鍵點，通過對比像素周圍的N個點的灰度值，如果有連續(xù)M個點的灰度值與之不同，則認為該點是關鍵點。在原ORB的方案中是通過矩(moment)來計算特征點的主方向，而在該系統(tǒng)臺標識別的應用中，由于網絡視頻常見的變形時擠壓、拉伸和縮放，并不存在圖像旋轉，并且在經過實驗對比后確認忽略關鍵點的方向更有利于提高檢測效果。

在圖像上選擇一個局部區(qū)域，用p表示，它的大小是S*S像素，在p上面提取Brief特征。通過高斯分布選取點對，并用特征點的主方向校正點對的坐標，定義tao測試：

(6)

得到的二進制向量如下：

(7)

由于背景的影響，orb算法會有一些錯配點，在特征匹配前通過圖像增強降低背景的干擾至關重要。

4 系統(tǒng)優(yōu)化

4.1 解碼與抽幀策略

網絡視頻，特別是非法組織制定的非法視頻都經常是在原有視頻的基礎上經過多次編輯后的結果，經過刪幀、插幀、轉碼等一系列操作之后，臺標變得不穩(wěn)定，比如某些時間段不含有臺標或者臺標不夠清晰，部分幀背景嘈雜易被誤識為圖像臺標，另外對于電視視頻來說，不夠清晰的二級子臺會被誤識為衛(wèi)視臺召回。如果這種不夠質量的幀被抽取作為測試樣本，會嚴重影響識別結果。

為了降低抽幀帶來的影響，該系統(tǒng)對視頻分段做多次識別，返回統(tǒng)計結果，可有效降低虛警發(fā)生的概率，且可以規(guī)避由于臺標不穩(wěn)定而造成的漏警。系統(tǒng)同時會緩存多張圖片，多次檢測勢必會造成效率的負擔，于是采用FFMPEG解碼庫對視頻解碼并按照設定的抽幀策略抽取關鍵幀，可極大提高視頻處理效率。

4.2 圖像增強

為了保證截取的圖像識別區(qū)域包含整個臺標，因此截取的區(qū)域遠大于臺標實際所占的面積，而這也帶來了新的問題：嘈雜的背景對于臺標識別產生巨大的影響。為了對抗視頻背景的影響，系統(tǒng)采用一系列的圖像增強技術，包括多張圖像疊加去背景、方差法去背景和區(qū)域擴展等。

去背景的思想是基于同一段視頻中臺標的位置是相對固定的，而背景是一直在變化這一前提。在視頻中以10 s為間隔抽取三幀圖像，截取臺標區(qū)域位置，分別計算邊緣二值圖，邊緣圖疊加是多幅邊緣圖按照權重疊加，疊加過程如圖5所示，經過疊加之后背景部分的強度明顯降低。

圖5 多幅圖權重疊加去背影效果展示

方差法去背景是依據視頻中臺標具有時空不變性這一特點，截取目標區(qū)域，遍歷區(qū)域圖像中的每一個像素，計算每個像素點的方差，判斷當前點是否屬于背景點，另外在方差法去背景的基礎上進一步采用區(qū)域擴展等圖像增強方法去除背景的影響。

5 系統(tǒng)效果分析

模板庫說明：模板庫中包含了CCTV1～CCTV15、各省級衛(wèi)視及二級子臺共174個電視臺臺標，加上232個非法組織的圖形臺標，模板庫中共434個梯度模板、103個邊緣模板和1 189個orb特征模板。

測試集說明：測試集合分為三部分，CCTV和省級電視臺的視頻、帶有非法臺標的危險視頻及本次測試的干擾集，其中負樣本包含了非省級電視臺的視頻、帶有視頻網站logo的視頻、不含有臺標的網絡視頻共計16 596個。

測試機器配置CPU：Interl Xeon E5-2620 @2 GHz、64 GB內存，采用單線程測試，16 596條視頻采用OpenCV解碼和FFMPEG解碼的耗時分別為77 337 s和53 938 s，平均單個視頻處理時間由4.66 s縮短至3.25 s，效率優(yōu)化30.26%。對FFMPEG解碼技術采用24線程測試上述集合，共耗時6 432 s，平均單個視頻耗時0.38 s，完全可以達到項目需求。

由于電視臺標和非法電視臺臺標所用識別算法不同，且互為干擾，分別統(tǒng)計算法優(yōu)化前和算法優(yōu)化后兩類臺標識別的指標，如表1和表2所示。

表1 電視臺標測試結果

表2 非法臺標測試結果

由表1計算可得，優(yōu)化前召回率和正確率分別為82.15%和96.87%，而優(yōu)化后召回率和正確率分別為95.40%和98.94%；由表2計算可得，優(yōu)化前召回率和正確率分別為66.87%和94.82%，而優(yōu)化后召回率和正確率分別為86.78%和98.70%。

對于電視臺標，虛警主要來自于衛(wèi)視臺對應的二級子臺的視頻，相似性比較大，導致虛警的產生。為了保證正確率，系統(tǒng)保持了比較高的閾值，代價是降低了召回率。對于非法臺標來說，導致召回率不夠理想的原因是視頻樣本本身質量和清晰度參差不齊，部分非法視頻的分辨率只有128*88，另外部分非法視頻使得剪切拼接嚴重，臺標出現的位置以及時間很不穩(wěn)定，導致去背景的方法失效。

6 結束語

臺標標志著視頻的來源和類別屬性，是視頻分類的一個重要依據，由于網絡視頻經過了多次編輯，造成視頻臺標與臺標模板之間存在較大差異。文中在多種圖像增強技術去除嘈雜背景影響的基礎上，采用梯度、邊緣模板識別與特征匹配的方法檢測不同類別的臺標，實現衛(wèi)視臺標與對應二級臺標的分離以及低分辨率條件下非法臺標的識別，達到可觀的召回率和正確率。采用FFMPEG抽取關鍵幀縮短了視頻解碼抽幀的時間，使系統(tǒng)的效率滿足需求。在后續(xù)的工作中為了進一步提高系統(tǒng)對低分辨率視頻、臺標位置偏離及文字型臺標的處理能力，將繼續(xù)擴大系統(tǒng)檢測區(qū)域并降低背景對識別結果的影響。

[1] 包秀國，張冬明，張曦珊，等.基于選擇性Gabor濾波器組的網絡視頻臺標識別[J].計算機輔助設計與圖形學學報，2014,26(2):248-257.

[2] 金 陽，程江華，任 通，等.一種基于二值圖角點匹配的臺標識別方法[J]．電視技術，2012,36(17):15-19.

[3] Wang J Q,Duan L Y,Li Z L,et al.A robust method for TV logo tracking in video streams[C]//Proceedings of IEEE international conference on multimedia and expo.Los Alamitos：IEEE Computer Society Press,2006:1041-1044.

[4] Zhang L,Xia T,Zhang Y,et al.Hollow TV logo detection[C]//Proceedings of the 18th IEEE international conference on image processing.Los Alamitos:IEEE Computer Society Press,2011:3581-3584．

[5] 侯勝偉，滕奇志，高明亮，等.臺標的自動檢測與識別[J].四川大學學報:自然科學版，2013,50(3):522-528.

[6] 汪文英,張冬明,張勇東,等.利用仿射變換的快速空間關系驗證[J].計算機輔助設計與圖形學學報,2010,22(4):625-631.

[7] Lettner M,Kleber F,Sablatnig R,et al.Contrast enhancement in multispectral images by emphasizing text regions[C]//Proc of the eighth IAPR workshop on document analysis systems.[s.l.]:[s.n.],2008:225-231.

[8] Gorelick L,Boykov Y,Veksler O,et al.Submodularization for binary pairwise energies[C]//Proc of IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2014:1-8.

[9] 張 偉，蔣 宏，任 章.自適應多閾值圖像分割算法[J].自動化技術與應用，2007,26(8):71-73.

[10] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[11] Bay H,Tuytelaars T,van Gool L.Surf:speeded up robust features[C]//Proc of European conference on computer vision.[s.l.]:[s.n.],2006.

[12] Rublee E,Rabaud V.ORB:an efficient alternative to SIFT or SURF[C]//Proc of IEEE international conference on computer vision.[s.l.]:IEEE,2011:2564-2571.

[13] Rosten E,Drummond T.Machine learning for high-speed corner detection[C]//Proc of European conference on computer vision.[s.l.]:[s.n.],2006.

[14] Calonder M,Lepetit V,Strecha C,et al.Brief:binary robust independent elementary features[C]//Proc of European conference on computer vision,[s.l.]:[s.n.],2010.

A Classification System for Internet Videos Based on TV Logo Recognition

LIU Ying1,2,YIN Hang1,DAI Wen-juan3

(1.Cyberspace Administration of Beijing,Beijing 100062,China; 2.School of Management and Economics,Beijing Institute of Technology,Beijing 100062,China; 3.Iflytek Intelligent System Co.,Ltd.,Hefei 230088,China)

In order to clean up the illegal videos on the internet rapidly and accurately and reduce the input of manpower and material resources,a video classification system based on TV logo recognition has been proposed.On the basis of analyzing illegal videos TV logo with different producer,the system adopts a method combined pattern matching and feature recognition for TV logo recognition to improve accuracy according to different TV logo feature of illegal video.At the same time,a variety of image enhancement techniques are adopted to decrease the influence of uncertain factors like resolution,definition and background on the identification results,improving the recall rate of illegal video and recall accuracy.Experimental results show that this system could effectively reduce the human input and material resource by screening out the security video and suspected illegal video.In addition,FFMPEG is used to decode and draw key frame,which can improve the efficiency at 30%

public safety;internet videos;TV logo recognition;template matching;ORB

2015-05-29

2015-09-17

時間：2016-09-18

北京市科委項目(Z141100006014002)

劉 纓(1973-),女，博士，研究方向為科學與管理。

http://www.cnki.net/kcms/detail/61.1450.TP.20160918.1707.008.html

TP302

A

1673-629X(2016)10-0087-05

10.3969/j.issn.1673-629X.2016.10.019