“深度學習”技術(shù)在廣電值機中的應用

賈孟君 霍精民

現(xiàn)階段我國絕大多數(shù)廣播電視發(fā)射臺都采用有人值守，值機員的任務就是用眼觀、耳聽、鼻聞、手觸等感官監(jiān)視發(fā)射機及其附屬設備的運行狀態(tài)和信號傳送質(zhì)量，完全依賴值班人員的判斷來保證播出的安全。但在長時間的值機過程中，人難免會出現(xiàn)疲勞且注意力不集中的情況，一旦發(fā)生播出事故，很難在值機的全部過程中做到第一時間作出反應，所以需要輔助工具。如果能有一套識別監(jiān)視信號異常功能的系統(tǒng)幫助值機員進行監(jiān)控，對廣電的安全播出將會有極大的保障。本文利用深度學習的技術(shù)，改善值機系統(tǒng)，將人工與智能監(jiān)控進行結(jié)合，推進廣電值機系統(tǒng)的智能化，逐步向“智慧機房”邁進。

一、深度學習[1]

人工智能（AI）、機器學習和深度學習的關系如圖1所示，在深度學習之前，人們一般用傳統(tǒng)的機器學習算法，如支持向量機（SVM）、決策樹等等，這些淺層的學習方法僅僅是將輸入數(shù)據(jù)變換到一兩個連續(xù)的表示空間，通常使用簡單的變換，這些技術(shù)雖然有著非常成熟和完整的數(shù)學理論基礎，但這些技術(shù)通常無法得到復雜問題所需要的精確表示。因此，人們必須竭盡全力讓初始輸入數(shù)據(jù)更適合用這些方法處理，也必須手動為數(shù)據(jù)設計好的表示層，這叫作特征工程。然而實踐證明，在復雜的環(huán)境下，手動的特征工程往往不能得到一個很好的表示。與此相反，這個步驟在深度學習里面是完全自動化的，也就是并不需要手動設計，是一個簡單的、端到端的學習模型。

圖1 人工智能、機器學習、深度學習關系

深度學習的深，是指神經(jīng)網(wǎng)絡的層數(shù)深，能否用傳統(tǒng)的淺層表示方法，重復使用從而達到深度學習的效果呢？這個是不行的，深度學習的變革性在于，模型可以在同一時間共同學習所有表示層，而不是依次連續(xù)學習（這被稱為貪婪學習）。通過共同的特征學習，一旦模型修改某個內(nèi)部特征，所有依賴于該特征的其他特征都會相應地自動調(diào)節(jié)適應，無須人為干預。一切都由單一反饋信號來監(jiān)督：模型中的每一處變化都是為了最終目標服務。這種方法比貪婪地疊加淺層模型更加強大，因為它可以通過將復雜、抽象的表示拆解為很多個中間空間（層）來學習這些表示，每個中間空間僅僅是前一個空間的簡單變換。也就是說每一層都要考慮上下兩層的需要，這使得深度學習的表示能力比傳統(tǒng)的淺層學習更加強大。

早期的卷積神經(jīng)網(wǎng)絡應用于20世紀90年代，LeNet神經(jīng)網(wǎng)絡由深度學習三巨頭之一的Yan LeCun提出，應用于手寫數(shù)字分類問題，并被當時的美國郵政署采用，用于自動讀取信封上的郵政編碼。但由于當時缺乏大規(guī)模的訓練數(shù)據(jù)，計算機硬件的性能也較低，因此LeNet神經(jīng)網(wǎng)絡在處理復雜問題時效果并不理想。伴隨著當時核方法、SVM、決策樹等方法的興起，人們很快將神經(jīng)網(wǎng)絡拋之腦后。但真正的轉(zhuǎn)折性時刻出現(xiàn)在2012年，當年Hinton小組參加了每年一次的大規(guī)模圖像分類挑戰(zhàn)賽ImageNet。ImageNet挑戰(zhàn)賽在當時以困難著稱，參賽者需要對140萬張高分辨率彩色圖像進行訓練，然后將其劃分到1000個不同的類別中。2011年，獲勝的模型基于經(jīng)典的計算機視覺方法，其top-5精度只有74.3%。到2012年，由Alex Krizhevsky帶領并由Geoffrey Hinton提供建議的小組，實現(xiàn)了83.6%的top-5精度——這是一項重大突破。此后，這項競賽每年都由深度卷積神經(jīng)網(wǎng)絡所主導。到了2015年，獲勝者的精度達到了96.4%，此時ImageNet的分類任務被認為是一個已經(jīng)完全解決的問題。自2012年以來，深度卷積神經(jīng)網(wǎng)絡（convnet）已成為所有計算機視覺任務的首選算法。更一般地說，它在所有感知任務上都有效。在2015年和2016年的主要計算機視覺會議上，幾乎所有演講都與convnet有關。與此同時，深度學習也在許多其他類型的問題上得到應用，比如自然語言處理。它已經(jīng)在大量應用中完全取代了SVM與決策樹。舉個例子，歐洲核子研究中心（CERN）多年來一直使用基于決策樹的方法來分析來自大型強子對撞機（LHC）ATLAS探測器的粒子數(shù)據(jù)，但CERN最終轉(zhuǎn)向基于Keras的深度神經(jīng)網(wǎng)絡，因為它的性能更好，而且在大型數(shù)據(jù)集上易于訓練。

二、智能值機

1、圖像識別

卷積神經(jīng)網(wǎng)絡在圖像識別和目標檢測領域應用地非常廣泛，我們首先可以用其圖像檢測功能，從外部來檢測值機時用的監(jiān)控視頻里面有沒有信號或信號異常。從外部檢測是用一個攝像頭對畫面進行實時識別，將攝像頭捕捉到的畫面進行分幀處理，形成一幀一幀的圖片，對分幀后的圖片進行圖像識別，如若圖像里面有內(nèi)容，則繼續(xù)進行下一幀的識別，如若圖像里面沒有內(nèi)容，完全是黑的，則發(fā)出異常的警報。這其實就是一個二分類的過程，我們可以對這兩類數(shù)據(jù)進行標簽，在訓練卷積神經(jīng)網(wǎng)絡的時候，首先對這兩類數(shù)據(jù)進行大量的收集，這個數(shù)據(jù)其實就是機房的監(jiān)示器圖像，一種是正常的，一種是出現(xiàn)異常的（如：屏幕全部變黑），將收集到的數(shù)據(jù)分開存放，并用這些數(shù)據(jù)，對要使用的卷積神經(jīng)網(wǎng)絡進行訓練，直至訓練集和驗證集的錯誤率減小并收斂，準確率增大并收斂。

2、臺標檢測

有些電視中場景的轉(zhuǎn)場本來就是全黑的，這個時候卷積神經(jīng)網(wǎng)絡反而有很大概率會判定其沒有畫面，是異常情況。這種情況，僅僅通過圖像識別，很容易錯誤地對圖像進行分類，從而發(fā)出誤判的警報。所以這個時候我們還需要對電視中的臺標進行一個識別。臺標一般在屏幕左上角，如果畫面中沒有臺標或者是錯誤的臺標，則系統(tǒng)馬上發(fā)出異常的警報；如果畫面是全黑，但左上角檢測出有臺標，系統(tǒng)依然會判定這種是正常的情況。對臺標我們用目標檢測的方法，目前，基于深度學習算法的一系列目標檢測算法大致可以分為兩大流派：1.兩步走（two-stage）算法：先產(chǎn)生候選區(qū)域然后進行CNN分類（RCNN系列）；2.一步走（one-stage）算法：直接對輸入圖像應用算法并輸出類別和相應的定位（YOLO系列）。電視臺的值機監(jiān)控系統(tǒng)，一般會有幾個甚至十幾個屏幕，因此需要一個對多目標檢測比較好的模型。又因為值機人員要在很短的時間內(nèi)發(fā)現(xiàn)異常，因此還需要系統(tǒng)識別的實時性非常的好，所以我們這里推薦用YOLOv4模型對臺標進行檢測。該目標檢測的數(shù)據(jù)集，依然可以用之前圖像識別收集到的數(shù)據(jù)，只需要對每個圖像上的臺標進行一個標記即可?？傮w步驟如圖2所示。

圖2 總體識別步驟

3、數(shù)據(jù)的獲取

無論是圖像識別的卷積神經(jīng)網(wǎng)絡還是YOLOv4模型，都需要大量的數(shù)據(jù)進行訓練。不同機房前排的監(jiān)控布局是不一樣的，所以需要對不同的機房，訓練特定的卷積神經(jīng)網(wǎng)絡。我們建議對機房監(jiān)控進行錄像，每種類別的錄像的時長最好大于30分鐘，并且錄像的時間應該分開為早、中、晚各錄一次，機房開燈、關燈時各錄一次，晴天和陰天各錄一次，以此獲得數(shù)據(jù)的多樣性，可以使神經(jīng)網(wǎng)絡適應環(huán)境的變化。將錄好的視頻進行分幀，每4幀提取以此圖像，假設每秒是24幀，這樣30分鐘就可以獲取30×60×（24/4）=10800張圖像，對于訓練其中任何一種情況是夠了的。

三、結(jié)語

我們提出利用卷積神經(jīng)網(wǎng)絡進行圖像識別，用YOLOv4網(wǎng)絡對臺標進行目標檢測，這樣可以在不用更換硬件設備的前提下，進一步提升值機的效率，即使后期廣電更新了硬件設備，我們也只需要對神經(jīng)網(wǎng)絡進行重新的訓練即可。因此利用卷積神經(jīng)網(wǎng)絡進行輔助值機，不僅可以提高播送的安全性，還節(jié)省了硬件的成本，并且訓練數(shù)據(jù)在機房是極其容易獲得的。

建設“智慧機房”、實現(xiàn)無人值機是廣播電視發(fā)射技術(shù)升級的必然趨勢，人工智能、深度學習的應用將發(fā)揮積極作用。