基于微服務(wù)架構(gòu)的廣播電視內(nèi)容監(jiān)管系統(tǒng)設(shè)計(jì)

吳慧思

傳統(tǒng)的廣播電視內(nèi)容管理業(yè)務(wù)有廣告管理、監(jiān)聽監(jiān)看以及動(dòng)態(tài)輿情等，不同的業(yè)務(wù)建立不同的系統(tǒng)。筆者根據(jù)廣播電視監(jiān)管業(yè)務(wù)需求以及現(xiàn)有技術(shù)的發(fā)展，在傳統(tǒng)廣播電視內(nèi)容管理的業(yè)務(wù)分類基礎(chǔ)上，整合資源，對(duì)傳統(tǒng)的廣播電視內(nèi)容管理系統(tǒng)做進(jìn)一步改進(jìn)和擴(kuò)展，提出了一套基于微服務(wù)架構(gòu)，集節(jié)目識(shí)別、廣告識(shí)別、新增重復(fù)節(jié)目識(shí)別等節(jié)目拆條，輿情處理，人臉識(shí)別，節(jié)目評(píng)議，語音識(shí)別于一體的廣播電視內(nèi)容智能化監(jiān)管平臺(tái)。

一、總體設(shè)計(jì)架構(gòu)和思路

系統(tǒng)在框架上采用微服務(wù)架構(gòu)，在業(yè)務(wù)的基礎(chǔ)上細(xì)分功能，分組為各個(gè)子功能，不同的子功能就可以分為一個(gè)微服務(wù)，具有硬件資源可靈活調(diào)用、維護(hù)簡單以及運(yùn)行高效的特點(diǎn)。具體架構(gòu)如圖1所示。

圖1 內(nèi)容管理平臺(tái)架構(gòu)

二、系統(tǒng)概述

系統(tǒng)功能模塊主要由監(jiān)管業(yè)務(wù)和平臺(tái)管理兩個(gè)部分組成，如圖2所示。

圖2 系統(tǒng)主要功能模塊

三、微服務(wù)軟件架構(gòu)

在一個(gè)系統(tǒng)中，會(huì)有多個(gè)功能模塊，每個(gè)功能模塊由多個(gè)基礎(chǔ)子功能構(gòu)成，通常包含幾十個(gè)子功能。它們需要通過彼此之間的調(diào)用，才能實(shí)現(xiàn)各種業(yè)務(wù)功能，因此基礎(chǔ)子功能之間往往存在著各種交錯(cuò)的依賴關(guān)系。隨著平臺(tái)的不斷壯大，代碼規(guī)模逐漸變多，各個(gè)子功能的調(diào)用關(guān)系也將趨于復(fù)雜和難以維護(hù)，甚至還會(huì)帶來很多難以跟蹤和調(diào)試的錯(cuò)誤。例如，節(jié)目識(shí)別、廣告識(shí)別以及新增重復(fù)節(jié)目識(shí)別，這三個(gè)模塊都使用了消息隊(duì)列、高速緩存、數(shù)據(jù)庫讀寫，若節(jié)目識(shí)別出現(xiàn)錯(cuò)誤，消息隊(duì)列將會(huì)出現(xiàn)卡死的情況，這會(huì)直接影響其他功能模塊的正常使用。若能把節(jié)目識(shí)別、廣告識(shí)別以及新增重復(fù)節(jié)目識(shí)別分別安裝在各自獨(dú)立的運(yùn)行環(huán)境中，并且對(duì)它們各自所需的資源也都封裝在一個(gè)相對(duì)獨(dú)立的環(huán)境下，那么任何一個(gè)模塊的異常都不會(huì)影響到其他模塊的正常運(yùn)行。

傳統(tǒng)的解決方案是通過虛擬機(jī)的方式對(duì)環(huán)境進(jìn)行隔離。虛擬機(jī)是基于操作系統(tǒng)層面的，因此存在以下缺點(diǎn)：云平臺(tái)難以對(duì)虛機(jī)的各種異常情況進(jìn)行監(jiān)控，云平臺(tái)不能及時(shí)發(fā)現(xiàn)虛機(jī)的假死、藍(lán)屏、程序錯(cuò)誤等情況；啟動(dòng)速度慢，一臺(tái)虛機(jī)需要先啟動(dòng)操作系統(tǒng)，才能啟動(dòng)應(yīng)用程序，因此需要較長的時(shí)間，用戶能感受到明顯的業(yè)務(wù)中斷；資源調(diào)配不夠靈活，新建一臺(tái)虛機(jī)需要許多環(huán)節(jié)，當(dāng)業(yè)務(wù)數(shù)據(jù)瞬間增多時(shí)，無法及時(shí)補(bǔ)充計(jì)算資源。為此，該系統(tǒng)引進(jìn)了微服務(wù)軟件架構(gòu)，并以容器為技術(shù)實(shí)現(xiàn)，能較好地解決以上問題。

容器類似于沙盒技術(shù)，其主要目的是通過將應(yīng)用程序運(yùn)行在容器中，實(shí)現(xiàn)與外界的相對(duì)隔離，并通過統(tǒng)一的資源管理平臺(tái)對(duì)容器進(jìn)行資源管理。本質(zhì)上，容器是一個(gè)特殊的進(jìn)程，因此比虛機(jī)輕便許多。容器通過名稱空間（Namespace）、控制組（Control groups）、切根（chroot）技術(shù)，把資源、文件、設(shè)備、狀態(tài)和配置劃分到一個(gè)獨(dú)立的空間。容器的新建和啟動(dòng)速度通常能達(dá)到秒級(jí)，而虛機(jī)往往需要幾分鐘。容器和虛機(jī)一樣，也可以在不同的宿主機(jī)器之間遷移，并且遷移速度比虛機(jī)更快。

通過容器來構(gòu)建微服務(wù)還帶來以下優(yōu)點(diǎn)。一是計(jì)算環(huán)境可移植性較好。由于封裝了軟件模塊所需的內(nèi)部調(diào)用細(xì)節(jié)，如程序?qū)ava或Python運(yùn)行環(huán)境的依賴，以及對(duì)操作系統(tǒng)的特殊配置都封裝在容器中，容器不僅可在Windows與Linux的宿主機(jī)上進(jìn)行移植，還能減少因測試與交付環(huán)境的不同而產(chǎn)生的無法預(yù)知的錯(cuò)誤。二是便于版本控制。由于每個(gè)容器鏡像都可以進(jìn)行版本控制，不同的版本分支便于在業(yè)務(wù)的不同開展階段對(duì)微服務(wù)的部署做調(diào)整。三是提高系統(tǒng)的協(xié)同開發(fā)效率。由于容器能夠?qū)δK的跨服務(wù)依賴性進(jìn)行最大的消除，依賴關(guān)系的沖突是消耗開發(fā)人員生產(chǎn)力的原因之一。通過對(duì)系統(tǒng)進(jìn)行微服務(wù)劃分，并對(duì)不同的微服務(wù)采用不同的容器進(jìn)行封裝，做到獨(dú)立升級(jí)。

四、平臺(tái)功能模塊設(shè)計(jì)

（一）監(jiān)管業(yè)務(wù)模塊

系統(tǒng)通過音頻分離服務(wù)、全天音頻特征提取服務(wù)、圖像關(guān)鍵幀提取服務(wù)等，把從前端采集到的音視頻文件轉(zhuǎn)換為音頻文件，同時(shí)進(jìn)行圖像提取，按一秒一幀的頻率抽取圖像。對(duì)音頻信號(hào)加窗處理，獲取短時(shí)平穩(wěn)的音頻信號(hào)，轉(zhuǎn)到變換域后，應(yīng)用能量準(zhǔn)則提取特征，為后續(xù)的音頻特征檢索做基礎(chǔ)服務(wù)。

1.節(jié)目識(shí)別。節(jié)目識(shí)別是把廣播電視的節(jié)目按不同類型完整地識(shí)別出來，包括新聞節(jié)目、專題欄目、電視劇、動(dòng)畫片等節(jié)目識(shí)別。將節(jié)目按類型完整地標(biāo)注，避免了后期在進(jìn)行節(jié)目審核時(shí)需從海量的廣播電視節(jié)目中尋找節(jié)目等問題，降低了人工審核節(jié)目的難度。一般情況下，同樣的節(jié)目，每期的片頭片尾都是相同的，可以根據(jù)節(jié)目的這一特性，運(yùn)用技術(shù)手段找到節(jié)目的播出時(shí)間。因?yàn)橐纛l文件占用空間小、音頻特征提取和識(shí)別技術(shù)已經(jīng)較為成熟，所以在節(jié)目識(shí)別方式上使用的是音頻識(shí)別。在節(jié)目識(shí)別中，需要由審核人員手動(dòng)對(duì)節(jié)目的片頭片尾做樣本，系統(tǒng)再通過節(jié)目樣例音頻特征提取服務(wù)提取樣本的音頻特征，形成節(jié)目樣本的數(shù)據(jù)庫。在做節(jié)目樣本時(shí)，把節(jié)目樣本對(duì)應(yīng)的性質(zhì)同時(shí)綁定，即可把對(duì)應(yīng)的節(jié)目分類。同時(shí)，系統(tǒng)根據(jù)全天音頻特征提取服務(wù)，對(duì)全天的音頻做特征提取。音頻識(shí)別程序收到控制中心的識(shí)別指令后，檢索相關(guān)的廣播電視頻率頻道音頻特征索引文件，匹配對(duì)應(yīng)的樣本音頻特征，最后把識(shí)別到的結(jié)果標(biāo)注好并在頁面上呈現(xiàn)。

2.廣告識(shí)別。廣告識(shí)別主要分為違規(guī)廣告、商業(yè)廣告以及公益廣告的識(shí)別。通過廣告的自動(dòng)識(shí)別和拆分，審核人員可以清晰地看到一天的節(jié)目時(shí)段，播了什么廣告，在什么時(shí)間播放廣告，是否有違規(guī)等識(shí)別結(jié)果，及時(shí)了解廣告的播出情況，提高了人工審核的效率。該識(shí)別原理主要建立不同類型的廣告樣本庫，根據(jù)音頻特征分別去檢索相應(yīng)的文件，并得出結(jié)果。目前，樣本的音頻識(shí)別檢索算法發(fā)展已經(jīng)比較成熟，準(zhǔn)確率高，識(shí)別出來的結(jié)果基本可以直接使用，不需要過多人工干預(yù)。

3.新增重復(fù)節(jié)目識(shí)別。全天的廣播電視節(jié)目中，會(huì)有新增的電視劇宣傳片和廣告等，這些新增的素材一般會(huì)在當(dāng)天或者第二天重復(fù)播放。利用重復(fù)的特點(diǎn)，通過對(duì)音頻特征重復(fù)遍歷比對(duì)的算法，把在廣播電視中重復(fù)播放的視頻片段識(shí)別出來，幫助審核人員快速準(zhǔn)確定位到新增的節(jié)目內(nèi)容。通過審核新增的節(jié)目內(nèi)容，并及時(shí)做相應(yīng)的樣本讓系統(tǒng)去識(shí)別和標(biāo)注，系統(tǒng)自動(dòng)識(shí)別發(fā)現(xiàn)新增節(jié)目內(nèi)容和人工維護(hù)相結(jié)合的方式，提高整個(gè)流程的工作效率。因?yàn)橐延袠颖镜囊纛l檢索識(shí)別準(zhǔn)確率高，所以利用現(xiàn)有節(jié)目和廣告的識(shí)別結(jié)果，在識(shí)別時(shí)間上，首先可以剔除掉其他服務(wù)中已經(jīng)確定的節(jié)目時(shí)間，節(jié)省了計(jì)算資源。同時(shí)，通過場景識(shí)別模塊，識(shí)別出停機(jī)時(shí)段，在此基礎(chǔ)上再去做新增視頻的識(shí)別，提高系統(tǒng)的效率。

4.輿情處理。該業(yè)務(wù)主要是一些相關(guān)內(nèi)容報(bào)道的收集和統(tǒng)計(jì)，可以分為三大部分：一是專題報(bào)道和宣傳報(bào)道，主要是一些重點(diǎn)工作以及熱點(diǎn)事件、突發(fā)事件的報(bào)道；二是上級(jí)廣播電視臺(tái)對(duì)于地方的相關(guān)報(bào)道；三是擴(kuò)展到某一領(lǐng)域或者行業(yè)相關(guān)的輿情報(bào)道。為了實(shí)現(xiàn)該業(yè)務(wù)，首先通過預(yù)設(shè)節(jié)目時(shí)間以及節(jié)目識(shí)別技術(shù)相結(jié)合的方式，把特定的節(jié)目或者時(shí)間段截取出來，然后對(duì)其進(jìn)行語音識(shí)別技術(shù)，把節(jié)目的音視頻轉(zhuǎn)為文字，通過設(shè)定專題的關(guān)鍵字或者地方的名字等，檢索節(jié)目的文本，最終定位到節(jié)目中的關(guān)鍵字，找到相關(guān)的報(bào)道或輿情。

5.人臉識(shí)別。人臉識(shí)別，即對(duì)敏感人物自動(dòng)篩查，可對(duì)節(jié)目畫面中出現(xiàn)的人物進(jìn)行更加高效、全面的身份識(shí)別。人臉識(shí)別功能的實(shí)現(xiàn)，大大降低了審核人員的工作量，提高了內(nèi)容審核的智能化管理水平。目前，人臉識(shí)別有兩種方式，一種是通過靜態(tài)圖像進(jìn)行人臉關(guān)鍵特征提取來識(shí)別，另一種是通過視頻進(jìn)行人臉識(shí)別。系統(tǒng)在音視頻預(yù)處理服務(wù)中已經(jīng)提取過圖像關(guān)鍵幀，直接運(yùn)用已經(jīng)提取好的關(guān)鍵幀，可以避免出現(xiàn)視頻識(shí)別中計(jì)算量較大的情況，從而提高系統(tǒng)的整體運(yùn)行效率。對(duì)于人臉識(shí)別，首先對(duì)圖像幀做場景識(shí)別，剔除掉相似的圖片，對(duì)不同場景的圖像做識(shí)別，提高資源利用率。

（二）平臺(tái)管理

1.審核模塊?？蓪?duì)系統(tǒng)識(shí)別出來的結(jié)果進(jìn)行審核、確認(rèn)以及編輯處理，如包括新聞專題節(jié)目時(shí)間、廣告、輿情、人臉等識(shí)別結(jié)果的審核；對(duì)節(jié)目進(jìn)行評(píng)議；對(duì)輿情信息進(jìn)行剪輯、編輯；按照條件查詢數(shù)據(jù)，播放識(shí)別結(jié)果。

2.報(bào)表管理。根據(jù)不同的業(yè)務(wù)需求，數(shù)據(jù)報(bào)表主要包括節(jié)目報(bào)表、廣告報(bào)表、輿情報(bào)表、違規(guī)報(bào)表等?？蓪?duì)系統(tǒng)的整體數(shù)據(jù)做統(tǒng)計(jì)分析，自定義時(shí)間周期，按年、季、月、周、日等統(tǒng)計(jì)數(shù)據(jù)，形成圖表和報(bào)表。圖表和報(bào)表可按照常見辦公軟件的格式導(dǎo)出。

3.配置管理模塊。可以在操作頁面對(duì)采集站點(diǎn)、頻率頻道、節(jié)目等相關(guān)信息進(jìn)行增加、刪除、更改、編輯等操作。

4.日志管理。記錄系統(tǒng)的相關(guān)操作，如數(shù)據(jù)庫的查詢、刪除、發(fā)送接口命令等，并進(jìn)行及時(shí)備份，可按時(shí)間對(duì)日志進(jìn)行查詢。

5.設(shè)備管理。可監(jiān)控各個(gè)微服務(wù)的運(yùn)行狀態(tài)，顯示每個(gè)微服務(wù)的功能、進(jìn)程，對(duì)異常的服務(wù)及時(shí)報(bào)警，及時(shí)發(fā)現(xiàn)系統(tǒng)運(yùn)行中的問題，提高系統(tǒng)維護(hù)的可易性和便捷性。

6.用戶管理。可以對(duì)用戶進(jìn)行權(quán)限管理，可增加、刪除、編輯用戶，對(duì)不同的用戶進(jìn)行分組，分配不同的使用權(quán)限，不同的業(yè)務(wù)用戶掛載不同的業(yè)務(wù)管理模塊，可形成堆疊。

五、系統(tǒng)優(yōu)勢和難點(diǎn)

（一）系統(tǒng)的優(yōu)勢

1.系統(tǒng)在識(shí)別算法前期，已經(jīng)對(duì)音視頻文件做了音頻分離、音頻特征提取文件以及圖像幀抽取等，把資源統(tǒng)籌分類，為識(shí)別的方式提供了可選擇性。不同業(yè)務(wù)的識(shí)別可根據(jù)情況選擇合適的識(shí)別方式，提高了系統(tǒng)的靈活性。此外，在計(jì)算前期對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一的碎片化處理，如后續(xù)有新業(yè)務(wù)需要做識(shí)別計(jì)算，不再需要重新對(duì)音視頻做前期處理，可直接進(jìn)行音頻或者圖像識(shí)別，節(jié)省了開支，降低了系統(tǒng)開發(fā)成本。

2.系統(tǒng)運(yùn)用了目前較為成熟的識(shí)別技術(shù)，配備了語音識(shí)別和人臉識(shí)別服務(wù)，提高了監(jiān)管的智能化水平，節(jié)約了人力成本。

3.系統(tǒng)采用了微服務(wù)結(jié)構(gòu)，不同的微服務(wù)負(fù)責(zé)不同的子功能，邏輯清晰，且可快速部署，只需要定義良好的接口，就可讓微服務(wù)之間進(jìn)行通信，具有高可用性和擴(kuò)展性。

（二）系統(tǒng)的不足

1.目前，系統(tǒng)可以對(duì)新增重復(fù)節(jié)目的片段進(jìn)行識(shí)別和標(biāo)注，在無樣本的情況下，還不能完整地識(shí)別一條廣告或一個(gè)完整的電視劇宣傳片等。是否可以根據(jù)靜音和音頻特征遍歷檢索相結(jié)合的方式，或者語義識(shí)別的方式去完整地識(shí)別一條新增廣告，還需要做大量的測試和計(jì)算。無樣例地對(duì)節(jié)目進(jìn)行完整拆條，是目前的難點(diǎn)問題。

2.雖然單獨(dú)的微服務(wù)降低了巨大代碼的開發(fā)難度，但是因?yàn)樯婕拔⒎?wù)之間的編排、處理，需要全局考慮服務(wù)與服務(wù)之間的關(guān)聯(lián)，所以增加了整個(gè)系統(tǒng)的部署復(fù)雜度。此外，由于服務(wù)相互的依賴變得復(fù)雜，若進(jìn)行系統(tǒng)測試，要充分考慮服務(wù)依賴的強(qiáng)弱、降級(jí)、限流等問題，避免出現(xiàn)測試誤差的情況。

六、結(jié)語

不斷加強(qiáng)新技術(shù)的更新和應(yīng)用，探索業(yè)務(wù)和技術(shù)相互推動(dòng)之路，進(jìn)一步提升廣播電視內(nèi)容的智慧化監(jiān)管水平，把工作人員從海量的廣播電視節(jié)目初篩中解放出來，讓審核進(jìn)入新的時(shí)代，是廣播電視監(jiān)測的挑戰(zhàn)和任務(wù)。