媒資系統(tǒng)云端賦能升級的探索與實踐

馬曉春

（作者單位：江蘇省南通市通州區(qū)融媒體中心）

所謂賦能升級就是采用“本地+云端”的協(xié)同生產模式，在有效降低本地系統(tǒng)升級投入的同時，通過業(yè)務協(xié)同賦能方式，實現云端平臺業(yè)務功能在本地系統(tǒng)中的實際應用，從而達到本地系統(tǒng)功能升級的目的。

近年來，隨著廣播電視事業(yè)的發(fā)展，媒資系統(tǒng)成為廣播電視行業(yè)的標準配置。但是縣級傳統(tǒng)媒資系統(tǒng)大部分都是歸檔型系統(tǒng)，主要用于解決節(jié)目素材的存儲和保護問題，普遍存在融合生產功能不完善的缺點。同時，受各種條件的限制，系統(tǒng)建設和后續(xù)的升級改造都難以實現類似人工智能（Artificial Intelligence，AI）等高級功能，影響了融媒體時代內容的管理和節(jié)目的生產。為有效解決上述問題，通州區(qū)融媒體中心與江蘇省廣播電視總臺聯手，通過平臺的互聯對接和賦能應用系統(tǒng)的開發(fā)，成功實現了荔枝云省運營平臺融合生產業(yè)務功能在通州媒資系統(tǒng)的本地化應用[1]。

1 傳統(tǒng)媒資系統(tǒng)的弊端

1.1 編目質量難以控制

所謂編目就是對音視頻資源中的代表性特征信息進行提取和整理，抽取關鍵幀，劃分層次，確定相關著錄項。編目質量的好與壞，直接影響到節(jié)目的后期再利用。傳統(tǒng)媒資系統(tǒng)主要依賴人工方式通過主觀判斷來完成內容主題的分離和描述，因此，系統(tǒng)受人為因素影響較大，得到的編目信息無法全面客觀地展現素材的內容和特征，以致編目質量不高，難以得到有效控制。這是傳統(tǒng)媒資在智能化環(huán)節(jié)上的一個主要難點。

1.2 審核容易出現差錯

作為海量內容存儲中心的媒資系統(tǒng)，節(jié)目與素材的審核是極為重要的任務環(huán)節(jié)，主要包括敏感人物、敏感詞語以及插播廣告、掛角內容的審核等。傳統(tǒng)媒資的審核工作主要由人工完成，面對龐大、密集、冗雜的內容信息，審核人員的主觀判斷難免會出現偏差，極易導致漏審和差錯。

1.3 檢索效率偏低

受人工編目方式的制約，著錄級別較高，檢索深度和維度偏低，可用的檢索手段不多，導致無法高效地提取節(jié)目內容的特征信息。

1.4 功能不完善

由于傳統(tǒng)媒資系統(tǒng)主要用于解決節(jié)目、素材的保存問題，因此，對系統(tǒng)的功能要求相對簡單，尤其是縣級媒資系統(tǒng)，基本上不具備后期的融合生產能力，更沒有類似人工智能的先進功能，只能提供最基本的存儲、查找和再利用功能，媒資系統(tǒng)的綜合服務效能不高。

2 賦能升級思路和系統(tǒng)設計

2.1 總體方案

通過賦能系統(tǒng)的開發(fā)和應用，建立“本地+云端”的協(xié)同生產模式。應用微服務、分布式等技術，為通州區(qū)融媒體中心打造一個持續(xù)發(fā)展的媒體資產管理系統(tǒng)；逐步引入基于媒資的生產工具，實現所見即所得的資料調用，助力通州媒資系統(tǒng)由單純的存儲型媒資向生產型媒資轉型；提升融合媒體生產能力，賦予通州區(qū)融媒體中心融合媒體生產工具集、短視頻快編工具、視頻編輯工具等；實現人工智能本地化賦能，促進通州媒資的融合發(fā)展。通過此模式，在降低本地端平臺建設改造成本的同時，以先進的框架、開放的模式、統(tǒng)一的思想、多重的能力、多樣的服務，賦予通州區(qū)融媒體中心豐富的融合業(yè)務能力，推動通州傳統(tǒng)媒資系統(tǒng)的轉型升級。

2.2 具體對接設計

通州區(qū)融媒體中心本地媒資平臺與荔枝云省運營平臺互聯，依靠省平臺提供的技術支持，促進內容、生產、媒體處理等業(yè)務的協(xié)同。為實現業(yè)務和管理的便捷化，系統(tǒng)具有多用戶功能，包括內容管理、應用管理、用戶管理等功能，便于實現門戶統(tǒng)一集中管理。聯網對接模式如圖1所示。

圖1 通州區(qū)融媒體中心與荔枝云省運營平臺互聯示意圖

2.3 云端協(xié)同交互流程

具體云端賦能流程如下：一是通州區(qū)融媒體中心本地媒資系統(tǒng)素材入庫，入庫素材為原碼素材；二是通州區(qū)融媒體中心本地媒資系統(tǒng)對原碼素材進行轉碼，將內容轉為低碼素材；三是通州區(qū)融媒體中心通過本地安全網絡互聯專有鏈路，將本地媒資系統(tǒng)中的低碼素材自動上傳至省運營平臺的內容管理系統(tǒng)中；四是荔枝云省運營平臺啟動智能服務，調用人工智能功能，包括關鍵詞分析、人臉識別、鏡頭語言識別等；五是通過人工智能功能的調用，對上傳至荔枝云省運營平臺的低碼素材進行分析，并形成數據標簽；六是智能數據標簽通過安全網絡互聯專有鏈路，傳輸至通州區(qū)融媒體中心本地媒資系統(tǒng)中，并綁定原碼素材，形成最終的媒資內容業(yè)務數據。云端賦能流程如圖2所示。

圖2 云端賦能流程圖

3 業(yè)務協(xié)同本地化應用場景分析

根據系統(tǒng)設計思路，荔枝云省運營平臺可為通州區(qū)融媒體中心提供媒體能力協(xié)同、媒體內容協(xié)同和應用產品協(xié)同等方面的服務。通州區(qū)融媒體中心可以根據實際業(yè)務需要，進行開通和使用。

3.1 媒體能力協(xié)同

媒體能力協(xié)同為通州區(qū)融媒體中心提供云端媒體處理應用程序編程接口（Application Programming Interface，API）服務，包括AI智能分析（語音識別、人像識別、文字識別等）、云端轉碼、大數據分析等應用，通州區(qū)融媒體中心無須購買昂貴的本地引擎，根據實際的使用需要，調用荔枝云省運營平臺提供的各種API接口，實現對本地端媒體文件的多元化處理，基于云端媒體能力協(xié)同系統(tǒng)返回數據進行本地化應用，從而以低成本實現多種媒體能力的集成。

第一，鏡頭語言識別（見圖3）。在視頻拍攝過程中，拍攝者會根據自己的意圖去尋找、組織畫面，利用鏡頭為觀眾呈現所要講述故事，觀眾可以透過鏡頭畫面了解體會拍攝者所要表達的意思，這就是鏡頭語言。鏡頭語言識別基于視頻深度學習技術，對新聞視頻內容進行智能分析，得到鏡頭運動、拍攝角度、景別、畫面屬性等鏡頭語言結果。

圖3 鏡頭語言識別

第二，命名實體識別。命名實體識別又稱作“專名識別”，是信息提取、問答系統(tǒng)、句法分析、機器翻譯、面向元數據標注等應用領域的重要基礎工具，是自然語言處理（Natural Language Processing，NLP）任務中最為基礎和常用的任務之一，也是支持內容標簽庫的主要技術手段，是眾多NLP任務的分析基礎。命名實體識別（Named Entity Recognition，NER）目前可識別出實體類型包含人名、地名、時間、職務、組織機構名稱等。

第三，關鍵詞提取。關鍵詞提取是從較長的文本中，選出可以表達最重要信息的詞語或短語，提高信息獲取效率，減少閱讀耗時，是輔助閱讀和編輯的重要內容。關鍵詞提取算法基于深度文本理解技術，對文本中各個詞語的重要性進行計算，提取能代表人腦記憶快照的關鍵詞，支持用戶對文本的快速理解和語義檢索。

第四，詞向量?；谏疃葘W習技術，通過文本向量化處理，建立詞向量表示模型，便于用戶快速準確挖掘理解語義。在當前“萬物皆可embedding”（embedding即“嵌入”）的思想領導下，詞向量既是NLP 領域中一個非常基礎的工具，也是推薦、廣告等業(yè)務場景中用于召回和排序等階段的簡單且實用的有力手段，主要用于語義相似度度量等。

第五，新聞文本分類。新聞文本分類采用編目規(guī)范的分類體系，輸出文章的一級主題、二級主題和三級主題，如政治、軍事、體育、科學技術、法律、休閑娛樂、公安工作、政府工作、外國軍事、球類運動等。該分類體系更適合專業(yè)領域的理解與使用，有助于相關資料的收錄與存檔。

第六，新聞摘要提取。新聞摘要功能基于深度學習技術，從較長的新聞文本中，自動抽取關鍵信息，形成簡明的摘要結果，幫助用戶快速理解文本主要內容并應用于內容分發(fā)、智能寫作等多種應用場景，是智能媒體等行業(yè)必備的AI能力之一。

第七，視頻內容綜合分析。智能視頻內容綜合分析是基于計算機視覺、自然語言處理、知識圖譜等AI技術多維度處理的一款專業(yè)提取視頻標簽的產品，能夠為用戶提供音視頻綜合分析服務。通過多種AI人工智能基礎識別能力，把得到的基礎數據通過自然語言處理、專業(yè)領域知識圖譜等融合推理，輸出對應視頻的人物、場景、實體和關鍵詞等具有結構化的標簽，供用戶搜索或者后期制作使用。視頻內容綜合分析包括以下四個方面：一是視頻人物識別。由于傳統(tǒng)媒資系統(tǒng)不具備智能化視頻人物識別能力，只能依靠人工方式來完成視頻人物監(jiān)管，存在工作任務重、效率低下的弊端。同時，受審核人員能力水平和精力狀態(tài)等因素的影響，有可能出現審核遺漏和主觀判斷偏差導致的錯誤，造成安全播出事故。使用人臉識別技術，可以最大限度避免人工標注任務時，因人為因素造成的錯誤情況的發(fā)生。在展現的界面上，可以根據時間軸上展現的信息，對視頻中的指定人物進行更加快速準確的定位監(jiān)管。荔枝云省運營平臺賦予的視頻人物識別能力，可以幫助我們快速地獲取圖像的關鍵幀，經過預處理計算，生成圖像模式向量和特征值，從而獲得圖像的底層視角語義信息。通過人臉識別技術和豐富全面的人物庫，識別視頻中的重要人物或敏感人物等，并與篩選的結果進行比較判斷，采取相應的處理方式。人臉識別人物庫可由用戶自定義來保證系統(tǒng)的廣泛適用性[2]。二是視頻語音識別。視頻語音識別技術是基于統(tǒng)計模式識別的基本理論，通過機器對視頻語音內容的學習和理解，獲得語音信號對應文本的功能。一個完整的語音識別系統(tǒng)大致包括語音特征提取、識別算法、語義理解、語言模型等幾個方面。荔枝云省運營平臺視頻語音識別系統(tǒng)就是基于語音轉寫技術，把視頻中語音內容轉化為文本信息供融合推理使用[3]。三是實體識別。在NLP中通常所說的實體指的是人名、地名、機構名，在新聞領域，人們希望了解突發(fā)事件的主體，比如人物、地點、機構等。從識別步驟來看可分為兩步：第一步識別出實體詞邊界，也就是實體的開始和結束位置；第二步識別出實體的類型，也就是事件所描述和涉及的人名、地名、機構名等具體的實體類型。通過實體識別算法從自動語音識別（Automatic Speech Recognition，ASR）或光學字符識別（Optical Character Recognition，OCR）文本中獲取人名、地名、機構名。四是標簽提取。內容標簽是對文本、圖文、視頻等內容以關鍵詞或者短語形式進行的特征描述。例如，在文本內容中標簽常常使用關鍵詞抽取技術，提取出該文本置信度最高的關鍵詞，用以表征該文本內容。項目中標簽提取功能，就是通過自然語言處理和知識圖譜融合推理后，提取出視頻中有效的結構化標簽。

第八，文字識別。圖像處理技術是目前人工智能發(fā)展最為普遍的領域。在視頻領域積累和沉淀了大量的圖像數據，依托著豐富的“場景+數據+算法”，克服背景復雜、藝術字體、分辨率低、非均勻光照、圖像退化、字符形變、多語言混合、文本行復雜版式、檢測框字符殘缺等困難。荔枝云省運營平臺為通州區(qū)融媒體中心提供一套準確率高，識別速度快，魯棒性強的OCR識別算法，并提供相應的云服務。

第九，智能化編目。應用云端人工智能識別和自然語言處理技術，可以對音視頻素材進行更為詳盡而系統(tǒng)的著錄編目，這是媒資系統(tǒng)智能化的重要標志之一。應用荔枝云省運營平臺賦予的能力，對音視頻文件進行AI人工智能分析，通過內容結構化處理，得出人像信息、語音轉文本及智能鏡頭拆條等結果，從微觀角度對視音頻內容進行編目描述，將所有標簽結果與內容的關鍵碼相關聯，相較傳統(tǒng)編目方式更加細致精準。主要工具有人像信息編目、語音信息編目、基本信息編目等。除此之外，我們還可基于AI人工智能服務，根據業(yè)務需要靈活定制其他信息編目方式[4]。

3.2 媒體內容協(xié)同

荔枝云省運營平臺媒體內容協(xié)調單元為通州區(qū)融媒體中心媒資系統(tǒng)提供海量媒體內容服務，包括互聯網聚合內容、省平臺共享內容、云端收錄內容、云端備份內容等。通州區(qū)融媒體中心可對云端內容進行選擇使用。支持在本地上載、非編等工具中對云端素材直接拖拽上時間線進行天地混編；支持云端與本地內容庫的統(tǒng)一瀏覽；支持云端跟本地內容交互和共享，互為備份[5]。

3.3 應用產品協(xié)同

實現了開放式的應用集成框架，支持開發(fā)/運維一體化管理，各類軟件即服務（Software-as-a-Service，SaaS）工具/服務基于應用協(xié)同單元規(guī)范均可以掛接到應用協(xié)同單元上統(tǒng)一運營，從而為通州區(qū)融媒體中心提供豐富的云端媒體SaaS應用服務（線索服務、輿情服務、視頻編輯、稿件編輯、內容分發(fā)等）。通州區(qū)融媒體中心可按需開通，通過瀏覽器/服務器（Brower/Server，B/S）方式使用云端數據、工具及其他服務，從而彌補本地端業(yè)務能力的不足，實現融合生產、協(xié)同管理。

一是線索服務。通過大數據技術，對網站、微信、微博、手機應用程序（Application，App）等共計2000多個數據源進行訂閱，每日采集50 000余條互聯網信息，為通州區(qū)融媒體中心采編人員提供海量的互聯網線索。

二是輿情服務。通過人工智能技術，設置敏感詞匯或監(jiān)控內容主題，對通州相關微信、微博和客戶端的信息數據進行監(jiān)控。例如，監(jiān)控發(fā)現敏感內容，及時告警，并全面分析研判，予以有效處置。

4 結語

通州媒資系統(tǒng)賦能升級的實踐，是媒體融合時代多平臺業(yè)務協(xié)同的一次有益探索與嘗試，在無須增加通州本地系統(tǒng)升級投入的前提下，荔枝云省運營平臺通過賦能模式，在智能化編目、人工智能技術應用、資源共享等多個方面，賦予了通州區(qū)融媒體中心媒資系統(tǒng)更多的融合生產功能，推動了通州媒資由歸檔型系統(tǒng)向融合生產型系統(tǒng)的轉型升級。系統(tǒng)自2020年投入使用以來，各項前期目標均得到了實現，達到了滿意的預期效果。隨著媒體平臺協(xié)同能力的提高，賦能升級技術必將得到更大范圍的推廣應用，通州項目的探索與實踐也為賦能升級技術的應用推廣提供了可以借鑒的成功案例。