智能審核分析系統(tǒng)設(shè)計(jì)與應(yīng)用

高尚清

（浙江廣播電視集團(tuán)，浙江 杭州 310005）

0 引 言

近年來，浙江廣播電視集團(tuán)（以下簡稱浙江廣電）致力于推動(dòng)媒體融合縱深發(fā)展，加快將人工智能等新興技術(shù)應(yīng)用于信息采集、生產(chǎn)、傳播等各環(huán)節(jié)[1]。傳統(tǒng)的媒體節(jié)目制作流程中，三級(jí)四審制度主要依靠人力完成。近年來，新媒體行業(yè)興起，大小屏聯(lián)動(dòng)發(fā)展，傳播內(nèi)容愈加繁多。依托傳統(tǒng)模式審核效率低，且難以對(duì)現(xiàn)有媒資通過智能化標(biāo)簽等條件進(jìn)行檢索。為應(yīng)對(duì)愈加繁重的媒體內(nèi)容審核、內(nèi)容價(jià)值挖掘任務(wù)，研發(fā)、建設(shè)一套智能審核分析系統(tǒng)，輔助提高內(nèi)容審核與分析效率，尤為重要。

智能審核分析系統(tǒng)，依托浙江廣電莫干山路數(shù)據(jù)中心，利用原子能力打造媒體新型內(nèi)容審核、分析流程；利用中心現(xiàn)有的計(jì)算資源與轉(zhuǎn)碼、遷移等基礎(chǔ)組件實(shí)現(xiàn)對(duì)各類節(jié)目素材與成片的審核分析結(jié)果在線預(yù)覽。系統(tǒng)包括業(yè)務(wù)監(jiān)控、智能審核分析、系統(tǒng)管理等模塊，支持配額管理與用量統(tǒng)計(jì)，便于后續(xù)計(jì)費(fèi)和數(shù)據(jù)分析。本項(xiàng)目的實(shí)施，優(yōu)化了傳統(tǒng)節(jié)目審核方式，助力內(nèi)容分析以及智能化檢索，提高了媒體制作效率，滿足新時(shí)代廣電行業(yè)生產(chǎn)需要。

1 總體架構(gòu)

智能審核分析系統(tǒng)依托“浙江廣電莫干山路數(shù)據(jù)中心”基礎(chǔ)設(shè)施即服務(wù)（Infrastructure as a Service，IaaS）資源池，包含對(duì)象存儲(chǔ)、數(shù)據(jù)庫實(shí)例、K8S 容器管理平臺(tái)等服務(wù)，實(shí)現(xiàn)系統(tǒng)的高可用性；依托中心轉(zhuǎn)碼等平臺(tái)即服務(wù)（Platform as a Service，PaaS）層服務(wù)，對(duì)媒體內(nèi)容進(jìn)行轉(zhuǎn)碼，統(tǒng)一生成低碼率文件組，方便用戶預(yù)覽以及后續(xù)流程調(diào)用；通過預(yù)設(shè)個(gè)性化模板，驅(qū)動(dòng)后臺(tái)流程，取得對(duì)應(yīng)的審核分析結(jié)果；支持多站點(diǎn)模式，每個(gè)站點(diǎn)及站點(diǎn)內(nèi)用戶數(shù)據(jù)隔離，可對(duì)每個(gè)站點(diǎn)及用戶單獨(dú)設(shè)置智能處理的類型以及配額，并對(duì)其用量進(jìn)行統(tǒng)計(jì)；對(duì)接中國藍(lán)云平臺(tái)、Z 視介等業(yè)務(wù)平臺(tái)，支持以單點(diǎn)登錄、應(yīng)用程序編程接口（Application Programming Interface，API）調(diào)用等多種方式進(jìn)行接入，便于現(xiàn)有業(yè)務(wù)及其他業(yè)務(wù)系統(tǒng)便捷對(duì)接[2]。系統(tǒng)總體結(jié)構(gòu)如圖1 所示，主要包括業(yè)務(wù)監(jiān)控、系統(tǒng)管理、基礎(chǔ)組件以及智能審核分析四大功能模塊。

圖1 智能審核分析系統(tǒng)架構(gòu)圖

1.1 業(yè)務(wù)監(jiān)控

業(yè)務(wù)監(jiān)控模塊主要負(fù)責(zé)提供各類對(duì)外API、內(nèi)部接口轉(zhuǎn)發(fā)、模板配置以及三方對(duì)接。用戶可按實(shí)際需求配置智能審核、分析模板；流程驅(qū)動(dòng)后返回給應(yīng)用系統(tǒng)的內(nèi)容根據(jù)模板進(jìn)行匹配，顯示模板已勾選的類型以及高于閾值的相應(yīng)內(nèi)容。“中國藍(lán)云平臺(tái)”、重大文化傳播平臺(tái)的核心載體“Z 視介”現(xiàn)已通過單點(diǎn)登錄、接口調(diào)用等方式正式接入使用。

1.2 系統(tǒng)管理

系統(tǒng)管理模塊包含租戶管理、用戶管理、權(quán)限管理以及配額管理四大功能。智能審核分析系統(tǒng)按需進(jìn)行租戶化部署，各個(gè)站點(diǎn)共享基礎(chǔ)組件以及業(yè)務(wù)監(jiān)控功能，用戶及業(yè)務(wù)數(shù)據(jù)相互隔離。用戶管理提供用戶的注冊、編輯、權(quán)限分配和配額等功能。權(quán)限管理可通過設(shè)置不同角色對(duì)應(yīng)多重權(quán)限需求，便于管理及保障流程、數(shù)據(jù)安全。配額管理支持首先給各個(gè)租戶站點(diǎn)分配一定的智能能力使用額度，其次該站點(diǎn)下所有用戶可用的總額不超過該站點(diǎn)本身配額；同時(shí)支持配額軟性閾值設(shè)置，即此模式下超過設(shè)定配額限制，系統(tǒng)可提醒該租戶管理員相關(guān)情況但不限制用戶繼續(xù)使用，有利于適配不同用戶、不同場景的管理模式。

1.3 基礎(chǔ)組件

基礎(chǔ)組件包含了K8S 集群、對(duì)象存儲(chǔ)、數(shù)據(jù)庫實(shí)例及緩存服務(wù)等。智能審核分析系統(tǒng)的各個(gè)服務(wù)通過容器化方式部署，各個(gè)容器相互獨(dú)立，進(jìn)程不會(huì)互相影響，具備可擴(kuò)展、自動(dòng)化的特點(diǎn)，可通過設(shè)置策略實(shí)現(xiàn)服務(wù)的彈性擴(kuò)縮容，在不浪費(fèi)底層資源的前提下保障系統(tǒng)穩(wěn)定運(yùn)行[3]。上述資源面向系統(tǒng)各個(gè)租戶、用戶開放，具備可擴(kuò)展性同時(shí)便于優(yōu)化升級(jí)。

1.4 智能審核分析

智能審核分析涵蓋多媒體內(nèi)容分析、內(nèi)容審核、特征庫以及統(tǒng)計(jì)分析四大功能。系統(tǒng)支持用戶通過手動(dòng)創(chuàng)建或者接口請(qǐng)求方式根據(jù)模板發(fā)起任務(wù)流程，支持視頻、音頻、圖片和文字多種形式的媒體內(nèi)容，同時(shí)支持新建人臉庫、機(jī)構(gòu)庫和Logo 庫等自定義特征庫。用戶可將創(chuàng)建的特征庫與流程模板進(jìn)行綁定關(guān)聯(lián)，實(shí)現(xiàn)對(duì)特定人物、圖像的審核分析需求。系統(tǒng)支持按照用戶、租戶維度進(jìn)行資源使用情況分類統(tǒng)計(jì)，同時(shí)具備配置計(jì)費(fèi)規(guī)則，基于額度用量進(jìn)行計(jì)費(fèi)，豐富系統(tǒng)運(yùn)營能力。

2 系統(tǒng)詳細(xì)設(shè)計(jì)

2.1 設(shè)計(jì)目標(biāo)與原則

本系統(tǒng)的設(shè)計(jì)目標(biāo)是開發(fā)一套智能審核分析系統(tǒng)，保持對(duì)新技術(shù)的戰(zhàn)略主動(dòng)；通過對(duì)新技術(shù)的深入研究與主動(dòng)跟進(jìn)，推進(jìn)媒體深度融合發(fā)展，為節(jié)目內(nèi)容制作和審核提供支持[4]。

系統(tǒng)基于浙江廣電莫干山路數(shù)據(jù)中心的容器服務(wù)、云數(shù)據(jù)庫等統(tǒng)一設(shè)計(jì)，采用restapi、插件化方式進(jìn)行數(shù)據(jù)交互；采用云轉(zhuǎn)碼、對(duì)象存儲(chǔ)（Object Storage Service，OSS）和服務(wù)器負(fù)載均衡（Server Load Balancer，SLB）等先進(jìn)的技術(shù)和產(chǎn)品，符合廣電行業(yè)發(fā)展趨勢。智能審核分析系統(tǒng)上線后，助力現(xiàn)有業(yè)務(wù)及用戶內(nèi)容安全審核和媒體內(nèi)容生產(chǎn)參考，滿足先進(jìn)性要求；依托本地化部署的阿里云平臺(tái)，包含Web 應(yīng)用防火墻（Web Application Firewall，WAF）、云監(jiān)控（Cloud Monitoring Service，CMS）、高速通道等功能和資源，保障媒體內(nèi)容安全傳輸，滿足高安全性要求。

2.2 智能審核分析服務(wù)

智能審核分析服務(wù)支持對(duì)視頻、音頻、圖片和文本等類型文件發(fā)起審核或分析任務(wù)流程。對(duì)應(yīng)的文件上傳方式包含Web 上傳、Http 文件識(shí)別、存儲(chǔ)掃描（包含nas、oss、ftp）；同時(shí)支持任務(wù)進(jìn)度可視化呈現(xiàn)，實(shí)時(shí)進(jìn)度查看。智能處理完成后，最終各數(shù)據(jù)結(jié)果進(jìn)行聚合，回調(diào)給業(yè)務(wù)系統(tǒng)進(jìn)行展示。系統(tǒng)還具備任務(wù)流程狀態(tài)消息通知能力，可以將任務(wù)的每一個(gè)步驟更新后的信息和最終結(jié)果以結(jié)構(gòu)化數(shù)據(jù)的形式回調(diào)給用戶。具備相應(yīng)權(quán)限的用戶根據(jù)實(shí)際情況，如當(dāng)任務(wù)失敗時(shí)，可對(duì)已發(fā)起任務(wù)進(jìn)行批量取消、刪除和重置操作。具體流程步驟如圖2 所示，詳細(xì)介紹如下。

圖2 智能審核分析流程圖

（1）用戶上傳視音頻等素材，選擇任務(wù)類型和模板或傳遞相應(yīng)參數(shù)，通過接口發(fā)起任務(wù)；

（2）系統(tǒng)會(huì)對(duì)收到的任務(wù)中帶有的鑒權(quán)信息進(jìn)行校驗(yàn)，通過后抽取元數(shù)據(jù)信息；如果是視頻類型，對(duì)原視頻進(jìn)行轉(zhuǎn)碼、抽幀，提取封面和音頻，再下發(fā)給智能算子進(jìn)行處理；

（3）算子結(jié)果經(jīng)過數(shù)據(jù)聚合，回調(diào)給業(yè)務(wù)系統(tǒng)進(jìn)行展示；

（4）在系統(tǒng)頁面中，可根據(jù)任務(wù)名稱、任務(wù)狀態(tài)、使用模板、創(chuàng)建時(shí)間和任務(wù)最后更新時(shí)間進(jìn)行查詢。

2.2.1 智能分析

智能分析功能支持對(duì)視頻、圖片和文本等媒體內(nèi)容發(fā)起任務(wù)。用戶可對(duì)完成的任務(wù)進(jìn)行在線預(yù)覽視頻、圖片內(nèi)容；智能分析功能可以根據(jù)模板提取出視頻、圖片中的標(biāo)簽信息、人臉信息、語音文字信息及Logo 信息等。

標(biāo)簽信息首先會(huì)根據(jù)收到的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行標(biāo)簽分類，如地名、機(jī)構(gòu)組織、場景、人物等進(jìn)行展示，然后再將相應(yīng)結(jié)果呈現(xiàn)至各個(gè)分類中。人臉信息中，可查看系統(tǒng)識(shí)別出的人物，包括人物姓名，人物出現(xiàn)的關(guān)鍵幀、時(shí)碼和置信度等信息，并支持點(diǎn)擊時(shí)碼在預(yù)覽窗口中跳轉(zhuǎn)至相應(yīng)的視頻內(nèi)容處，幫助用戶快速定位[5]。語音文字信息處理方面，通過對(duì)媒體內(nèi)容進(jìn)行音頻提取、語音轉(zhuǎn)文字和OCR 處理，系統(tǒng)按時(shí)間順序展示識(shí)別出的文字信息，可通過輸入關(guān)鍵詞方式進(jìn)行檢索查詢，并支持以srt 或excel 形式導(dǎo)出，方便用戶進(jìn)行二次加工處理。Logo信息模塊中可識(shí)別出媒體內(nèi)容中的Logo、水印等信息并進(jìn)行呈現(xiàn)。

2.2.2 智能審核

智能審核服務(wù)對(duì)用戶發(fā)起的視頻、圖片、語音和文本進(jìn)行審核。審核結(jié)果通過智能處理結(jié)果的置信度與相應(yīng)模板匹配后，以人工智能（Artificial Intelligence，AI）確認(rèn)結(jié)果、AI 疑似結(jié)果方式呈現(xiàn)。用戶可在模板中勾選涉黃、暴恐、涉政、違禁、廣告和低質(zhì)等六大一級(jí)分類，每個(gè)一級(jí)分類下又細(xì)分為二級(jí)分類以及對(duì)應(yīng)的三級(jí)分類。以暴恐為例，下有二級(jí)分類如暴力事件，暴力事件又可分化出槍械、刀具、血腥等三級(jí)分類。

用戶可勾選所需分類并對(duì)每一個(gè)三級(jí)分類設(shè)置確認(rèn)閾值和疑似閾值。當(dāng)發(fā)起的智能審核任務(wù)出現(xiàn)對(duì)應(yīng)的三級(jí)分類內(nèi)容，且結(jié)果的置信度高于模板設(shè)置確認(rèn)閾值時(shí)，可以在AI 確認(rèn)結(jié)果模塊中的對(duì)應(yīng)分類下查看具體結(jié)果，含有名稱、出現(xiàn)的關(guān)鍵幀、時(shí)碼和置信度等信息，支持快速定位。當(dāng)結(jié)果的置信度處于確認(rèn)閾值和疑似閾值之間時(shí)，同理，可在AI 疑似結(jié)果模塊中查看。當(dāng)結(jié)果置信度低于用戶設(shè)置的疑似置信度時(shí)，系統(tǒng)將過濾相應(yīng)信息，不在可視化頁面展示。

為確保媒體內(nèi)容安全制作播出，智能審核模塊可對(duì)完成的智能審核任務(wù)進(jìn)行人工復(fù)審修訂。用戶可反饋遺漏違規(guī)點(diǎn)，新建詞條、分類及片段。

2.3 特征庫

上述人臉、Logo 和文本等內(nèi)容模塊均支持任務(wù)模板與自定義特征庫相關(guān)聯(lián)。以Logo 為例，通常情況下，本系統(tǒng)可審核、分析、識(shí)別出媒體內(nèi)容中出現(xiàn)的較知名或違規(guī)Logo。當(dāng)用戶需要審核特定Logo 時(shí)，可新建Logo 特征庫，將特定Logo 以圖片、名稱方式上傳，經(jīng)站點(diǎn)管理員審核認(rèn)可后入庫至該特征庫。具體流程步驟如圖3 所示。

圖3 特征庫新建數(shù)據(jù)流程圖

添加數(shù)據(jù)成功后，用戶可將該特征庫與模板中的指定分類進(jìn)行關(guān)聯(lián)，后續(xù)發(fā)起的任務(wù)即可識(shí)別此Logo 并可視化展示。

2.4 統(tǒng)計(jì)分析

系統(tǒng)對(duì)租戶站點(diǎn)以及單個(gè)用戶按智能能力類型以及對(duì)應(yīng)額度、任務(wù)類型進(jìn)行分類統(tǒng)計(jì)，便于對(duì)單個(gè)站點(diǎn)的使用特點(diǎn)進(jìn)行分析。同時(shí)，系統(tǒng)管理員可見所有租戶站點(diǎn)分配以及已使用額度的總體情況，為底層智能處理能力類型及數(shù)量資源規(guī)劃提供決策依據(jù)[6]。系統(tǒng)界面如圖4 所示。

圖4 統(tǒng)計(jì)分析展示圖

3 結(jié) 語

隨著高新技術(shù)發(fā)展與媒體行業(yè)的不斷變革，節(jié)目的制作已不完全局限于以往的純?nèi)斯つＪ剑悄軐徍朔治鱿到y(tǒng)應(yīng)運(yùn)而生，協(xié)助現(xiàn)有業(yè)務(wù)興利除弊。此外，系統(tǒng)優(yōu)化了審核流程，降低出錯(cuò)風(fēng)險(xiǎn)，同時(shí)通過智能標(biāo)簽化信息提取等方式，對(duì)已有內(nèi)容歸納溯源，在為打造全新作品提供輔助參考等方面發(fā)揮了重要作用。