智能技術(shù)與人工編目深度融合的實(shí)踐與思考

高雅萍，安 鈞

（浙江廣播電視集團(tuán)，浙江 杭州 310005）

0 引 言

對于手握海量音視圖文資源的廣播電視行業(yè)，如何高效且最大化地挖掘資源價(jià)值，一直是值得探索的一個(gè)課題。國家廣播電視總局通過制定相關(guān)編目規(guī)范，以確保編目數(shù)據(jù)的規(guī)范性和通用性。目前，廣播電視行業(yè)普遍采用人工的方式進(jìn)行媒資編目，存在較多問題，比如編目成本高，編目質(zhì)量完全依靠編目人員自身素質(zhì)，對于熱點(diǎn)信息無法做到實(shí)時(shí)編輯，滯后性較強(qiáng)[1]。隨著大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)陸續(xù)普及并賦能廣大傳統(tǒng)行業(yè)，深圳、浙江、湖南、北京等地電視臺(tái)紛紛建設(shè)智能媒資系統(tǒng)，利用先進(jìn)的人工智能（Artificial Intelligence，AI）技術(shù)，深入挖掘資源信息，讓媒資煥發(fā)青春。本文以浙江廣播電視集團(tuán)（以下簡稱浙江廣電）智能媒資為例，分析智能技術(shù)與人工編目深度融合的流程設(shè)計(jì)與實(shí)踐成果，以期為媒資智能編目研究提供思路和參考案例。

1 智能技術(shù)在媒資系統(tǒng)中的應(yīng)用

目前，智能技術(shù)在媒資系統(tǒng)中的應(yīng)用，主要是對音視圖文進(jìn)行智能識(shí)別，自動(dòng)分析和提取關(guān)鍵信息，并以此為基礎(chǔ)，對節(jié)目進(jìn)行智能層級切分（分為節(jié)目層、片段層、場景層、鏡頭層），形成可用標(biāo)簽。

1.1 智能識(shí)別

在節(jié)目生產(chǎn)過程中，有價(jià)值的信息通常集中在人物、場景地點(diǎn)、語音以及畫面中出現(xiàn)的文字等。浙江廣電智能媒資通過人臉識(shí)別、語音識(shí)別、文字識(shí)別（Optical Character Recognition，OCR）等智能技術(shù)，將視頻內(nèi)容轉(zhuǎn)換成文本，提取智能標(biāo)簽。通過建立人物庫、機(jī)構(gòu)庫、事件庫、敏感庫等多維度庫，對各庫數(shù)據(jù)進(jìn)行歸一化處理。

1.1.1 人臉識(shí)別

人臉識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種技術(shù)。識(shí)別前，需要先建立人物庫，存儲(chǔ)待識(shí)別人物的人臉圖片、姓名以及人物信息，通過對圖片進(jìn)行人臉特征提取，將人臉圖像轉(zhuǎn)換成特征向量值，并與人物庫信息進(jìn)行關(guān)聯(lián)，以便在識(shí)別時(shí)進(jìn)行人物信息輸出。浙江廣電智能媒資采用逐幀識(shí)別的方式，對每一幀畫面進(jìn)行人臉定位和特征提取，遍歷、比對人物庫中的人臉特征值，計(jì)算出人臉相似度，通過設(shè)置閾值來判定人物。若遍歷人物庫后仍無法匹配上，系統(tǒng)會(huì)記錄為未知人物，若后續(xù)該人物增加到人物庫中，系統(tǒng)會(huì)自動(dòng)更新所有識(shí)別到該人物的素材，避免重復(fù)識(shí)別占用計(jì)算資源。該技術(shù)在系統(tǒng)中的應(yīng)用包括人臉檢索、人臉定位以及敏感人物提示[2]。在實(shí)際使用中，人臉識(shí)別準(zhǔn)確率整體較高，但對于表情夸張的人臉信息，也存在誤識(shí)別的情況。

1.1.2 字幕識(shí)別

字幕識(shí)別技術(shù)對視頻幀進(jìn)行分析處理以獲取文字信息，可支持對中英文、數(shù)字、標(biāo)點(diǎn)符號等多內(nèi)容識(shí)別。系統(tǒng)根據(jù)視頻中字幕的變化提取視頻關(guān)鍵幀圖片，通過對圖片的全幅定位（也可以指定區(qū)域）進(jìn)行文字提取，精準(zhǔn)獲取文字及時(shí)碼信息，同時(shí)關(guān)聯(lián)敏感庫，對敏感信息進(jìn)行標(biāo)紅提示。在實(shí)際使用中，字幕識(shí)別還存在著信息重復(fù)的問題，造成信息冗余，還需要優(yōu)化改進(jìn)。

1.1.3 語音識(shí)別

語音識(shí)別技術(shù)是讓機(jī)器通過識(shí)別和理解把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本，主要包括特征提取、信號建模和模型訓(xùn)練。特征提取主要是從語音信號中提取相關(guān)參數(shù)來識(shí)別主要信息，信號建模主要用的是模式匹配法；模型訓(xùn)練主要是基于聲學(xué)模型訓(xùn)練方法和人工神經(jīng)元網(wǎng)絡(luò)模型法，獲得最佳匹配，提高聲學(xué)模型的準(zhǔn)確率[3]。浙江廣電智能媒資系統(tǒng)在將語音轉(zhuǎn)換成文字及對應(yīng)時(shí)碼的同時(shí)，關(guān)聯(lián)敏感庫，對敏感信息進(jìn)行標(biāo)紅提示。在實(shí)際使用中，語音識(shí)別對新聞?lì)惞?jié)目的識(shí)別率較高，而對于方言、戲曲、外語類節(jié)目，以及背景音干擾較大的節(jié)目，識(shí)別效果相對較差。

1.1.4 自然語言處理

自然語言處理（Natural Language Processing，NLP）技術(shù)旨在幫助機(jī)器理解和分析人類語言。浙江廣電智能媒資對音視頻節(jié)目進(jìn)行智能識(shí)別后，對提取的文字內(nèi)容進(jìn)行分析，獲取到人物、關(guān)鍵詞、新聞?wù)?、機(jī)構(gòu)、地點(diǎn)等智能標(biāo)簽。自然語言處理與系統(tǒng)知識(shí)圖庫關(guān)聯(lián)，通過對標(biāo)簽、機(jī)構(gòu)、地點(diǎn)等知識(shí)庫的管理，提高標(biāo)簽提取的有效性和準(zhǔn)確率。NLP標(biāo)簽提取效果如圖1 所示。在實(shí)際使用中，自然語言處理對新聞?lì)惞?jié)目的標(biāo)簽提取效果較好，對綜藝和晚會(huì)節(jié)目效果相對較差，而對于空鏡類素材，則無法獲取到有效信息。

圖1 NLP 標(biāo)簽提取效果

1.2 智能切分

對新聞成片進(jìn)行智能層級切分，是浙江廣電智能媒資的核心功能之一。系統(tǒng)采用基于場景分類的切分技術(shù)，結(jié)合人臉、字幕、語音識(shí)別結(jié)果，通過搜索視頻鏡頭的邊界幀，將視頻切分成一個(gè)個(gè)鏡頭，并獲取相關(guān)場景及鏡頭信息，再通過場景相關(guān)度聚合為場景層，最后結(jié)合新聞?wù)脱莶ナ覉鼍暗奶崛【酆蠟槠螌?，形成類似傳統(tǒng)編目節(jié)目層-片段層-場景層-鏡頭層的四層編目結(jié)構(gòu)。每個(gè)層級都有不同的標(biāo)簽提取，為用戶檢索和人工編目提供參考[4]。新聞節(jié)目智能切分效果如圖2 所示。

圖2 新聞節(jié)目智能切分效果

2 智能編目與人工編目的融合實(shí)踐

智能技術(shù)的發(fā)展，為提高傳統(tǒng)廣播電視音像資料編目效率提供了可能，但仍存在一些問題。一是目前的智能技術(shù)仍有待提升，比如本文前面提到的人臉誤識(shí)別、語音優(yōu)化、內(nèi)容去重等，需要人工進(jìn)行審校和優(yōu)化；二是部分信息仍存在主觀性，智能提取的標(biāo)簽無法完全覆蓋原有的編目規(guī)范要求。因此，只有將智能編目與人工編目進(jìn)行深度融合，以智能輔助人工，以人工優(yōu)化智能，才能探索出一套符合自身特色的編目邏輯。

2.1 基于策略的編目流程設(shè)計(jì)

基于策略的編目流程設(shè)計(jì)可在不同條件下對智能編目和人工編目進(jìn)行多種組合。傳統(tǒng)的編目流程主要包括編目、一審、二審以及終審等環(huán)節(jié)，各電視臺(tái)根據(jù)自身業(yè)務(wù)實(shí)際進(jìn)行適當(dāng)?shù)脑龈?。浙江廣電集團(tuán)在符合編目規(guī)范的基礎(chǔ)上，結(jié)合自身特點(diǎn)，針對不同類型的資源，通過策略來控制智能和人工編目的調(diào)用。比如，對新聞?lì)惞?jié)目采用智能切分+人工編目的策略，對其他類型的音視頻資源則采用智能識(shí)別+人工編目的策略。隨著智能識(shí)別能力的不斷優(yōu)化，對于部分新聞單條和素材已經(jīng)不再進(jìn)行人工編目，智能識(shí)別提取的標(biāo)簽就能滿足用戶日常使用需要[5]。

2.2 智能編目與人工編目的融合

系統(tǒng)對節(jié)目進(jìn)行智能切分時(shí)，會(huì)產(chǎn)生上百個(gè)場景層和鏡頭層，如果全部進(jìn)行人工審校，人工編目的工作量不減反增。對此，結(jié)合實(shí)際編目場景，系統(tǒng)將編目區(qū)域分成了智能展示區(qū)和人工編目區(qū)。對于智能切分的片段層，系統(tǒng)自動(dòng)將其挑選入人工編目區(qū)，而場景和鏡頭層則需要人工挑選。人工編目時(shí)，通過校準(zhǔn)層級的入出點(diǎn)，系統(tǒng)會(huì)將結(jié)果反饋到融合推理引擎中進(jìn)行模型更新，而對智能標(biāo)簽的增改則會(huì)反饋到標(biāo)簽庫中進(jìn)行優(yōu)化。智能編目和人工編目結(jié)合的流程如圖3 所示。

圖3 智能編目和人工編目相結(jié)合的流程

3 結(jié) 語

隨著智能技術(shù)的不斷迭代發(fā)展，智能識(shí)別的準(zhǔn)確性越來越高，適用性越來越強(qiáng)。近年來，互聯(lián)網(wǎng)公司更是致力于研究針對特定領(lǐng)域探索處理復(fù)雜場景的通用智能技術(shù)。盡管在廣電媒資領(lǐng)域，智能編目仍無法覆蓋實(shí)際編目所需，但作為輔助技術(shù)，其已經(jīng)為人工編目減輕了很大的壓力。同時(shí)，敏感庫和人物庫的設(shè)置，可實(shí)現(xiàn)對已編目資源人物和敏感標(biāo)簽的自動(dòng)更新，彌補(bǔ)人工編目完成后無法及時(shí)更新最新信息的不足。

浙江廣電智能媒資自2021 年12 月上線以來，新入庫資源13 萬余條，其中約10 萬條資源采用智能+人工的方式進(jìn)行編目，約3 萬條資源則直接采用智能編目，不再進(jìn)行人工編目。在智能變革的趨勢下，隨著傳統(tǒng)編目的智能化實(shí)踐逐步深入，對于編目的深層次經(jīng)驗(yàn)和探索變得尤為重要，簡單的人工智能疊加無法滿足用戶的智能化預(yù)期，相信隨著智能編目和人工編目的深度融合，廣電媒資管理將更加科學(xué)化，同時(shí)也將強(qiáng)有力地提升我國文化建設(shè)水平，實(shí)現(xiàn)文化大繁榮和大發(fā)展。