人工智能技術(shù)在視頻編輯中的應(yīng)用實(shí)踐

摘? 要：隨著互聯(lián)網(wǎng)技術(shù)以及傳媒業(yè)的發(fā)展，短視頻已成為了人們獲取新聞資訊的一種主要形態(tài)。近年來(lái)，自然語(yǔ)言、語(yǔ)音、圖像領(lǐng)域的人工智能技術(shù)不斷取得突破，使得人工智能技術(shù)在生產(chǎn)系統(tǒng)中的工程化應(yīng)用成為可能。在視頻編輯中合理地運(yùn)用人工智能技術(shù)，能有效地降低視頻編輯的難度和工作量，讓更多的人參與到短視頻制作中來(lái)，實(shí)現(xiàn)短視頻發(fā)稿量和質(zhì)量的快速提升。新華AI視頻是人工智能技術(shù)在視頻編輯中的應(yīng)用實(shí)踐，提供了字幕自動(dòng)配音、視頻字幕提取、多語(yǔ)種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等多種智能輔助編輯功能，有效地降低了視頻制作門(mén)檻，為新華社短視頻專(zhuān)線的快速發(fā)展起到積極作用。

關(guān)鍵詞：新媒體;人工智能;短視頻;視頻編輯? ? ? ? ? ? ? ? ? ? ? ? ? ? ?中圖分類(lèi)號(hào)：TP393? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1671-0134（2020）08-125-04? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?DOI：10.19483/j.cnki.11-4653/n.2020.08.034

本文著錄格式：譚樂(lè)娟.人工智能技術(shù)在視頻編輯中的應(yīng)用實(shí)踐[J].中國(guó)傳媒科技，2020（8）：125-128.

隨著互聯(lián)網(wǎng)技術(shù)以及傳媒業(yè)的發(fā)展，短視頻具有播放時(shí)間短、傳播速度快等傳播特點(diǎn)，深度切合當(dāng)前用戶(hù)碎片化的使用場(chǎng)景，已成為人們獲取新聞資訊的一種主要形態(tài)。根據(jù)網(wǎng)信辦第45次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》，截至2020年3月，我國(guó)網(wǎng)絡(luò)視頻（含短視頻）用戶(hù)規(guī)模達(dá)8.50億，占網(wǎng)民整體的94.1%，其中短視頻用戶(hù)規(guī)模為7.33億，占網(wǎng)民整體的85.6。網(wǎng)絡(luò)視頻（含短視頻）已成為僅次于即時(shí)通信的第二大互聯(lián)網(wǎng)應(yīng)用類(lèi)型。[1]2019年，我國(guó)5G商用環(huán)境持續(xù)完善、標(biāo)準(zhǔn)技術(shù)取得新突破、應(yīng)用孵化進(jìn)入全面啟動(dòng)期。[2]隨著5G時(shí)代到來(lái)，短視頻預(yù)計(jì)會(huì)迎來(lái)新一輪爆發(fā)，可以預(yù)見(jiàn)，短視頻會(huì)成為了下一輪各類(lèi)媒體開(kāi)展競(jìng)爭(zhēng)的最重要領(lǐng)域。

專(zhuān)業(yè)視頻制作的學(xué)習(xí)高門(mén)檻、制作的復(fù)雜度和時(shí)間成本讓很多傳統(tǒng)文字及圖片編輯望而卻步，難以參與短視頻制作中去，限制了媒體通過(guò)短視頻作為報(bào)道手段的發(fā)展。近年來(lái)，人工智能關(guān)鍵技術(shù)日趨成熟，自然語(yǔ)言處理、語(yǔ)音圖像領(lǐng)域的人工智能技術(shù)不斷取得突破，使得人工智能技術(shù)在生產(chǎn)系統(tǒng)中的工程化應(yīng)用成為可能。[3]如果能在視頻編輯中合理地運(yùn)用人工智能技術(shù)，就能有效地降低視頻編輯的難度和工作量，讓更多的人參與到短視頻制作中來(lái)，實(shí)現(xiàn)短視頻發(fā)稿量的快速增長(zhǎng)，文稿質(zhì)量的不斷提升。

1.新華AI視頻編輯工具的設(shè)計(jì)

為了更好地整合內(nèi)部編輯系統(tǒng)，新華AI視頻編輯工具設(shè)計(jì)為基于瀏覽器的輕量級(jí)智能化在線短視頻制作工具。設(shè)計(jì)的目標(biāo)用戶(hù)為所有有短視頻制作需求的采編業(yè)務(wù)人員，特別是非專(zhuān)業(yè)視頻編輯。設(shè)計(jì)上需要兼顧以下功能：

1.1強(qiáng)大的視頻編輯能力

支持多軌道、幀精度的非線性視頻編輯，提供剪切、配音、字幕條、唱詞字幕、貼圖、轉(zhuǎn)場(chǎng)特效、幀動(dòng)畫(huà)、摳像、模糊、數(shù)據(jù)圖等多種實(shí)用編輯功能。提供多種字幕條模板、轉(zhuǎn)場(chǎng)模板、特效模板、數(shù)據(jù)圖模板。高清橫屏16：9、標(biāo)清橫屏4：3、手機(jī)豎屏9：16、twitter方屏1：1四種畫(huà)幅編輯模式靈活切換。支持一鍵添加預(yù)設(shè)的片頭片尾角標(biāo)。支持多種分辨率輸出。所有素材拖曳上軌，所有編輯操作所見(jiàn)即所得，方便非專(zhuān)業(yè)人員使用。

1.2智能化能力

提供多種智能化輔助編輯功能，包括字幕自動(dòng)配音、視頻字幕提取、多語(yǔ)種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等。此外，還可以基于一篇文字稿或一組圖片稿自動(dòng)生成視頻。

1.3資源整合

和內(nèi)部的資源整合，支持和新華社內(nèi)部稿件、素材中的視頻、音頻、圖片素材導(dǎo)入視頻編輯項(xiàng)目中再利用，提高了資源的利用率。

1.4與采編流程無(wú)縫對(duì)接

與新華社核心發(fā)稿系統(tǒng)無(wú)縫對(duì)接，支持成品視頻一鍵建稿，支持對(duì)稿件中的視頻進(jìn)行編輯修改。實(shí)現(xiàn)了稿件編簽過(guò)程中的多人、異地共享編輯修改視頻。

2.人工智能技術(shù)的運(yùn)用

相較于傳統(tǒng)的視頻編輯軟件，新華AI視頻編輯工具的一個(gè)最大的特色就是對(duì)人工智能技術(shù)的運(yùn)用，大大簡(jiǎn)化了視頻編輯的工作，對(duì)非專(zhuān)業(yè)視頻編輯人員來(lái)說(shuō)易于操作。該工具靈活運(yùn)用了自然語(yǔ)言處理、語(yǔ)音識(shí)別、語(yǔ)音合成、智能翻譯、虛擬主播合成、視頻內(nèi)容識(shí)別等人工智能技術(shù)，提供了字幕自動(dòng)配音、視頻字幕提取、多語(yǔ)種字幕翻譯、虛擬主播、智能編目與檢索、圖片視頻化、文字視頻化等多種智能編輯輔助功能。

2.1字幕自動(dòng)配音

視頻編輯過(guò)程中經(jīng)常需要對(duì)編排好的解說(shuō)詞進(jìn)行配音播報(bào)。一般是通過(guò)人工錄制的方式進(jìn)行配音，配音后還需要對(duì)字幕的時(shí)間進(jìn)行調(diào)整，讓字幕和配音的時(shí)間點(diǎn)對(duì)應(yīng)上，工作量很大。而且非專(zhuān)業(yè)配音人員的配音，也存在發(fā)音不夠標(biāo)準(zhǔn)的問(wèn)題。通過(guò)語(yǔ)音合成的智能服務(wù)，就能一鍵將字幕生成配音，并自動(dòng)將字幕時(shí)間與配音進(jìn)行同步。新華AI視頻支持中、英、西、法、俄、阿、葡、日、韓9個(gè)語(yǔ)種的字幕配音功能，提供多種男聲、女聲模板供選擇，并可對(duì)語(yǔ)速進(jìn)行調(diào)節(jié)。

2.2視頻字幕提取

另一種需求是給視頻中的同期聲配上字幕，一般在會(huì)議發(fā)言、采訪訪談等場(chǎng)景中比較常見(jiàn)。傳統(tǒng)編輯需要逐句聽(tīng)打同期聲上字幕，還需要對(duì)字幕的時(shí)間進(jìn)行人工調(diào)整，也是一件很繁瑣的工作。在語(yǔ)音識(shí)別技術(shù)的支持下，可以實(shí)現(xiàn)一鍵識(shí)別視頻中的語(yǔ)音生成唱詞字幕，且字幕和語(yǔ)音自動(dòng)匹配，只需要少許糾錯(cuò)即可。目前，在環(huán)境和發(fā)音情況良好的情況下，中英文語(yǔ)音轉(zhuǎn)寫(xiě)的準(zhǔn)確率能達(dá)到98%以上，可用性較高。

2.3多語(yǔ)種字幕翻譯

在國(guó)際化發(fā)稿中，為了滿足各小語(yǔ)種專(zhuān)線的發(fā)稿需求，需要給同一個(gè)視頻配上不同語(yǔ)種的字幕和配音，通常需要先制作一個(gè)不帶字幕和配音的裸視頻，再找不同語(yǔ)種的專(zhuān)業(yè)人員翻譯后分別制作不同字幕和配音。通過(guò)智能翻譯服務(wù)，可以在一個(gè)項(xiàng)目中一鍵生成多種不同語(yǔ)種的字幕，只需要專(zhuān)業(yè)小語(yǔ)種編輯對(duì)智能翻譯后的結(jié)果進(jìn)行人工審核和糾錯(cuò)，再結(jié)合字幕的小語(yǔ)種配音功能，自動(dòng)生成不同語(yǔ)種的配音，就能在一個(gè)項(xiàng)目里輸出多個(gè)不同語(yǔ)種版本。新華AI視頻支持中、英、西、法、俄、日、西、阿、葡、泰、藏11個(gè)語(yǔ)種的字幕互譯，支持同時(shí)合成多個(gè)語(yǔ)種的成品。操作非常簡(jiǎn)單，沒(méi)有視頻制作經(jīng)驗(yàn)的小語(yǔ)種編輯也能很快上手制作，極大地節(jié)省了視頻國(guó)際化的工作量和時(shí)間。

2.4虛擬主播

除了字幕和配音，新聞主播也可以由人工智能自動(dòng)生成。在需要添加新聞主播的場(chǎng)景下，只需要輸入主播的解說(shuō)詞，就可以一鍵生成虛擬主播，主播口型與語(yǔ)音播報(bào)的內(nèi)容完全匹配。主播可以選擇不同的形象和背景，還可以調(diào)整語(yǔ)速，生成后按需插入到視頻項(xiàng)目中即可。綠幕背景的主播可以進(jìn)一步通過(guò)AI視頻編輯的摳像功能一鍵去掉背景，完美嵌入到視頻內(nèi)容中。

2.5智能編目與檢索

在視頻制作過(guò)程中，素材的挑選也是一項(xiàng)很困難的工作。特別是視頻素材庫(kù)編目做得不夠細(xì)致的情況下，要在龐大的歷史素材中找到想要的片段，更是難上加難。傳統(tǒng)的人工編目工作費(fèi)時(shí)費(fèi)力，編目的標(biāo)準(zhǔn)也不是很適合做內(nèi)容檢索。通過(guò)智能視頻內(nèi)容識(shí)別技術(shù)，可以自動(dòng)識(shí)別視頻素材中的關(guān)鍵要素，包括人臉識(shí)別、文字OCR識(shí)別、語(yǔ)音識(shí)別、物體/場(chǎng)景識(shí)別，從而實(shí)現(xiàn)片段級(jí)的內(nèi)容檢索，快速找到所需要的片段加入項(xiàng)目，節(jié)省大量的時(shí)間。

2.6圖片視頻化

針對(duì)攝影部圖片視頻化的需求，使用AI視頻編輯可以快速將稿庫(kù)的一組圖片稿轉(zhuǎn)換成視頻項(xiàng)目，并自動(dòng)添加轉(zhuǎn)場(chǎng)特效、字幕說(shuō)明、配樂(lè)/配音，用戶(hù)只需要對(duì)自動(dòng)生成的項(xiàng)目進(jìn)行微調(diào)后就可以完成視頻制作。

攝影部圖片稿通常使用組圖的方式，一組圖片稿講述同一個(gè)事件，通常有十幾二十多張，圖片之間的關(guān)聯(lián)度很高，并配有圖片總說(shuō)明和分說(shuō)明，很適合做成一個(gè)短視頻。除了組圖，盤(pán)點(diǎn)型的新聞，例如一周看天下，也很適合制作短視頻。在稿庫(kù)批量選取圖片后，再選擇圖片時(shí)長(zhǎng)、轉(zhuǎn)場(chǎng)特效、背景音樂(lè)，就能一鍵生成一個(gè)視頻項(xiàng)目。再根據(jù)具體的音樂(lè)節(jié)拍和時(shí)長(zhǎng)對(duì)圖片時(shí)長(zhǎng)進(jìn)行調(diào)節(jié)，根據(jù)畫(huà)面內(nèi)容對(duì)圖片進(jìn)行適度的縮放、位移、背景模糊，對(duì)字幕內(nèi)容進(jìn)行修改，使之適合視頻顯示，加上包裝，就完成了短視頻的制作。

下一步，還可以針對(duì)具體的節(jié)目要求，將圖片視頻化的效果和細(xì)節(jié)模板化，一個(gè)模板生產(chǎn)一檔節(jié)目，結(jié)合音樂(lè)的自動(dòng)分析，優(yōu)化素材的拼接效果，提高自動(dòng)化項(xiàng)目的成片度，進(jìn)一步節(jié)省用戶(hù)工作量。

2.7文字視頻化

AI視頻編輯還將文字稿當(dāng)做文字腳本創(chuàng)作視頻。選擇一篇文字稿后，對(duì)文字進(jìn)行自然語(yǔ)言處理提取關(guān)鍵詞，在資源庫(kù)檢索視頻、圖片素材后挑選匹配度最高的素材自動(dòng)上軌，生成視頻項(xiàng)目，并自動(dòng)將文字腳本生成字幕和配音。

關(guān)鍵詞提取和片段檢索的準(zhǔn)確度是合成效果好壞的關(guān)鍵。通常一個(gè)素材如果很長(zhǎng)，內(nèi)容也會(huì)比較復(fù)雜，特別是成品素材，通常由多個(gè)新聞組成，還包括片頭片尾等要素，在使用時(shí)需要精準(zhǔn)定位到具體的片段進(jìn)行切割。在一篇文章關(guān)鍵詞提取后，還需要留意它的時(shí)效性，比如兩會(huì)、奧運(yùn)會(huì)這種周期性的報(bào)道需要明確年份。還有關(guān)鍵詞之間的邏輯關(guān)系，同一事件的不同階段或者不同角度，報(bào)道的內(nèi)容也是有區(qū)別的，例如港珠澳大橋通車(chē)，報(bào)道的是工程建設(shè)的情況還是車(chē)流通行情況，選取的素材也是不一樣的。對(duì)于比較長(zhǎng)的多個(gè)段落的文章，可能每個(gè)段落講述的內(nèi)容有所區(qū)別，為了更好的效果，還可以分段進(jìn)行關(guān)鍵詞提取和素材篩選。

為了提高項(xiàng)目的成片度，我們?cè)谧詣?dòng)篩選素材的基礎(chǔ)上增加了人工二次篩選，可以人工修改檢索的關(guān)鍵詞并設(shè)置更多的檢索條件，刪除不合適的素材或增加新的素材，讓選中的素材更符合腳本上下文。

3.AI視頻編輯技術(shù)實(shí)現(xiàn)

新華AI視頻編輯工具采用B/S架構(gòu)，系統(tǒng)由前端發(fā)布層、后端業(yè)務(wù)層、底層服務(wù)層、數(shù)據(jù)存儲(chǔ)層四層構(gòu)成。

前端發(fā)布層包括web頁(yè)面和流媒體播放服務(wù)。web頁(yè)面使用最新的HTML5 canvas和webgl技術(shù)實(shí)現(xiàn)，無(wú)須安裝任何額外軟件或插件，全程在瀏覽器上訪問(wèn)操作，所有編輯操作所見(jiàn)即所得，Windows 操作系統(tǒng)和 Mac OSX 操作系統(tǒng)均可使用。流媒體服務(wù)基于nginx構(gòu)建，負(fù)責(zé)視音頻、圖片等文件的預(yù)覽和下載。

后端業(yè)務(wù)層負(fù)責(zé)進(jìn)行編輯的業(yè)務(wù)邏輯處理和數(shù)據(jù)管理，提供包括項(xiàng)目管理、素材檢索、剪輯操作、成品發(fā)布、素材管理、成品管理、模板管理、用戶(hù)管理等功能。后端業(yè)務(wù)層也是前端和底層的橋梁，前端的用戶(hù)編輯操作，通過(guò)業(yè)務(wù)層轉(zhuǎn)換成底層渲染可以識(shí)別的指令。底層渲染的進(jìn)度和狀態(tài)，也通過(guò)業(yè)務(wù)層實(shí)時(shí)通知前端頁(yè)面。

底層服務(wù)層包括渲染服務(wù)和智能服務(wù)兩部分。渲染服務(wù)負(fù)責(zé)進(jìn)行素材的預(yù)處理和成品的渲染合成。智能服務(wù)負(fù)責(zé)所有的人工智能處理，包括自然語(yǔ)言處理、全文檢索、語(yǔ)音識(shí)別、語(yǔ)音合成、智能翻譯、虛擬主播等。

數(shù)據(jù)存儲(chǔ)層使用NAS存儲(chǔ)用戶(hù)素材、系統(tǒng)素材、編輯過(guò)程文件和成品文件，使用mysql存儲(chǔ)業(yè)務(wù)數(shù)據(jù)。

AI視頻編輯還提供開(kāi)放API接口，供第三方系統(tǒng)調(diào)用。除了用戶(hù)直接創(chuàng)建視頻項(xiàng)目進(jìn)行編輯以外，也支持對(duì)稿件中的視頻進(jìn)行編輯，或者由智能分析服務(wù)自動(dòng)創(chuàng)建項(xiàng)目。項(xiàng)目創(chuàng)建后，需要導(dǎo)入素材，包括本地上傳的素材和資源庫(kù)里的素材。素材導(dǎo)入后，要先通過(guò)渲染服務(wù)初始化成適合前端預(yù)覽的一系列小碼流文件，包括預(yù)覽用的低碼視頻、縮略圖、序列圖、音頻、波形數(shù)據(jù)等。編輯時(shí)用戶(hù)預(yù)覽的是小碼流文件，以及通過(guò)canvas繪制的特效。編輯過(guò)程中，所有的項(xiàng)目數(shù)據(jù)將實(shí)時(shí)轉(zhuǎn)換成一個(gè)json結(jié)構(gòu)傳遞給后臺(tái)。項(xiàng)目編輯完合成時(shí)，由渲染服務(wù)對(duì)json數(shù)據(jù)進(jìn)行解析并轉(zhuǎn)換成具體的ffmpeg命令進(jìn)行渲染合成，最終生成成品。合成使用的素材為用戶(hù)上傳的原始數(shù)據(jù)，保證成品的質(zhì)量。

結(jié)語(yǔ)

新華AI視頻編輯工具上線以后，截至2020年5月16日，訪問(wèn)用戶(hù)數(shù)達(dá)1587人，視頻生成數(shù)量達(dá)23397個(gè)。

新華AI視頻編輯工具作為一種新形態(tài)、輕量級(jí)、智能化、簡(jiǎn)單易用的在線視頻編輯工具，是傳統(tǒng)視頻編輯軟件的一種補(bǔ)充。人工智能技術(shù)的運(yùn)用降低了視頻制作的門(mén)檻，提高了資源的利用率，讓傳統(tǒng)的文字、圖片編輯也能快速參與到短視頻制作中來(lái)，提高了短視頻生產(chǎn)的效率和數(shù)量，為新華社短視頻專(zhuān)線的快速發(fā)展起到積極作用。

參考文獻(xiàn)

[1]第45次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[R].網(wǎng)信辦，2020：53-55.

[2]第45次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[R].網(wǎng)信辦，2020：81-82.

[3]第45次《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》[R].網(wǎng)信辦，2020：82-83.

作者簡(jiǎn)介：譚樂(lè)娟（1987-），女，湖南省瀏陽(yáng)市，工程師。