深度學(xué)習(xí)技術(shù)在廣電音視頻節(jié)目制作中的應(yīng)用研究

張余

【摘要】隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，給人類的日常生活帶來了深遠(yuǎn)且重要的影響。并且于各行各業(yè)都已經(jīng)取得重大的科研成果，對生產(chǎn)效率的提升具有十分重要的幫助。并且其依托于計算機(jī)的強(qiáng)大的處理能力，并借用人工智能技術(shù)，能夠在極短的時間內(nèi)快速實(shí)現(xiàn)，相對于之前傳統(tǒng)的人工處理方式，無疑是具有巨大的優(yōu)勢。而廣電在未來上十年內(nèi)需要重點(diǎn)研究用音頻節(jié)目播出為主的電視廣播電視行業(yè)需要怎樣充分的使用深度學(xué)習(xí)技術(shù)來提升工作效率，并且提高節(jié)目的質(zhì)量，減少制作的成本等。

【關(guān)鍵詞】深度學(xué)習(xí)技術(shù);廣電;音視頻;節(jié)目制作;應(yīng)用

中圖分類號：TN94? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ?DOI：10.12246/j.issn.1673-0348.2021.10..015

1. 深度學(xué)習(xí)

在深度學(xué)習(xí)技術(shù)出現(xiàn)之前，人們普遍使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法，比如決策樹和支持向量機(jī)等等。此類底層的學(xué)習(xí)方法只是把輸入的數(shù)據(jù)替換掉一兩個連續(xù)的表示空間，基本都是應(yīng)用基本的變換，雖然這些技術(shù)在當(dāng)前有著十分成熟和完整的理論基礎(chǔ)，但是在處理復(fù)雜問題上卻有著明顯的不足之處。所以，我們務(wù)必要用盡全力把初始化的數(shù)據(jù)應(yīng)用更為合適的方法進(jìn)行處理，同時也要設(shè)置好數(shù)據(jù)的表示層，而這就叫做特征工程。目前大量的實(shí)踐結(jié)果表明，手動設(shè)置的特征工程往往不能在一個較為復(fù)雜的環(huán)境下得到良好的體現(xiàn)。而在深度學(xué)習(xí)中這一環(huán)節(jié)卻完全是通過自動化實(shí)現(xiàn)的，并不需要人為的手動設(shè)置，是一個簡單的學(xué)習(xí)模型。

深度學(xué)習(xí)中的深字，即指的是神經(jīng)網(wǎng)絡(luò)中的層數(shù)深，而關(guān)于深度學(xué)習(xí)的變革主要在于模型能夠在相同的時間中一起學(xué)習(xí)所有的表示層，并不是通過連續(xù)依次的學(xué)習(xí)。而共同特征的學(xué)習(xí)其優(yōu)勢之處在于只要模型內(nèi)的某個特征改變之后，其所有依賴于此特征的單元都能夠自動的調(diào)整適應(yīng)，無須人為的操作設(shè)置。全部都通過單一的反饋信號來進(jìn)行監(jiān)督，模型之中任務(wù)地方的變化都是為了實(shí)現(xiàn)最終的服務(wù)目標(biāo)。此類方式比無休止的疊加淺層模型具有更加強(qiáng)大的功能。因?yàn)槠淠軌蛲ㄟ^把復(fù)雜抽象的標(biāo)識拆分為多個中層空間的學(xué)習(xí)來表示，而每個空間也只是上一個空間的簡單轉(zhuǎn)換，簡單來講就是每一層的變化都需要考慮上下兩層的變化，從而也就使得深度學(xué)習(xí)的展現(xiàn)能力比傳統(tǒng)的淺層學(xué)習(xí)更為的強(qiáng)大。

2. 關(guān)鍵技術(shù)

2.1 模擬人的思維

人工智能技術(shù)之所以迅速發(fā)展主要是因?yàn)槠渫ㄟ^計算機(jī)的高速計算以及海量存儲的優(yōu)勢來模擬人的思考和工作的方式，用于逐步的替代容易出錯和重復(fù)性較高的工作。自從英國著名的科學(xué)家圖形提出圖靈實(shí)驗(yàn)來，很多國家都在致力于實(shí)現(xiàn)智能化計算機(jī)的道路上的嘔心瀝血。伴隨著計算機(jī)算法的逐漸優(yōu)化以及硬件性能的不斷提高，在很多領(lǐng)域比如圖形學(xué)，視覺學(xué)，語音處理以及自動翻譯等都廣泛的應(yīng)用了人工智能技術(shù)。

人工智能技術(shù)體系中最為核心的技術(shù)還是深度學(xué)習(xí)技術(shù)。在最近的五年中，得到了顯著的提升。而傳統(tǒng)的人工智能技術(shù)則主要是依靠著數(shù)學(xué)的推理和邏輯證明等方法來完成對公式的推理和理論證明?？墒牵P(guān)于怎樣模擬人類大腦活動這一方式，一直以來都未能達(dá)到一個比較理想的模擬狀態(tài)。而從仿生學(xué)的角度來看，很多的生物學(xué)家試著將大腦中的數(shù)以億計的相互連接的神經(jīng)單和同樣具有輸入輸出的通道并且還能夠處理信號的計算機(jī)模塊進(jìn)行計較。從而提出了人工神經(jīng)網(wǎng)絡(luò)的模型，從而給現(xiàn)在的人工智能發(fā)展奠定了良好的基礎(chǔ)理論。因此其從本質(zhì)來說，深度學(xué)習(xí)也就是在神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上增加了神經(jīng)節(jié)點(diǎn)，從而深化了網(wǎng)絡(luò)層次，使其不斷地變形和優(yōu)化，最終演變成為了一個可以自動權(quán)重求解的工程模型。而且深度學(xué)習(xí)的模型中，有著至少三層的神經(jīng)結(jié)構(gòu)，而這三種神經(jīng)結(jié)構(gòu)分別對應(yīng)著輸入層，隱藏層以及輸出層。而每個神經(jīng)結(jié)果中又包含著數(shù)以百計的神經(jīng)單位。每個神經(jīng)單位中又包含著三個部分，分別為連著前一層的入口，與下一層鏈接的出口，以及中間部分的計算函數(shù)。其中計算函數(shù)主要的作用是對輸出的閾值進(jìn)行一個判斷。而根據(jù)大量的科學(xué)實(shí)踐理論得出，非線性原函數(shù)又是性能和計算能力最好的。

2.2 深度學(xué)習(xí)的三步

深度學(xué)習(xí)我們可以科學(xué)的將其分為三個過程，也就是練習(xí)，驗(yàn)證與測試。首先我們要根據(jù)這三個過程分為三個沒有互相交集的集合。而人工智能中的特征工程就是會對這些樣本數(shù)據(jù)進(jìn)行預(yù)處理降維和去噪。把復(fù)雜和冗余的數(shù)據(jù)將其從高維空間轉(zhuǎn)換為低維空間，逐漸提升系統(tǒng)對其的辨識度，降低互相之間的關(guān)聯(lián)性，從而減少下一步訓(xùn)練模型的難度。而在數(shù)據(jù)進(jìn)行訓(xùn)練的過程中，此模型首選會依據(jù)樣本數(shù)據(jù)的各個維度進(jìn)行隨機(jī)的權(quán)重分配初始化工作，并且在多次的迭代工作中依據(jù)其判斷結(jié)果對權(quán)重大小進(jìn)行相應(yīng)的修正。而這方面的優(yōu)化算法多種多樣，不過大致可以分為兩類，一種是單向的，完全根據(jù)模型的預(yù)測性能來定義權(quán)重的大小。此算法的優(yōu)點(diǎn)是應(yīng)用起來較為簡單，能夠適用于大多數(shù)的線性分類問題，缺點(diǎn)是訓(xùn)練時間較長，無法實(shí)現(xiàn)全局收斂。而另一種算法則是經(jīng)過優(yōu)化的反向傳播算法。此模型能夠在每次迭代后依據(jù)實(shí)際效果對其模型權(quán)重進(jìn)行調(diào)整并及時的反饋給中心控制臺，經(jīng)過不斷的調(diào)優(yōu)實(shí)現(xiàn)全局的優(yōu)化。而其缺點(diǎn)也是訓(xùn)練時間較長，模型相對龐大，并且需要更大的資源以及計算能力支持。

2.3 在音頻信號中的處理

數(shù)字音頻技術(shù)就是對音頻信號進(jìn)行加工處理，將其轉(zhuǎn)換為0和1組合而成的編碼，這樣的數(shù)據(jù)格式首選在工作過程中可以保持十分穩(wěn)定的狀態(tài)，基本不會出現(xiàn)聲音模糊和失真的現(xiàn)象，進(jìn)一步的推動廣播電視節(jié)目跨入了一個新的紀(jì)元。而且據(jù)統(tǒng)計，節(jié)目播放的情況在數(shù)字音頻技術(shù)的基礎(chǔ)上，節(jié)目的聲音中的雜質(zhì)得以降到最低水平，而且其音效十分良好，對音軌的改變也十分的明顯，其柔和清晰的音質(zhì)和音色得到了用戶的廣泛好評。并且其時序性更強(qiáng)，能夠起到更強(qiáng)的效果預(yù)測機(jī)制。廣泛的應(yīng)用于循環(huán)神經(jīng)網(wǎng)絡(luò)中。運(yùn)用成熟的深度學(xué)習(xí)技術(shù)，能夠極大的提升節(jié)目制作的效果以及效率，因?yàn)槲覀冃枰獙ζ浼哟箨P(guān)注程度。

3. 音頻制作與生產(chǎn)

具有時序性以及語義性的音頻信號技術(shù)，和傳統(tǒng)的視頻信號的不同之處在于，計算機(jī)不能依據(jù)圖形算法有效的處理信號。其必須通過音頻指標(biāo)來對信號進(jìn)行預(yù)測。因此廣播電視在音頻制作領(lǐng)域，對深度學(xué)習(xí)技術(shù)的應(yīng)用主要體現(xiàn)在以下幾個方面：

3.1 語音識別

語音識別領(lǐng)域中很早的就應(yīng)用了人工智能技術(shù)，主要體現(xiàn)在自動閱讀和音頻識別方面。這一領(lǐng)域的研究是基于英語領(lǐng)域發(fā)展而來，實(shí)現(xiàn)了漢語語音和文本之間的相互轉(zhuǎn)換。而深度學(xué)習(xí)模型的引入為其帶來更為精準(zhǔn)的識別效果和各種方言的識別以及模型合成的等應(yīng)用，提高了對不同的聲調(diào)音色以及物理指標(biāo)的辨別能力。

3.2 說話人識別與合成

深度學(xué)習(xí)依然是目前需要重點(diǎn)研究的領(lǐng)域之一。因?yàn)槠溆兄鴱V泛的使用場景。能夠通過計算機(jī)建模來對音頻信號中的不同聲源進(jìn)行區(qū)別。而此類聲源往往都是眾多聲源混合一起的。深度學(xué)習(xí)技術(shù)能夠針對性的對其進(jìn)行分析和提取，并且還可以自動識別特定人的語音和特定背景的語音。這無疑會極大地提高電視音頻的制作效果。

3.3 語義識別

音頻識別中語音識別是其中最具有挑戰(zhàn)性的一種研究，因?yàn)槠湓谝纛l制作中具有最高的使用價值。語義識別完全不同于語音識別，這是高級動物才具有的智能活動，以為需要復(fù)雜的大腦功能作為支持。語義識別不但需要準(zhǔn)確的學(xué)習(xí)模型來識別語音的內(nèi)容以及來源，還需要起具有一定的語義理解以及上下文聯(lián)想和想象推理的能力。以為音頻信號并不是圖像信號，沒有辦法利用圖像來預(yù)測人的心理活動和面部表情?？墒且纛l信號所能傳遞的語音卻是十分豐富的。利用音調(diào)和節(jié)奏的變化，人的大腦能夠判斷出人的情緒好壞。而通過大量的實(shí)踐研究表明，依托于深度學(xué)習(xí)模型，尤其是具有時間處理能力的網(wǎng)絡(luò)結(jié)構(gòu)模型，比如多層次的遞歸算法和語義識別可以逐漸合成并實(shí)現(xiàn)一些特殊的語義。

4. 視頻制作與生產(chǎn)

同音頻信號處理技術(shù)相比，深度學(xué)習(xí)技術(shù)有著更為成熟的體系，因此在廣播電視節(jié)目的制作中得到了廣泛的使用。因?yàn)橐曨l的合成識別主要依賴于計算機(jī)的圖形學(xué)和圖像理論。并且這一理論在國內(nèi)外已經(jīng)取得了不錯的成績，同時也具有這相當(dāng)大的商業(yè)價值。不論是自媒體或者短視頻，甚至傳統(tǒng)的廣播節(jié)目以及安全監(jiān)控，加入深度學(xué)習(xí)技術(shù)都會極大的提高制作效率。在當(dāng)前融媒體的大環(huán)境下，把人工智能融入進(jìn)產(chǎn)品設(shè)計中，能夠極大提高產(chǎn)品質(zhì)量。我們主要介紹幾種學(xué)習(xí)技術(shù)所應(yīng)用的層面：

4.1 場景和字符識別

廣播電視節(jié)目的核心業(yè)務(wù)就是場景以及字符的識別工作，這一工作往往耗費(fèi)記著和編輯很大的時間。而依托于成熟的深度學(xué)習(xí)技術(shù)完全可以讓其實(shí)現(xiàn)自動化處理制品制作的過程，對視頻中的重要人物和圖片進(jìn)行自動化的分割處理。并且還能夠捕捉到周圍的環(huán)境以及特殊的鏡頭，這樣就會極大的提高節(jié)目制作的效率。降低制作的成本，讓記者可以將工作重點(diǎn)專心的放在創(chuàng)作方面。

4.2 字幕識別與處理

字幕識別一直以來都是電視劇節(jié)目制作過程中的一個十分棘手的問題。由于受到技術(shù)條件的限制，大部分的電視素材通常都會疊大量的字幕以及圖片，而這對處理工具的要求就更加的嚴(yán)格。不僅增加了視頻處理的復(fù)雜工作，還會極大的降低視頻處理的質(zhì)量。而利用深度學(xué)習(xí)技術(shù)就能夠自動的提取和刪除視頻中的垃圾字幕，極大的還原圖片，增強(qiáng)視頻的效果。其對節(jié)目制作過程中的歷史資源搶救具有極大的商業(yè)價值。

結(jié)論：綜上所述，深度學(xué)習(xí)技術(shù)可以高效的服務(wù)于電視音頻節(jié)目制作的各個領(lǐng)域，并且具有極高的商業(yè)價值。廣播電視行業(yè)需要繼續(xù)攻克各種艱難險阻迎難而上，充分的利用人工智能技術(shù)來提高節(jié)目質(zhì)量，積極面對未來發(fā)展所遇到的機(jī)遇和挑戰(zhàn)。

參考文獻(xiàn)：

[1]馮景鋒，劉駿，曹志，等.基于智慧廣電戰(zhàn)略的廣播電視技術(shù)體系構(gòu)想[J].廣播與電視技術(shù)，2018，（5）：41-45.

[2]戴禮榮，張仕良，黃智穎.基于深度學(xué)習(xí)的語音識別技術(shù)現(xiàn)狀與展望[J].數(shù)據(jù)采集與處理，2019，32（2）：221-231.

[3]李澤華.深度神經(jīng)網(wǎng)絡(luò)模型在智慧廣電應(yīng)用中的設(shè)計與驗(yàn)證[J].廣播電視信息，2020，（4）：12-15.

[4]甘育.試論人工智能在下一代廣播電視網(wǎng)中的應(yīng)用[J].中國有線電視，2019，（8）：819-821.

[5]焦慶華.視音頻AI技術(shù)在廣電內(nèi)容管理中的應(yīng)用探索[J].有線電視技術(shù)，2019，（07）：41-45.