基于AIGC賦能的影視技術(shù)與影視色彩設(shè)計(jì)研究

洪宇/江西應(yīng)用科技學(xué)院

何淵吟/上海大學(xué)上海電影學(xué)院

影視是指影像和聲音結(jié)合而成的藝術(shù)形式，通過電影、電視劇、紀(jì)錄片等媒介進(jìn)行展示和傳播?它是一種通過攝影、導(dǎo)演、剪輯、音效等技術(shù)手段，將故事、情感和思想以圖像和聲音的形式呈現(xiàn)給觀眾的藝術(shù)表達(dá)方式?AIGC技術(shù)賦能在近兩年內(nèi)取得了顯著的發(fā)展，也是當(dāng)前人工智能研究的熱點(diǎn)和前沿方向之一，指的是由人工智能生成的內(nèi)容，它是利用機(jī)器學(xué)習(xí)和自然語言處理等技術(shù)，讓計(jì)算機(jī)能夠自動(dòng)生成文字、圖像、音頻和視頻等各種形式的內(nèi)容?AIGC是一種新型內(nèi)容生產(chǎn)方式，它在用戶生產(chǎn)內(nèi)容（UGC）和專業(yè)生產(chǎn)內(nèi)容（PGC）之后出現(xiàn)?最近，美國OpenAI推出了名為ChatGPT-4的聊天機(jī)器人，ChatGPT-4的上線標(biāo)志著人工智能技術(shù)在內(nèi)容生成領(lǐng)域的進(jìn)一步發(fā)展，產(chǎn)學(xué)研各界對(duì)AIGC的討論、研究和應(yīng)用熱度也上升到了新高度?目前，AIGC技術(shù)在影視技術(shù)與影視色彩設(shè)計(jì)領(lǐng)域的應(yīng)用逐漸擴(kuò)展，通過智能化的視頻生成和后期處理，可以為設(shè)計(jì)師和藝術(shù)家提供更多創(chuàng)作工具和可能性?

1 AIGC賦能在影視技術(shù)中的應(yīng)用

一直以來影視行業(yè)對(duì)人工智能的態(tài)度相對(duì)友好，AIGC技術(shù)利用深度學(xué)習(xí)和計(jì)算機(jī)視覺等技術(shù)，通過對(duì)大量數(shù)據(jù)的訓(xùn)練和學(xué)習(xí)，能夠?qū)崿F(xiàn)影視中的劇本創(chuàng)作、概念圖描繪和圖像合成、特效生成、場景重建等任務(wù)，從而提高影視制作的效率和質(zhì)量?

在影視制作的前期，AIGC可以協(xié)助人類創(chuàng)作者進(jìn)行劇本創(chuàng)作?例如，Alhussain等提出了一種基于深度學(xué)習(xí)的故事梗概生成方法，這種方法可以根據(jù)輸入的關(guān)鍵詞或主題自動(dòng)生成故事梗概，為影視創(chuàng)作提供更多的靈感來源?[1]但目前AIGC賦能的劇本創(chuàng)作仍然處于初級(jí)階段，有時(shí)它仍然難以確保劇本的邏輯性和連貫性，并且存在難以理解和準(zhǔn)確描繪復(fù)雜的人物性格、情感和動(dòng)機(jī)等諸多問題?同時(shí)，AIGC技術(shù)賦能還可以幫助制片人和導(dǎo)演創(chuàng)建前期概念圖，從而降低雇傭場景設(shè)計(jì)師、概念設(shè)計(jì)師和分鏡設(shè)計(jì)師等職位所需的成本?雖然目前AIGC技術(shù)賦能在影視劇本創(chuàng)作、概念圖描繪存在著諸多問題，但是隨著技術(shù)迭代與資金的持續(xù)注入，AIGC的創(chuàng)作質(zhì)量將逐漸接近于人類的水平?

其次，AIGC賦能在影視技術(shù)中的一個(gè)重要應(yīng)用是圖像合成?傳統(tǒng)的影視制作中，如果需要在現(xiàn)實(shí)場景中增加虛擬角色或者特效元素，通常需要依靠綠幕技術(shù)?但是這種方法存在一些限制，例如綠幕的設(shè)置不便捷、實(shí)時(shí)交互困難等?而AIGC技術(shù)可以通過學(xué)習(xí)大量的圖像數(shù)據(jù)，識(shí)別出場景中的物體和結(jié)構(gòu)，進(jìn)行了視覺、聽覺和場景構(gòu)成的分析?并將虛擬元素自動(dòng)融合進(jìn)去，從而實(shí)現(xiàn)更加方便和高效的圖像合成?比如前段時(shí)間備受矚目的國產(chǎn)電影《流浪地球2》，這部影片可謂是國產(chǎn)科幻電影的里程碑，影片中所呈現(xiàn)的特效讓觀眾對(duì)當(dāng)代國產(chǎn)特效的水平深感震撼?最前沿的是電影通過AI技術(shù)復(fù)原了已故的吳孟達(dá)先生（圖1），讓他重現(xiàn)在影片中與我們一起“流浪地球”?而且，不止這一點(diǎn)，《流浪地球2》還通過AI修復(fù)，使主演年輕化，并修復(fù)聲帶受損的演員聲音，可謂是AI技術(shù)促進(jìn)了影視圈的全新革命?

圖1 《流浪地球2》利用AI技術(shù)“復(fù)活”已故的吳孟達(dá) （圖片來源：網(wǎng)絡(luò)）

此外，AIGC技術(shù)在影視技術(shù)中還可以應(yīng)用于特效生成?特效在現(xiàn)代影視制作中起著至關(guān)重要的作用，能夠?yàn)橛^眾帶來更加震撼和奇幻的視覺體驗(yàn)?傳統(tǒng)的特效制作通常需要耗費(fèi)大量的時(shí)間和人力，而AIGC技術(shù)可以通過學(xué)習(xí)真實(shí)世界中的特效數(shù)據(jù)，通過AI算法和CG模擬，可以生成高質(zhì)量的特效效果，使電影場景更加震撼，從而減少了特效制作的時(shí)間和成本?例如，在AI電影節(jié)大獎(jiǎng)得主Riccardo Fusetti，他的作品《Generation》非常具有表現(xiàn)力和抽象感，將現(xiàn)代表演與大量視覺效果和哲學(xué)旁白文本相結(jié)合?這部短片是使用AI繪畫工具Disco Diffusion制作的，融合了真實(shí)舞蹈表演和人工智能視覺效果，在對(duì)感官的強(qiáng)烈探索中，每一幀粒子和紋理都是藝術(shù)?Disco Diffusion擁有許多強(qiáng)大功能和智能算法，可以根據(jù)用戶的需求，自動(dòng)匹配相關(guān)素材或者進(jìn)行創(chuàng)造性設(shè)計(jì)，生成出精美的二次元畫作?Riccardo Fusetti導(dǎo)演透露“只有在嘗試了人工智能文本到圖像的算法之后，我才真正看到了一種將那種（壓倒性的）感覺可視化的方法”?帶著他的目標(biāo)，F(xiàn)usetti拍攝了他的舞蹈序列，然后將結(jié)果輸入“文本到圖像的開源機(jī)器學(xué)習(xí)算法（Disco Diffusion）”，然后“將結(jié)果合成回原始鏡頭”?人工智能工作流程使他能夠“將電影的每一幀渲染成獨(dú)特而非常詳細(xì)的插圖”，最終制作出相當(dāng)震撼的影片《Generation》?由此實(shí)驗(yàn)可以看出通過AI與人類創(chuàng)意的結(jié)合，可以為設(shè)計(jì)師和藝術(shù)家提供更多探索空間?

AIGC技術(shù)還可以應(yīng)用于場景重建?在影視制作中，有時(shí)需要對(duì)真實(shí)場景進(jìn)行重建或者恢復(fù)?傳統(tǒng)的方法通常需要進(jìn)行大量的測量和建模工作，而AIGC賦能可以通過學(xué)習(xí)真實(shí)世界中的場景數(shù)據(jù)，自動(dòng)分析和重建場景的三維結(jié)構(gòu)?在人工智能生成三維場景的技術(shù)中，Luma AI脫穎而出，它是一款利用AI技術(shù)生成高質(zhì)量的3D角色和場景的應(yīng)用，是一個(gè)被嚴(yán)重低估的3D掃描應(yīng)用，它的技術(shù)和產(chǎn)品包括使用深度學(xué)習(xí)和計(jì)算機(jī)視覺算法的Text-to-3D等技術(shù)以及開發(fā)的LumaNeRF算法，可以用于快速生成各種類型的3D模型，引入NeRF技術(shù)后，對(duì)場景的重建能力也得到了夸張的提升：只要導(dǎo)入一個(gè)手穩(wěn)的視頻，就能重建視頻里的真實(shí)場景，可以通過學(xué)習(xí)不同角度的圖片數(shù)據(jù)，對(duì)一個(gè)城市街道的三維結(jié)構(gòu)進(jìn)行重建，從而方便影視制作人員進(jìn)行后期處理和特效合成?例如，由Jake Oleson用Luma AI創(chuàng)作的短片《Given Again》（圖2），它使用神經(jīng)輻射場（NeRF，neural radiance fields）的技術(shù)來將2D照片變成3D虛擬物體?不管是小物件，亦或是人物、大風(fēng)景等復(fù)雜場景，Luma AI都能夠精準(zhǔn)還原，甚至還能還原光照環(huán)境等細(xì)節(jié)，支持自動(dòng)調(diào)整焦距、視角和畫面比例調(diào)整等功能?

圖2 由Luma AI生成的《Given Again》視頻三維場景截圖 （圖片來源：網(wǎng)絡(luò)）

AIGC賦能在影視技術(shù)中的應(yīng)用具有廣闊的前景?通過自動(dòng)劇本創(chuàng)作、概念圖描繪、圖像合成、特效生成以及場景重建等功能，AIGC賦能能夠提高影視制作的效率和質(zhì)量，為觀眾帶來更加真實(shí)和震撼的視覺體驗(yàn)?盡管仍然存在一些挑戰(zhàn)，但隨著技術(shù)的不斷進(jìn)步和發(fā)展，相信AIGC賦能將為影視制作行業(yè)帶來更多的創(chuàng)新和突破?

2 AIGC賦能在影視色彩設(shè)計(jì)中的應(yīng)用

色彩在影視中是一種強(qiáng)大的表現(xiàn)手段，能夠傳達(dá)情感、烘托氛圍和塑造角色形象?隨著影視行業(yè)的迅速發(fā)展，影視色彩設(shè)計(jì)在影片制作中扮演著重要的角色?良好的影視色彩設(shè)計(jì)可以增強(qiáng)觀眾的情感共鳴，提升視覺享受，并幫助故事敘述更加生動(dòng)和傳神，而傳統(tǒng)的影視色彩設(shè)計(jì)過程通常依賴于人工經(jīng)驗(yàn)和直覺，存在時(shí)間消耗大、創(chuàng)意受限等問題，AIGC技術(shù)的出現(xiàn)為影視色彩設(shè)計(jì)帶來了新的可能?

首先，隨著AI調(diào)色技術(shù)的廣泛應(yīng)用，許多保存為灰度圖像形式的年代影視資料、珍貴文物和歷史視頻等得以利用AI進(jìn)行上色修復(fù)?這項(xiàng)技術(shù)對(duì)于生動(dòng)展示資料內(nèi)容和還原歷史場景具有極其重要的價(jià)值?黑白視頻上色的工業(yè)化流程包括視頻修復(fù)、視頻上色和視頻調(diào)色等環(huán)節(jié)?為實(shí)現(xiàn)視頻上色，需要進(jìn)行以下步驟：構(gòu)建相應(yīng)的數(shù)據(jù)集、訓(xùn)練人工智能上色模型，以及建立上色迭代優(yōu)化流程?[2]例如，電影《雷鋒》是一部經(jīng)典電影，由于當(dāng)時(shí)的技術(shù)限制，該片是以黑白攝制、4：3畫幅和單聲道的形式呈現(xiàn)?然而，在經(jīng)過修復(fù)并上色后，可以欣賞到以彩色和立體聲方式呈現(xiàn)的《雷鋒》電影?通過AIGC技術(shù)修復(fù)和上色的過程為觀眾呈現(xiàn)了更加真實(shí)生動(dòng)的影像效果，也為國內(nèi)經(jīng)典影視作品的現(xiàn)代化生產(chǎn)貢獻(xiàn)新力量?

其次，AIGC技術(shù)的引入為影視畫面的色彩分析和處理提供了智能化的解決方案?調(diào)色師掌握AI使用技巧，就能更好地找到符合需求的參考畫面，向AI咨詢調(diào)色意見，甚至讓AI給出調(diào)色結(jié)果?AIGC技術(shù)通過對(duì)電影或電視劇中的幀畫面進(jìn)行自動(dòng)分析，可以提取出關(guān)于主要色調(diào)、色彩亮度、色彩飽和度等方面的信息?這些信息對(duì)于調(diào)色師來說非常有價(jià)值，因?yàn)樗鼈冇兄诶斫猱嬅娴恼w色彩組合和色彩分布，從而為影視色彩設(shè)計(jì)提供準(zhǔn)確的參考?除了提供參考，AIGC技術(shù)還能夠輔助設(shè)計(jì)師進(jìn)行色彩搭配和調(diào)整工作?基于對(duì)畫面的色彩分析，AIGC技術(shù)能夠智能生成配色方案，供設(shè)計(jì)師參考和選擇，設(shè)計(jì)師可以根據(jù)自身的創(chuàng)意以及電影的主題、氛圍等要求對(duì)生成的配色方案進(jìn)行修改和優(yōu)化?此外，AIGC技術(shù)還能智能地調(diào)整畫面中的色相、飽和度、對(duì)比度等參數(shù)，以實(shí)現(xiàn)更加理想的色彩效果?不同類型的電影和場景往往需要傳達(dá)不同的情感和氛圍，而色彩在其中扮演著重要的角色，基于對(duì)大量電影素材的分析和學(xué)習(xí)，AIGC技術(shù)還能根據(jù)電影類型和場景特點(diǎn)智能生成色彩調(diào)性和色彩風(fēng)格，以達(dá)到更好的視覺效果?類似于DaVinci Resolve和Colourlab.ai等調(diào)色工具可以自動(dòng)分析和增強(qiáng)素材的色彩和色調(diào)，從而賦予電影精致的質(zhì)感?這些工具有助于電影制作人實(shí)現(xiàn)一致且專業(yè)的調(diào)色，這在視覺敘事中是至關(guān)重要的一個(gè)方面?

需要強(qiáng)調(diào)的是，盡管AIGC技術(shù)在影視色彩設(shè)計(jì)中具有潛力，但它仍然需要設(shè)計(jì)師的主觀判斷和審美意識(shí)來指導(dǎo)和優(yōu)化?影視色彩設(shè)計(jì)是一項(xiàng)藝術(shù)性極高的任務(wù)，需要考慮劇情、角色、情感等多個(gè)因素?設(shè)計(jì)師應(yīng)該結(jié)合AIGC技術(shù)賦能的建議和提供的信息，發(fā)揮自己的創(chuàng)意和專業(yè)知識(shí)，將AIGC技術(shù)賦能作為工具和參考，與之相互協(xié)作，以實(shí)現(xiàn)更好的影視色彩設(shè)計(jì)效果?

3 AIGC技術(shù)在影視技術(shù)與色彩設(shè)計(jì)中的挑戰(zhàn)

盡管AIGC技術(shù)在影視技術(shù)和色彩設(shè)計(jì)中具有巨大的潛力，但是目前仍存在一些挑戰(zhàn)和限制?首先，國內(nèi)關(guān)于AIGC在影視技術(shù)與影視色彩設(shè)計(jì)領(lǐng)域的研究數(shù)量相對(duì)較少，反映了該領(lǐng)域的研究熱度和關(guān)注度不高，也限制了該領(lǐng)域的發(fā)展和創(chuàng)新?關(guān)于AIGC在影視創(chuàng)作領(lǐng)域的研究內(nèi)容不夠深入和系統(tǒng)，缺乏跨學(xué)科和跨領(lǐng)域的視角和分析，缺乏對(duì)AIGC在影視創(chuàng)作領(lǐng)域的各種類型、風(fēng)格、形式等的考察，缺乏對(duì)AIGC在影視創(chuàng)作領(lǐng)域的影響、挑戰(zhàn)、機(jī)遇、策略等的分析?

其次，AIGC技術(shù)在算法上存在的準(zhǔn)確性和穩(wěn)定性問題，盡管AIGC技術(shù)已經(jīng)取得了顯著進(jìn)展，但在生成視頻時(shí)可能存在一些不真實(shí)的細(xì)節(jié)和瑕疵，需要不斷改優(yōu)化和迭代，AIGC的性能和效果很大程度上依賴于其訓(xùn)練所使用的數(shù)據(jù)集和學(xué)習(xí)資源，需要大量的訓(xùn)練數(shù)據(jù)，才能夠生成高質(zhì)量的視頻，這對(duì)于影視制作行業(yè)來說可能存在一定的困難，因?yàn)樘囟▓鼍暗臄?shù)據(jù)往往是有限的，并且AIGC技術(shù)需要強(qiáng)大的計(jì)算能力才能夠?qū)崿F(xiàn)高效的處理，這對(duì)于一些小規(guī)模制作公司或個(gè)人來說比較困難?所以獲取高質(zhì)量和多樣化的數(shù)據(jù)集以及進(jìn)行大規(guī)模的訓(xùn)練仍然是一個(gè)挑戰(zhàn)?

此外，是與人類創(chuàng)意的結(jié)合問題?使用AIGC技術(shù)進(jìn)行影視創(chuàng)作時(shí)，如何保持創(chuàng)意的獨(dú)特性，是研究者需要高度重視的問題?AIGC雖然能夠提供一定程度的創(chuàng)意支持，但與人類創(chuàng)意相比仍有差距，目前還無法完全替代人類的視頻創(chuàng)作，因?yàn)槿祟惖膭?chuàng)作具有更加復(fù)雜的情感和思維，能夠表達(dá)更多元化的創(chuàng)意和想法?并且由于機(jī)器學(xué)習(xí)算法的工作方式是基于已有的數(shù)據(jù)進(jìn)行學(xué)習(xí)和生成，存在著模仿和缺乏創(chuàng)新的風(fēng)險(xiǎn)?為了解決這個(gè)問題，可以通過引入更多不同類型的影視作品和藝術(shù)風(fēng)格的數(shù)據(jù)來訓(xùn)練模型，以擴(kuò)大其學(xué)習(xí)范圍和創(chuàng)造力，還可以將AIGC技術(shù)與人類創(chuàng)作者的直覺和藝術(shù)見解相結(jié)合，通過人機(jī)協(xié)同的方式來產(chǎn)生更具獨(dú)特性的創(chuàng)意?

最后是對(duì)隱私和版權(quán)的考慮，使用AIGC技術(shù)需謹(jǐn)慎處理個(gè)人信息和版權(quán)問題，以確保合法合規(guī)，首先是制度方面的變革，現(xiàn)有的法律、法規(guī)和制度主要圍繞自然人產(chǎn)生的作品展開，機(jī)器生成的內(nèi)容在版權(quán)法上還沒有明確的規(guī)定?因此要加強(qiáng)相關(guān)法律問題的研究，可能需要對(duì)相關(guān)法律制度進(jìn)行某些方面的修訂?另一方面，用技術(shù)的手段解決問題，技術(shù)上的創(chuàng)新也可以解決一些制度無法解決的問題?在版權(quán)保護(hù)方面，我們可以采用各種技術(shù)手段，來幫助保護(hù)知識(shí)產(chǎn)權(quán)，并鼓勵(lì)創(chuàng)新?[3]

4 結(jié)語

AIGC技術(shù)在影視攝影與色彩設(shè)計(jì)領(lǐng)域有著廣闊的應(yīng)用前景?然而，我們還需要進(jìn)一步研究和探索，以提高算法的準(zhǔn)確性和穩(wěn)定性?同時(shí)，我們需要更好地結(jié)合人類創(chuàng)意，遵循相關(guān)法律法規(guī)，促進(jìn)AIGC技術(shù)在這兩個(gè)領(lǐng)域的可持續(xù)發(fā)展?未來的研究方向應(yīng)該聚焦于技術(shù)改進(jìn)、人機(jī)合作以及法律合規(guī)性，以推動(dòng)AIGC技術(shù)在影視攝影與色彩設(shè)計(jì)領(lǐng)域的發(fā)展?從而我們就能實(shí)現(xiàn)影視技術(shù)和色彩設(shè)計(jì)創(chuàng)作的多元化、個(gè)性化和智能化?