淺談人工智能在電影制作中的應(yīng)用

詹振預(yù)

(中影電影數(shù)字制作基地有限公司，北京 101400)

2020年春節(jié)之際，一場突然來襲的疫情，中國上下萬眾一心，進(jìn)行全民抗疫，展現(xiàn)出了偉大祖國的凝聚力、動員力、執(zhí)行力。在這次戰(zhàn)疫中，中國的防控速度、動員速度、基建速度讓世界稱贊。大量現(xiàn)代科技被應(yīng)用，遠(yuǎn)程會診、遠(yuǎn)程手術(shù)、遠(yuǎn)程辦公、遠(yuǎn)程會議等需求孕育而生。5G、人工智能等新興技術(shù)的加持，讓更先進(jìn)的病毒檢測技術(shù)和治療方案得以被迅速研發(fā)和推廣應(yīng)用。

說到人工智能，有不少耳熟能詳?shù)漠a(chǎn)品已經(jīng)被大家所熟悉，比如谷歌的Alpha GO、微軟的“小冰”、百度的“小度”等，這些產(chǎn)品都是在某一領(lǐng)域中身懷絕技，相信大家也已在各種媒體報(bào)道中了解到它們的實(shí)力。近幾年，人工智能技術(shù)的火爆發(fā)展，已經(jīng)在各行各業(yè)中遍地開花，其中人臉識別技術(shù)的應(yīng)用，可以說是最深入人心的，比如這次疫情中推廣的健康碼，就用到了人臉識別技術(shù)。

人工智能作為一種新技術(shù)、新工具，走進(jìn)大眾視野，有人歡喜有人憂。新技術(shù)代表著新的生產(chǎn)力，代表著更先進(jìn)的生產(chǎn)技術(shù)和更高的生產(chǎn)效率，它對傳統(tǒng)的生產(chǎn)方式造成了重大沖擊。

電影從誕生之日起，已有一百多年的歷史，她是一個聚文化、藝術(shù)、工業(yè)、科技等多個行業(yè)為一體的高度融合產(chǎn)業(yè)。電影經(jīng)歷了從黑白到彩色、從無聲到有聲、從平面到立體、從小畫面到大畫面的變革，為電影的健康發(fā)展，不斷融入新的生命。

電影從劇本到最終上映，經(jīng)過了拍攝前期、制作后期、發(fā)行上映等階段。人工智能作為一種新技術(shù)革命又如何為電影業(yè)服務(wù)呢？文章不討論人工智能如何取代人類，而是深入探討電影生產(chǎn)制作中如何借助人工智能技術(shù)，來提升創(chuàng)作的質(zhì)量和速度。

1人工智能在電影拍攝前期的應(yīng)用

拍攝前期階段，主要有劇本編寫，角色、場景、故事板設(shè)計(jì)繪制，動態(tài)故事板制作，實(shí)景拍攝等環(huán)節(jié)。一般來說，這些過程大都屬于藝術(shù)創(chuàng)作的過程，似乎很難利用人工智能來參與到這些環(huán)節(jié)中，其實(shí)恰恰不然，在這個階段也有許多可以充分利用人工智能新技術(shù)來提升效率和效果的地方。

1.1劇本創(chuàng)作環(huán)節(jié)

劇本是電影的生命源泉，劇本的好壞直接決定了影片的成敗，影片是否有故事、有內(nèi)涵，決定能否讓觀眾獲得共鳴。一位劇作家要完成一部優(yōu)秀的電影劇本創(chuàng)作，首先要通過自身幾十年的知識積累和經(jīng)驗(yàn)學(xué)習(xí)，并從社會中提取人文、道德等觀點(diǎn)見解，通過影片故事傳遞給社會。

人工智能天生具有強(qiáng)大的學(xué)習(xí)能力，它可以在短時間完成已有的各類影片的劇本學(xué)習(xí)，也可以快速學(xué)習(xí)所需的歷史、社會、哲學(xué)等學(xué)科，學(xué)習(xí)已有的大部分優(yōu)秀電影作品。這是普通人根本無法快速完成的學(xué)習(xí)任務(wù)，只能是有選擇性地學(xué)習(xí)。對于人類無法達(dá)到的閱讀、記憶量，人工智能可以輕松實(shí)現(xiàn)。

人工智能既然擁有強(qiáng)大的學(xué)習(xí)能力，那它能創(chuàng)作出劇本嗎？答案是肯定的。下面列舉幾個人工智能在文學(xué)創(chuàng)作方面的例子。2016年，由人工智能創(chuàng)作的小說《電腦寫小說的那一天》《你是AI TYPE-S》等多部作品在日本參加了比賽。2017年5月，微軟公司開發(fā)的人工智能機(jī)器人“小冰”，出版了一本詩集《陽光失了玻璃窗》，這是人類歷史上第一部由機(jī)器人寫的詩集。2017年12月，由清華大學(xué)研發(fā)團(tuán)隊(duì)研發(fā)的“九歌作詩機(jī)器人”在央視《機(jī)智過人》欄目中與來自北大、清華的高材生一起接受圖靈測試，并通過測試。2017年12月，美國Botnik工作室開發(fā)出能與人協(xié)作的內(nèi)容創(chuàng)作工具，它用前7本《哈利波特》小說在人工智能機(jī)器人訓(xùn)練之后，寫出了引人入勝的新故事，題為《哈利波特與看起來像一堆灰燼》小說，該工作室還推出《復(fù)聯(lián)3：無限戰(zhàn)爭》的人工智能創(chuàng)作版本。這些人工智能的文學(xué)作品在人類看來，有些方面已經(jīng)非常接近人類的水平，有些還是有一定的差距，但這并不妨礙人類使用人工智能來為我們工作。

人工智能，最大的創(chuàng)新就是具有人腦思維的學(xué)習(xí)能力，人工智能可以快速學(xué)習(xí)大量知識，并且對其分類和總結(jié)，甚至模仿，可達(dá)到極高的相似度。在既有思維模式下，人工智能寫出的劇本可以做到非常完美的劇情結(jié)構(gòu)，它的高可靠性，也勢必帶來了作品本身缺少創(chuàng)新性。但這些作品有其自身的邏輯和超越人類的認(rèn)知，正好可幫助人類作家進(jìn)行一些創(chuàng)新指引，是人類作家極好的參考作品和優(yōu)化器，可以幫助人類創(chuàng)作出更加優(yōu)秀、創(chuàng)新的作品。作家之所以能成為作家，因?yàn)槿吮旧硎巧鐣囊环葑?，具有情感，能理解社會，并提取社會所需去完成一部來源于現(xiàn)實(shí)又高于現(xiàn)實(shí)的作品。通過作家對人工智能的實(shí)際應(yīng)用，可隨時改進(jìn)、優(yōu)化人工智能程序，訓(xùn)練其寫出更接近于人類可接受的作品。人工智能與人類兩者之間交融發(fā)展，最終可讓觀眾在銀幕上看到更加有突破性的作品，那時候，觀眾不再會糾結(jié)這是誰的作品了。

1.2 設(shè)計(jì)創(chuàng)作環(huán)節(jié)

故事劇本創(chuàng)作完成之后，項(xiàng)目就可以開始進(jìn)行角色、場景、故事板的設(shè)計(jì)創(chuàng)作階段，這幾項(xiàng)內(nèi)容均屬于藝術(shù)創(chuàng)作范疇，一般需要聘請專業(yè)團(tuán)隊(duì)，組織大量的藝術(shù)家進(jìn)行創(chuàng)作。藝術(shù)創(chuàng)作，這并不是人工智能所擅長的，人工智能究竟能為人類藝術(shù)家提供什么樣的幫助？首先，我們可以利用人工智能強(qiáng)大的學(xué)習(xí)能力，為我們查找到所需的資料，比如畫面、照片、視頻，包括已有影片的參考橋段，并對所有的資料進(jìn)行分類和排序，挑選故事中最適合的參考信息；其次可以利用收集完成的數(shù)據(jù)資料對人工智能機(jī)器人進(jìn)行訓(xùn)練，受訓(xùn)的機(jī)器人將能繪制符合影片故事的角色、場景、故事板等。對于人工智能繪畫，也有對應(yīng)的例子。2018年，在佳士得拍賣會上，成功拍賣了由人工智能進(jìn)行繪畫的作品《愛德蒙·貝拉米的肖像》，最終售價達(dá)43.25萬美元，與當(dāng)時同時拍賣的一幅畢加索畫作價格相當(dāng)。若覺得這幅畫作太過于抽象，很難適用于電影創(chuàng)作過程，再舉另外一個例子，2018年10月，央視《機(jī)智過人》節(jié)目，現(xiàn)場展示了人工智能中最具藝術(shù)細(xì)胞的中國畫系統(tǒng)“道子”，它學(xué)習(xí)了齊白石大約幾百幅畫作風(fēng)格，學(xué)習(xí)齊老先生畫蝦本領(lǐng)，掌握了其形與神，“道子”在現(xiàn)場與青年畫家PK畫蝦，并由齊老先生孫女負(fù)責(zé)檢驗(yàn)，最終現(xiàn)場觀眾并沒有認(rèn)出哪幅畫作是機(jī)器人“道子”所作，通過測試。人工智能雖然無法直接取代專業(yè)的藝術(shù)家，但它作為新興工具與藝術(shù)家互相促進(jìn)，最終可以提升電影的藝術(shù)魅力。

1.3 動態(tài)故事板環(huán)節(jié)

有了故事劇本，角色、場景風(fēng)格的定調(diào)，及故事板的設(shè)計(jì)完成，后面緊接的是動態(tài)故事板環(huán)節(jié)。動態(tài)故事板與靜態(tài)故事板之間最大的不同就是動態(tài)可視化處理，可最大限度地展現(xiàn)出每場戲的鏡頭、角色、場景的定位，以及角度和運(yùn)動變化等，甚至可為動態(tài)故事板設(shè)定顏色、材質(zhì)、燈光效果、音樂效果及角色對話等，讓動態(tài)故事板更接近影片成片的效果，使創(chuàng)作團(tuán)隊(duì)可以最直觀地分析、評價影片的合理性和可行性。動態(tài)故事板一般都由電腦模擬完成，實(shí)現(xiàn)接近影片成片的動態(tài)故事板，從效果上講是最理想的，但制作成本也是相當(dāng)龐大的，等于額外制作該影片的動畫版本了，在時間和資金成本上都是不被允許的。

人工智能技術(shù)的崛起，將助推實(shí)現(xiàn)更完美效果的動態(tài)故事板，而在資金和時間的投入只會增加較少的成本。在三維場景模擬過程，依靠現(xiàn)有的人工智能技術(shù)來完成還有一定的難度，但也不是毫無用處，比如可通過人工智能幫助動畫藝術(shù)家找到過往影片中相似的鏡頭，作為制作參考，以達(dá)到青出于藍(lán)勝于藍(lán)的鏡頭效果。在音樂、聲效、對白方面的實(shí)現(xiàn)，人工智能將大有用武之地，可以避免用傳統(tǒng)的制作方法造成的在資金和時間成本上的大量增加。人工智能可通過提供故事內(nèi)容、場景氣氛、情感變化的設(shè)定，自主譜寫該場景的背景音樂，并可模擬不同樂器，甚至模擬交響樂的效果，讓動態(tài)故事板有了專屬的背景音樂，起到烘托氣氛、連貫故事的作用。例如在2015年12月，基于人工智能合成技術(shù)的Jukedeck MAKE正式亮相，已經(jīng)可以完成定制專屬歌曲，輕松制作視頻音樂，并且可以設(shè)定不同風(fēng)格的曲子，使聲音更加多樣化、人性化。在聲效處理方面，人工智能可收集、分配已有數(shù)據(jù)庫中的效果，也可以從一段自然聲音中分析提取得到特定的聲效。加入聲效后的動態(tài)故事板，能帶來更好的動態(tài)效果。對白部分，基于“語音合成技術(shù)(TTS)”已經(jīng)在日常得到廣泛應(yīng)用，各種人工智能語音機(jī)器人已經(jīng)具備自然語言處理能力，使之能有感情地說話；并可通過人工智能的學(xué)習(xí)，達(dá)到模仿特定演員的講話效果，通過提供對白文本，生成動態(tài)故事板中的角色對白，解決動態(tài)故事板一直以來是默片的不足。

通過人工智能處理得到的聲音文件，均屬于電腦合成處理，暫時可能無法達(dá)到最終聲音效果，但在動態(tài)故事板階段，已經(jīng)能夠大大提升觀看效果，給主創(chuàng)團(tuán)隊(duì)在影片創(chuàng)作中提供極大幫助，為影片質(zhì)量提升發(fā)揮重要作用。

1.4 拍攝環(huán)節(jié)

動態(tài)故事板完成以后，即將進(jìn)入拍攝環(huán)節(jié)。隨著大量電腦后期特效的介入，當(dāng)代電影拍攝手法也隨之創(chuàng)新，一些傳統(tǒng)的實(shí)景拍攝手法已經(jīng)很難實(shí)現(xiàn)動態(tài)故事板所設(shè)計(jì)的大部分拍攝任務(wù)。新技術(shù)、新方法不斷創(chuàng)新，例如可運(yùn)用虛擬攝影棚拍攝技術(shù)，通過人工智能實(shí)時摳像，實(shí)時回放或生成虛擬背景，讓攝影師在虛擬場景環(huán)境中體驗(yàn)實(shí)景拍攝的感覺，導(dǎo)演也可以在第一時間確認(rèn)鏡頭效果，讓拍攝過程不再盲目，鏡頭效果不再打折扣。還可以應(yīng)用人工智能+Motion Control技術(shù)+GPS遙控定位技術(shù)，預(yù)定攝影路線，大量上帝視角鏡頭被輕松拍攝，實(shí)現(xiàn)傳統(tǒng)拍攝手法根本無法完成的拍攝任務(wù)。人工智能除了在拍攝手法上的應(yīng)用，在硬件設(shè)備技術(shù)層面，隨著技術(shù)提升和深化介入，算法快速革新，人工智能技術(shù)已經(jīng)被優(yōu)先應(yīng)用在手機(jī)攝影系統(tǒng)上。大量人工智能計(jì)算被植入到拍攝系統(tǒng)中，可以輕松控制曝光、控制色彩平衡、控制景深，甚至提升畫面分辨率、高動態(tài)色彩空間、眼控對焦、動態(tài)跟蹤等先進(jìn)的算法和技術(shù)，被廣泛接受，下一步也勢必被應(yīng)用在電影攝影中。數(shù)字?jǐn)z影的大量應(yīng)用，海量拍攝素材快速產(chǎn)生，如何有效管理這些數(shù)據(jù)成為一大挑戰(zhàn)。DIT部門負(fù)責(zé)對素材的存儲和管理，已是拍攝環(huán)節(jié)的重要組成部分，運(yùn)用人工智能技術(shù)和機(jī)器學(xué)習(xí)，做到對影片素材的快速分類、組織、匯總，有效科學(xué)管理數(shù)據(jù)，讓數(shù)據(jù)可以被快速梳理和訪問，而不至于成為存儲中的垃圾數(shù)據(jù)。人工智能技術(shù)已經(jīng)被深深嵌入到了拍攝環(huán)節(jié)中，再也離不開。

2人工智能在電影制作后期的應(yīng)用

影片后期制作階段，主要有剪輯、特效制作、聲音制作、立體制作、DI調(diào)色等環(huán)節(jié)。在整個后期制作階段，這些環(huán)節(jié)雖然有一定的先后順序，但制作過程中大多時候可以交叉、同步進(jìn)行，以減少影片整體的制作周期。但也會有一定的前后環(huán)節(jié)牽制，所以說每個環(huán)節(jié)又都需要提供各自的周期計(jì)劃表，做到統(tǒng)籌有序。

2.1 影片剪輯環(huán)節(jié)

隨著攝影的數(shù)字化，磁盤存儲技術(shù)取代了傳統(tǒng)的膠片、磁帶記錄方式，使拍攝成本大大降低，也使拍攝過程的多角度、多機(jī)位、多遍數(shù)的拍攝成為可能，大大提高鏡頭拍攝的成功率，鏡頭的多機(jī)位變化也成為影片的一大進(jìn)步。隨著拍攝素材的大量倍增，使影片剪輯師不堪重負(fù)，在眾多素材中找到最合適的素材，成為剪輯中的重要工作。在前期的拍攝素材中，若能通過人工智能的有效管理，也可大大減輕剪輯部門挑選素材的壓力。隨著技術(shù)的快速發(fā)展，人工智能參與剪輯的工作也已成為現(xiàn)實(shí)。2016年9月，20世紀(jì)福克斯公司與IBM合作，運(yùn)用Waston機(jī)器人學(xué)習(xí)大量的預(yù)告片，為其驚悚電影《Morgan》剪輯出了預(yù)告片。2017年7月，斯坦福大學(xué)也與Adobe公司共同開發(fā)出能夠自動完成視頻剪輯的人工智能程序。國內(nèi)的智影平臺也開發(fā)出了基于輸入文字自動生成視頻的功能。2019年，國慶的慶?；顒訄?bào)道中，央視新聞的一部分短視頻就是由AI剪輯來完成的。人工智能技術(shù)在剪輯環(huán)節(jié)的大量介入，暫時無法完全接替剪輯師的工作，但也給剪輯師提供了一個很好的助手，提高了剪輯師的工作效率和影片的質(zhì)量。

2.2特效制作環(huán)節(jié)

無論三維制作還是后期合成，都與電腦技術(shù)的發(fā)展緊緊聯(lián)系在一起，也是電腦硬件迅速發(fā)展的極大推動者。許多基于圖形學(xué)算法的研究，都在各種制作軟件中得到實(shí)現(xiàn)和應(yīng)用，例如基于碰撞、流體等物理模擬技術(shù)，基于光流的光線追蹤技術(shù)，基于電腦顯卡的實(shí)時顯示技術(shù)。人工智能技術(shù)也已經(jīng)在特效制作環(huán)節(jié)得到多方面應(yīng)用，例如自動擦除威亞，自動藍(lán)綠背景摳像，甚至是復(fù)雜背景的智能摳像，以及現(xiàn)在最火的動態(tài)換臉技術(shù)，都在生產(chǎn)中得到廣泛應(yīng)用。著名的Nvidia公司開發(fā)出基于人工智能算法的超級慢動作系統(tǒng)，可以插值出基于原素材8倍的慢動作效果；中影“神思”基于人工智能的影片修復(fù)系統(tǒng)也得到成功應(yīng)用；基于人工智能的三維模型重建技術(shù)，可以快速完成電影拍攝場景的數(shù)字化；基于動作捕捉的動畫制作技術(shù)也將被人工智能技術(shù)所替代，可根據(jù)鏡頭語言所表達(dá)的情感、思想自主完成三維動畫，完成基于人體運(yùn)動軌跡的人工智能動畫模擬。人工智能為電影視覺特效帶來的變革還將層出不窮，技術(shù)的快速發(fā)展，一定會幫助影片創(chuàng)造出更好的視覺效果。

2.3聲音制作環(huán)節(jié)

在動態(tài)故事板章節(jié)中，詳細(xì)描述了人工智能在音樂、聲效、對白方面的實(shí)現(xiàn)可能?，F(xiàn)在網(wǎng)絡(luò)上各種媒體新聞主播，也大量采用了人工智能合成制作技術(shù)，大大節(jié)省制作時間，提高了新聞的時效性?？梢娙斯ぶ悄茉诼曇糁谱魃弦呀?jīng)得到了廣泛應(yīng)用。

2.4 立體制作環(huán)節(jié)

為提升視覺體驗(yàn)，部分影片采用了立體版本發(fā)行，立體影片的制作主要有兩個途徑。一種是通過立體攝影機(jī)直接拍攝，實(shí)拍的立體素材并不能馬上拿來使用，幾乎所有的素材都需要進(jìn)行左右眼的匹配處理，例如顏色匹配、鏡頭畸變匹配、景深匹配等，校正完成以后的立體素材才能被正常使用。如果通過后期軟件傳統(tǒng)方法一一處理，將花費(fèi)巨大的工作量，現(xiàn)在通過人工智能對素材進(jìn)行自主分析、解算、匹配，大大提高了處理速度和精度，可以使影片得到最完美的立體效果。

另一種是通過轉(zhuǎn)制完成。現(xiàn)在的轉(zhuǎn)制技術(shù)，基本還是屬于手工轉(zhuǎn)制，由轉(zhuǎn)制人員對每一條鏡頭每一個物體設(shè)定空間位置。也有公司研究用人工智能方法直接全程參與立體轉(zhuǎn)制，但是得到的效果還不太理想，全程的人工智能立體轉(zhuǎn)制處理技術(shù)，還有很長的一段路需要走。但如果把人工智能技術(shù)應(yīng)用在轉(zhuǎn)制過程的部分環(huán)節(jié)上，比如自動ROTO技術(shù)、自動深度技術(shù)、自動背景圖像修復(fù)技術(shù)等，這將在轉(zhuǎn)制質(zhì)量不受影響的情況下，提升轉(zhuǎn)制效率，是一種較為可行的方案。

2.5 DI調(diào)色環(huán)節(jié)

一般來說，調(diào)色工作都帶有較強(qiáng)的個人主觀色彩，不同的調(diào)色師、導(dǎo)演、攝影指導(dǎo)的參與，往往影片畫面風(fēng)格千差萬別。人工智能在DI調(diào)色環(huán)節(jié)上的運(yùn)用，會不會造成影片的同質(zhì)化？其實(shí)大可放心，人工智能雖然可以完成自主調(diào)色過程，整個過程畢竟還有調(diào)色師的全程介入?yún)⑴c，影片也就將保留各自的風(fēng)格?，F(xiàn)在人工智能參與的調(diào)色主要作用于一級校色中輔助鏡頭的匹配，隨著人工智能的研究深入，人工智能將對特定調(diào)色師，特定影片的調(diào)色風(fēng)格進(jìn)行全方位學(xué)習(xí)，大大減少調(diào)色師的介入時間，提升調(diào)色效率。

3 結(jié)束語