基于AI 技術(shù)的電影修復(fù)探索與研究

孫天宇，胡偉屹

（1.洛陽(yáng)師范學(xué)院 文學(xué)院，河南 洛陽(yáng) 471934；2.學(xué)習(xí)強(qiáng)國(guó)學(xué)習(xí)平臺(tái)有限責(zé)任公司，北京 100000）

0 引 言

早期電影大多以膠片作為載體。隨著時(shí)間的推移，膠片難免會(huì)出現(xiàn)劃痕、褪色、收縮、拼接不良或被霉菌弄臟等問(wèn)題。數(shù)碼時(shí)代的影片修復(fù)技術(shù)利用人工智能（Artificial Intelligence，AI）深度學(xué)習(xí)等技術(shù)將原本存放于膠片中的信息重新傳遞到數(shù)字媒體上，利用降噪、著色、插幀等技術(shù)手段，能夠最大程度地對(duì)原有電影的畫質(zhì)和音質(zhì)進(jìn)行優(yōu)化和改善。

1 AI 修復(fù)技術(shù)對(duì)于經(jīng)典電影的影響

AI 人工智能已經(jīng)在出行、安防、文物修復(fù)等現(xiàn)實(shí)場(chǎng)景中實(shí)現(xiàn)落地。在電影修復(fù)領(lǐng)域，AI 人工智能已經(jīng)嶄露頭角。AI 修復(fù)技術(shù)大幅提升電影幀數(shù)的同時(shí)，也提高了電影的清晰度和著色效果。

百年來(lái)留存下來(lái)的膠片電影記錄著歷史和時(shí)代的變遷，承載著民族的歷史記憶[1]。國(guó)產(chǎn)經(jīng)典影片《八千里路云和月》《十字街頭》等既承載著我國(guó)一代乃至幾代人的集體記憶，也寄托了人類理想和情感。這些優(yōu)秀國(guó)產(chǎn)電影的重映，可以激發(fā)觀眾欣賞懷舊影片的浪潮。國(guó)內(nèi)外電影節(jié)也相繼推出電影修復(fù)單元，凸顯出老舊影片修復(fù)版獨(dú)特的市場(chǎng)價(jià)值。經(jīng)典影片的修復(fù)版不是完全照搬，只單純對(duì)分辨率和畫質(zhì)進(jìn)行修復(fù)提升，更是對(duì)經(jīng)典電影的再創(chuàng)作并對(duì)蘊(yùn)含導(dǎo)演思想的新思考。

2 AI 重構(gòu)低分辨率電影

分辨率是圖像的精密程度，是指圖像所能顯示的像素的多少，像素越多，畫面就越精細(xì)。超分辨率是指經(jīng)過(guò)銳化和縮放來(lái)改善電影細(xì)節(jié)，利用AI來(lái)分析低分辨率圖形和高分辨率圖像之間的關(guān)聯(lián)，并對(duì)低分辨率圖形進(jìn)行重構(gòu)的過(guò)程。早期攝影機(jī)錄制視頻格式只能達(dá)到標(biāo)清，無(wú)法達(dá)到更高畫質(zhì)。如今AI 處理軟件實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)判讀影片中的內(nèi)容，然后對(duì)這些內(nèi)容進(jìn)行重新繪制。

2.1 AI 連續(xù)性著色

AI 電影處理軟件對(duì)影片鏡頭像素進(jìn)行分析，以AI+大數(shù)據(jù)的算法進(jìn)行研判，從而實(shí)現(xiàn)對(duì)像素的修復(fù)。這并非簡(jiǎn)單地對(duì)像素進(jìn)行銳化，而是先分析像素再進(jìn)行系統(tǒng)的、連貫性且前后幀連續(xù)性的著色。早期電影除了畫質(zhì)不好問(wèn)題外，有的鏡頭甚至因?yàn)槭Ы苟a(chǎn)生畫面模糊，或是由于快門速度過(guò)慢導(dǎo)致人物或者物體運(yùn)動(dòng)產(chǎn)生動(dòng)態(tài)模糊，現(xiàn)在可以通過(guò)AI深度學(xué)習(xí)技術(shù)讓老舊電影獲得一定程度上的改善。

2.2 AI 交錯(cuò)式掃瞄條紋修復(fù)

AI 可以通過(guò)去條紋功能進(jìn)一步提升畫質(zhì)。軟件采用交錯(cuò)式掃描來(lái)去除條紋所導(dǎo)致的畫面割裂，這個(gè)功能在早期低分辨率電影上有良好效果。影片渲染并輸出后會(huì)產(chǎn)生輕微的色彩偏移，因此需要與剪輯、特效、調(diào)色等軟件結(jié)合使用來(lái)調(diào)整修復(fù)后的影片色彩，當(dāng)然工作量也會(huì)大幅提升，但相比人工每一幀、每一幅畫面都需要修補(bǔ)而言，AI 算法的運(yùn)用則顯得更加便利。雖然電影可以通過(guò)AI 算法獲得畫質(zhì)提升，但AI 運(yùn)算要耗費(fèi)更多的效能，會(huì)對(duì)設(shè)備的處理器和顯卡造成較大壓力。

3 AI 插幀讓老電影更加流暢

電影是由一張張連貫的圖片構(gòu)成，24 幀（每秒）是人眼所感到畫面流暢的下限。60 幀、120 幀的高幀率電影，其視覺(jué)效果相比大部分24 幀電影提升非常明顯[3]。AI 技術(shù)采用分析前后幀畫面來(lái)計(jì)算出中間幀的方法來(lái)進(jìn)行插幀，將30 幀插幀到60 幀甚至120 幀，從而獲得更流暢的體驗(yàn)。

視頻插幀是基于深度學(xué)習(xí)算法的技術(shù)生成的，比如目前有對(duì)播放視頻進(jìn)行實(shí)時(shí)補(bǔ)幀的插件。軟件在原始視頻中前后不同的兩個(gè)幀之間插入一個(gè)由算法模擬兩個(gè)幀之間畫面內(nèi)容的運(yùn)動(dòng)過(guò)程生成的中間幀，并對(duì)每一個(gè)像素進(jìn)行計(jì)算，同時(shí)判斷場(chǎng)景中目標(biāo)有無(wú)運(yùn)動(dòng)，如果有運(yùn)動(dòng)則需要按其運(yùn)動(dòng)向量做插補(bǔ)，如果沒(méi)有運(yùn)動(dòng)卻進(jìn)行插補(bǔ)，反而會(huì)增加整體的模糊程度[2]。

插幀多采用幀采樣、幀混合、光流三種插幀方式。假如電影中出現(xiàn)幀缺失或者速度變化效果不明顯，可以選擇幀采樣的視頻處理方式，這樣對(duì)電影整體的影響不明顯。對(duì)修復(fù)效果要求高、時(shí)間短、特效多的電影進(jìn)行處理時(shí)可以選擇光流法來(lái)獲得最大限度的效果提升。如果要處理較長(zhǎng)、鏡頭切換頻繁、視覺(jué)元素復(fù)雜的電影，可以選擇幀混合方式來(lái)產(chǎn)出視頻，這樣得到的畫面不僅流暢，而且對(duì)電腦渲染速度更加友好。此外，有些手機(jī)、電視為了獲得更好的觀感，會(huì)主動(dòng)對(duì)幀率不足的電影通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)人惴▉?lái)插幀，讓原本不夠流暢的電影變得更加順滑，部分計(jì)算機(jī)上的播放器軟件也能夠通過(guò)SVP 等視頻插件實(shí)現(xiàn)類似的效果。

4 AI 著色讓老電影更逼真

隨著現(xiàn)代AI 圖像處理技術(shù)的高速發(fā)展，人們不僅可以為圖像著色，還可以為黑白老電影進(jìn)行著色。同時(shí)，AI 深度學(xué)習(xí)技術(shù)為老舊電影的音頻修復(fù)技術(shù)發(fā)展提供了契機(jī)。AI 技術(shù)可以消除幾乎任何類型的背景噪聲，如犬吠聲、廚房噪音、音樂(lè)、嬰兒啼哭聲、交通以及戶外聲音等。

4.1 AI 基于深度學(xué)習(xí)技術(shù)的視頻著色技術(shù)

電影彩色化的第一步是先將圖像中的各種內(nèi)含物加以區(qū)分，這樣在對(duì)電影進(jìn)行彩色化時(shí)才不至于發(fā)生錯(cuò)誤，再找出黑白圖像與顏色之間的相對(duì)關(guān)系就可以著色了。老照片彩色化最經(jīng)典的模型是視頻圖像處理工具運(yùn)用大量基于AI 深度學(xué)習(xí)的技術(shù)來(lái)為圖像和視頻著色。它借助新型的、高效的圖像到圖像的網(wǎng)絡(luò)對(duì)抗訓(xùn)練方式復(fù)原影片色彩，同時(shí)不會(huì)出現(xiàn)電影閃爍等問(wèn)題。

圖像修復(fù)迭代技術(shù)則主要通過(guò)使用期望最大化算法來(lái)使修復(fù)圖象的似然性最優(yōu)化。這種AI 算法，必須對(duì)電影資料退化的過(guò)程做出客觀評(píng)價(jià)，才能進(jìn)行精確修正。人工智能除了能夠提高修復(fù)后電影的穩(wěn)定性，還能夠?qū)θ藗兛芍筒豢芍氖挛镞M(jìn)行著色，如衣服的顏色和汽車的顏色，甚至是擁有特殊效果的色彩。

4.2 AI 建構(gòu)聲音數(shù)據(jù)增強(qiáng)音頻質(zhì)量

電影是一種視聽(tīng)藝術(shù)，因此聲音修復(fù)也十分重要。由于早期電影大多是單聲道音響，原膠片保留的單聲道聲音與4K 超高清畫質(zhì)顯得格格不入。

電影修復(fù)者根據(jù)電影專門制作5.1 聲道甚至7.1聲道的環(huán)繞立體聲，為每一個(gè)影片增加一系列的效果聲，比如風(fēng)聲、汽笛聲、腳步聲等，盡可能還原鏡頭內(nèi)容所展示的生活狀態(tài)。通過(guò)建構(gòu)足夠強(qiáng)大的數(shù)據(jù)庫(kù)來(lái)處理聲音的失真和退化。雖然AI 語(yǔ)音增強(qiáng)擁有較強(qiáng)的降噪能力，但處理后的語(yǔ)音往往會(huì)有音質(zhì)下降的問(wèn)題。更多的研究集中在如何通過(guò)改進(jìn)數(shù)據(jù)生成和增強(qiáng)、探索優(yōu)化目標(biāo)和改進(jìn)網(wǎng)絡(luò)模型來(lái)提高語(yǔ)音質(zhì)量。

5 AI 修復(fù)電影的局限性

對(duì)于黑白電影，若想看清它所記錄的原有社會(huì)風(fēng)貌，通常需要用畫筆和顏料為黑白片進(jìn)行上色。而現(xiàn)在，AI 算法能夠讓每個(gè)人都可以快速對(duì)電影著色。但是AI 對(duì)老舊電影的著色也存在一定的局限性。

AI 算法著色之所以會(huì)出現(xiàn)偏差，是因?yàn)楝F(xiàn)有的彩色圖像需要轉(zhuǎn)換為具有一定灰度的圖像并采用算法對(duì)其進(jìn)行重新繪制，而重新著色的圖像與原圖相比會(huì)顯得十分暗淡。著色對(duì)AI 而言更難，這意味著在給定灰度等級(jí)的情況下，AI 很難分辨應(yīng)該為景物添加何種顏色。比如說(shuō)女人的衣服可能是藍(lán)色的，但也可能是紅色或者其他顏色，灰度像素中沒(méi)有信息表明缺少何種顏色。但現(xiàn)有軟件沒(méi)有龐大的選色邏輯系統(tǒng)，而是在AI 深度學(xué)習(xí)中從最有可能出現(xiàn)的顏色數(shù)據(jù)庫(kù)中去挑選AI 認(rèn)為正確的色彩。此外，影片修復(fù)還需考慮電影發(fā)生的地點(diǎn)和時(shí)間，人工調(diào)色能夠知道哪種配色方案對(duì)照片和視頻更有意義。

國(guó)內(nèi)也有針對(duì)老舊電影修復(fù)和處理的程序，愛(ài)奇藝方面也把AI 技術(shù)大規(guī)模、多方面地應(yīng)用在視頻畫質(zhì)的修復(fù)和增強(qiáng)上[4]。愛(ài)奇藝視頻增強(qiáng)技術(shù)ZoomAI 提供了一個(gè)相對(duì)完善的老影片增強(qiáng)解決方案，將AI 深度學(xué)習(xí)技術(shù)用于圖片和視頻修復(fù)，從而達(dá)到提升和改善畫質(zhì)的效果。人工修復(fù)電影會(huì)耗時(shí)一周甚至幾個(gè)月的時(shí)間，而利用算法來(lái)進(jìn)行自動(dòng)修復(fù)，可以大幅縮減人力成本并節(jié)省時(shí)間。該技術(shù)可以通過(guò)銳化處理來(lái)突出電影中人物或者物體的紋理和細(xì)節(jié)，此外，還可以通過(guò)色彩增強(qiáng)的手段讓鏡頭中的視覺(jué)元素色彩對(duì)比更加強(qiáng)烈，讓整體的畫面變得十分干凈整潔；借助超分辨率，則可以把老舊視頻的畫質(zhì)從標(biāo)清提升到高清甚至超清，讓影片的觀感得到整體上的飛躍[5]。

6 結(jié) 語(yǔ)

電影修復(fù)需要技術(shù)和藝術(shù)相融合。在對(duì)老舊電影的修復(fù)時(shí)，工作人員要充分考慮到影片歷史的藝術(shù)性。電影降噪時(shí)要把握降噪的度，保留影片畫面原有的顆粒質(zhì)感的同時(shí)也要突出影片的藝術(shù)性。影片調(diào)色過(guò)程中也應(yīng)尊重老舊影片本身的色彩特點(diǎn)。改善圖像的色彩、層次感和褪色等問(wèn)題時(shí)，需要真實(shí)還原老電影的本來(lái)面貌。

影片修復(fù)不能完全依靠AI 對(duì)影片進(jìn)行自動(dòng)識(shí)別和恢復(fù)。人工可以通過(guò)特殊的音響、色彩、構(gòu)圖來(lái)表達(dá)影片中人物的心理狀態(tài)和影片整體氛圍。人工檢查是影片修復(fù)的最后一道關(guān)卡。不過(guò)，隨著技術(shù)的提升，未來(lái)人們對(duì)AI 科技的使用只會(huì)更加?jì)故?，AI 影片修復(fù)技術(shù)也將會(huì)助力老舊電影的修復(fù)，從提高修復(fù)效率以及修復(fù)效果等層面上給出更有力的支持。