AIGC為轉(zhuǎn)描動畫聚氣托底

郭龍翔　張亞林

進(jìn)入2023年以后，AIGC相關(guān)應(yīng)用發(fā)展迅速，行業(yè)巨頭也都加緊布局各類AI大模型。AIGC作為強大的數(shù)字化內(nèi)容生產(chǎn)工具，可以幫助數(shù)字內(nèi)容產(chǎn)業(yè)向制作效率更高、品質(zhì)更高、成本更低的方向發(fā)展。在AIGC迅速發(fā)展的背景下，轉(zhuǎn)描動畫也呈現(xiàn)出新的發(fā)展變化。在過去，轉(zhuǎn)描動畫的制作流程一般是先進(jìn)行真人實拍，隨后人類畫師利用轉(zhuǎn)描機或計算機輔助工具進(jìn)行圖像的逐幀重繪，最終再進(jìn)行合成。而現(xiàn)在，逐幀重繪的主體開始從人類畫師向AI轉(zhuǎn)變，出現(xiàn)了AI轉(zhuǎn)描動畫這一新的形態(tài)。這一變化極大地節(jié)省了人力、時間成本，為轉(zhuǎn)描動畫帶來了新的可能。

轉(zhuǎn)描動畫的概念與發(fā)展

轉(zhuǎn)描技術(shù)（Rotoscoping）是美國動畫大師、發(fā)明家馬克思·弗雷歇爾（Max Fleischer）在1914年發(fā)明的一項技術(shù)。這項技術(shù)可以利用一套特制的攝影裝置，把膠片投影到動畫師的桌面上，之后動畫師就可以根據(jù)拍攝的真人畫面，一幀一幀描繪下來，最終將描繪下來的圖片拍攝、合成為動畫片。轉(zhuǎn)描技術(shù)的優(yōu)勢是能夠幫助缺乏經(jīng)驗的新人動畫師畫出流暢準(zhǔn)確的動作，它基于真實人物的動作表演，能夠?qū)F(xiàn)實中人物的動作完全復(fù)制到二維動畫人物身上，在保證質(zhì)量的同時也節(jié)約了成本。而轉(zhuǎn)描動畫就是以轉(zhuǎn)描技術(shù)為基礎(chǔ)創(chuàng)作出來的動畫片。

動畫史上第一部使用轉(zhuǎn)描技術(shù)的動畫片是馬克思·弗雷歇爾與其兄弟戴夫于1914—1916年制作的《小丑可可（Out of the Inkwell）》動畫系列短片，該短片一經(jīng)推出就大受歡迎，隨后他們還制作了《大力水手》《貝蒂娃娃》等作品。1934年，馬克思·弗雷歇爾轉(zhuǎn)描技術(shù)的專利到期，自此，越來越多的動畫電影開始運用轉(zhuǎn)描技術(shù)。1937年，迪士尼采用轉(zhuǎn)描技術(shù)制作了史上第一部長篇動畫電影《白雪公主和七個小矮人》，影片上映后取得了巨大成功，對全球的少年甚至成年人都有著深遠(yuǎn)的影響。1941年，萬氏兄弟創(chuàng)作了我國歷史上第一部動畫電影《鐵扇公主》。進(jìn)入數(shù)字時代以后，雖然由于三維動畫的興起以及運動捕捉技術(shù)和綠幕技術(shù)的發(fā)展，動畫轉(zhuǎn)描技術(shù)逐漸被替代，但轉(zhuǎn)描技術(shù)在無紙化動畫制作中的應(yīng)用依然占有一定比例，比如，動畫電影中有《至愛梵高·星空之謎》，電視動畫中有《乒乓》《輕羽飛揚》，最近兩年上映的原創(chuàng)奇幻動畫電視劇《抹去重來》亦全程使用了真人拍攝，并通過電腦后期軟件進(jìn)行轉(zhuǎn)描制作。

從AIGC技術(shù)到AI轉(zhuǎn)描動畫

AIGC的概念

AIGC是AI-Generated Content的縮寫，意思是用人工智能技術(shù)來創(chuàng)造內(nèi)容。它是繼PGC（專業(yè)生產(chǎn)內(nèi)容）和UGC（用戶生成內(nèi)容）之后的一種新興的內(nèi)容生產(chǎn)方式。它利用深度學(xué)習(xí)和生成式算法模型，可以自主地產(chǎn)生新的文本、圖像、視頻、音頻等多種形式的內(nèi)容和數(shù)據(jù)，是人工智能技術(shù)的一種高級應(yīng)用。

AIGC由不斷創(chuàng)新的生成算法、預(yù)訓(xùn)練模型、多模態(tài)等人工智能技術(shù)積累融合而成。目前市面上的各種AIGC工具、軟件基本上都建立在不同的預(yù)訓(xùn)練模型上，較為常見的是多模態(tài)預(yù)訓(xùn)練模型，即融合了文字、圖片、視頻、音頻等多種內(nèi)容形式的模型，如Stable Diffusion、DALL-E 2、MidJourney等可以生成圖片的AIGC模型。人們只要在相關(guān)工具或程序中輸入一段文本，這些AIGC模型就可以根據(jù)文字描述自動生成符合文字描述的圖像，AI繪畫就是由此而來。2022年8月底，由MidJourney生成的繪畫作品《太空歌劇院》拿下了美國科羅拉多州博覽會藝術(shù)比賽的一等獎。2023年3月，AI生成的寫實圖像作品《虛妄記憶：電工》獲得了2023年索尼世界攝影獎的創(chuàng)意類獎項。AI繪畫技術(shù)正在逐漸走向成熟，而其令人驚嘆的畫面表現(xiàn)與生成效率也點燃了人們的熱情，AI繪畫的盛行標(biāo)志著人工智能已經(jīng)向藝術(shù)領(lǐng)域滲透。

AI轉(zhuǎn)描動畫的產(chǎn)生

視頻是連續(xù)的圖像序列，動畫則是除真實動作或方法外，使用各種技術(shù)所創(chuàng)造出的活動影像，兩者都基于“視覺殘留”以及“感官經(jīng)驗”的原理。自AI能夠生成高質(zhì)量圖像后，人們也逐漸開始了針對AI視頻、AI動畫的探索。早期AI繪畫技術(shù)的一個明顯特點是每次圖像生成的隨機性很大，輸入同樣的文本提示詞，得到的結(jié)果卻每次都不同，生成角色的手部、腳部等復(fù)雜部位還容易出現(xiàn)錯位、彎折等現(xiàn)象。

隨著人們在AI技術(shù)方面的不斷探索，ControlNet、Lora等插件、技術(shù)的出現(xiàn)基本上解決了上述問題。目前已經(jīng)可以通過AIGC工具針對實拍或動畫視頻進(jìn)行畫面內(nèi)容的轉(zhuǎn)繪，而且依據(jù)重繪幅度可以分為低重繪幅度和高重繪幅度兩種。低重繪幅度對原片細(xì)節(jié)的保留程度相對較高，看起來像是開了一個繪畫風(fēng)格的高級濾鏡。高重繪幅度的特點是風(fēng)格化強，對原視頻的改變較大；依托不同的AI模型，可以展現(xiàn)素描、色塊、平涂甚至賽博朋克等極具特點的獨特風(fēng)格。這種通過AI轉(zhuǎn)繪的方式制作出來的動畫也基于真實人物或動畫角色的動作表演，其視覺效果與傳統(tǒng)的轉(zhuǎn)描動畫高度一致，只不過轉(zhuǎn)描的主體由人類畫師變成了AI工具，這種利用AIGC技術(shù)將實拍影像或CG動畫逐幀轉(zhuǎn)換成手繪風(fēng)格的動畫產(chǎn)出方式，就是“AI轉(zhuǎn)描動畫”。

AI轉(zhuǎn)描動畫實例分析

早期的AI轉(zhuǎn)描動畫

AI轉(zhuǎn)描動畫出現(xiàn)的時間較早，早在2021年12月，網(wǎng)絡(luò)上就出現(xiàn)了一部AI轉(zhuǎn)描的實驗動畫短片The Crow。在動畫中，真人舞者被AI轉(zhuǎn)描成了烏鴉的形象，烏鴉在后世界末日的貧瘠景觀中短暫地舞蹈，直至其不可避免地消亡。整部影片的氛圍荒誕、神秘，加上恰到好處的配樂，總體而言是一部令人難以忘懷且引人入勝的作品，短片還獲得了2022戛納短片電影節(jié)的最佳短片獎。這個短片雖然利用AIGC工具對真實視頻進(jìn)行了轉(zhuǎn)描，但其對畫面的控制能力不夠，并沒有解決AI轉(zhuǎn)描噪點的閃爍問題。片中AI生成的一些較為抽象的畫面還營造出了一種特別的視覺效果，從實驗短片的角度來說效果還不錯，但這種模式若想應(yīng)用到商業(yè)動畫中去，還有很長的路要走。

AI轉(zhuǎn)描動畫《石頭剪刀布》

2023年3月，一部名為《石頭剪刀布》的動畫短片在網(wǎng)上引起了廣泛關(guān)注。這部短片講述了一對王子為了爭奪王位而進(jìn)行“石頭剪刀布”大戰(zhàn)。短片中充滿了無厘頭的幽默和“沙雕”的演出，惹得觀眾捧腹大笑。從畫面效果來看，短片中的人物動作、表情以及鏡頭的運用與真人影片非常接近，而角色與場景的上色、情節(jié)設(shè)計、畫面風(fēng)格上卻又明顯是動畫的表達(dá)方式，具有明顯的轉(zhuǎn)描動畫特征（如下圖）。

短片的制作方是Corridor Digital團隊，其專門從事影視特效制作，在發(fā)布短片的同時，他們也分享了《石頭剪刀布》的制作幕后。短片采用藍(lán)綠背實拍加合成的方式制作，角色動畫部分則利用了Stable Diffusion這個深度學(xué)習(xí)文本生圖模型，將實拍的圖像數(shù)據(jù)逐幀轉(zhuǎn)換為動畫風(fēng)格。為了制作這個短片，該團隊還探索出了一套新的AI動畫制作流程。而較于以往的轉(zhuǎn)描動畫，這套制作流程最為特別且重要的地方就是針對AI模型的訓(xùn)練以及降噪去閃爍。

AI模型的訓(xùn)練分為訓(xùn)練人物模型和訓(xùn)練風(fēng)格模型。AI生成人物角色的隨機性大，為了讓AI能夠穩(wěn)定生成同一個角色，制作者就需要在純凈背景下對所需角色的各個角度進(jìn)行拍照，并通過AI工具DreamBooth進(jìn)行AI模型的訓(xùn)練，經(jīng)過反復(fù)嘗試，訓(xùn)練好人物模型之后，在Stable Diffusion輸入相應(yīng)的文字描述，就能夠穩(wěn)定生成所需的人物角色。在風(fēng)格模型的訓(xùn)練中，Corridor Digital團隊參考了一部經(jīng)典動畫片的畫面，對動畫中各個景別的場景、人物表情、手部動作、道具等進(jìn)行了大量截圖，并將這些截圖通過DreamBooth進(jìn)行訓(xùn)練，直到AI能夠穩(wěn)定生成該風(fēng)格的畫面。

在降噪去閃爍部分，該團隊的解決思路是通過藍(lán)綠背實拍，在得到背景純凈的真人畫面之后，再進(jìn)行AI轉(zhuǎn)描，隨后使用影視后期制作中的去閃爍插件，外加模擬二維動畫中1拍2方式縮減動畫幀數(shù)等方式，最大程度地優(yōu)化畫面效果。

這部短片的制作流程中并沒有涉及更加高深的AI技術(shù)，更多的是對現(xiàn)有技術(shù)的整合和運用?，F(xiàn)在的AI轉(zhuǎn)描動畫更像是一種新的藝術(shù)形式，它有著自己獨特的視覺風(fēng)格和表現(xiàn)手法，但是它還不能完全替代具有復(fù)雜性和多樣性的人類創(chuàng)作，也不能處理一些復(fù)雜的鏡頭和場景，還需要人類創(chuàng)作者進(jìn)行把控和調(diào)整。該短片發(fā)布以后，國內(nèi)也有團隊借助這套方法，以經(jīng)典動畫作品《灌籃高手》的風(fēng)格為基礎(chǔ)進(jìn)行了AI轉(zhuǎn)描動畫短片的制作，取得了不錯的效果，這說明這套制作流程是具備可推廣性的。

需要注意的是，這種制作流程也引發(fā)了行業(yè)內(nèi)對AI轉(zhuǎn)描動畫是不是動畫的討論。有些人認(rèn)為這種制作流程是對真人電影的AI轉(zhuǎn)描，并沒有人類畫師去“畫”這一步驟，而是在這之上加了“濾鏡”制作出動畫效果，只是一種視覺效果，并不是動畫。然而，定格動畫也沒有繪畫的步驟，20世紀(jì)90年代CG動畫出現(xiàn)時也不被傳統(tǒng)手繪動畫師所認(rèn)可。新技術(shù)出現(xiàn)以后，總有人會把它視作一種威脅，但只有接納新的事物才能了解它們的好處?；蛟S在未來，人們能夠看到更多真人影視與AI動畫相結(jié)合的作品，它們會給人們帶來更多驚喜。

AI轉(zhuǎn)描動畫的優(yōu)勢與劣勢

從上面的案例可以看出，AI轉(zhuǎn)描動畫有很多優(yōu)點。首先，AI轉(zhuǎn)描動畫可以極大地降低動畫創(chuàng)作的門檻，減少動畫師的工作量，提高動畫的制作效率和質(zhì)量。例如，Corridor Digital團隊本身并沒有任何動畫方面的專業(yè)人員，但是依托自身在真人電影制作方面的經(jīng)驗，再結(jié)合AIGC工具，在整個團隊只有十幾個人的情況下，只花兩個月時間就制作出了《石頭剪刀布》這一品質(zhì)較高的動畫作品。其次，AI轉(zhuǎn)描動畫可以增強視頻畫面的表現(xiàn)力和創(chuàng)新性。例如，可以通過Stable Diffusion、Runway Gen1等AIGC工具，讓用戶輸入所需效果關(guān)鍵詞，或提供參考圖來生成符合要求的畫面效果；其也可以幫助動畫師尋找靈感，為動畫師提供參考，還可以通過這種方式增強畫面的表現(xiàn)力和創(chuàng)新性。此外，AI轉(zhuǎn)描動畫可以利用AI生成中的噪點因素所帶來的閃爍、抖動效果，創(chuàng)造出一種獨特的視覺效果。例如，上文所述的AI實驗動畫短片The Crow就利用這種特點構(gòu)造了一個奇特的神秘世界，給觀眾帶來了一種新奇且不可預(yù)測的感受，其也可以在一定程度上突出動畫的主題和氣氛。

AI轉(zhuǎn)描動畫也有一些劣勢。首先，最明顯的一點就是版權(quán)問題。例如，《石頭剪刀布》為了實現(xiàn)所需風(fēng)格所訓(xùn)練的AI模型大量使用了一部經(jīng)典動畫作品的截圖，由于《石頭剪刀布》本身并不是商業(yè)動畫，其制作團隊更多地是探索新的創(chuàng)作方式，還積極分享了其創(chuàng)作方法，具有一定的公益性，但如果這種制作方式想要商業(yè)化，必然會引起與版權(quán)有關(guān)的爭端。其次，AI轉(zhuǎn)描動畫需要高性能的硬件設(shè)備。例如，顯卡的顯存直接決定了能生成多大尺寸的作品，而顯卡的算力則決定了多久可以生成。同時，如果沒有合適的AI模型，那就需要訓(xùn)練特定的AI模型，這也會耗費大量的時間和硬件資源。

綜上所述，AI轉(zhuǎn)描動畫是一種有利有弊的技術(shù)，它可以降低動畫創(chuàng)作的門檻，可以作為動畫創(chuàng)作的輔助，也可以作為一種獨特的表現(xiàn)形式存在，但也需要注意版權(quán)、硬件設(shè)備等方面的問題。

轉(zhuǎn)描動畫自發(fā)明以來已經(jīng)經(jīng)過了百年的發(fā)展，作為一種在真人影像基礎(chǔ)上進(jìn)行動畫創(chuàng)作的動畫形式，時至今日，其仍未退出歷史舞臺。以往的轉(zhuǎn)描動畫大多是有著明顯手繪感的二維動畫，即使進(jìn)入數(shù)字化時代，可以利用計算機軟件進(jìn)行制作，但由人類畫師繪制仍是必不可少的環(huán)節(jié)?，F(xiàn)如今，AIGC時代來臨，其徹底改變了轉(zhuǎn)描動畫，轉(zhuǎn)描的主體由人類畫師變成了AI工具，產(chǎn)生了AI轉(zhuǎn)描動畫這種新的形態(tài)。此刻，筆者并不想討論它所帶來的爭論，單就AI轉(zhuǎn)描動畫可以極大地降低動畫創(chuàng)作門檻，讓不會做動畫的非專業(yè)人士也可以實現(xiàn)自己的動畫夢想這一點，就足以證明AI轉(zhuǎn)描動畫的存在有其意義。在這個快速變化的世界中，AI已經(jīng)成為我們無法避免的存在，與其對它嗤之以鼻，還不如和它合作，借助它的優(yōu)勢，解決我們所面臨的問題。