讓數(shù)據(jù)無中生有的魔法師：生成對抗網(wǎng)絡(luò)

李晶 劉聞 高盛華

2021年8月，媒體報料全球顯卡巨頭英偉達(dá)公司4月舉辦的一次線上峰會上，演講者并非首席執(zhí)行官黃仁勛真人，而是一個通過數(shù)字技術(shù)合成的“假人”。消息一出便博足人們的眼球，雖然最后證實數(shù)字人只出現(xiàn)了14秒而不是全場，但這足以說明目前生成技術(shù)的發(fā)展已經(jīng)可以讓人真假難辨了。出現(xiàn)這樣的新聞雖然是在意料之外，但其實也是在情理之中。隨著生成技術(shù)的快速發(fā)展，未來類似的事情可能很快就會變得平常。這些可以以假亂真的圖像都是利用一種叫做生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，簡稱GAN）的技術(shù)生成的。

2018年圖靈獎由人工智能專家和深度學(xué)習(xí)“三巨頭”辛頓（G. Hinton）、楊立昆（Yann Lecun）和本吉奧（Y. Bengio）共同獲得。其中，本吉奧為加拿大蒙特利爾大學(xué)教授，蒙特利爾學(xué)習(xí)算法研究所創(chuàng)始人，他的重要貢獻(xiàn)之一就是關(guān)于GAN的研究。而關(guān)于GAN的發(fā)明，還有一個非常有趣的小故事。2014年， GAN[1]的發(fā)明者之一古德費(fèi)洛（I. Goodfellow）當(dāng)時還在本吉奧教授門下攻讀博士，他的研究課題是生成模型。有一天他在酒吧跟朋友喝酒時，跟朋友討論起生成模型，腦中靈光一現(xiàn)，想到了GAN的思想。然后他跟朋友說應(yīng)該怎么做，并打賭一定能做出，但是朋友不太信。于是古德費(fèi)洛直接離開酒吧就去做實驗，一晚上就寫出了關(guān)于 GAN 的論文，之后該論文發(fā)表在人工智能的頂級會議上?，F(xiàn)在GAN已經(jīng)廣泛應(yīng)用于圖像視頻的生成、文本的自動生成，乃至新藥的生成。

生成對抗網(wǎng)絡(luò)的原理

在介紹GAN之前，首先介紹一下什么是生成模型。大家可能都有這樣的好奇心：世界上的人如愚公所言，“子又有子，子又有孫，子子孫孫無窮匱也”，那么這些未來人都可能長什么樣子呢？實際上我們已經(jīng)觀測到的各類數(shù)據(jù)，例如人臉的圖像，在高維數(shù)據(jù)空間中是滿足某種數(shù)據(jù)分布的。我們通常把一個數(shù)據(jù)點稱為一個樣本。如果能夠利用觀測到的樣本點擬合出真實見到的數(shù)據(jù)的分布，例如人臉數(shù)據(jù)的分布。那么，那些沒有見到的人臉就可以從這個估計出的數(shù)據(jù)分布中進(jìn)行數(shù)據(jù)采樣得到，這就是生成模型。

GAN是一種特殊的生成模型，由兩部分組成：一部分被稱為生成器，另一部分被稱為判別器。生成器的輸入是一個從某種先驗分布中采樣得到的隨機(jī)噪聲，這個噪聲可以看成是一個樣本的某種編碼。生成器輸出的與觀測到的數(shù)據(jù)（通常稱為訓(xùn)練數(shù)據(jù)）服從相同的分布。判別器的作用是區(qū)分輸入的樣本是由生成器產(chǎn)生的假樣本，還是來自訓(xùn)練數(shù)據(jù)的真實樣本。對于圖像生成應(yīng)用，生成器和判別器通常由卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)。

生成對抗網(wǎng)絡(luò)的發(fā)展現(xiàn)狀

在古德費(fèi)洛和本吉奧等人提出相關(guān)概念之后，生成對抗網(wǎng)絡(luò)發(fā)展迅速。原始的GAN只能從噪聲中采樣，無法很好地生成某種特定類別的圖像。有人提出可以通過輸入類別標(biāo)簽進(jìn)行可控的有條件圖片生成[2]。此外在GAN的訓(xùn)練中，經(jīng)常會出現(xiàn)模式崩塌的問題，即所有的噪聲在經(jīng)過生成器后都變成一個或者幾個圖像，這使得生成的圖像缺乏多樣性。對此，有人提出將GAN的損失函數(shù)改變?yōu)閃asserstein距離，從而改善了GAN容易模式崩塌，訓(xùn)練不穩(wěn)定的問題，提高了生成樣本的多樣性[3]。原始的GAN生成的圖像都比較模糊。為了提高生成圖像的質(zhì)量，有人提出，使用具有上采樣能力的生成器和下采樣卷積層的生成器，代替原始GAN中的全連接層[4]，還有用風(fēng)格來控制圖像的生成[5]，通過調(diào)制適應(yīng)性實例歸一化層的均值方差生成高分辨率高質(zhì)量的圖片。為了實現(xiàn)圖片翻譯，也就是將圖片從一種風(fēng)格映射成另一種風(fēng)格，有人通過條件生成對抗網(wǎng)絡(luò)實現(xiàn)了有配對數(shù)據(jù)下的圖片翻譯[6]，還有人通過將源域的圖片翻譯到目標(biāo)域，再翻譯回源域前后的一致性，實現(xiàn)了無配對圖像數(shù)據(jù)下的圖片翻譯[7]。此外，為了解決訓(xùn)練樣本不足情況下的生成對抗網(wǎng)絡(luò)訓(xùn)練問題，有人研究了少樣本情況下的圖片生成問題[8，9]。為了讓生成過程更可控，一些工作研究了GAN的可解釋性。目前，GAN生成人臉，車輛和自然場景圖片的效果已經(jīng)很好了，但是對于復(fù)雜場景的圖片生成以及視頻的生成，仍有許多工作要做。

生成對抗網(wǎng)絡(luò)的應(yīng)用

隨著GAN技術(shù)的成熟，它已經(jīng)應(yīng)用于我們生活的各個方面。例如，在數(shù)字人領(lǐng)域，GAN可以用于人臉的生成、人臉屬性編輯、圖片補(bǔ)全、人體動作遷移等；在文本領(lǐng)域，GAN可以用于新聞和古詩的自動生成；在制藥領(lǐng)域，GAN還可以用于新藥的研發(fā)等。

數(shù)字人 GAN可以生成真實世界不存在的人臉，一個潛在的應(yīng)用就是影視公司可以運(yùn)用GAN打造屬于自己的數(shù)字人IP，猶如唐老鴨和米老鼠一樣，成為一種文化符號。同時利用GAN技術(shù)還可以進(jìn)行人臉屬性的編輯：輸入一張人臉，通過GAN編輯這張人臉的屬性，給人臉加上笑容、金發(fā)，或者衰老等效果，這樣可以便捷地對人臉照片進(jìn)行美化等后期處理。同時，還可以利用GAN將目標(biāo)人物按照期待的動作進(jìn)行人體動作遷移，實現(xiàn)對人物的驅(qū)動。此外，GAN還可以進(jìn)行照片修復(fù)。將這些技術(shù)有機(jī)地結(jié)合，可以預(yù)見未來會有基于GAN技術(shù)的影視作品。

特定風(fēng)格圖像的生成 生成對抗網(wǎng)絡(luò)還可以實現(xiàn)圖片的翻譯和特定風(fēng)格圖像的生成。一張真實圖像可以通過GAN翻譯成不同藝術(shù)家風(fēng)格的油畫，從而可以讓已無法再作畫的梵高、莫奈“復(fù)活”，繼續(xù)創(chuàng)作出優(yōu)美的藝術(shù)作品。一副名為“Edmond de Belamy”的18 世紀(jì)紳士肖像畫，就是法國巴黎一個藝術(shù)組合“Obvious”利用GAN生成的。畫作右下角的簽名則是GAN的目標(biāo)函數(shù)。該畫作于2018年10月25日，在紐約佳士得拍賣行被神秘買家以43.25萬美元（約合300萬人民幣）的高價拍下。

序列數(shù)據(jù)的生成 序列信號的生成，包括文本生成、音樂生成、語音生成等，在實際中有著廣泛的應(yīng)用?；贏I的序列生成近年來取得了一系列成功。例如微軟的小冰生成了人類歷史上第一個由AI寫成的詩集——《陽光失了玻璃窗》。該詩集已由湛廬文化在2017年出版。2016年里約奧運(yùn)會期間，字節(jié)跳動公司推出了一款叫張小明的AI機(jī)器人。該機(jī)器人利用GAN技術(shù)生成新聞，通過對接奧組委的數(shù)據(jù)庫信息，撰寫乒乓球，網(wǎng)球，羽毛球和女足相關(guān)賽事的實時新聞稿件，并幾乎與電視直播同步發(fā)布。據(jù)統(tǒng)計，16天內(nèi)張小明共發(fā)布奧運(yùn)新聞456篇資訊。

2019在re：Invent年度技術(shù)大會上，亞馬遜AWS發(fā)布了世界上第一個基于GAN的音樂鍵盤AWS DeepComposer，它可以幫助用戶輕松完成屬于自己的音樂作品。此外，谷歌大腦團(tuán)隊也在同年提出將GANsynth（基于對抗性神經(jīng)網(wǎng)絡(luò)的音頻合成）用于高質(zhì)量音樂的快速生成。谷歌大腦的研究員恩格爾（J. Engel）這樣評價GANsynth的性能：“可以比標(biāo)準(zhǔn)的 WaveNet（一種傳統(tǒng)音樂生成算法）快5萬倍地生成樂器音頻，還具有更高的質(zhì)量（無論是定量測試還是聽眾測試），并且可以獨立控制音高和音色，使得樂器之間的插入更加平滑”。此外，通過將GAN和深度強(qiáng)化學(xué)習(xí)技術(shù)結(jié)合，可以在文本生成和漢語古詩生成方面取得幾乎以假亂真的效果。

新藥的生成 平均下來，傳統(tǒng)的醫(yī)藥公司每次篩選出8000種藥用分子中，只有一種能最終問世，這其中需要研發(fā)人員整周，甚至是整月地蹲坐實驗室，逐個測試藥物分子。近年來，得益于迅猛增長的計算能力、GAN技術(shù)，以及深度強(qiáng)化學(xué)習(xí)技術(shù)，研究人員開始嘗試?yán)肁I技術(shù)對藥物進(jìn)行研發(fā)和篩選，并取得了一系列巨大的進(jìn)展。例如，2019年因斯里克醫(yī)學(xué)公司利用GAN和深度強(qiáng)化學(xué)習(xí)來構(gòu)思和設(shè)計新的藥物分子結(jié)構(gòu)，合成并在小鼠中成功測試了一種主要候選藥物，基于AI的分子設(shè)計僅需21天，加上設(shè)計、合成和驗證，整個過程只用了46天?？梢灶A(yù)期GAN技術(shù)有希望為整個醫(yī)藥行業(yè)省下巨額的科研經(jīng)費(fèi)。

生成對抗網(wǎng)絡(luò)的未來及挑戰(zhàn)

雖然GAN已經(jīng)取得了快速的發(fā)展，逐漸能夠從隨機(jī)噪聲或以特定的用戶規(guī)范（例如場景分割和布局）為輸入的條件下，合成引人注目的圖像和視頻。但是目前的算法還不能對復(fù)雜場景進(jìn)行細(xì)粒度的建模與控制，這也導(dǎo)致了傳統(tǒng)的渲染器在素材質(zhì)量低的情況下，不能進(jìn)行復(fù)雜的、非局部的三維交互。相比之下，神經(jīng)渲染有望將現(xiàn)代計算機(jī)圖形學(xué)和深度生成模型兩者的優(yōu)點結(jié)合起來，以圖像或者視頻為輸入，完成可控的、高清的圖像（或視頻）的合成與編輯?？梢灶A(yù)見，GAN和神經(jīng)渲染技術(shù)相結(jié)合，將會在電影工業(yè)、虛擬/增強(qiáng)現(xiàn)實和智慧城市等領(lǐng)域中發(fā)揮越來越重要的作用，將會成為構(gòu)建數(shù)字元宇宙（metaverse）的關(guān)鍵技術(shù)。

隨著合成成本的逐漸降低，以Deepfake為代表的深度偽造技術(shù)開始走向普及，其在社會生活各方面的滲透也越來越深。從大眾的角度來看，目前公眾對于Deepfake的態(tài)度正走向兩個極端，一是陷入Deepfake娛樂化的漩渦，二是站在Deepfake的對立面。作為一種編織虛假信息的強(qiáng)大工具，Deepfake的身影開始遍布互聯(lián)網(wǎng)的多個角落，侵犯隱私、擾亂政治選舉、抹黑公眾人物、引發(fā)非自愿色情片泛濫，一步步侵蝕公眾信任，引發(fā)社會信任危機(jī)。技術(shù)無善惡之分，但技術(shù)應(yīng)用存在善惡，之后的研究需要更積極地參與到防止Deepfake濫用的努力之中。通過技術(shù)制衡技術(shù)，開發(fā)相應(yīng)的檢測技術(shù)是目前最行之有效的方法。但開展對Deepfake的檢測并不容易，仍然面臨不小的挑戰(zhàn)。因此，多國政府對深度偽造技術(shù)的濫用風(fēng)險高度重視，并開始制定相關(guān)的法律法規(guī)來約束其在網(wǎng)絡(luò)空間的傳播。2019年6月12日，美國國會提出《深度偽造責(zé)任法案》 （DEEP FAKES Accountability Act）。這項法案要求任何創(chuàng)建合成媒體文件的人，必須用“不可刪除的數(shù)字水印以及文本描述”來說明該媒體文件是篡改或生成的，否則將屬于犯罪行為。同年，我國國家互聯(lián)網(wǎng)信息辦公室、文化和旅游部、國家廣播電視總局聯(lián)合印發(fā)了《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》[10]，強(qiáng)調(diào)“網(wǎng)絡(luò)音視頻信息服務(wù)提供者和網(wǎng)絡(luò)音視頻信息服務(wù)使用者利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播非真實音視頻信息的，應(yīng)當(dāng)以顯著方式予以標(biāo)識，不得利用基于深度學(xué)習(xí)、虛擬現(xiàn)實等的新技術(shù)新應(yīng)用制作、發(fā)布、傳播虛假新聞信息”[10]。

生成對抗網(wǎng)絡(luò)，作為一種新的技術(shù)，正在人工智能領(lǐng)域如火如荼地展開，并在娛樂、影視、制藥等諸多領(lǐng)域被廣泛地使用。筆者相信，很多技術(shù)都有兩面。但隨著法律地不斷完善，以及社會的自我約束，生成對抗網(wǎng)絡(luò)終將進(jìn)一步走進(jìn)我們生活的各個方面，更好地服務(wù)于社會。

[1]Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets. Advances in Neural Information Processing Systems， 2014， 27.

[2]Mirza M， Osindero S. Conditional generative adversarial nets. Computer Science， 2014： 2672-2680.

[3]Arjovsky M， Chintala S， Bottou L. Wasserstein generative adversarial networks. Proceedings of the International Conference on Machine Learning. Proceedings of Machine Learning Research， 2017： 214-223.

[4]Radford A， Metz L， Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks. Computer Science， 2015.

[5]Karras T， Laine S， Aila T. A style-based generator architecture for generative adversarial networks. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Institute of Electrical and Electronics Engineers， 2019： 4401-4410.

[6]Isola P， Zhu J Y， Zhou T， et al. Image-to-image translation with conditional adversarial networks. Proceedings of the IEEE conference on computer vision and pattern recognition. Institute of Electrical and Electronics Engineers， 2017： 1125-1134.

[7]Zhu J Y， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks. Proceedings of the IEEE international conference on computer vision. Institute of Electrical and Electronics Engineers， 2017： 2223-2232.

[8]Saito K， Saenko K， Liu M Y. Coco-funit： Few-shot unsupervised image translation with a content conditioned style encoder. Computer Vision–ECCV 2020： 16th European Conference， Glasgow， UK， August 23–28， 2020， Proceedings， Part Ⅲ 16. Springer International Publishing， 2020： 382-398.

[9]Li Y， Zhang R， Lu J， et al. Few-shot image generation with elastic weight consolidation. arXiv： 2012. 02780， 2020.

[10]三部門發(fā)布《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》.中國政府網(wǎng)， 2019-11-29[2021-8-17]. http：//www.gov.cn/xinwen/2019-11/29/ content_5457064.htm.

關(guān)鍵詞：人工智能 生成對抗網(wǎng)絡(luò) 圖片生成 序列數(shù)據(jù)生成新藥設(shè)計 ■