警惕深度合成技術(shù)被濫用

鄧之湄

近期《夢華錄》熱播，劇迷追劇有了新玩法——只需上傳自己的照片，相關(guān)系統(tǒng)即可自動“換臉”，生成劇迷本人穿越到劇中做主角的流暢視頻。

這個實現(xiàn)“過把主角癮”的技術(shù)叫深度合成。作為AI技術(shù)的新應(yīng)用、新實踐，深度合成早已在音樂、影視、綜合娛樂和社交等多個行業(yè)場景中被推廣應(yīng)用。業(yè)內(nèi)人士認(rèn)為，未來隨著自動數(shù)據(jù)生成、全身合成、3D塑型等技術(shù)的逐漸成型，一個新的人類生存場景將以深度合成技術(shù)為基石展開。

值得注意的是，當(dāng)真假交融難辨，眼見不再為實，深度合成技術(shù)就像一柄雙刃劍，在帶來歡笑和溫情的同時，也帶來新的威脅。

有的假冒領(lǐng)導(dǎo)口音打電話，騙公司員工轉(zhuǎn)款;有的“化身”知名演員，讓中老年影迷沉迷上當(dāng);還有的將女明星頭像嫁接在不雅視頻上，在色情網(wǎng)站大量播放，牟取利益。

變聲又變臉

通過深度合成技術(shù)，不法分子可輕易偽造音頻、視頻，實現(xiàn)變聲、變臉，進(jìn)行新型詐騙。

2021年，山東省公安廳網(wǎng)絡(luò)安全總隊公布了幾個利用深度合成技術(shù)實施詐騙的案例。某公司財務(wù)接到領(lǐng)導(dǎo)電話要求立刻給供應(yīng)商轉(zhuǎn)款兩萬元，并將轉(zhuǎn)賬信息以郵件形式發(fā)送到對方郵箱。由于電話中老板的口音十分逼真，公司財務(wù)毫不懷疑地在一小時內(nèi)完成了轉(zhuǎn)賬。

安徽省合肥市警方在公安部“凈網(wǎng)2021”專項行動中打掉的一個犯罪團(tuán)伙，其作案手法更令人吃驚。在警方抓捕現(xiàn)場，幾名犯罪嫌疑人利用電腦將一張張靜態(tài)照片制作為人臉動態(tài)視頻。模擬制作出來的動態(tài)人物不僅能點頭、搖頭，還可完成眨眼、張嘴、皺眉等表情動作。原來，該團(tuán)伙是通過偽造他人人臉動態(tài)視頻，為黑灰產(chǎn)業(yè)鏈提供注冊手機(jī)卡等技術(shù)支撐。

在上述犯罪嫌疑人的電腦里，警方發(fā)現(xiàn)了大量公民人臉數(shù)據(jù)。“身份證正反面照片、手持身份證照片、自拍照等，被稱為一套?！泵窬榻B，成套照片被稱為“料”，出售照片的人被稱為“料商”，這些“料”在網(wǎng)上已轉(zhuǎn)手多次，而“料”的主人卻毫不知情。犯罪嫌疑人馬某交代，由于制作簡單，一個視頻價格僅為2至10元，“客戶”往往是大批量購買。

在深度合成技術(shù)加持下，不法分子“陰招迭出”：有的假冒領(lǐng)導(dǎo)口音打電話，騙公司員工轉(zhuǎn)款;有的“化身”知名演員，讓中老年影迷沉迷上當(dāng);還有的將女明星頭像嫁接在不雅視頻上，在色情網(wǎng)站大量播放，牟取利益。

應(yīng)用場景廣泛

根據(jù)國家互聯(lián)網(wǎng)信息辦公室2022年1月28日公布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定（征求意見稿）》，深度合成技術(shù)指的是：利用以深度學(xué)習(xí)、虛擬現(xiàn)實為代表的生成合成類算法制作文本、圖像、音頻、視頻、虛擬場景等信息的技術(shù)。

追溯起來，深度合成（Deep Synthesis）曾被稱為Deepfake，即深度偽造。2017年，一位名叫“Deepfake”的用戶在美國一網(wǎng)站上分享了篡改人臉的視頻，將深度合成技術(shù)帶到了大眾面前。

最初，深度合成的目標(biāo)人物主要是影音圖像遍布互聯(lián)網(wǎng)的公眾人物，如明星、知名商界人士等，其偽造場景主要是公開講話、搞笑視頻等。為了吸引流量，境內(nèi)外不少網(wǎng)站及UP主都對制作、發(fā)布“合成視頻”熱情高漲。

隨著技術(shù)進(jìn)步，深度合成在影視制作、廣告營銷、社交娛樂等領(lǐng)域應(yīng)用不斷豐富，包括AI合成主播、虛擬偶像、修復(fù)歷史老照片等。與此同時，越來越多的企業(yè)機(jī)構(gòu)利用深度合成技術(shù)提供面向公眾的產(chǎn)品和服務(wù)：支持風(fēng)格定制的特效視頻制作軟件;語音方向衍生出語音導(dǎo)航、有聲讀物等應(yīng)用;文本合成在新聞報道、聊天問答等方面使用廣泛。

2021年“元宇宙”概念的流行，為深度合成技術(shù)提供了更加寬廣的應(yīng)用場景。業(yè)內(nèi)人士稱，未來隨著自動數(shù)據(jù)生成、全身合成、3D塑型等技術(shù)的逐漸成型，一個新的人類生存場景將以深度合成技術(shù)為基石展開。

清華大學(xué)人工智能研究院、國家工業(yè)信息安全發(fā)展研究中心等聯(lián)合發(fā)布的《深度合成十大趨勢報告（2022）》稱，2017年以來，深度合成內(nèi)容被大量創(chuàng)作和傳播，關(guān)注度呈指數(shù)級增長。

以視頻為例，通過檢索國內(nèi)外十家主流音視頻平臺，2021年新發(fā)布的深度合成視頻數(shù)量為24317條，較2017年增長超10倍;新增點贊或喜歡達(dá)3.16億次，呈指數(shù)級增長;平均每1000次播放，可產(chǎn)生8.92次點贊或喜歡，同時產(chǎn)生3.51次轉(zhuǎn)發(fā)，進(jìn)行新一輪傳播。

在愛奇藝、騰訊視頻、優(yōu)酷、嗶哩嗶哩等主流音視頻平臺上，深度合成視頻數(shù)量最多的類型是影視音樂，包含電影、電視劇、音樂等方面的內(nèi)容。排名第二的視頻類型為科技教育類，該類視頻關(guān)注對深度合成技術(shù)的講解和討論，分享最新的研究成果。除此之外，排名第三到第五的視頻類型分別為生活、娛樂和資訊類。

報告稱，深度合成需求場景趨于多元且成熟，虛擬偶像、虛擬手語主播、老照片修復(fù)、劣跡藝人替換等新場景需求不斷涌現(xiàn)。

比如在影視制作領(lǐng)域，深度合成技術(shù)已成為藝人出現(xiàn)劣跡后的救場工具。電視劇《長安十二時辰》《光榮時代》《突圍》等多部作品均使用了該技術(shù)，而觀眾對影視作品AI換臉后的效果評價，已從最初的“慘不忍睹”變成“瑕不掩瑜”。

在知乎的“失獨媽媽把女兒做成AI，這樣留下?lián)磹鄣姆绞侥隳芙邮軉?？”問題下的166 個回答中，持接受態(tài)度的網(wǎng)友達(dá)七成以上。

最暖心的應(yīng)用案例或許要數(shù)對失獨家庭的救助療愈。2019年9月，一位母親向阿里巴巴人工智能實驗室求助，希望能將她患癌離世的14歲女兒做成可以交互的軟件。3個月后，技術(shù)人員幫這位媽媽合成了一段長達(dá)20秒的語音存在天貓精靈里。在知乎的“失獨媽媽把女兒做成AI，這樣留下?lián)磹鄣姆绞侥隳芙邮軉?？”問題下的166個回答中，持接受態(tài)度的網(wǎng)友達(dá)七成以上。

以技術(shù)規(guī)制技術(shù)

值得注意的是，深度合成技術(shù)就像一柄雙刃劍，在帶來歡笑和溫情的同時，濫用的風(fēng)險亦不斷加劇。

隨著技術(shù)的開放開源，普通人僅需少量圖像、音頻等樣本數(shù)據(jù)，就能模糊真實和虛擬的邊界?！艾F(xiàn)在你在任何社交平臺都可以看到大量的虛假視頻，有影視娛樂也有帶有惡意的內(nèi)容?！比鹑R智慧首席執(zhí)行官田天稱，技術(shù)濫用的危害涉及名譽(yù)侵害、財產(chǎn)損失甚至國家安全。

中國社會科學(xué)院科學(xué)技術(shù)和社會研究中心段偉文教授認(rèn)為，由于人類對視覺更加信任，視覺上的偽造比其他形式的偽造影響更大。如果視頻內(nèi)容偽造頻繁，公眾對媒體的信任會極大地削弱，喪失對真相的信心。

對此，中國工程院院士、信息技術(shù)專家鄔賀銓提出，深度合成衍生出的安全問題需從源頭解決，以技術(shù)規(guī)制技術(shù)，以魔法打敗魔法。

田天認(rèn)為，深度合成和檢測就像“貓鼠游戲”，雙方都在不斷的學(xué)習(xí)攻防中自我進(jìn)化，規(guī)避上一代對抗技術(shù)，因此檢測技術(shù)需要持續(xù)更新與迭代優(yōu)化。

據(jù)介紹，早期的換臉視頻尚存在“微表情不自然”“面部邊緣有鋸齒”等明顯換臉痕跡，但隨著技術(shù)成熟，深度合成內(nèi)容已能以假亂真，傳統(tǒng)的基于生物特征的鑒別方式越來越難以發(fā)揮作用。目前，對深度合成的檢測主要依賴于人工智能模型，依賴于訓(xùn)練數(shù)據(jù)的完備性。

關(guān)于以魔法對抗魔法，浙江大學(xué)網(wǎng)絡(luò)空間安全學(xué)院院長任奎提出了數(shù)據(jù)集不足的問題?！坝?xùn)練人工智能模型需要大量真實和偽造數(shù)據(jù)，但人臉和音頻數(shù)據(jù)都是高度敏感的個人信息，難以獲取。”他建議，由公信力高的非營利性機(jī)構(gòu)把數(shù)據(jù)梳理出來，讓合格的機(jī)構(gòu)一起參與研究。

全社會協(xié)同治理

科技進(jìn)步，不僅要挖掘出機(jī)器的智能，更應(yīng)展現(xiàn)出人類駕馭技術(shù)的智慧。為應(yīng)對深度合成技術(shù)惡意使用帶來的挑戰(zhàn)，各國紛紛出臺相關(guān)法律法規(guī)。

美國從聯(lián)邦和州層面進(jìn)行了專門立法，歐盟將深度合成納入《通用數(shù)據(jù)保護(hù)條例（GDPR）》等現(xiàn)有法律框架規(guī)制。德國、新加坡、英國、韓國等國家，均有適用于深度合成技術(shù)相關(guān)犯罪案件審理的法律法規(guī)。

我國也在積極探尋有效治理機(jī)制，2019年以來陸續(xù)出臺《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等法規(guī)，對生成合成類內(nèi)容等提出了不同程度的監(jiān)管要求。2022年1月28日公布的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定（征求意見稿）》進(jìn)一步提出，深度合成服務(wù)提供者深度合成服務(wù)時，應(yīng)當(dāng)使用顯著方式對深度合成信息內(nèi)容進(jìn)行標(biāo)識。若提供人臉、人聲等生物識別信息的顯著編輯功能，還需取得被編輯的個人信息主體的單獨同意。

這將是一場持續(xù)的攻守。不少專家呼吁加大宣傳普及力度，形成全社會協(xié)同治理格局。

“深度偽造的本質(zhì)問題是透明度不足?！碧锾旆Q，提高公眾對深度合成技術(shù)的認(rèn)知尤為重要，只有將門檻降低到所有受眾能夠在共同框架下認(rèn)識、討論、理解這個問題的時候，深度合成技術(shù)才能健康良性發(fā)展。