當(dāng)眼見(jiàn)≠真實(shí)，我們?nèi)绾纹平狻靶湃挝C(jī)”

應(yīng)琛

最近，關(guān)于AI有兩個(gè)爆火的熱點(diǎn)事件：一個(gè)是“AI孫燕姿”走紅網(wǎng)絡(luò)；一個(gè)是“AI換臉”詐騙來(lái)襲。兩件看似無(wú)關(guān)的事情，都引發(fā)了大眾對(duì)于AI雙刃劍的深度思考。

加之今年早些時(shí)候，聊天機(jī)器人ChatGPT一經(jīng)面世，其涉及的版權(quán)問(wèn)題就曾引發(fā)各界廣泛關(guān)注。可以說(shuō)，隨著生成式人工智能技術(shù)（AIGC）持續(xù)火爆，隨之而來(lái)的法律、安全與倫理挑戰(zhàn)也越來(lái)越大。

“AI孫燕姿”引發(fā)版權(quán)爭(zhēng)議

兩年前，當(dāng)“冷門歌手孫燕姿”登上微博熱搜之時(shí)，相信無(wú)數(shù)80后、90后都在心中感嘆，在00后的世界里，曾經(jīng)身為華語(yǔ)歌壇天后的孫燕姿竟然也成為了“時(shí)代的眼淚”。

但這一次，AI讓孫燕姿翻紅，再次成了名人。一個(gè)名叫“AI孫燕姿”的“歌手”頂著曾經(jīng)華語(yǔ)樂(lè)壇巔峰歌手的頭銜，翻唱著大家耳熟能詳?shù)母枨谏缃幻襟w時(shí)代掀開(kāi)了當(dāng)代人對(duì)于華語(yǔ)樂(lè)壇的集體記憶。

據(jù)許多歌迷鑒定，“AI孫燕姿”與其本人歌聲相似度非常高，無(wú)論是音色、唱腔，還是極具個(gè)人特征的咬字和尾音，都能夠以假亂真。她的作品覆蓋從流行到民謠等多種風(fēng)格，周杰倫、趙雷、劉歡等人的歌曲，更是在她的演繹下有了不同的味道。不少作品的播放量甚至超過(guò)百萬(wàn)。

記者注意到，在AI翻唱曲目的評(píng)論區(qū)，不少粉絲驚嘆于AI技術(shù)的同時(shí)，也對(duì)創(chuàng)作者表示感謝，“雖然是AI，我也滿足了”。

上海市君悅律師事務(wù)所合伙人朱平晟律師在接受《新民周刊》采訪時(shí)表示，如果“AI孫燕姿”的創(chuàng)作者的素材來(lái)源是有正版授權(quán)的，且制作完成后僅用于個(gè)人學(xué)習(xí)和欣賞，可以不認(rèn)為是侵權(quán)。但顯然“AI孫燕姿”已經(jīng)超出這個(gè)范疇。

其原理是通過(guò)開(kāi)源的生成式語(yǔ)音訓(xùn)練模型收集素材，進(jìn)行訓(xùn)練。首先，需要把孫燕姿的歌曲去掉伴奏，或截取孫燕姿的訪談、對(duì)話視頻，獲取沒(méi)有伴奏、混響的原始聲音，然后把素材作為目標(biāo)音色輸入到模型中進(jìn)行訓(xùn)練，得到一個(gè)孫燕姿音色的模型，轉(zhuǎn)換任意的歌聲，最后進(jìn)行后期處理。

朱平晟坦言，技術(shù)更新的速度已經(jīng)超過(guò)了知識(shí)產(chǎn)權(quán)法律更新的速度，經(jīng)過(guò)人工智能提取的歌手音色模型，尚未被納入現(xiàn)行知識(shí)產(chǎn)權(quán)法律保護(hù)范圍內(nèi)，但利用AI“歌手”翻唱其他歌手的作品，至少可能侵犯了原唱歌手、詞曲作者的相關(guān)權(quán)利。

按照相關(guān)法律規(guī)定，除非著作權(quán)人聲明不得使用，對(duì)已經(jīng)合法錄制為錄音制品的音樂(lè)作品進(jìn)行翻唱、二次創(chuàng)作等可以不經(jīng)著作權(quán)人許可，但應(yīng)當(dāng)按照規(guī)定支付報(bào)酬。

被用作素材的孫燕姿聲音同樣可能涉及“侵權(quán)”。朱平晟表示，雖然音色和唱腔不受到著作權(quán)法的保護(hù)，但聲音作為具有獨(dú)特性、專屬性的人格標(biāo)識(shí)，根據(jù)《民法典》第1023條規(guī)定，對(duì)自然人聲音的保護(hù)參照適用肖像權(quán)保護(hù)的相關(guān)規(guī)定；故此，自然人的聲音與肖像一樣，不應(yīng)被肆意采集，隨意使用，更不應(yīng)被混淆、濫用；此外，某些特殊的聲音可以被注冊(cè)成商標(biāo)，那它同時(shí)受到商標(biāo)法的保護(hù)。

“有些平臺(tái)上面直接放了孫燕姿的照片，其影響力的擴(kuò)大也是因?yàn)橛昧嗣餍堑拿趾驼掌?，所以還可能侵犯了孫燕姿的姓名權(quán)和肖像權(quán)?！痹谥炱疥煽磥?lái)，“AI孫燕姿”已經(jīng)翻唱了超過(guò)1000首作品，數(shù)量遠(yuǎn)超出孫燕姿本人出道20多年的作品總和，“考慮到AI歌手與孫燕姿本人從角色定位上看都是‘歌手，‘AI歌手創(chuàng)作者的商業(yè)行為還可能構(gòu)成不正當(dāng)競(jìng)爭(zhēng)”。

至于是否起訴“AI孫燕姿”的制作者，需要孫燕姿自行決定。顯然，孫燕姿并沒(méi)有這樣的打算。

5月22日，孫燕姿在社交平臺(tái)上發(fā)布了《我的AI》一文，首度回應(yīng)自己對(duì)“AI孫燕姿”的看法。她笑稱，在粉絲們已經(jīng)接受她就是“冷門”歌手的時(shí)候，“AI孫燕姿”卻成為了頂流，“我想說(shuō)的是，你跟一個(gè)每幾分鐘就推出一張新專輯的人還有什么好爭(zhēng)的”。

孫燕姿表示，也許有人會(huì)反對(duì)，認(rèn)為它沒(méi)有情緒，沒(méi)有音調(diào)和呼吸的變化，但“很抱歉，我懷疑這只是一個(gè)非常短期內(nèi)的回應(yīng)”。她進(jìn)一步指出，這種新技術(shù)將能夠大量炮制每個(gè)人所需的一切，“你并不特別，你已經(jīng)是可預(yù)測(cè)的，而且不幸你也是可定制的”。

最后，孫燕姿表示：“在這無(wú)邊無(wú)際的存在之海中，凡事皆有可能，凡事皆無(wú)所謂，我認(rèn)為思想純凈、做自己，已然足夠?！?/p>

6月9日，孫燕姿在社交平臺(tái)發(fā)文慶出道23周年時(shí)，又一次幽默回應(yīng)自己被與AI比較一事，稱：“23年以后，我還是盼望有一天再做出好音樂(lè)與AI拼了，再做出一場(chǎng)回憶滿滿的演唱會(huì)?！?p>

“AI 孫燕姿”走紅網(wǎng)絡(luò)，不少作品播放量超百萬(wàn)。

眼見(jiàn)不為實(shí)，耳聽(tīng)亦為虛

AI歌手可能侵犯相關(guān)各方的權(quán)利外，用AI生成人聲可能還會(huì)為社會(huì)帶來(lái)其他更嚴(yán)重的法律和倫理問(wèn)題。

據(jù)英國(guó)媒體《每日郵報(bào)》報(bào)道，一家西班牙小型電影制作公司Peabody Films稱收到英國(guó)著名男演員本尼迪克特·康伯巴奇的電話，對(duì)方表示對(duì)該公司即將拍攝的電影感興趣，想尋求合作。

康伯巴奇被中國(guó)觀眾稱為“卷?！?，可以說(shuō)是英國(guó)國(guó)寶級(jí)演員，其聲音很有辨識(shí)度。這部電影的導(dǎo)演稱，他們最初收到了自稱是好萊塢明星經(jīng)紀(jì)人發(fā)來(lái)的電子郵件，謹(jǐn)慎起見(jiàn)，他建議打個(gè)電話，而來(lái)電聲音與康伯巴奇的相似度有100%，“是那個(gè)聲音，毫無(wú)疑問(wèn)”。

直到“康伯巴奇” 在拒絕了所有邀約見(jiàn)面后，又提出要該公司先打款20萬(wàn)英鎊時(shí)，該公司才意識(shí)到了可能遇到了騙子。隨后，他們向“康伯巴奇”的經(jīng)紀(jì)公司確認(rèn)后才發(fā)現(xiàn)，這是一場(chǎng)AI騙局。

另?yè)?jù)網(wǎng)絡(luò)安全公司邁克菲（McAfee）發(fā)現(xiàn)，在美國(guó)、英國(guó)、法國(guó)、德國(guó)、日本、澳大利亞和印度，有10%的人曾被AI語(yǔ)音詐騙。

朱平晟表示，過(guò)去的電信詐騙多半是通過(guò)文字信息偽裝成熟人，或通過(guò)電話偽裝成各個(gè)機(jī)構(gòu)的工作人員進(jìn)行詐騙，但在AI聲音模型技術(shù)輔助下，騙子可以很輕易地模仿熟人聲音進(jìn)行詐騙，“聲音之外，換臉技術(shù)的提升更使得騙局的成功率大大提高”。

近日，中國(guó)多地爆出AI詐騙案件。先是內(nèi)蒙古包頭警方發(fā)布消息，4月20日，福建省一知名企業(yè)家遇上了“高端”騙局，對(duì)方通過(guò)AI換臉和擬聲，佯裝成好友對(duì)他實(shí)施了詐騙，致其被騙走430萬(wàn)元。后有安徽安慶公安透露，詐騙分子使用了一段9秒鐘的AI換臉視頻，騙取安慶一男子132萬(wàn)元。

據(jù)網(wǎng)絡(luò)安全公司邁克菲（McAfee）發(fā)現(xiàn)，在美國(guó)、英國(guó)、法國(guó)、德國(guó)、日本、澳大利亞和印度，有10% 的人曾被AI 語(yǔ)音詐騙。

朱平晟律師本人和其同行在前不久也遭遇了一次“AI詐騙”。某天起床后，他先是收到了一條彩信，內(nèi)容看小圖是以一男一女在床上的“色情”圖片為封面的小視頻鏈接。他沒(méi)點(diǎn)開(kāi)直接就刪了。過(guò)了一會(huì)兒，他又收到一條短信，內(nèi)容大致是“你有把柄在我們手里，為了避免影響家庭和事業(yè)，請(qǐng)盡快和某個(gè)電話聯(lián)系”。

“我當(dāng)時(shí)沒(méi)有將這兩條內(nèi)容聯(lián)系到一塊兒，以為只是詐騙短信而已?！敝炱疥筛嬖V記者，但當(dāng)天到律所和同事閑聊時(shí)，他才發(fā)現(xiàn)原來(lái)很多同事也都收到了類似的消息?！皳?jù)幾位同事說(shuō)，那照片點(diǎn)開(kāi)之后，臉部確實(shí)是本人的，但身體和場(chǎng)景都是偽造的，一眼‘假。不止一家所，其他律所律師也收到過(guò)類似的詐騙短信?！?/p>

“現(xiàn)在因?yàn)槲覀兌紱](méi)有受騙，大家尚可以一笑了之，但仔細(xì)想想這事的性質(zhì)還是非常嚴(yán)重的?！敝炱疥杀硎?，“每個(gè)人收到的照片都被換成了他本人的頭像，也就是說(shuō)，騙子獲取了我們的個(gè)人信息。因?yàn)橄裎覀兟蓭煏?huì)在公開(kāi)場(chǎng)合留下照片，比如律協(xié)或事務(wù)所的官網(wǎng)等。而得到語(yǔ)音素材也并不難，詐騙者既可以通過(guò)黑客手段、非法購(gòu)買信息等渠道獲得，也可以通過(guò)不斷撥打騷擾電話，以‘廣撒網(wǎng)的方法獲得語(yǔ)音素材。經(jīng)過(guò)AI訓(xùn)練和后期處理后，就能夠制作成足以亂真的聲畫(huà)信息?！?/p>

處理此類AI詐騙的難點(diǎn)在于，如果真有人做過(guò)類似的事情因心虛而上當(dāng)，就算事后知道被騙，一般也不太會(huì)張揚(yáng)。而絕大部分的人沒(méi)有上當(dāng)，也就沒(méi)有實(shí)際的損失，那警方一般也很難處理。但相關(guān)信息是真真切切被濫用了，而且不排除以后的身體、場(chǎng)景會(huì)越來(lái)越逼真。

不僅如此，如果不給錢，騙子將造謠圖片散布到網(wǎng)上去?；蛘?，這種技術(shù)用到別的不法用途上——

比如，此前廣州一女子在地鐵上的照片被AI“一鍵脫衣”，在網(wǎng)絡(luò)上“造黃謠”，對(duì)當(dāng)事人的工作與生活造成了極大影響。

又如，4月7日，浙江杭州檢察機(jī)關(guān)曝光了一個(gè)“女神群”，此群利用換臉技術(shù)將女星照片合成到淫穢視頻當(dāng)中，再進(jìn)行販賣，傳播。

再如，近期不少電商直播間被曝出使用明星AI換臉進(jìn)行直播。消費(fèi)者點(diǎn)開(kāi)電商直播間發(fā)現(xiàn)，正在賣貨的竟然是“迪麗熱巴”“楊冪”等一些當(dāng)紅明星。

這些行為在道德上毫無(wú)底線，更是對(duì)法律底線的挑戰(zhàn)，對(duì)當(dāng)事人的生活、家庭，以及整個(gè)社會(huì)都會(huì)造成不小的影響。

“某些行為涉嫌犯罪的，有關(guān)部門會(huì)依照相關(guān)法律來(lái)進(jìn)行處置。但民事部分，普通人維權(quán)的成本很高，即使勝訴，能獲得的賠償可能也比較有限。對(duì)AI技術(shù)的應(yīng)用上，應(yīng)該加強(qiáng)源頭監(jiān)管?！敝炱疥杀硎尽?h3>相關(guān)法規(guī)亟待“靴子落地”

面對(duì)當(dāng)前AI行業(yè)的發(fā)展亂象，安全治理迫在眉睫。

2022年3月開(kāi)始實(shí)施的《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》，就把生成合成類算法作為五類算法推薦技術(shù)之一納入監(jiān)管。

2022年12月施行的《反電信網(wǎng)絡(luò)詐騙法》明確了互聯(lián)網(wǎng)企業(yè)的風(fēng)險(xiǎn)防控責(zé)任，平臺(tái)有義務(wù)針對(duì)AI詐騙進(jìn)行技術(shù)篩查、攔截和報(bào)告。

今年1月起施行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》中明確了：任何組織和個(gè)人不得利用深度合成服務(wù)制作、復(fù)制、發(fā)布、傳播法律、行政法規(guī)禁止的信息，并要求深度合成服務(wù)提供者應(yīng)當(dāng)建立健全辟謠機(jī)制。這為“AI換臉”技術(shù)應(yīng)用劃定了“底線”和“紅線”。

但我國(guó)目前仍然缺乏對(duì)人工智能的總體立法，以及人工智能倫理的行業(yè)規(guī)范。

4月11日，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《生成式人工智能服務(wù)管理辦法（征求意見(jiàn)稿）》（下稱“征求意見(jiàn)稿”），并公開(kāi)征求意見(jiàn)。征求意見(jiàn)稿對(duì)隱私、知識(shí)產(chǎn)權(quán)、肖像權(quán)、名譽(yù)權(quán)、訓(xùn)練數(shù)據(jù)、人工標(biāo)注、標(biāo)識(shí)、不公平競(jìng)爭(zhēng)、防沉迷等提出了規(guī)范。

這是國(guó)家首次針對(duì)當(dāng)下爆火的生成式AI產(chǎn)業(yè)發(fā)布規(guī)范性政策。具體來(lái)看，征求意見(jiàn)稿制度設(shè)計(jì)，一方面延續(xù)了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》關(guān)于標(biāo)識(shí)、評(píng)估、備案等既有制度安排，另一方面就訓(xùn)練數(shù)據(jù)、人工標(biāo)注等提出了新的合規(guī)要求，體現(xiàn)出監(jiān)管邏輯更新和制度體系迭代的新趨勢(shì)。

上海正策律師事務(wù)所董毅智律師告訴《新民周刊》記者，這是對(duì)人工智能進(jìn)行管理的良好開(kāi)端。而《人工智能法》也已列入立法計(jì)劃，草案預(yù)備年內(nèi)提請(qǐng)全國(guó)人大常委會(huì)審議。近日，《國(guó)務(wù)院2023年度立法工作計(jì)劃》對(duì)外公布，披露了這一動(dòng)向。這表明，中國(guó)官方將推動(dòng)全國(guó)層面的人工智能專門立法。但真正落地還需要一段時(shí)間。在未來(lái)，仍然需要制定更詳細(xì)的規(guī)定，對(duì)使用人工智能的各個(gè)主體進(jìn)行更加明確的責(zé)任認(rèn)定，對(duì)提供技術(shù)的服務(wù)商、內(nèi)容生產(chǎn)者和平臺(tái)等進(jìn)行責(zé)任區(qū)分。

許多基于人工智能技術(shù)的應(yīng)用程序也層出不窮，甚至包括變臉軟件和“一鍵脫衣”等應(yīng)用程序。

“從監(jiān)管角度來(lái)說(shuō)，首先要明確監(jiān)管機(jī)構(gòu)，是不是兩會(huì)后新組建的國(guó)家數(shù)據(jù)局？其次，要加強(qiáng)行業(yè)協(xié)會(huì)的自律，提供深度合成服務(wù)的企業(yè)要嚴(yán)格落實(shí)信息安全管理主體責(zé)任，建立健全算法機(jī)制審核、科技倫理審查、反電信網(wǎng)絡(luò)詐騙等管理制度，加強(qiáng)合成內(nèi)容的審查與管理，對(duì)智能對(duì)話、合成人聲、人臉生成、沉浸式擬真場(chǎng)景等生成內(nèi)容進(jìn)行顯著標(biāo)識(shí)，避免公眾混淆或誤認(rèn)?！倍阒潜硎?，對(duì)于用戶來(lái)說(shuō)，要提高使用門檻，“至少必須實(shí)名制”。

此外，還要壓實(shí)網(wǎng)絡(luò)平臺(tái)的責(zé)任。對(duì)違規(guī)的發(fā)布者、平臺(tái)予以懲戒；作為個(gè)人信息的重要處理者，承擔(dān)起保護(hù)個(gè)人信息的法定義務(wù)。就在5月9日，抖音發(fā)布了一則針對(duì)人工智能生成內(nèi)容的倡議，禁止利用生成式人工智能技術(shù)創(chuàng)作、發(fā)布侵權(quán)內(nèi)容，包括但不限于肖像權(quán)、知識(shí)產(chǎn)權(quán)等，一經(jīng)發(fā)現(xiàn)將嚴(yán)格處罰，此外還要求發(fā)布者對(duì)人工智能生成內(nèi)容進(jìn)行顯著標(biāo)識(shí)。

“當(dāng)然我們每個(gè)人都要提高安全意識(shí)，保護(hù)好個(gè)人隱私，不要在公開(kāi)平臺(tái)上隨意發(fā)布自己的清晰正臉照，尤其是未成年人的?！倍阒菑?qiáng)調(diào)。

新興領(lǐng)域立法速度加快，已經(jīng)成為了世界各國(guó)的一個(gè)常態(tài)。針對(duì)AIGC帶來(lái)的安全風(fēng)險(xiǎn)，董毅智表示，美國(guó)已經(jīng)約談了幾家巨頭，但總體偏向于鼓勵(lì)；歐洲的監(jiān)管則相對(duì)較嚴(yán)，正在加緊出臺(tái)相關(guān)法律法規(guī)，“我國(guó)差不多介于兩者之間。這項(xiàng)技術(shù)因?yàn)樘铝?，目前也尚未出現(xiàn)判例。整個(gè)行業(yè)可能還要經(jīng)歷一段時(shí)間的野蠻生長(zhǎng)”。

當(dāng)前“治理”依然趕不上“詐騙”技術(shù)更迭的速度。長(zhǎng)期而言，就需要采取個(gè)人預(yù)防、防御技術(shù)迭代、壓實(shí)平臺(tái)責(zé)任、完善法律法規(guī)等多管齊下的方式。但不可否認(rèn)的是，掌握人工智能治理的話語(yǔ)權(quán)、規(guī)則制定權(quán)，搶先形成新的國(guó)家競(jìng)爭(zhēng)優(yōu)勢(shì)，已經(jīng)成為世界各國(guó)努力的目標(biāo)。