AI數(shù)字人新騙局

屏幕里，西裝筆挺的“建國弟弟”梳著整齊背頭，用溫柔嗓音說著“親愛的姐姐，歲月是一首詩”，評論區(qū)瞬間被玫瑰和愛心表情淹沒。

屏幕外，60歲的李阿姨不知道，這個(gè)貼心的“弟弟”沒有心跳，只有代碼，一句句關(guān)懷話術(shù)，只是為了將“姐姐”們引到私域平臺上進(jìn)行商業(yè)變現(xiàn)。

近期，直播間利用虛擬主播，通過精心設(shè)計(jì)的情感話術(shù)誘導(dǎo)中老年消費(fèi)，甚至涉嫌詐騙的事件引發(fā)廣泛關(guān)注?！皵?shù)字人王建國”便是AI技術(shù)被濫用的一個(gè)代表。

AI數(shù)字人技術(shù)為電商開辟了新路徑，其“不知疲倦”“可批量復(fù)制”的特性提升了效率。然而，當(dāng)這項(xiàng)技術(shù)被用于刻意模糊虛擬與真實(shí)的界限，利用特定群體的情感需求進(jìn)行不當(dāng)營銷時(shí)，其潛在風(fēng)險(xiǎn)不容忽視，亟須規(guī)范引導(dǎo)。

對此，相關(guān)部門已采取整治行動。據(jù)“網(wǎng)信中國”微信公眾號7月9日發(fā)布的消息，中央網(wǎng)信辦整治AI技術(shù)濫用，第一階段累計(jì)處置違規(guī)小程序、應(yīng)用程序、智能體等AI產(chǎn)品3500余款，清理違法違規(guī)信息96萬余條，處置賬號3700余個(gè)。

屏幕里的 “貼心弟弟”

上海市普陀區(qū)人民法院刑事審判庭副庭長董婷婷接受本刊記者采訪時(shí)說，近期利用“數(shù)字人主播”實(shí)施的詐騙案件高發(fā)，其核心危害在于經(jīng)過算法優(yōu)化的精準(zhǔn)話術(shù)極易誘導(dǎo)沖動消費(fèi)。

據(jù)介紹，“王建國”常在直播間里稱呼觀眾為“寶貝姐姐”，并通過“你已經(jīng)偷偷刷過去好幾次了，這次就別當(dāng)小透明了”“每隔幾分鐘我就會打開手機(jī)，查看你是否來了”等話術(shù)增強(qiáng)互動感。

記者翻閱相關(guān)視頻的留言區(qū)中，常能看到類似“感謝建國弟弟，你幫助了姐姐，姐姐感激不盡”“你辛苦了。姐姐為你點(diǎn)亮紅心，送一朵小紅花”等內(nèi)容。

“王建國”常許諾給“姐姐們”買房、和“姐姐們”過一輩子，情緒價(jià)值瞬間拉滿。

值得注意的是，視頻末尾，“王建國”總會提醒“姐姐們”購買其帶貨的商品，包括化妝品、黑芝麻糊等。

“建國弟弟”們是如何被生產(chǎn)出來的？記者近日以母嬰博主身份電話聯(lián)系了一家自稱位于鄭州的數(shù)字人直播服務(wù)公司。

公司周經(jīng)理介紹，他們的核心業(yè)務(wù)之一是克隆主播形象和聲音，打造“數(shù)字人直播間”。單個(gè)直播間的價(jià)格為4980元，如果支付9800元則可開通10個(gè)直播間。

周經(jīng)理承認(rèn)平臺對“與人互動”的真實(shí)性有要求，完全使用數(shù)字人直播存在風(fēng)險(xiǎn)，她建議記者交替使用真人主播和數(shù)字人直播以規(guī)避審核。

周經(jīng)理進(jìn)一步透露，低成本批量復(fù)制的模式，可以通過 “貼牌”（OEM） 的方式向外擴(kuò)散。她解釋道，許多小型科技公司并無研發(fā)能力，便從其公司購買核心產(chǎn)品，貼上自身品牌和Logo對外銷售，“我們主要to B，有1000多家公司客戶”。

AI“明星男友”已是“重災(zāi)區(qū)”

一些不法分子甚至利用“AI換臉、擬聲”等手段偽裝成演藝界人士、專家學(xué)者、知名企業(yè)家等公眾人物，騙取粉絲信任，實(shí)施詐騙。

2024年11月，江西一位老人來到銀行辦理銀行卡，表示要到銀行貸款200萬元給自己的男朋友“靳東”拍戲。民警查看后發(fā)現(xiàn)老人所謂的大明星“靳東”男友是騙子冒充，視頻也是由AI合成。

該案中，犯罪嫌疑人利用AI換臉和語音合成技術(shù)，在多平臺批量創(chuàng)建仿冒知名演員“靳東”的賬號，發(fā)布大量以“靳東”名義表達(dá)“愛意”和“關(guān)懷”的視頻。這些高度逼真的偽造內(nèi)容，欺騙了眾多中老年女性粉絲。受害者深信自己與“明星”建立了戀愛關(guān)系，在對方以“投資”“應(yīng)援”“解決困難”等借口誘導(dǎo)下，不惜傾盡積蓄轉(zhuǎn)賬匯款。

就連靳東本人都說：“一些喜歡我影視劇的觀眾，被AI換臉視頻騙得很慘，這個(gè)性質(zhì)非常惡劣。希望能建立更好的規(guī)則?！?/p>

去年年底，有網(wǎng)友提及這樣一件事：家里的老人在瀏覽網(wǎng)絡(luò)賣貨視頻時(shí)，看到了“張文宏醫(yī)生”推廣一款蛋白棒的內(nèi)容，老人對此深信不疑，不僅下單購買，還轉(zhuǎn)發(fā)到了多個(gè)群聊中。

這段AI合成的視頻里，“張文宏醫(yī)生”端坐著，反復(fù)介紹該產(chǎn)品，其聲音也與本人頗為相似。經(jīng)核查確認(rèn)，這段視頻是通過AI技術(shù)合成。如今，在微信視頻號平臺上已無法搜索到該賬號，此前該賬號商品櫥窗頁面顯示，這款蛋白棒的銷量已超過1200件。

同樣深受其擾的還有雷軍。 2024年國慶長假期間，短視頻平臺涌現(xiàn)大量“雷軍AI配音”惡搞視頻，內(nèi)容涉及用偽造的雷軍聲音點(diǎn)評堵車、假期亂象等社會話題。這些視頻多由用戶通過AI語音生成平臺制作，僅需輸入文字即可克隆雷軍聲線。事后，雷軍本人不得不專門發(fā)視頻，呼吁大家不要再惡搞。

董婷婷告訴記者，除了公眾人物，詐騙分子還慣于將AI數(shù)字人包裝成“理財(cái)專家”“老中醫(yī)”“情感導(dǎo)師”等權(quán)威角色，背后運(yùn)作的實(shí)則是標(biāo)準(zhǔn)化騙局流水線。

識別這類陷阱，應(yīng)牢記三大關(guān)鍵特征：一是賬號內(nèi)容高產(chǎn)卻虛假互動；二是話術(shù)流暢動聽卻邏輯悖謬（如承諾“包治百病”“穩(wěn)賺不賠”）；三是急于誘導(dǎo)脫離平臺監(jiān)管（如要求加微信或跳轉(zhuǎn)小眾平臺交易）。

“真正的專業(yè)人士絕不會依賴工業(yè)化批量生產(chǎn)的‘流水線內(nèi)容’廣撒網(wǎng)，更不會利用焦慮情緒催促付款。”董婷婷說。

AI治理仍面臨多重挑戰(zhàn)

奇安信集團(tuán)發(fā)布的《2024人工智能安全報(bào)告》中顯示，2023年基于AI的深度偽造欺詐暴增3000%。

面對AI深度偽造欺詐的激增態(tài)勢，相關(guān)整治行動迅速展開。今年2月，中央網(wǎng)信辦啟動“清朗行動”，將整治AI濫用列為重點(diǎn)任務(wù)之一。2月下旬起，各大短視頻平臺陸續(xù)關(guān)停部分“王建國”賬號，清空相關(guān)視頻。

“在處置‘王建國’案例時(shí)，平臺回查處置相關(guān)視頻4.4萬條，對298個(gè)違規(guī)賬號采取禁言措施?！倍兑粝嚓P(guān)負(fù)責(zé)人向記者透露，為遏制風(fēng)險(xiǎn)擴(kuò)散，團(tuán)隊(duì)不僅對“王建國”的形象、昵稱添加管控，還針對其變體特征訓(xùn)練垂類識別模型，“比如有人換個(gè)‘建國哥’的昵稱，或者調(diào)整虛擬人的發(fā)型，這些細(xì)微變化也能被模型捕捉到”。

各平臺對數(shù)字人的監(jiān)督也日趨嚴(yán)厲?？焓蛛娚淌站o數(shù)字人直播，減少AI直播流量扶持。主播在微信視頻號直播間“講解和售賣虛擬人代播軟件”也會被判定為違規(guī)。

作為技術(shù)落地的第一道防線，平臺亟須承擔(dān)更主動的監(jiān)管責(zé)任。當(dāng)內(nèi)容的真實(shí)邊界因技術(shù)而變得模糊，平臺應(yīng)生成顯著提示信息，告知受眾內(nèi)容由AI生成。

不過，AI治理仍面臨多重挑戰(zhàn)?！艾F(xiàn)在AI生成內(nèi)容越來越逼真，批量制作成本低，有些黑灰產(chǎn)團(tuán)伙還會跨平臺傳播，給識別工作增加難度?！倍兑糌?fù)責(zé)人坦言，平臺正聯(lián)合行業(yè)機(jī)構(gòu)優(yōu)化技術(shù)，并通過發(fā)布《治理AI技術(shù)濫用專項(xiàng)公告》等，向創(chuàng)作者明確違規(guī)紅線。

在監(jiān)管層面，《人工智能生成合成內(nèi)容標(biāo)識辦法》將于今年9月1日起正式施行，該辦法規(guī)定，用戶使用網(wǎng)絡(luò)信息內(nèi)容傳播服務(wù)發(fā)布生成合成內(nèi)容的，應(yīng)當(dāng)主動聲明并使用服務(wù)提供者提供的標(biāo)識功能進(jìn)行標(biāo)識。

各地政府部門也在積極探索規(guī)范路徑，比如浙江出臺《浙江省網(wǎng)絡(luò)直播營銷行為規(guī)范指引》，明文規(guī)定“不得采用技術(shù)手段刪除、篡改、隱匿區(qū)分AI數(shù)字人標(biāo)識”。

“技術(shù)本身無罪，防范之道在于時(shí)刻保持理性判斷，讓技術(shù)真正服務(wù)生活?！?董婷婷說。

責(zé)編：郭霽瑤 guojiyao@ceweekly.cn

美編：孫珍蘭