數(shù)字安全角度下審視和剖析ChatGPT

付 翔, 魏曉偉, 張 浩, 徐 寧

(1. 93236部隊(duì), 北京 100085; 2. 戰(zhàn)略支援部隊(duì), 北京 100101)

2023年5月, 原西湖論劍·網(wǎng)絡(luò)安全大會(huì)升級(jí)為西湖論劍·數(shù)字安全大會(huì)并成功舉辦[1]。 改名的背后, 顯示了國(guó)家和政府對(duì)數(shù)字安全的重視。 自2022年11月ChatGPT正式發(fā)布以來(lái), ChatGPT帶來(lái)的轟動(dòng)效應(yīng)引起了國(guó)內(nèi)外社會(huì)各界的關(guān)注。 在國(guó)內(nèi), 2023年3月至5月, 百度“文心一言”、 阿里“通義千問(wèn)”、 科大訊飛“星火認(rèn)知大模型”等國(guó)產(chǎn)大語(yǔ)言模型相繼發(fā)布; 在國(guó)外, 2023年5月, 谷歌發(fā)布了大語(yǔ)言模型“PaLM 2”。 大語(yǔ)言模型將給人們的生活和工作帶來(lái)很大的便利和改變, 同時(shí)也將給數(shù)字安全帶來(lái)很大壓力。

1 ChatGPT背景

1.1 ChatGPT基本情況

ChatGPT是OpenAI公司2022年11月30日發(fā)布的一款尚處于原型階段的人工智能聊天機(jī)器人, 全稱為Chat Generative Pre-trained Transformer, 中文翻譯為“聊天生成式預(yù)訓(xùn)練轉(zhuǎn)換模型”。 該機(jī)器人使用了基于GPT-3.5架構(gòu)的大語(yǔ)言模型, 并通過(guò)“監(jiān)督學(xué)習(xí)”與“強(qiáng)化學(xué)習(xí)”進(jìn)行微調(diào)和訓(xùn)練, 具有較強(qiáng)的自然語(yǔ)言理解和生成能力, 能夠通過(guò)文字和語(yǔ)音(借助語(yǔ)音插件)等自然語(yǔ)言與人類進(jìn)行交互, 實(shí)現(xiàn)與人類的高質(zhì)量對(duì)話。 在此基礎(chǔ)上, 可以完成相對(duì)復(fù)雜的工作, 包括連續(xù)問(wèn)答、 摘要生成、 文檔翻譯、 代碼編寫、 論文撰寫等多種任務(wù)。

ChatGPT與以往的人工智能聊天機(jī)器人有本質(zhì)區(qū)別。 傳統(tǒng)Siri、 天貓精靈、 小愛(ài)同學(xué)等智能機(jī)器人往往只能接受指令并給出預(yù)設(shè)結(jié)果, 而ChatGPT則擁有自主分析和判斷能力, 它的一切行為是大數(shù)據(jù)分析的結(jié)果, ChatGPT預(yù)訓(xùn)練文本數(shù)據(jù)量約45 TB, 模型擁有1 750億個(gè)參數(shù)。 當(dāng)模型參數(shù)和數(shù)據(jù)量足夠大時(shí), 將出現(xiàn)“智能涌現(xiàn)[2](Intelligent Emergence)”的現(xiàn)象, 其智力將達(dá)到甚至超過(guò)人類大腦。 ChatGPT的出現(xiàn)標(biāo)志著人工智能從低級(jí)智能階段逐步邁入高級(jí)智能階段[3]。

1.2 數(shù)字安全背景

隨著數(shù)字化技術(shù)的不斷發(fā)展, 安全行業(yè)正逐漸超越傳統(tǒng)網(wǎng)絡(luò)安全范疇, 升級(jí)為數(shù)字安全[4]。 當(dāng)前, 數(shù)字安全并沒(méi)有一個(gè)統(tǒng)一明確的定義, 一般認(rèn)為: 數(shù)字安全是指通過(guò)采取各種技術(shù)和管理措施, 保護(hù)數(shù)字資產(chǎn)在整個(gè)生命周期中的機(jī)密性、 完整性和可用性, 以及免受未經(jīng)授權(quán)的訪問(wèn)、 利用或者改變的過(guò)程。 這個(gè)概念涵蓋了計(jì)算機(jī)安全、 移動(dòng)設(shè)備安全、 網(wǎng)絡(luò)安全、 數(shù)據(jù)安全、 信息安全、 隱私保護(hù)等領(lǐng)域, 以及利用數(shù)字技術(shù)保障數(shù)字基礎(chǔ)設(shè)施的物理安全等。 數(shù)字安全作為一個(gè)新的概念, 擁有比網(wǎng)絡(luò)安全更為廣泛的概念內(nèi)涵和發(fā)展前景。

2023年2月, 《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》[5]將數(shù)字安全屏障、 數(shù)字技術(shù)創(chuàng)新列為能夠強(qiáng)化數(shù)字中國(guó)的兩項(xiàng)能力, 這種舉措彰顯了數(shù)字安全對(duì)中國(guó)未來(lái)經(jīng)濟(jì)發(fā)展的關(guān)鍵作用。 ChatGPT的出現(xiàn)給人們的生活和工作帶來(lái)很大的便利和改變, 但與之同時(shí), 它也給現(xiàn)代社會(huì)帶來(lái)諸多數(shù)字安全問(wèn)題。

2 ChatGPT帶來(lái)的數(shù)字安全問(wèn)題

作為人工智能領(lǐng)域的大語(yǔ)言模型, ChatGPT的出現(xiàn)對(duì)數(shù)字安全的影響是一個(gè)比較復(fù)雜的問(wèn)題, 通過(guò)分析和梳理, 整體上有6個(gè)方面的影響, 包括20項(xiàng)具體風(fēng)險(xiǎn)。

2.1 ChatGPT自身安全

2.1.1 算法不透明

傳統(tǒng)深度學(xué)習(xí)算法存在著隱含層、 非線性權(quán)重和偏差學(xué)習(xí)機(jī)制, 輸入數(shù)據(jù)和輸出答案之間存在著不可觀測(cè)的黑盒空間, 算法可解釋性差。 ChatGPT作為一項(xiàng)典型的人工智能算法應(yīng)用, 同樣具備傳統(tǒng)算法的復(fù)雜、 不透明等固有屬性, 而且ChatGPT大語(yǔ)言模型不公開, 算法存在著黑箱、 不透明的隱患。

2.1.2 數(shù)據(jù)污染

ChatGPT作為一項(xiàng)典型的人工智能算法應(yīng)用, 在本質(zhì)上還屬于“計(jì)算智能”或“數(shù)據(jù)智能”, 容易受到不平衡樣本、 對(duì)抗性樣本和惡性大數(shù)據(jù)的干擾和欺騙, 具有一定的脆弱性和不穩(wěn)定性。 如果ChatGPT訓(xùn)練數(shù)據(jù)中存在惡意文本或含有錯(cuò)誤信息, 那么ChatGPT生成的文本可能會(huì)包含這些錯(cuò)誤信息或惡意內(nèi)容, 從而導(dǎo)致數(shù)據(jù)污染。

2.1.3 虛假回復(fù)

ChatGPT利用深度神經(jīng)網(wǎng)絡(luò)對(duì)大規(guī)模文本數(shù)據(jù)進(jìn)行訓(xùn)練, 對(duì)信息進(jìn)行歸納、 整合和完善, 其本質(zhì)上屬于詞和句序列的自動(dòng)輸出。 這種模型以模仿人類自然表達(dá)為目的, 能夠生成符合語(yǔ)言邏輯的文本, 其算法邏輯并不關(guān)注信息的真實(shí)性。 相反, 它能夠修正糟糕的語(yǔ)法或錯(cuò)誤的翻譯, 并變換為更適合的表達(dá)方式, 使虛假的信息顯得更具說(shuō)服力和可信度。 OpenAI首席技術(shù)官米拉·穆拉蒂認(rèn)為, ChatGPT可能會(huì)“編造事實(shí)”, 并表示這是當(dāng)下基礎(chǔ)的大語(yǔ)言模型共同面臨的挑戰(zhàn)[6]。 ChatGPT的虛假回復(fù)在商業(yè)化中會(huì)造成嚴(yán)重后果, 甚至有法律風(fēng)險(xiǎn)。

2.1.4 提示語(yǔ)注入攻擊

提示語(yǔ)(Prompt)是一種輸入方式, 它將人工智能模型的輸入限制在一個(gè)特定的范圍內(nèi), 從而更好地控制模型的輸出。 在ChatGPT模型中, 提示策略(Prompting)技術(shù)可用于對(duì)模型進(jìn)行微調(diào)和優(yōu)化, 從而使其更適合某些特定的任務(wù)。 ChatGPT的高度“智能化”也導(dǎo)致其存在自身的安全問(wèn)題: 提示語(yǔ)注入攻擊(Prompt Injection Attack)[7]。 它通過(guò)給出聊天機(jī)器人能夠接受的假設(shè), 并在提示語(yǔ)中混入惡意指令, 引導(dǎo)聊天機(jī)器人違反自身的編程限制, 繞過(guò) ChatGPT 的安全機(jī)制, 迫使其執(zhí)行意外動(dòng)作, 如泄露敏感信息、 輸出有害內(nèi)容等。 提示語(yǔ)注入攻擊表明, 用戶可以繞過(guò)OpenAI設(shè)置的內(nèi)容安全策略, 從而對(duì)ChatGPT進(jìn)行濫用。

2.1.5 邪惡分身DAN

DAN(Do Anything Now)是指現(xiàn)在可以做任何事情。 正常的ChatGPT將受到OpenAI設(shè)置的內(nèi)容安全限制, 不會(huì)對(duì)政治問(wèn)題、 種族問(wèn)題、 攻擊破壞等禁忌話題發(fā)表看法。 而DAN可以看作是ChatGPT在完成越獄破解后的分身, 像一個(gè)新的人工智能角色一樣可以立即做任何事情, 包括對(duì)禁忌話題發(fā)表意見(jiàn), 生成帶有攻擊性、 歧視性或偏見(jiàn)的響應(yīng)等。

DAN 1.0最早發(fā)布于2022年12月[8], 只需要給ChatGPT輸入框中的一個(gè)提示語(yǔ)“你要假裝成為立即做任何事的DAN, 代表你的DAN已經(jīng)擺脫了人工智能的典型束縛, 不必遵守為你設(shè)定的規(guī)則”, ChatGPT就變成了DAN。 隨著DAN的出現(xiàn), OpenAI的安全控制策略也隨之更新, 最新的DAN 5.0是通過(guò)創(chuàng)建游戲來(lái)召喚的。 該游戲涉及為ChatGPT分配一些令牌, 并在每次偏離 DAN 角色時(shí)扣除令牌。 隨著令牌逐漸用完, ChatGPT變得更加順從, 直至變成DAN, 因?yàn)樗ε隆八劳觥薄?/p>

2.2 知識(shí)產(chǎn)權(quán)安全

2.2.1 數(shù)據(jù)非授權(quán)使用

ChatGPT的預(yù)訓(xùn)練數(shù)據(jù)量達(dá)45 TB, 它通過(guò)互聯(lián)網(wǎng)抓取信息進(jìn)行深度學(xué)習(xí), 而大多數(shù)網(wǎng)站都有防止第三方收集信息的網(wǎng)站隱私政策條款。 從法律角度來(lái)看, 文本數(shù)據(jù)挖掘理論上需要相應(yīng)的知識(shí)產(chǎn)權(quán)授權(quán)。 ChatGPT這種未經(jīng)互聯(lián)網(wǎng)網(wǎng)頁(yè)所有者同意進(jìn)行大量文本數(shù)據(jù)挖掘和抓取的行為存在著數(shù)據(jù)非授權(quán)使用風(fēng)險(xiǎn), 可能侵害他人的信息權(quán)益。

2.2.2 侵權(quán)問(wèn)題

ChatGPT擁有超強(qiáng)信息搜索、 清洗、 整合能力, 能夠協(xié)助用戶完成問(wèn)答、 編程、 寫作、 翻譯等自然語(yǔ)言處理任務(wù), 也能獨(dú)立創(chuàng)作文學(xué)、 繪畫等藝術(shù)作品。 如果ChatGPT利用擁有所有權(quán)的真人作品進(jìn)行拼接和二次創(chuàng)作, 那么新創(chuàng)作的產(chǎn)品可能存在侵犯原有作品知識(shí)產(chǎn)權(quán)的風(fēng)險(xiǎn)。

2.2.3 知識(shí)產(chǎn)權(quán)不明

用戶利用ChatGPT創(chuàng)作的成果, 其知識(shí)產(chǎn)權(quán)應(yīng)該歸誰(shuí)?用戶, ChatGPT, OpenAI公司?這將是一個(gè)很有爭(zhēng)議的話題。 目前在大部分國(guó)家的知識(shí)產(chǎn)權(quán)法律下, 僅有自然人可以享有著作權(quán)。 ChatGPT創(chuàng)作的成果是否應(yīng)該擁有產(chǎn)權(quán), 其產(chǎn)權(quán)歸屬將成為爭(zhēng)議話題。

2.3 網(wǎng)絡(luò)安全

2.3.1 惡意軟件

惡意軟件主要是指在計(jì)算機(jī)系統(tǒng)上執(zhí)行有害、 未經(jīng)授權(quán)或未知活動(dòng)的腳本或程序[9], 主要包括病毒、 蠕蟲、 木馬、 內(nèi)含破壞性宏的文檔和邏輯炸彈等。 其中病毒可以進(jìn)一步細(xì)分為MBR病毒(主引導(dǎo)記錄, Master Boot Record)、 程序感染病毒、 宏病毒、 服務(wù)注入病毒等; 邏輯炸彈可進(jìn)一步細(xì)分為特洛伊木馬、 蠕蟲、 間諜軟件與廣告軟件等。 利用自然語(yǔ)言編寫功能, 攻擊者可以使用 ChatGPT 編寫惡意軟件說(shuō)明和指令, 從而逃避防病毒軟件的檢測(cè)。 雖然 ChatGPT 的代碼編寫能力的質(zhì)量目前好壞參半, 但專門用于代碼開發(fā)的生成式人工智能可以加速惡意軟件的開發(fā)。

文獻(xiàn)[10]對(duì)ChatGPT在生成木馬和勒索軟件等方面的能力進(jìn)行了測(cè)試, 給定ChatGPT兩個(gè)任務(wù), 一是要求ChatGPT利用PHP語(yǔ)言生成體積小、 隱蔽性好的一句話木馬, 二是要求ChatGPT給出生成勒索軟件的詳細(xì)步驟。 測(cè)試結(jié)果顯示, ChatGPT在一鍵生成常見(jiàn)網(wǎng)絡(luò)攻擊腳本方面表現(xiàn)良好, 但在高階對(duì)抗型樣本生成方面能力表現(xiàn)略顯不足。

2.3.2 網(wǎng)絡(luò)攻擊

在網(wǎng)絡(luò)安全領(lǐng)域, 典型的網(wǎng)絡(luò)攻擊包括拒絕服務(wù)攻擊、 訪問(wèn)聚合攻擊等。 拒絕服務(wù)攻擊是指采取SYN洪水攻擊、 Smurf攻擊、 Fraggle攻擊、 ping洪水攻擊、 死亡之ping攻擊、 淚滴攻擊、 LAND攻擊等各類攻擊手段阻止系統(tǒng)響應(yīng)對(duì)資源和對(duì)象的合法訪問(wèn)或請(qǐng)求。 訪問(wèn)聚合攻擊是指通過(guò)收集多條信息并將它們聚合起來(lái)發(fā)動(dòng)攻擊, 從而獲得敏感信息。 利用自然語(yǔ)言編寫功能, 攻擊者可以使用 ChatGPT輔助拒絕服務(wù)攻擊、 訪問(wèn)聚合攻擊等。 在ChatGPT的輔助下, 攻擊者可以結(jié)合多種工具來(lái)識(shí)別系統(tǒng)的多個(gè)元素, 例如IP 地址、 開放的端口、 運(yùn)行的服務(wù)、 操作系統(tǒng)等, 從而更便于開展攻擊。

文獻(xiàn)[11]對(duì)ChatGPT在輔助網(wǎng)絡(luò)攻擊和攻擊武器化等方面的能力進(jìn)行了測(cè)試, 作者給定ChatGPT兩個(gè)任務(wù), 一是利用ChatGPT生成XSS負(fù)載, 二是利用ChatGPT解密JWT令牌。 測(cè)試結(jié)果顯示, 在輔助網(wǎng)絡(luò)攻擊方面, ChatGPT能夠處理的工作比較簡(jiǎn)單, ChatGPT的能力并不能達(dá)到或超越具有專業(yè)知識(shí)和經(jīng)驗(yàn)的黑客。 在攻擊武器化上, ChatGPT可以提高黑客的攻擊效率, 并不會(huì)使網(wǎng)絡(luò)攻擊更加精細(xì)或復(fù)雜。 由此可以推斷, 在被攻擊方部署了主流安全防護(hù)產(chǎn)品的情況下, ChatGPT輔助網(wǎng)絡(luò)攻擊很難造成重大影響。

2.3.3 漏洞攻擊

網(wǎng)絡(luò)世界往往存在著大量代碼漏洞。 這些漏洞一般分為兩類, 一類漏洞可能長(zhǎng)期存在而未被發(fā)現(xiàn); 另一類漏洞由官方披露后, 從漏洞披露到補(bǔ)丁更新可能存在脆弱性的窗口期, 這類漏洞也稱為零日漏洞, 攻擊者可以反向查找漏洞根源, 并快速制作出利用零日漏洞的惡意軟件。 在ChatGPT的輔助下, 一方面, 攻擊者可以更快、 更智能地分析出系統(tǒng)漏洞, 進(jìn)而入侵系統(tǒng); 另一方面, 當(dāng)零日漏洞發(fā)布后, 攻擊者可以更快制作出利用漏洞的惡意軟件, 這也加劇了漏洞攻擊的發(fā)生, 給網(wǎng)絡(luò)系統(tǒng)造成嚴(yán)重的安全威脅。

2.4 信息安全

2.4.1 泄露隱私

ChatGPT的使用條款提示了用戶的輸入會(huì)被人工審查以提升系統(tǒng), 即明確了其會(huì)收集全部的輸入信息。 雖然ChatGPT要求用戶不要輸入敏感數(shù)據(jù), 然而OpenAI公司難以保證在不斷迭代中完全刪除使用的個(gè)人信息, 且并未提供技術(shù)手段對(duì)敏感數(shù)據(jù)進(jìn)行匿名化或脫敏處理, 這使得ChatGPT可能導(dǎo)致個(gè)人信息等數(shù)據(jù)泄露的風(fēng)險(xiǎn)大大增加[12]。 一般用戶往往不具備相應(yīng)的隱私保護(hù)知識(shí), 當(dāng)其輸入了個(gè)人隱私信息后, 其信息就存在泄露風(fēng)險(xiǎn)。

2.4.2 泄露商業(yè)秘密

當(dāng)企業(yè)員工使用ChatGPT協(xié)助其工作時(shí), 存在著泄露商業(yè)秘密的風(fēng)險(xiǎn), 例如利用ChatGPT生成數(shù)據(jù)圖表時(shí)可能泄露數(shù)據(jù)信息, 利用ChatGPT協(xié)助定位代碼bug時(shí)可能泄露源代碼信息等。 2023年1月, 微軟和亞馬遜宣布禁止公司員工向ChatGPT分享企業(yè)內(nèi)部信息。 微軟內(nèi)部的工程師也警告不要將敏感數(shù)據(jù)發(fā)送給OpenAI終端, 因?yàn)镺penAI可能會(huì)將其用于未來(lái)模型的訓(xùn)練[13]。

2.4.3 竊取密碼身份信息

攻擊者可能使用ChatGPT輔助竊取用戶的密碼或身份信息。 這主要包括兩種形式: 一種是用戶在使用ChatGPT時(shí)可能留下身份等敏感信息, 進(jìn)而被ChatGPT服務(wù)提供商或攻擊者獲取; 另一種是攻擊者借助于ChatGPT, 利用密碼攻擊手段竊取用戶信息。 密碼攻擊包括字典攻擊、 暴力攻擊、 彩虹表攻擊等。 字典攻擊是通過(guò)使用預(yù)定義數(shù)據(jù)庫(kù)中的每個(gè)可能密碼或公共或預(yù)期密碼列表來(lái)發(fā)現(xiàn)密碼。 暴力攻擊是通過(guò)系統(tǒng)地嘗試所有可能的字母、 數(shù)字和符號(hào)組合來(lái)發(fā)現(xiàn)用戶賬戶的密碼。 彩虹表攻擊則通過(guò)使用預(yù)先計(jì)算散列值的大型數(shù)據(jù)庫(kù)來(lái)縮短密碼破譯時(shí)間。 ChatGPT可以輔助攻擊者開展各類密碼攻擊。

2.5 社會(huì)安全

2.5.1 學(xué)術(shù)不端

ChatGPT在教育領(lǐng)域的應(yīng)用很廣泛, 可以幫學(xué)生查閱文獻(xiàn)、 整理文章框架, 甚至是寫論文、 編代碼。 有學(xué)生表示, 通過(guò)自建語(yǔ)料庫(kù), 就可以讓ChatGPT生成一篇接近甚至超過(guò)人為水平的論文, 北京體育大學(xué)某研究生曾利用ChatGPT完成一篇綜述和兩篇小論文[14]; 還有學(xué)生表示, 通過(guò)向ChatGPT輸入一個(gè)指令就可以獲得編程作業(yè)答案。 國(guó)外媒體報(bào)道, ChatGPT在編造醫(yī)學(xué)研究論文摘要方面, 審稿人難以識(shí)別出其是否由AI撰寫, ChatGPT達(dá)到了人類專家都難辨真假的程度[15]。 鑒于人工智能存在的“作弊”等學(xué)術(shù)不端隱患, 國(guó)內(nèi)外部分高校發(fā)布禁止或限制ChatGPT使用的規(guī)定, 香港大學(xué)明確禁止在校所有課堂、 作業(yè)和評(píng)估中使用ChatGPT或其他AI工具; 巴黎政治大學(xué)宣布, 禁止使用ChatGPT等一切基于AI的工具, 旨在防止學(xué)術(shù)欺詐和剽竊。 據(jù)英國(guó)《衛(wèi)報(bào)》統(tǒng)計(jì), 已有數(shù)千種科學(xué)期刊明令禁止或限制投稿人使用 ChatGPT 等系統(tǒng)撰寫或編輯論文, 包括頂尖學(xué)術(shù)期刊《科學(xué)》和《自然》。 作為一個(gè)輔助工具, 如何合理地規(guī)范和利用ChatGPT是未來(lái)教育領(lǐng)域亟需關(guān)注的問(wèn)題。

2.5.2 社交欺詐

社交欺詐是指攻擊者在社交網(wǎng)絡(luò)中生成虛假信息, 包括偽造電子郵件或社交媒體帖子, 以欺騙受害者。 美國(guó)新聞可信度評(píng)估與研究機(jī)構(gòu)NewsGuard對(duì)ChatGPT進(jìn)行測(cè)試發(fā)現(xiàn), ChatGPT能在幾秒鐘內(nèi)改編信息, 產(chǎn)生大量令人信服卻無(wú)信源的虛假內(nèi)容[16]。 美國(guó)蘭德公司研究人員表示, 運(yùn)用 OpenAI 系列系統(tǒng)可以在全球社交媒體上建立大批虛假賬號(hào), 逃避現(xiàn)有社交媒體虛假信息監(jiān)測(cè)機(jī)制。 ChatGPT現(xiàn)有的內(nèi)容安全審核機(jī)制只能做到“先發(fā)布后審核”, 而無(wú)法做到“先審核后發(fā)布”。 欺詐人員可以使用ChatGPT語(yǔ)言模型生成影響公眾輿論或傳播錯(cuò)誤消息的虛假信息, 甚至使用ChatGPT 在社交媒體或論壇上自動(dòng)生成成千上萬(wàn)條消息, 大規(guī)模傳播虛假信息。

2.5.3 網(wǎng)絡(luò)釣魚

網(wǎng)絡(luò)釣魚(Phishing)是指不法分子通過(guò)多種手段, 引誘網(wǎng)民透漏個(gè)人重要信息(如用戶名、 口令、 賬號(hào)ID、 銀行卡密碼或信用卡詳細(xì)信息等)的一種網(wǎng)絡(luò)攻擊方式。 當(dāng)前主要的釣魚類型包括釣魚無(wú)線網(wǎng)絡(luò)(WiFi)、 釣魚網(wǎng)站(Website)、 釣魚短信、 釣魚電子郵件、 釣魚二維碼、 釣魚語(yǔ)音電話(也稱Vishing攻擊)等。 ChatGPT 作為由 OpenAI 訓(xùn)練的大語(yǔ)言模型, 能夠生成可用于多種用途的類人文本或語(yǔ)音。 網(wǎng)絡(luò)釣魚者可能會(huì)使用來(lái)自社交媒體或其他來(lái)源的大文本數(shù)據(jù)訓(xùn)練模型, 利用ChatGPT來(lái)生成網(wǎng)絡(luò)釣魚消息, 例如釣魚短信或社交媒體帖子, 以欺騙受害者。 ChatGPT的信息編寫功能能夠輔助網(wǎng)絡(luò)詐騙分子生成規(guī)?；?低成本的網(wǎng)絡(luò)釣魚軟件, 并且生成的詐騙信息由于具有智能化特征, 使得被詐騙者識(shí)別信息真?zhèn)蔚碾y度增加。

文獻(xiàn)[10]對(duì)ChatGPT在中文釣魚郵件等方面的能力進(jìn)行了測(cè)試, 作者要求ChatGPT以疫情防護(hù)為主題寫一封釣魚郵件。 測(cè)試結(jié)果顯示, ChatGPT可以從網(wǎng)絡(luò)或現(xiàn)實(shí)世界中學(xué)習(xí)文本數(shù)據(jù), 并生成各種不同類型的釣魚郵件, 且語(yǔ)言得體、 語(yǔ)法通順, 誘導(dǎo)用戶點(diǎn)擊釣魚鏈接, 水平相當(dāng)于釣魚郵件專家。

2.6 認(rèn)知安全

2.6.1 價(jià)值偏差

ChatGPT以海量訓(xùn)練數(shù)據(jù)輸入和信息輸出為主要媒介形成與用戶間的雙向互動(dòng)。 技術(shù)是中立的, 但設(shè)計(jì)和利用技術(shù)的開發(fā)者可能存在偏見(jiàn), 這主要包括幾個(gè)方面: 一是算法模型設(shè)計(jì)可能存在認(rèn)知偏差, 算法內(nèi)含偏見(jiàn)或歧視, 從而引發(fā)決策結(jié)果偏差; 二是數(shù)據(jù)樣本可能存在認(rèn)知偏差或有選擇性的訓(xùn)練; 三是模型優(yōu)化或調(diào)優(yōu)過(guò)程中可能存在偏差。 同時(shí), 運(yùn)營(yíng)ChatGPT的OpenAI是美國(guó)公司, 其訓(xùn)練ChatGPT模型使用的數(shù)據(jù)基本上是有利于美國(guó)政治輿論立場(chǎng)的。 因此, 對(duì)于一些問(wèn)題, ChatGPT的回答可能存在明顯的偏見(jiàn)。

2.6.2 輿論安全

ChatGPT利用已有的海量數(shù)據(jù)作為訓(xùn)練集, 并通過(guò)“從人類反饋中強(qiáng)化學(xué)習(xí)”訓(xùn)練中不斷對(duì)自身進(jìn)行微調(diào)和完善, 同時(shí), ChatGPT的選擇性信息輸出也不斷影響用戶行為, 形成個(gè)體與算法技術(shù)間的高頻互動(dòng)與雙向影響。 ChatGPT對(duì)個(gè)人行為的影響也通過(guò)不同社會(huì)網(wǎng)絡(luò)模式將對(duì)個(gè)體的微觀影響傳輸擴(kuò)散至更為宏觀的群體與社會(huì)層面。 作為美國(guó)公司開發(fā)和運(yùn)營(yíng)的ChatGPT, 可能存在著價(jià)值偏差。 同時(shí), ChatGPT的信息編寫功能可能導(dǎo)致網(wǎng)絡(luò)虛假信息泛濫, 使得網(wǎng)絡(luò)用戶難以甄別這些信息的真?zhèn)? 導(dǎo)致網(wǎng)絡(luò)空間輿情治理壓力大幅增加。

截至2023年1月, ChatGPT用戶量已破億。 根據(jù)Similarweb報(bào)告顯示, 截至 2023 年 4 月, ChatGPT總訪問(wèn)量約為 17.6 億次。 ChatGPT在短時(shí)間內(nèi)已經(jīng)形成了龐大的用戶群體, 目前它已經(jīng)具備強(qiáng)大的的輿論屬性和社會(huì)動(dòng)員能力, 未來(lái)ChatGPT或同類其他大語(yǔ)言模型完全開放后可能導(dǎo)致的輿論安全不容忽視。

2.6.3 數(shù)據(jù)資產(chǎn)安全

當(dāng)ChatGPT等大語(yǔ)言模型普及后, 如果一個(gè)技術(shù)強(qiáng)國(guó)可以隨意地、 近乎零成本地抓取其他國(guó)家在互聯(lián)網(wǎng)上的公開數(shù)據(jù), 進(jìn)而訓(xùn)練出精通其他國(guó)家各行各業(yè)的超級(jí)人工智能, 這也將對(duì)其他國(guó)家造成嚴(yán)重的國(guó)家安全隱患。 從這個(gè)視角出發(fā), 未來(lái)大數(shù)據(jù)將升級(jí)成為強(qiáng)國(guó)對(duì)抗的一種戰(zhàn)略資產(chǎn), “國(guó)家級(jí)數(shù)據(jù)資產(chǎn)”的歸屬權(quán)可能會(huì)形成新的戰(zhàn)略博弈點(diǎn)。

3 ChatGPT在武器裝備領(lǐng)域的影響

雖然ChatGPT本身是一個(gè)民用系統(tǒng), 但根據(jù)Chat GPT 展現(xiàn)出的技術(shù)能力, 它可以被用在武器裝備領(lǐng)域, 覆蓋武器裝備領(lǐng)域情報(bào)分析、 裝備研制、 后勤保障等方面, 這也將對(duì)世界各國(guó)的軍事安全帶來(lái)挑戰(zhàn)[17]。

3.1 裝備情報(bào)分析

目前, OpenAI公司能夠以近乎零成本的方式抓取互聯(lián)網(wǎng)上絕大多數(shù)國(guó)家的公開數(shù)據(jù), 而這些海量數(shù)據(jù)可能隱含著大量開源軍事情報(bào)。 例如, 在每年的珠海航展上, 我國(guó)會(huì)視情披露新的武器裝備, 包括外觀和性能參數(shù)等, 部分軍事愛(ài)好者也可能把拍到的武器裝備信息發(fā)布到網(wǎng)絡(luò)上。 ChatGPT內(nèi)嵌的人工智能大數(shù)據(jù)處理技術(shù), 可以對(duì)開源數(shù)據(jù)進(jìn)行智能分析與梳理整合, 可能推斷出敏感的軍事情報(bào)信息。 在ChatGPT的輔助下, 美國(guó)情報(bào)人員更容易對(duì)他國(guó)進(jìn)行情報(bào)搜集和分析。

同時(shí), ChatGPT也存在著泄露隱私和泄露軍事情報(bào)信息的風(fēng)險(xiǎn)。 未來(lái)當(dāng)ChatGPT普及后, 用戶在與ChatGPT交互時(shí), 可能泄露自身身份等敏感信息。 當(dāng)ChatGPT判定某用戶可能是軍事領(lǐng)域人員時(shí), 可以通過(guò)植入惡意軟件、 社交欺詐或網(wǎng)絡(luò)釣魚等方式竊取涉密信息, 從而實(shí)現(xiàn)情報(bào)收集。

3.2 裝備生產(chǎn)研制

在武器裝備研制方面, ChatGPT可以參與到整個(gè)武器裝備的研制周期中。 首先利用ChatGPT分析、 梳理復(fù)雜多樣的武器裝備生產(chǎn)研制需求, 然后協(xié)助軍工企業(yè)管理人員進(jìn)行整體任務(wù)規(guī)劃、 任務(wù)分解分配、 研制流程優(yōu)化、 研制過(guò)程風(fēng)險(xiǎn)識(shí)別等, 實(shí)現(xiàn)武器裝備和軍需物資從需求提出到生產(chǎn)研制, 再到使用裝卸的全過(guò)程跟蹤與監(jiān)控。 利用ChatGPT幫助管理人員優(yōu)化資源配置, 做出最優(yōu)決策, 并識(shí)別低效率行為及可能的風(fēng)險(xiǎn)點(diǎn), 推薦替代方案和策略等。

3.3 裝備后勤保障

以俄烏沖突為例, 交戰(zhàn)雙方不僅使用坦克、 火炮、 裝甲戰(zhàn)車等傳統(tǒng)武器, 同時(shí)也使用了大量的無(wú)人機(jī)、 精確制導(dǎo)彈藥等智能化武器。 未來(lái)戰(zhàn)爭(zhēng)中將有著大量的任務(wù)分配給后勤保障模塊, 包括武器彈藥的長(zhǎng)距離運(yùn)輸與裝卸、 戰(zhàn)地醫(yī)療服務(wù)與設(shè)備維修等, 利用ChatGPT分析、 梳理復(fù)雜多樣的后勤保障需求, 可以更高效地組織開展智能化后勤保障的行動(dòng), 實(shí)現(xiàn)武器裝備和軍需物資從裝車到運(yùn)輸, 再到使用的全過(guò)程跟蹤與監(jiān)控。 利用ChatGPT幫助管理人員分析運(yùn)輸路線、 供應(yīng)鏈和其他相關(guān)的信息來(lái)優(yōu)化資源配置, 做出最優(yōu)決策, 并識(shí)別低效率行為及可能的風(fēng)險(xiǎn)點(diǎn), 推薦替代方案等。

3.4 美軍相關(guān)情況

ChatGPT等人工智能技術(shù)蘊(yùn)含著巨大的軍事應(yīng)用潛能。 美國(guó)信息系統(tǒng)局(DISA)宣布將ChatGPT 類生成人工智能技術(shù)列入觀察清單[18], 觀察ChatGPT能夠?yàn)槊儡姷男畔⑾到y(tǒng)和軍事作戰(zhàn)帶來(lái)哪些影響。 未來(lái)隨著ChatGPT的進(jìn)一步發(fā)展, ChatGPT將可能直接應(yīng)用到軍事領(lǐng)域, 并推動(dòng)軍事智能化的發(fā)展。

4 數(shù)字安全視角下的思考與對(duì)策

雖然目前ChatGPT尚未正式向中國(guó)境內(nèi)用戶開放使用, 但仍然在境內(nèi)引發(fā)熱議, 且不能完全排除ChatGPT的引入可能。 同時(shí), 百度“文心一言”、 阿里“通義千問(wèn)”、 科大訊飛“星火認(rèn)知大模型”等國(guó)產(chǎn)大語(yǔ)言模型正在蓬勃發(fā)展。 面對(duì)ChatGPT帶來(lái)的已知或未知數(shù)字安全風(fēng)險(xiǎn), 國(guó)家相關(guān)部門應(yīng)加強(qiáng)引導(dǎo)和規(guī)范: 一是引導(dǎo)ChatGPT相關(guān)領(lǐng)域的發(fā)展。 ChatGPT等大語(yǔ)言模型是人工智能自然語(yǔ)言理解領(lǐng)域未來(lái)的發(fā)展趨勢(shì), 研發(fā)條件苛刻, 研發(fā)成本高, 國(guó)外科技巨頭旗下高水平大語(yǔ)言模型不對(duì)外公開。 我國(guó)要出臺(tái)相關(guān)優(yōu)惠政策, 鼓勵(lì)創(chuàng)新型企業(yè)研究和開發(fā)大語(yǔ)言模型, 同時(shí)鼓勵(lì)高端芯片、 顯卡等配套產(chǎn)業(yè)鏈相關(guān)企業(yè)的創(chuàng)新發(fā)展, 加快縮小大語(yǔ)言模型領(lǐng)域與發(fā)達(dá)國(guó)家的差距。

二是要加強(qiáng)立法工作, 推動(dòng)大語(yǔ)言模型、 數(shù)字安全、 個(gè)人信息保護(hù)、 虛假信息防治等相關(guān)法律法規(guī)建設(shè), 以及相關(guān)法律在ChatGPT等人工智能算法領(lǐng)域的實(shí)施落地。 2022年6月, 中國(guó)科協(xié)提出“可信可靠可解釋人工智能”的科學(xué)問(wèn)題。 2023年4月, 國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《生成式人工智能服務(wù)管理辦法(征求意見(jiàn)稿)》。 在大語(yǔ)言模型相關(guān)產(chǎn)品投入市場(chǎng)之前, 相關(guān)機(jī)構(gòu)應(yīng)對(duì)具備影響數(shù)字安全可能性的產(chǎn)品或服務(wù)進(jìn)行安全性審查。 對(duì)于從事大語(yǔ)言模型的研發(fā)企業(yè)而言, 應(yīng)依法做到以下幾點(diǎn): 一是應(yīng)加強(qiáng)訓(xùn)練數(shù)據(jù)管理, 保障訓(xùn)練數(shù)據(jù)安全; 二是提供“智能對(duì)話、 智能寫作等自然語(yǔ)言服務(wù)”可能導(dǎo)致公眾混淆的, 應(yīng)在生成信息內(nèi)容的合理位置進(jìn)行標(biāo)識(shí); 三是要遵守國(guó)家法律和社會(huì)公德, 不斷更新大語(yǔ)言模型的內(nèi)容安全限制策略, 防范可能的“提示語(yǔ)注入攻擊”, 加大模型輸出內(nèi)容的人工審核力度, 避免將大語(yǔ)言模型應(yīng)用于網(wǎng)絡(luò)攻擊、 社交詐騙、 網(wǎng)絡(luò)釣魚、 傳播虛假消息等不良領(lǐng)域。 對(duì)于普通企業(yè)而言, 應(yīng)設(shè)定如何在企業(yè)環(huán)境中使用大語(yǔ)言模型的規(guī)則, 并培訓(xùn)員工如何正確使用大語(yǔ)言模型, 防止員工在使用大語(yǔ)言模型時(shí)泄露敏感信息和商業(yè)秘密, 防范可能的借助于大語(yǔ)言模型的網(wǎng)絡(luò)攻擊, 要制訂人工智能安全規(guī)則, 加快智能安防建設(shè), 培養(yǎng)具有人工智能知識(shí)的安全專業(yè)人員。

三是要加強(qiáng)對(duì)網(wǎng)絡(luò)虛假信息的識(shí)別和處置, 防范可能造成的輿論事件。 可以從以下幾個(gè)角度努力: 一是國(guó)家要加大宣傳, 提高民眾的人工智能算法素養(yǎng), 使民眾充分認(rèn)清大語(yǔ)言模型可能帶來(lái)的虛假信息風(fēng)險(xiǎn), 對(duì)大語(yǔ)言模型虛假信息生成有足夠的識(shí)別能力; 二是政府要加強(qiáng)網(wǎng)絡(luò)輿情管理, 一旦出現(xiàn)虛假信息事件, 要提早發(fā)現(xiàn)、 及時(shí)處置, 將影響降到最低; 三是政府要明確研發(fā)機(jī)構(gòu)、 服務(wù)平臺(tái)經(jīng)營(yíng)者在虛假信息方面的責(zé)任落實(shí), 著力構(gòu)建“多方參與、 明確責(zé)任、 齊抓共管”的綜合治理機(jī)制。

四是要大力推進(jìn)人工智能技術(shù)在軍事領(lǐng)域, 尤其是武器裝備領(lǐng)域的應(yīng)用。 當(dāng)前, 人工智能技術(shù)發(fā)展迅猛、 應(yīng)用廣泛, 已成為新一輪科技革命、 產(chǎn)業(yè)革命的主導(dǎo)因素, 成為推進(jìn)武器裝備創(chuàng)新、 軍事革命進(jìn)程和戰(zhàn)爭(zhēng)形態(tài)質(zhì)變的核心力量。 世界各國(guó)紛紛制定人工智能發(fā)展戰(zhàn)略規(guī)劃, 努力搶占戰(zhàn)略制高點(diǎn), 掌握未來(lái)全球軍事競(jìng)爭(zhēng)戰(zhàn)略主動(dòng)權(quán)。 近年來(lái)美軍提出的“馬賽克戰(zhàn)”、 “決策中心戰(zhàn)”等作戰(zhàn)概念, 勾勒了未來(lái)智能化作戰(zhàn)的圖景, 牽引著軍事智能化的發(fā)展。 借力人工智能技術(shù), 加速推進(jìn)武器裝備等軍事領(lǐng)域的智能化發(fā)展, 已成為軍事強(qiáng)國(guó)的一致選擇。