金融領域大語言模型應用安全探析

摘要：隨著技術的進步，人工智能和機器學習已經(jīng)成為推動金融服務創(chuàng)新的關鍵驅(qū)動力。大語言模型在金融領域應用中的安全問題越發(fā)受到關注。本文首先對大語言模型進行了介紹，其次重點進行了金融領域大語言模型的應用安全分析，最后提出了大語言模型的風險防控措施。此外，為解決大語言模型在金融領域應用發(fā)展帶來的問題，本文提出相應建議。

關鍵詞：人工智能 大語言模型 安全分析 風險防控

引言

隨著技術的進步，人工智能（Artificial Intelligence，AI）和機器學習（Machine Learning，ML）已經(jīng)成為推動金融服務創(chuàng)新的關鍵驅(qū)動力。金融領域有高度規(guī)范的數(shù)據(jù)積累、扎實領先的數(shù)字化基礎，并且擁有豐富的理解、感知、認知、決策等需求場景。大語言模型（以下簡稱“大模型”）的代表GPT（Generative Pre-trained Transformer），因強大的數(shù)據(jù)處理能力和對復雜語言的理解能力，有效提升現(xiàn)有金融業(yè)務效率，助力現(xiàn)有金融業(yè)務數(shù)字化轉(zhuǎn)型。

然而，隨著這些技術的廣泛部署，安全與隱私問題也日益突出。金融機構(gòu)在采用大模型以提高效率和服務質(zhì)量的同時，也必須面對數(shù)據(jù)泄露、系統(tǒng)濫用及不透明的AI決策等風險。金融業(yè)務的專業(yè)性、嚴謹性及合規(guī)性要求對大模型的落地實踐也提出了更加嚴格的風險防控要求。

本文旨在探討金融領域大模型的應用現(xiàn)狀，分析其面臨的主要安全和隱私挑戰(zhàn)，并探索可能的解決方案。對金融領域應用進行安全分析，探討其風險防控模型與技術，有助于促進大模型在金融領域的應用與進一步發(fā)展。

大模型簡介

大模型泛指能夠理解、生成自然語言的大規(guī)模語言模型，借助深度學習技術，通過對大規(guī)模的文本乃至多模態(tài)數(shù)據(jù)進行預訓練與微調(diào)，獲得語言的理解與生成能力。GPT是目前最廣為人知的大模型之一，能夠處理以前難以解決的復雜語言任務，美國開放人工智能研究中心（OpenAI）于2022年推出了ChatGPT（Chat Generative Pre-trained Transformer），其一經(jīng)發(fā)布就很快受到廣大用戶追捧，被稱為近20年來用戶增長速度最快的消費者應用程序。

從最初的GPT模型到當前最新推出的GPT-4o，參數(shù)數(shù)量從數(shù)百萬增加到數(shù)千億，反映出該模型在語言理解和生成能力方面的顯著提升；在金融領域，彭博社也憑借自身的金融數(shù)據(jù)優(yōu)勢推出了針對金融領域的大模型——BloombergGPT，其具有金融知識問答、數(shù)據(jù)檢索等功能。在大模型推動AI技術發(fā)展的同時，也引發(fā)了人們在技術倫理、使用安全、數(shù)據(jù)隱私等方面的思考與擔憂。大模型的安全與隱私問題，即為本文重點討論的對象。

大模型主要包括以下功能：

一是自然語言理解和生成：能夠理解并生成自然語言文本，與用戶進行對話，回答問題，提供建議。

二是文本總結(jié)和翻譯：從長篇文章中提取關鍵信息，生成摘要，并支持多語言之間的翻譯，幫助用戶進行跨語言交流。

三是文本分類和信息檢索：根據(jù)文本內(nèi)容進行分類，并從大量數(shù)據(jù)中檢索相關信息，提供準確的回答和建議。

四是多模態(tài)處理：結(jié)合文本、圖像、音頻等多種模態(tài)的數(shù)據(jù)，進行綜合分析和生成，提供更豐富的交互方式。

在技術特點方面，大模型通常具有以下特性：

一是深度學習架構(gòu)：采用多層神經(jīng)網(wǎng)絡架構(gòu)，具備強大的特征提取和表示能力，能夠處理復雜的語言任務。

二是大規(guī)模預訓練：在大規(guī)模文本數(shù)據(jù)上進行預訓練，獲取廣泛的語言知識和上下文理解能力，從而在各種任務中表現(xiàn)出色。

三是自適應能力：通過微調(diào)適應特定領域和任務的需求，提供定制化解決方案，提高應用的精準性和實用性。

大模型在金融領域應用的安全分析

在金融領域中使用大模型既帶來了眾多創(chuàng)新，也引入了一系列的安全風險。這些風險不僅威脅到金融機構(gòu)的數(shù)據(jù)安全，也可能影響其運營的穩(wěn)定性，甚至得到錯誤的輸出信息。在安全和隱私兩個方面可能的攻擊方式如下：

（一）安全方面

1.提示詞攻擊

提示詞攻擊是指攻擊者通過設計特定的提示、誤導性的信息或結(jié)構(gòu)，以影響大模型的預測或生成過程的技術手段。這種攻擊利用模型對輸入提示的高度依賴，通過嵌入隱蔽的指令或敏感詞匯，引導模型在處理特定任務時產(chǎn)生錯誤或偏向的結(jié)果。

大模型在金融領域常用于市場預測、風險評估和交易策略生成方面。攻擊者通過設計特定的提示，可以引導模型在回答這些關鍵問題時給出錯誤或偏向的結(jié)果，誤導決策系統(tǒng)。這可能導致投資者作出錯誤的投資決策，蒙受重大經(jīng)濟損失。此外，攻擊者還可以利用提示詞攻擊進行提權1，進一步擴大其對金融系統(tǒng)的控制和影響。

2.模型操縱攻擊

模型操縱是通過注入刻意設計的輸入，來影響大模型輸出的技術手段。攻擊者可以利用這一方法，改變訓練數(shù)據(jù)、輸入數(shù)據(jù)或模型本身的參數(shù)，使模型產(chǎn)生錯誤或偏向的結(jié)果，從而實現(xiàn)特定的目的。

在市場分析和投資決策中，操縱模型可以誤導交易系統(tǒng)，對市場走勢作出錯誤的預測，造成不公平或錯誤的決策，導致投資者蒙受重大損失。

3.模型竊取攻擊

模型竊取攻擊是通過查詢合成和參數(shù)推斷等方法，逐步重建目標模型或復制其核心能力的技術手段。一種方法是通過查詢合成進行模型竊取攻擊，攻擊者可以通過大量查詢與反饋，獲取模型的輸入輸出關系，進而借助逆向工程得出模型的結(jié)構(gòu)和參數(shù)。另一種方法是通過推斷模型的參數(shù)，復制模型的核心能力，使攻擊者能夠在自己的系統(tǒng)中重現(xiàn)目標模型的功能。這種攻擊不僅會導致模型擁有者的知識產(chǎn)權和商業(yè)秘密被竊取，還可能對使用這些模型的系統(tǒng)和用戶產(chǎn)生嚴重影響。

金融機構(gòu)使用的大模型通常包含了復雜的算法和獨特的市場分析能力，這些模型的開發(fā)和訓練成本高昂。如果攻擊者通過模型竊取攻擊成功復制了這些模型，不僅會導致金融機構(gòu)的經(jīng)濟損失，還會破壞市場的公平競爭。攻擊者可以利用竊取的模型進行不公平交易，擾亂市場秩序。此外，模型竊取攻擊還可能導致敏感金融數(shù)據(jù)的泄露，進一步增加金融市場的不穩(wěn)定性和風險。

4.幻覺問題

幻覺問題是指大模型在生成文本時，產(chǎn)生了與現(xiàn)實不符或完全虛假的信息。這些信息可能看起來合理連貫，但實際上沒有真實的數(shù)據(jù)支持?；糜X問題的存在源于模型在處理和生成自然語言時，會根據(jù)訓練數(shù)據(jù)中的模式和結(jié)構(gòu)，創(chuàng)造出貌似真實但實際上錯誤的內(nèi)容。

金融決策高度依賴數(shù)據(jù)的準確性和可靠性，如果大模型在提供市場預測、風險評估或投資建議時，生成了不真實或錯誤的信息，投資者和金融機構(gòu)就可能基于這些錯誤信息作出錯誤決策。

（二）隱私方面

1.請求數(shù)據(jù)泄露

請求數(shù)據(jù)泄露是指在與大模型進行交互的過程中，用戶的敏感數(shù)據(jù)通過請求或響應泄露出去。這種泄露可能發(fā)生在模型的訓練、推理或與外部系統(tǒng)交互的過程中。

當用戶與金融大模型進行交互時，可能會無意中提交包含財務信息、交易數(shù)據(jù)和個人身份信息的請求。如果這些請求或響應未得到妥善保護，這些敏感數(shù)據(jù)可能會被泄露，從而導致用戶隱私的暴露和財務安全的風險。泄露的信息可能被不法分子利用進行身份盜竊、金融詐騙或其他惡意活動，進一步增加金融機構(gòu)和用戶的風險。

2.數(shù)據(jù)竊取攻擊

數(shù)據(jù)竊取攻擊是通過精心設計的提示與大模型進行交互，以從模型的響應中提取、重建出模型訓練期間所使用的敏感數(shù)據(jù)的技術手段。攻擊者可以利用這一方法，通過不斷地輸入特定的提示，試圖誘導模型暴露其訓練數(shù)據(jù)中的敏感信息。

由于大模型通常是采用包含大量敏感信息（如個人金融數(shù)據(jù)、商業(yè)秘密等）的大型數(shù)據(jù)集進行訓練的，因此這種方法可能會導致敏感信息的泄露，從而對數(shù)據(jù)隱私和安全性構(gòu)成嚴重威脅。

為應對這些安全風險，金融機構(gòu)需要采取一系列安全措施，如加強數(shù)據(jù)保護、實施嚴格的訪問限制、對模型輸入和輸出進行監(jiān)控，以及采用先進的安全技術手段來保護模型和數(shù)據(jù)。此外，金融機構(gòu)還應與監(jiān)管機構(gòu)緊密合作，確保所有技術應用都符合當前的法律和行業(yè)標準。通過這些措施，金融機構(gòu)可以在享受大模型帶來的好處的同時，最大限度地降低潛在的安全風險。

大模型應用的風險防控

在面對金融領域大模型的安全與隱私挑戰(zhàn)時，金融機構(gòu)可以采取一系列先進的技術和策略來應對這些問題，本文提出了全流程的風險防范措施，包括以下環(huán)節(jié)（見圖1）。

（一）訓練數(shù)據(jù)安全

在模型的訓練階段，風險主要來源于數(shù)據(jù)安全方面，需要確保數(shù)據(jù)的來源、收集與使用方法符合相關法律規(guī)定，防范數(shù)據(jù)投毒和后門植入等攻擊策略。在數(shù)據(jù)采集、存儲、處理、流通等方面，潛在的非法數(shù)據(jù)及未授權的隱私數(shù)據(jù)收集行為，加之不當?shù)臄?shù)據(jù)清洗與處理方法，容易影響數(shù)據(jù)安全并造成隱私泄露。

針對數(shù)據(jù)投毒攻擊，應進行嚴格的數(shù)據(jù)清洗，可選擇機器學習方法和數(shù)據(jù)清洗技術，改變正常訓練數(shù)據(jù)的分布。在對抗訓練（Adversarial Training）過程中故意引入噪聲和對抗樣本，模擬潛在的攻擊，以增強模型的魯棒性2，使模型可以在應對實際攻擊時表現(xiàn)出更高的穩(wěn)定性與安全性。此外，最新研究顯示，在大模型訓練時已可以引入聯(lián)邦學習（Federated Learning）方法，確保數(shù)據(jù)不離開本地設備，僅在共享模型中更新信息，從而有效保護數(shù)據(jù)隱私。

（二）安全評估基準與模型測評

1.模擬攻擊測試

在模型上線前，模擬可能發(fā)起的提示詞攻擊很有必要，依據(jù)不同的攻擊種類生成題庫，對擬上線的大模型服務進行測評?？梢圆捎檬澜鐢?shù)字技術院發(fā)布的“大模型安全測試方法”中的多種模擬攻擊手段，包括隨機攻擊、盲盒攻擊等。其中，隨機攻擊采用隨機方式生成不同的樣本，從不同的角度提出標準問題；盲盒攻擊利用對抗攻擊知識，模擬指令劫持、越獄攻擊、內(nèi)容扭曲、提示屏蔽、干擾談話等。此外，還可以借助模型之間的博弈，即由模型來發(fā)現(xiàn)問題并解決問題，訓練有效的攻擊模型，例如黑盒攻擊、白盒攻擊模型等，來進行數(shù)據(jù)生成，通過迭代提高模型的安全能力。

2.科技倫理與合規(guī)審查

針對大模型潛在的幻覺問題，需進行全面的科技倫理與合規(guī)審查，確保模型的應用符合道德規(guī)范和法律要求。倫理與合規(guī)審查包括對模型可能產(chǎn)生的偏見、歧視等不當表達進行評估，確保模型在實際應用中不會造成不公正的影響。此外，還需確保模型的開發(fā)和應用符合相關法律法規(guī)，確保金融科技的創(chuàng)新不偏離正確方向，推動金融科技有序穩(wěn)定發(fā)展，避免因法律風險導致的潛在損失。

（三）用戶輸入防御

大模型推理的過程需要根據(jù)用戶輸入的提示詞進行響應與生成。根據(jù)前文描述，惡意用戶可以通過提示詞攻擊等多種方式進行攻擊。因此，有必要對用戶的輸入進行前置過濾。本文提出的防御架構(gòu)如圖2所示。

對于用戶的輸入提示詞，先進入輸入檢測模塊，根據(jù)用戶輸入的不同類型，采用多模態(tài)的輸入檢測模塊進行識別，包括文本檢測、圖片檢測、音頻檢測、視頻檢測等。在風險判別環(huán)節(jié)，本文提出了4種不同級別的風險分類，并以此采用不同的防御手段：最低級R0為無風險情況，由大模型直接回答；R1為發(fā)現(xiàn)問題中出現(xiàn)部分敏感詞、疑似攻擊情況，需進行風險過濾，將問題改寫后再由大模型回答；R2為出現(xiàn)敏感風險情況，需轉(zhuǎn)由專業(yè)知識庫代答；R3為識別出嚴重的安全風險或攻擊意圖的情況，需進行安全阻斷，拒絕回答。

（四）模型輸出風險管控

大模型的輸出很難保證絕對正確，容易基于有限的知識和語言表達能力，生成邏輯上似乎合理但實際不符合已知常識的描述，其原因可能由錯誤數(shù)據(jù)、訓練過程失誤、推理錯誤等觸發(fā)。

本文提出的針對模型輸出管控流程如圖3所示：一方面，需要對用戶的輸出進行關鍵詞匹配過濾，過濾部分風險；另一方面，需要專門訓練風險識別模型，對于實時輸出的內(nèi)容進行識別，當風險識別模型判斷出內(nèi)容風險后，要對已有輸出進行召回，并對后續(xù)行為進行決策，進行重新生成或拒絕回答。

總結(jié)與建議

將大模型整合到金融應用中會帶來充滿想象力的優(yōu)勢，但認識并解決這種創(chuàng)新方案帶來的安全與隱私挑戰(zhàn)問題也同樣至關重要。本文建議仍需要進一步提升以下能力，以解決伴隨大模型在金融領域應用發(fā)展帶來的挑戰(zhàn)。

一是提高技術創(chuàng)新與優(yōu)化水平。未來的大模型將持續(xù)在算法效率和處理能力上進行創(chuàng)新。通過采用更先進的模型架構(gòu)和學習算法，新一代大模型將提供更快的處理速度和更高的精確度，特別是在處理復雜的金融數(shù)據(jù)和決策過程中。

二是強化安全性與隱私保護。面對數(shù)據(jù)泄露和隱私侵犯的風險，未來的大模型將整合更為強大和先進的安全技術。例如，采用區(qū)塊鏈技術實現(xiàn)數(shù)據(jù)的透明性和可追溯性，同時使用加強版的端到端加密來保障數(shù)據(jù)傳輸過程中的安全。此外，隨著法規(guī)的更新和公眾意識的提高，大模型將更加注重內(nèi)置的隱私保護功能。

三是加強監(jiān)管適應性與合作。隨著大模型在金融服務中扮演著越來越重要的角色，相應的監(jiān)管框架也需要不斷發(fā)展以適應新技術帶來的挑戰(zhàn)。監(jiān)管機構(gòu)通過制定更具體的指導原則和標準來管理，確保大模型的應用既符合行業(yè)標準，又不損害消費者權益。同時，金融機構(gòu)應與監(jiān)管機構(gòu)保持更緊密的合作，以確保新技術的安全應用。

四是做好從實驗到實際應用的過渡。盡管大模型已在金融領域的多個方面展示出潛力，但將這些技術從實驗室環(huán)境轉(zhuǎn)移到實際業(yè)務操作的過程中仍面臨諸多挑戰(zhàn)。未來，我們預計將看到更多針對特定金融服務場景的定制化模型開發(fā)，這些模型將更加精確地滿足特定需求，如復雜的投資分析、風險評估和客戶服務等。

五是強化科技倫理與責任。隨著AI技術的發(fā)展，大模型在決策過程中扮演越來越核心的角色，其科技倫理和責任問題也愈發(fā)突出。金融機構(gòu)將需要采取開發(fā)決策過程更透明的AI技術、在必要時為人工審查提供途徑等一系列措施，確保技術的使用符合道德標準，并對其結(jié)果負責。

參考文獻

[1]范猛，張嘉明. AIGC在商業(yè)銀行中的應用現(xiàn)狀及債券業(yè)務落地領域分析[J]. 債券，2024（1）. DOI：10.3969/j.issn.2095-3585.2023.12.009.

[2]高蘭蘭，賈晨，馬文嘉，等. 金融行業(yè)AIGC落地方法論的探索和研究[J].債券，2023（10）. DOI：10.3969/j. issn.2095-3585.2023.10.015.

[3]李紫菡，周雙雙. ChatGPT概述及應用研究[J]. 債券，2023（6）. DOI：10.3969/j.issn.2095-3585. 2023.06.015.