大語言模型在金融業(yè)應(yīng)用的冷思考

金融業(yè)作為典型的信息密集型行業(yè)，信息技術(shù)的發(fā)展也在不斷推動(dòng)金融領(lǐng)域的科技革命。20世紀(jì)中后期，伴隨著電子計(jì)算機(jī)和基礎(chǔ)網(wǎng)絡(luò)的建立，現(xiàn)代金融產(chǎn)業(yè)的基礎(chǔ)設(shè)施水平逐步提高，支付結(jié)算體系和電子交易系統(tǒng)實(shí)現(xiàn)了從初創(chuàng)到發(fā)展。20世紀(jì)末至21世紀(jì)初，隨著互聯(lián)網(wǎng)尤其是移動(dòng)互聯(lián)網(wǎng)逐步普及，金融與互聯(lián)網(wǎng)的互動(dòng)形成了一系列新的金融機(jī)構(gòu)、金融產(chǎn)品和金融服務(wù)，互聯(lián)網(wǎng)銀行和保險(xiǎn)公司紛紛涌現(xiàn)，大數(shù)據(jù)征信大幅提升了居民的借貸可得性，移動(dòng)支付逐漸成為居民的主要支付手段。

2022年11月，OpenAI公司推出劃時(shí)代的ChatGPT產(chǎn)品，該產(chǎn)品能夠通過對(duì)話的形式為用戶解決覆蓋各領(lǐng)域的多種任務(wù)。ChatGPT的出現(xiàn)讓業(yè)界看到了通用人工智能（AGI）的曙光，也被稱為人工智能領(lǐng)域的iPhone時(shí)刻。2023年3月，OpenAI又推出了標(biāo)志性的GPT-4 模型，將模型能力提升至全新高度，并將其擴(kuò)展至擁有多模態(tài)功能，能夠按照用戶要求進(jìn)行視頻、音頻等創(chuàng)作，被認(rèn)為可能對(duì)電影藝術(shù)等領(lǐng)域造成沖擊。伴隨著GPT系列產(chǎn)品的走紅，利用神經(jīng)元網(wǎng)絡(luò)搭建的大語言模型（Large Language Models，簡(jiǎn)稱LLMs）成為人工智能領(lǐng)域的絕對(duì)熱點(diǎn)。

大語言模型及其特點(diǎn)

大語言模型是一類利用深度學(xué)習(xí)技術(shù)構(gòu)建的人工智能模型，它們通過分析和學(xué)習(xí)大量的文本數(shù)據(jù)來理解與生成自然語言。目前大語言模型通?；谧儞Q器（Transformer）架構(gòu)，能夠捕捉語言中的復(fù)雜模式和關(guān)系。傳統(tǒng)人工智能模型一般僅使用幾千或者幾萬個(gè)參數(shù)，而對(duì)于擁有數(shù)十億甚至數(shù)千億個(gè)參數(shù)的大語言模型，隨著模型規(guī)模的增加，它們?cè)诶斫夂蜕烧Z言方面的能力也顯著提高，能夠更準(zhǔn)確地模擬人類的語言使用習(xí)慣，也使得大語言模型能夠處理更復(fù)雜、更全面的數(shù)據(jù)和問題，并從中學(xué)習(xí)到更多的模式和規(guī)律。具體來說，大語言模型具有以下特點(diǎn)：

突出的自然語言理解能力

傳統(tǒng)人工智能模型往往需要專門的指令理解模塊將用戶指令轉(zhuǎn)化為模型可執(zhí)行的指令。這一方面面臨指令理解準(zhǔn)確率的問題，另一方面面臨在不同場(chǎng)景進(jìn)行遷移成本過高的能力泛化挑戰(zhàn)。但大語言模型憑借前期的預(yù)訓(xùn)練和微調(diào)，用戶能夠通過自然語言下達(dá)指令，模型能夠直接遵行用戶的任務(wù)指令執(zhí)行。

較好的通用性

憑借其大規(guī)模的參數(shù)、復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)及有效的預(yù)訓(xùn)練與微調(diào)機(jī)制，模型具備了較強(qiáng)的泛化能力。這種泛化能力體現(xiàn)在：一方面，大語言模型可以更好地適應(yīng)不同下游任務(wù)，在文本生成、翻譯、摘要、問答等多種應(yīng)用場(chǎng)景中表現(xiàn)出色；另一方面，大語言模型可以在不同領(lǐng)域的數(shù)據(jù)上進(jìn)行遷移，如將基座大模型在大量計(jì)算機(jī)程序代碼上進(jìn)行微調(diào)，得到的大語言模型可應(yīng)用于軟件編程領(lǐng)域，實(shí)現(xiàn)代碼生成、調(diào)試輔助等功能。

具備復(fù)雜任務(wù)中的推理能力

除了具有通用性外，大語言模型在復(fù)雜任務(wù)中還展現(xiàn)出了較好的推理能力，能夠理解并推斷文本之間的邏輯關(guān)系并運(yùn)用邏輯推理能力分析和解決復(fù)雜問題。相比之下，傳統(tǒng)人工智能方法在這方面的表現(xiàn)相對(duì)較差，往往需要有針對(duì)性地對(duì)所面臨的問題進(jìn)行多步驟拆解，采用多個(gè)支持不同計(jì)算需求的模型共同服務(wù)。

大語言模型在金融業(yè)的應(yīng)用

大語言模型在金融業(yè)的適用性

金融業(yè)是典型的數(shù)據(jù)密集型產(chǎn)業(yè)，而其中大量的數(shù)據(jù)是以自然語言等非結(jié)構(gòu)化形式存儲(chǔ)，甚至部分?jǐn)?shù)據(jù)是由圖像、音頻或視頻等格式存儲(chǔ)。傳統(tǒng)人工智能模型往往需要先對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理和清洗，才能進(jìn)行后續(xù)計(jì)算。而大語言模型技術(shù)的一大優(yōu)勢(shì)就是具備較強(qiáng)的理解人類語言的能力，對(duì)于不同類型的存儲(chǔ)方式也具有較高的識(shí)別能力，能夠更好地處理自然語言數(shù)據(jù)，這使得大語言模型在金融領(lǐng)域相比于傳統(tǒng)模型具有更高的靈活性。

大語言模型能夠以自然語言的形式進(jìn)行輸出，本身也具有文本生成、摘要、問答等功能，能夠協(xié)助金融從業(yè)者開展相關(guān)工作，減少材料收集、報(bào)告文案整理所需的時(shí)間，提升服務(wù)水平和服務(wù)效率。

大語言模型憑借其推理能力，能夠?qū)Σ煌瑏碓吹臄?shù)據(jù)進(jìn)行綜合分析，可以縮短數(shù)據(jù)間發(fā)生連接與計(jì)算的時(shí)間，提高數(shù)據(jù)創(chuàng)造價(jià)值的效率。這一特點(diǎn)與金融行業(yè)緊密相關(guān)，在金融決策時(shí)，往往需要對(duì)于市場(chǎng)上的各類信息進(jìn)行綜合分析，而大語言模型憑借其在訓(xùn)練中習(xí)得的復(fù)雜推理能力，能夠建立復(fù)雜的邏輯聯(lián)系，為金融決策提供依據(jù)。

大語言模型在金融業(yè)的應(yīng)用

目前大語言模型在金融業(yè)主要有三類應(yīng)用模式：一是憑借大語言模型的通用性，基于現(xiàn)有通用大語言模型進(jìn)行微調(diào)落地；二是金融企業(yè)憑借自身能力獨(dú)立開發(fā)大語言模型產(chǎn)品；三是金融企業(yè)通過應(yīng)用接口接入通用大語言模型實(shí)現(xiàn)自身業(yè)務(wù)需求。

基于通用大語言模型微調(diào)形成金融大模型方面，目前常用的大語言模型架構(gòu)下均有對(duì)應(yīng)的金融大語言模型。OpenAI的GPT架構(gòu)下，有AI4Finance Foundation開發(fā)的FinGPT開源金融大型語言模型，該模型為研究人員和從業(yè)者提供了可訪問與公開的資源來開發(fā)他們的金融大語言模型，并提供了相關(guān)應(yīng)用接口，如機(jī)器人咨詢、算法交易和低代碼開發(fā)。谷歌的BERT大語言模型架構(gòu)下，F(xiàn)inBERT是其第一個(gè)金融領(lǐng)域相關(guān)模型，此后其變體還有FinBERT-20和FinBERT-21，這一系列模型基于BERT大語言模型架構(gòu)，通過在特定的金融數(shù)據(jù)集上進(jìn)行微調(diào)，使得模型在金融市場(chǎng)情感分析和文本挖掘等多個(gè)金融相關(guān)的任務(wù)中取得了出色的效果。國內(nèi)方面，度小滿基于BLOOM-176B大語言模型研發(fā)的千億級(jí)中文金融大模型軒轅，它在金融名詞理解、金融市場(chǎng)評(píng)論、金融數(shù)據(jù)分析和金融新聞理解等任務(wù)上表現(xiàn)優(yōu)異，并且在多個(gè)金融場(chǎng)景中得到應(yīng)用。

金融企業(yè)自主研發(fā)方面，也有不少產(chǎn)品涌現(xiàn)。彭博社2023年3月發(fā)布專為金融業(yè)設(shè)計(jì)的大語言模型Bloomberg GPT。該模型基于典型的Transformer架構(gòu)，采用近500億參數(shù)在獨(dú)有的金融數(shù)據(jù)集和一般數(shù)據(jù)集上進(jìn)行訓(xùn)練，強(qiáng)化了模型在金融垂直領(lǐng)域的專業(yè)理解能力。Bloomberg GPT能夠生成金融新聞、預(yù)測(cè)股票市場(chǎng)走勢(shì)、分析金融報(bào)告和文檔、評(píng)估風(fēng)險(xiǎn)、提供智能客服等，在金融問題的理解和推理、金融新聞情感分析及金融實(shí)體識(shí)別等任務(wù)測(cè)試中表現(xiàn)遠(yuǎn)超類似規(guī)模的大語言通用模型。國內(nèi)方面，同樣專注金融信息服務(wù)的同花順和東方財(cái)富分別推出了問財(cái)大模型與妙想大模型，均采用Transformer架構(gòu)，預(yù)訓(xùn)練語料均達(dá)到萬億級(jí)別，借助自身金融數(shù)據(jù)優(yōu)勢(shì)，為用戶提供股票分析、新資訊、智能寫作等服務(wù)。此外，聚焦金融交易系統(tǒng)的恒生電子也發(fā)布了金融大模型LightGPT，該模型基于金融數(shù)據(jù)訓(xùn)練，可適用于投研、投顧、智能客服和合規(guī)風(fēng)控等多領(lǐng)域金融應(yīng)用場(chǎng)景。奇富科技和招聯(lián)金融等消費(fèi)金融機(jī)構(gòu)，也分別推出了適合自身信貸金融服務(wù)的大語言模型奇富大模型和智鹿大模型。

通用大語言模型的金融應(yīng)用接口方面，目前也有科技巨頭推出相應(yīng)產(chǎn)品。微軟公司基于GPT-4模型推出為金融業(yè)工作人員服務(wù)的系統(tǒng)應(yīng)用Copilot for Finance，用戶可使用自然語言提示詞快速完成金融數(shù)據(jù)的處理和分析。騰訊公司基于自研的混元大模型，為金融行業(yè)前中后臺(tái)多個(gè)業(yè)務(wù)場(chǎng)景打造了一系列智能應(yīng)用接口，助力金融機(jī)構(gòu)展業(yè)。阿里云旗下的通義點(diǎn)金應(yīng)用，定位于智能投研助手，提供AI金融信息搜索、金融文檔分析、金融資訊獲取、金融投研等多種功能。

大語言模型在金融業(yè)應(yīng)用中面臨的挑戰(zhàn)

2023年中央金融工作會(huì)議提出做好科技金融、綠色金融、普惠金融、養(yǎng)老金融、數(shù)字金融五篇大文章，對(duì)數(shù)字金融高質(zhì)量發(fā)展提出了新要求。緊跟信息技術(shù)前沿發(fā)展趨勢(shì)，并將其應(yīng)用于金融業(yè)的高質(zhì)量轉(zhuǎn)型發(fā)展，是金融科技發(fā)展的應(yīng)有之義。當(dāng)前大語言模型在信息科技領(lǐng)域受到普遍關(guān)注，將其應(yīng)用于金融領(lǐng)域也是順勢(shì)而為，但是也需要看到，大語言模型在金融業(yè)的應(yīng)用也存在一些潛在問題和挑戰(zhàn)。

適用性有待提升

雖然大多數(shù)大語言模型對(duì)于基本的數(shù)學(xué)問題，如在加減乘除等基礎(chǔ)數(shù)學(xué)上表現(xiàn)優(yōu)異，但在更復(fù)雜的數(shù)學(xué)問題上，它們的表現(xiàn)并不理想，尤其是在數(shù)學(xué)運(yùn)算和數(shù)值分析方面的能力較弱，無法像專門的數(shù)學(xué)軟件那樣進(jìn)行高效的數(shù)值計(jì)算。金融業(yè)實(shí)踐中涉及大量的數(shù)學(xué)模型和高頻計(jì)算，盲目使用大語言模型替代很難實(shí)現(xiàn)效率的提升。

使用成本較高

大型語言模型訓(xùn)練需要消耗大量的計(jì)算資源。例如，GPT-3的token數(shù)約為1750億個(gè)，訓(xùn)練成本約為140萬美元。對(duì)于參數(shù)更大的大語言模型如ChatGPT，訓(xùn)練成本介于200萬美元至1200萬美元之間。這種高昂的成本使得僅有少數(shù)大型公司能夠承擔(dān)大語言模型的訓(xùn)練費(fèi)用?？紤]到金融行業(yè)的信息源是高度動(dòng)態(tài)的，如不斷使用最新的行業(yè)數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行更新，將進(jìn)一步大幅提高模型訓(xùn)練的成本。

隱私保護(hù)不足和存在安全風(fēng)險(xiǎn)

大語言模型需要大量的數(shù)據(jù)來訓(xùn)練，如何保護(hù)底層數(shù)據(jù)的隱私和安全性是一個(gè)重大挑戰(zhàn)。金融業(yè)務(wù)的底層數(shù)據(jù)很多涉及用戶隱私信息，對(duì)于此類數(shù)據(jù)的使用依法受到嚴(yán)格的限制。如何建立用戶信息與模型之間的隔離防護(hù)機(jī)制，維護(hù)用戶隱私安全尚待進(jìn)一步研究探索。

可解釋性弱和準(zhǔn)確性不強(qiáng)

在可解釋性方面，由于這些大語言模型的規(guī)模極大、內(nèi)部工作機(jī)制復(fù)雜，模型的輸入和輸出之間難以直接呈現(xiàn)可溯源的因果關(guān)系，即難以向用戶直觀地解釋說明模型是如何根據(jù)輸入內(nèi)容一步步得出其輸出結(jié)果的。此外，在準(zhǔn)確性方面，大語言模型的幻覺問題也是亟待解決的一大難點(diǎn)?；糜X問題是指大語言模型在生成文本時(shí)可能會(huì)產(chǎn)生一些看似合理但實(shí)際上與事實(shí)不符或與輸入不相關(guān)的內(nèi)容，或可能會(huì)產(chǎn)生不準(zhǔn)確的信息。金融業(yè)是對(duì)于信息透明度和準(zhǔn)確性要求極高的行業(yè)，上述問題對(duì)于大語言模型在金融業(yè)的應(yīng)用也造成了一定障礙。

大語言模型在金融業(yè)應(yīng)用的原則

基于上述風(fēng)險(xiǎn)和挑戰(zhàn)，金融企業(yè)在進(jìn)行大語言模型應(yīng)用決策時(shí)，應(yīng)遵循以下底線原則：

分類適用原則

金融企業(yè)和機(jī)構(gòu)應(yīng)當(dāng)結(jié)合自身業(yè)務(wù)結(jié)構(gòu)與模型需求，審慎研判大語言模型的邊際貢獻(xiàn)。對(duì)于使用結(jié)構(gòu)化數(shù)據(jù)、運(yùn)算步驟清晰，且已經(jīng)被證明有效的數(shù)量類模型，鑒于大語言模型在數(shù)量計(jì)算方面并不具備比較優(yōu)勢(shì)，可以考慮繼續(xù)使用現(xiàn)有模型。例如，目前部分保險(xiǎn)公司的精算模型中已使用了人工智能算法架構(gòu)進(jìn)行預(yù)測(cè)和分析，盲目使用大語言模型技術(shù)替代原有的傳統(tǒng)人工智能算法未必能夠提升預(yù)測(cè)精度和模型效率。但是對(duì)于數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜、數(shù)據(jù)來源多樣，尤其是包含大量自然語言信息的場(chǎng)景，如市場(chǎng)情緒分析和大數(shù)據(jù)智能風(fēng)控，大語言模型可能有較大的發(fā)揮空間，可以考慮推動(dòng)實(shí)施。

成本可控原則

金融行業(yè)普遍面臨降本增效的業(yè)績(jī)要求，大語言模型開發(fā)具有較高的硬件和技術(shù)門檻，日常運(yùn)行維護(hù)成本也相對(duì)較高，自行研發(fā)大模型系統(tǒng)會(huì)大幅增加企業(yè)運(yùn)營的費(fèi)用和人力成本，且金融企業(yè)模型開發(fā)經(jīng)驗(yàn)相對(duì)薄弱，難以有效實(shí)現(xiàn)成本控制。加上大語言模型市場(chǎng)當(dāng)前處于較為火熱的狀態(tài)，近年來美國對(duì)大語言模型訓(xùn)練所須使用的GPU芯片的出口限制，進(jìn)一步推高了金融大模型的落地成本。在這樣的背景下，金融企業(yè)應(yīng)審慎評(píng)估成本收益，避免盲目跟風(fēng)上線大語言模型項(xiàng)目。前期可以考慮與科技型企業(yè)合作，通過通用大語言模型微調(diào)或使用其提供的應(yīng)用接口等方式，滿足業(yè)務(wù)需求，避免進(jìn)行較高的前期資本投入，借助科技型企業(yè)專業(yè)優(yōu)勢(shì)降低研發(fā)和運(yùn)維成本。

安全合法原則

目前全球都在研究如何監(jiān)管大語言模型的潛在風(fēng)險(xiǎn)，美國、英國和歐盟已通過人工智能時(shí)代的數(shù)據(jù)保護(hù)法案，我國也已于2023年出臺(tái)《生成式人工智能服務(wù)管理暫行辦法》，進(jìn)一步規(guī)范在大模型領(lǐng)域?qū)τ脩裘舾行畔⒌氖褂?。但就能否?duì)用戶隱私進(jìn)行有效隔離，學(xué)界尚有爭(zhēng)議，相關(guān)技術(shù)尚待進(jìn)一步完善。防控風(fēng)險(xiǎn)是金融工作的永恒主題，無論是從落實(shí)監(jiān)管要求的角度，還是出于對(duì)公司客戶負(fù)責(zé)的角度，都應(yīng)對(duì)大語言模型使用過程中的隱私安全性問題予以高度重視，相關(guān)模型的上線也需要慎之又慎。金融企業(yè)建設(shè)與應(yīng)用大語言模型時(shí)應(yīng)遵循安全合法原則，確保企業(yè)秘密、網(wǎng)絡(luò)安全、數(shù)據(jù)安全和個(gè)人信息不受侵害。

透明可信原則

目前大語言模型的可解釋性和準(zhǔn)確性等問題尚待學(xué)界的進(jìn)一步研究與解釋?？紤]到金融企業(yè)內(nèi)部專業(yè)從業(yè)人員和信息技術(shù)支持人員在各自領(lǐng)域具有更充分的專業(yè)知識(shí)，使得其對(duì)模型生成的內(nèi)容擁有更全面準(zhǔn)確的判斷能力，金融企業(yè)在應(yīng)用大語言模型時(shí)，可以先將模型的使用范圍限制在公司內(nèi)部，讓大語言模型優(yōu)先從旁發(fā)揮輔助專業(yè)人員決策的副駕駛功能，由專業(yè)從業(yè)人員結(jié)合自身經(jīng)驗(yàn)和知識(shí)對(duì)大語言模型給出的結(jié)果進(jìn)行復(fù)核和判斷，再將修正后的結(jié)果向客戶提供，以人工干預(yù)手段減少幻覺問題的潛在影響。但需要注意大語言模型給出的輔助結(jié)果僅可作為各項(xiàng)工作的參考，確保重要決策始終由專業(yè)人員做出，工作責(zé)任最終由使用者承擔(dān)。后續(xù)待模型進(jìn)一步穩(wěn)定完善后，再向企業(yè)客戶等外部公眾開放使用。

金融業(yè)發(fā)展大語言模型的建議

上述對(duì)金融企業(yè)如何守好底線原則、有效處理大語言模型運(yùn)用相關(guān)問題的建議，可以進(jìn)一步簡(jiǎn)單歸納為“小步快走，由內(nèi)而外”的應(yīng)對(duì)策略。其中，“小步”的核心要義是審慎。金融企業(yè)要避免跟隨熱點(diǎn)，對(duì)于大語言模型盲目大步跟進(jìn)。建議要結(jié)合自身業(yè)務(wù)和日常運(yùn)營需要，對(duì)大語言模型的適配性和成本收益進(jìn)行審慎評(píng)估。對(duì)于大語言模型的落地方式也要統(tǒng)籌考慮，避免盲目進(jìn)行大規(guī)模硬件投資?！翱熳摺钡暮诵氖且o跟技術(shù)發(fā)展前沿，及時(shí)了解最新的技術(shù)動(dòng)態(tài)，尤其是在模型安全性、準(zhǔn)確性方面，要緊跟人工智能領(lǐng)域最新的研究成果，及時(shí)將最新的技術(shù)應(yīng)用于自身的模型和業(yè)務(wù)，提升服務(wù)水平，避免在行業(yè)競(jìng)爭(zhēng)中處于劣勢(shì)?！坝蓛?nèi)而外”則是要采取對(duì)客戶負(fù)責(zé)的態(tài)度，在模型上線初期將使用范圍限制在企業(yè)內(nèi)部，待對(duì)模型的潛在風(fēng)險(xiǎn)和問題進(jìn)行準(zhǔn)確評(píng)估并完成調(diào)整優(yōu)化后，再對(duì)外投入公眾使用。

我們相信信息技術(shù)的發(fā)展是推動(dòng)金融行業(yè)變革發(fā)展的重要?jiǎng)恿碓?，隨著人工智能領(lǐng)域的不斷發(fā)展，大語言模型技術(shù)在不久的將來或?qū)⑷〉眯碌耐黄?，其配套技術(shù)和相關(guān)基礎(chǔ)設(shè)施亦將更加完善，屆時(shí)信息技術(shù)和金融業(yè)務(wù)的碰撞必將產(chǎn)生新的火花，進(jìn)一步助力提升金融綜合服務(wù)水平、貢獻(xiàn)新質(zhì)生產(chǎn)力，推動(dòng)金融業(yè)實(shí)現(xiàn)高質(zhì)量跨越式發(fā)展。

（初眾為中信集團(tuán)戰(zhàn)略發(fā)展部項(xiàng)目經(jīng)理，張偉強(qiáng)為清華大學(xué)五道口金融學(xué)院副研究員，羅成為北京麥伽智能科技有限公司總經(jīng)理。本文僅代表作者個(gè)人觀點(diǎn)，不代表供職單位意見。責(zé)任編輯/周茗一）