基于跨模態(tài)大模型的交易預測分析

［宋彥 黃俊楚］

1 引言

隨著交易規(guī)模的增長，市場結構逐步優(yōu)化，中國的金融交易市場日趨成熟。金融交易市場的繁榮也離不開大數(shù)據(jù)與人工智能的支撐[1～4]。在認知心理學中，人類心態(tài)信息的表達方式和方法往往是多個維度的，人類情感的表達方式也相對比較豐富。而在眾多表達方法中，圖像和文本數(shù)據(jù)可以高效地刻畫人類的心態(tài)信息。圖像和文本信息能夠很好地刻畫心態(tài)信息的情況，提取高質(zhì)量的心態(tài)特征對心態(tài)信息的準確把握是至關重要的，但不同模態(tài)數(shù)據(jù)特征之間的相關度較低，為了獲取高性能的模型往往需要采集大量的數(shù)據(jù)樣本和相應地對其進行標注和復雜的網(wǎng)絡結構設計[5]。在跨模態(tài)大模型（Cross-Modal Large Model，CMLM）中，CLIP（Contrastive Language-Image Pre-Training，對比語言-圖像預訓練）模型可以作為不同模態(tài)數(shù)據(jù)的特征提取器，以減少對數(shù)據(jù)標注代價的依賴并獲取高質(zhì)量的特征表達，是極具潛力的抽取心態(tài)高層語義信息的新興關鍵技術[6]-[10]。在此基礎上，將該技術應用于抽取心態(tài)高層語義信息，將心態(tài)信息和交易預測信息進行融合，從而實現(xiàn)心態(tài)與交易決策信息的融合是極具實際運用意義的。

本文研究了一種基于CLIP 的交易預測方法。在預測模型中引入心態(tài)信息進行分析決策。首先以桑坦德客戶交易預測問題為例，建立一個桑坦德客戶交易預測模型。其次是建立心態(tài)信息獲取模塊，心態(tài)信息包括跨模態(tài)的特征提取與融合，將圖像和文本信息描述進行有效地融合。文本描述可以是對市場環(huán)境心理的描述，比如當前投資環(huán)境對客戶心理的影響，也可以是客戶本身的情緒描述等，心態(tài)監(jiān)督信息則劃分為積極和消極兩個部分，積極的心態(tài)對交易決策起著積極的作用，消極的心態(tài)對交易決策起著消極的作用。最后建立基于心態(tài)的交易決策模型，將心態(tài)信息融合進決策模型，對比加入心態(tài)信息前后交易預測結果的變化。實驗結果表明，本文提出的基于CLIP 的交易預測模型能夠有效結合心態(tài)信息對決策影響的優(yōu)勢，更好的做出相應的決策。

2 系統(tǒng)建模

2.1 模型基礎框架

基于CLIP 的交易預測模型的整體框架如圖1 所示，包括三個方面，分別是心態(tài)信息獲取模塊，交易決策模塊和基于心態(tài)的交易決策模塊。心態(tài)信息包括圖像和文本信息描述，圖像信息可以是客戶的表情圖片，如開心、失望等等，反映了客戶對于投資市場的心理預期；文本描述可以是對市場環(huán)境心理的描述，比如當前投資環(huán)境對客戶心理的影響，也可以是客戶本身的情緒描述等。心態(tài)監(jiān)督信息則劃分為積極和消極兩個部分，積極的心態(tài)對交易決策起著積極的作用。桑坦德實際客戶信息則作為決策判斷的監(jiān)督信息，模型基于客戶提供的信息進行學習并進行判斷。基于心態(tài)的決策模型包括心態(tài)信息的獲取和與決策模型的融合。

圖1 基于CLIP 的交易預測模型整體框架

2.2 心態(tài)信息獲取模塊理論

在認知心理學中，人類心態(tài)信息的表達方式和方法往往是多個維度的，人類情感的表達方式也相對比較豐富。而在眾多表達方法中，圖像和文本數(shù)據(jù)可以高效地刻畫人類的心態(tài)信息，因而本節(jié)采用這兩個維度的信息對心態(tài)特征進行描述。圖像和文本信息能夠很好地刻畫心態(tài)信息的情況，提取高質(zhì)量的心態(tài)特征對心態(tài)信息的準確把握是至關重要的，但不同模態(tài)數(shù)據(jù)特征之間的相關度較低，為了獲取高性能的模型往往需要采集大量的數(shù)據(jù)樣本和相應地對其進行標注和復雜的網(wǎng)絡結構設計。CLIP 模型相較于其他跨模態(tài)大模型具備更強的泛化能力和解釋性，此外CLIP 模型采用了對比學習和預訓練的方法使得模型能夠在大規(guī)模無標注數(shù)據(jù)上進行訓練，不需要大量的標注數(shù)據(jù)。因此，本節(jié)利用跨模態(tài)的大模型CLIP 為不同模態(tài)數(shù)據(jù)的特征提取器，以減少對數(shù)據(jù)標注代價的依賴和獲取高質(zhì)量的特征表達。

假設收集到客戶i的文本描述和圖像數(shù)據(jù)分別為Ti和Ij，分別經(jīng)過CLIP 的文本和圖像特征提取器以得到更好的特征表達，可得到對應的特征為fi和gi。雖然圖像和文本特征描述的都是心態(tài)信息，但其描述的內(nèi)容及特征上存在差異，因而需要對不同模態(tài)的數(shù)據(jù)信息進行有效地融合。本節(jié)對不同模態(tài)數(shù)據(jù)的特征進行拼接，從而有效地保持了不同模態(tài)特征的信息，對拼接后的跨模態(tài)特征將其經(jīng)過后續(xù)神經(jīng)網(wǎng)絡進行處理。對不同模態(tài)的數(shù)據(jù)進行拼接可得到其融合的跨模態(tài)特征mi，可以描述為：

CLIP 模型經(jīng)過大規(guī)模的圖像-文本對的訓練，因而其能夠提取到強大的特征表達。但在具體的任務上，如果不借助有效的監(jiān)督信息，其性能很難達到較優(yōu)的情況。本節(jié)利用少量的標注信息使得該模型對具體的任務的性能進一步提升，因而設計了跨模態(tài)的分類模塊，將上述心態(tài)的圖像和文本數(shù)據(jù)進行標注并訓練。假設標簽為yi，其中0代表消極心態(tài)，1 代表積極心態(tài)。通過網(wǎng)絡的訓練可以使不同模態(tài)的數(shù)據(jù)獲取到其對應的心態(tài)信息，跨模態(tài)融合網(wǎng)絡表示為，則網(wǎng)絡的訓練損失為：

公式2 為標準的交叉熵損失函數(shù)，經(jīng)過網(wǎng)絡的訓練，模型能夠對提取的文本描述和圖像信息進行有效的判斷，對積極心態(tài)的圖像和文本描述，其輸出響應接近1，而對于消極心態(tài)的文本描述，其輸出響應接近0，少量樣本經(jīng)過網(wǎng)絡的監(jiān)督訓練能夠從而有利于對心態(tài)信息的高層語義信息的抽取。將心態(tài)的響應加入模型作為決策的參考并與其他文本信息綜合做決策，最終判定結果為0 和1 分別代表交易和不交易。

2.3 交易決策模塊理論

以桑坦德交易決策任務為例，該任務依據(jù)客戶的年齡，收入情況，工作單位，居住地點等對其交易決策進行預測，數(shù)據(jù)集中包含了200 維的特征并進行了信息脫敏和主成分分析。由于該數(shù)據(jù)特征的維度相對較低，不同于圖像數(shù)據(jù)集上萬的維度，難以直接采用當前深度學習的基線網(wǎng)絡進行學習，為此本節(jié)設計了一個高效的神經(jīng)網(wǎng)絡以處理這個問題。

整個網(wǎng)絡共7 層，包括四個全連接層和三個Relu 激活層，其中激活函數(shù)層可以為網(wǎng)絡引入較強的非線性，從而使得模型能夠處理非線性問題。桑坦德客戶交易數(shù)據(jù)共包括20 萬個樣本，其中14 萬個數(shù)據(jù)用于訓練，6 萬個數(shù)據(jù)用于測試。數(shù)據(jù)集中進行交易的樣本和不進行交易的樣本之間的比例大約為1:9，呈現(xiàn)出明顯的類別不均衡問題，這將導致模型嚴重過擬合于不進行交易的數(shù)據(jù)樣本，難以有效學習。因此本節(jié)對數(shù)據(jù)集按照7:3 的原則切分為訓練集和測試集，并采用類別均衡的訓練方法，以緩解數(shù)據(jù)集存在的類別不均衡問題。

訓練數(shù)據(jù)中的正樣本（進行交易的數(shù)據(jù)樣本）和負樣本（不進行交易的數(shù)據(jù)樣本）分別標記為x+和x-，交易監(jiān)督信息為實際交易中是否進行，0 代表不交易，1 代表交易。網(wǎng)絡表示為，利用標記信息對正負樣本進行均衡采樣，即訓練過程中采樣的小批量正樣本和負樣本的數(shù)量是一樣的，網(wǎng)絡的訓練目標函數(shù)為：

網(wǎng)絡的訓練過程中分別采樣正負樣本，正樣本的采樣頻率得以增加，通過采樣的方式調(diào)整不同數(shù)據(jù)分布的差異，使得不同類別的數(shù)據(jù)在樣本規(guī)模差異較大的背景下也能獲得較好的泛化性能。

2.4 基于心態(tài)的交易決策模塊理論

交易決策模型中能夠把握客戶的絕大多數(shù)關鍵特征，從而對其交易決策進行有效的預測，然而客戶的決策往往也跟心態(tài)有著密切的關系，為此本節(jié)提出將心態(tài)信息融合進決策模型，并提出了基于心態(tài)的決策模型。由于深度神經(jīng)網(wǎng)絡的特征提取是層層遞進的，較高層級的特征具備更高的語義特性，接近分類層的特征能夠更能夠反映心態(tài)信息的語義信息，因此本節(jié)將心態(tài)信息和交易預測信息進行融合，從而實現(xiàn)心態(tài)與交易決策信息的融合?？蛻艚灰讛?shù)據(jù)經(jīng)過網(wǎng)絡訓練之后參數(shù)是確定的，且訓練數(shù)據(jù)和測試數(shù)據(jù)是同分布的，因此其可直接用于測試數(shù)據(jù)。對于客戶數(shù)據(jù)樣本x而言，經(jīng)過網(wǎng)絡提取的交易決策特征為h(x)，而多模態(tài)心態(tài)數(shù)據(jù)融合的特征為c(mi)，結合心態(tài)信息對決策特征進行修正并考慮心態(tài)信息對最終決策行為影響的程度，本節(jié)采用心態(tài)信息和決策特征凸組合的方式，對決策行為進行修正，修正后的決策特征可以表示為：

其中λ為超參數(shù)，可以控制心態(tài)信息在交易決策中的比重。經(jīng)過心態(tài)信息修正后的決策特征為2 維的向量，對其進行softmax 激活之后可以得到?jīng)Q策行為的概率判斷，假設其第一維的特征為r(x)0，第二維的特征為r(x)1，經(jīng)過softmax 激活函數(shù)的歸一化處理之后其決策概率可以表示為：

其中p代表決策為不交易的概率，1-p代表決策為交易的概率。當p大于1-p時，交易決策為不交易，反之則決策為進行交易。將心態(tài)信息和決策信息的特征進行融合，能夠直接將心態(tài)信息融合進行決策模型中，并可通過實際任務學習到適當?shù)某瑓嘀卅?，從而更好地建模實際交易決策中心態(tài)數(shù)據(jù)的影響。

3 軟件架構

3.1 整體網(wǎng)絡設計

本節(jié)提出的基于心態(tài)的交易決策模型包括三個模塊，一是心態(tài)信息獲取模塊，二是交易預測模塊，三是基于心態(tài)決策的交易預測模塊。所有網(wǎng)絡模型都基于Pytorch 框架實現(xiàn)，且可以通過自動求導機制高效地求解。

3.2 心態(tài)信息獲取模塊

心態(tài)信息的輸入包括心態(tài)信息對應的圖像和文本描述數(shù)據(jù)。網(wǎng)絡架構上除了利用CLIP 模型作為特征提取模塊之外，還需要設計跨模態(tài)融合模塊以提高心態(tài)信息的提取能力。

3.2.1 特征提取模塊

CLIP 模型具有強大的特征表達能力，因此適合作為本項目中的跨模態(tài)數(shù)據(jù)處理模塊的特征提取器。圖2 展示了CLIP 模型的細節(jié)，不同模態(tài)的數(shù)據(jù)經(jīng)過不同的編碼網(wǎng)絡提取特征，再利用視覺和文本特征做相關，使得不同模態(tài)的數(shù)據(jù)特征得以聯(lián)合學習。由于CLIP 模型已經(jīng)經(jīng)過4億個圖像文本對的訓練，因而已經(jīng)具備了較強的特征學習能力。網(wǎng)絡采用Transformer 結構，將輸入圖像和文本切割成序列進行輸入，經(jīng)過Transformer Encoder 作為特征提取器得到其不同模態(tài)數(shù)據(jù)的特征。由于CLIP 已經(jīng)得到了很好地訓練，因此在網(wǎng)絡搭建時這部分的參數(shù)是不進行更新的，可以直接利用大模型為不同模態(tài)的數(shù)據(jù)進行特征的提取。

圖2 CLIP 模型結構細節(jié)圖

3.2.2 跨模態(tài)數(shù)據(jù)融合模塊的設計

心態(tài)決策模型的輸入包含了不同模態(tài)的數(shù)據(jù)，而不同模態(tài)數(shù)據(jù)之間的差異較大，為了最大化保持不同模態(tài)數(shù)據(jù)的特性，本節(jié)將其特征進行了拼接并設計了對應的特征融合模塊。實際上由于文本和圖像的在表達方式上的差異性較大，模型如果提取的不同類型數(shù)據(jù)的特征表達差異過大，這將不利于模型的訓練穩(wěn)定和學習。將文本和圖像對進行關聯(lián)所需要的訓練數(shù)據(jù)的規(guī)模較大，這也造成心態(tài)模型訓練的代價加大。為了解決上述問題，本節(jié)設計的網(wǎng)絡框架通過全連接層和權重歸一化層，對融合特征進行處理，以滿足少數(shù)據(jù)情況下的網(wǎng)絡微調(diào)。CLIP 模型輸出的圖像特征維度為512 維，文本特征維度也為512 維，拼接之后的特征維度為1 024 維，因此全連接層的參數(shù)為1 024x2,將文本特征和圖像特征融合后直接進行預測。同時采用權重歸一化層使得模型避免過擬合。通過監(jiān)督訓練的方法微調(diào)，從而使得心態(tài)模型在最終決策部分給出精準的指導。

3.3 基于心態(tài)的交易決策預測模塊

3.3.1 數(shù)據(jù)預處理

桑坦德客戶交易決策數(shù)據(jù)的原始數(shù)據(jù)各個維度的取值范圍差異較大，如果直接利用這些數(shù)據(jù)進行學習會導致網(wǎng)絡過擬合在少數(shù)幾個特征上，在實際測試數(shù)據(jù)的泛化性能將降低。為了避免這一點，本節(jié)采用0-1 歸一化的方式，利用該維度取值的最大最小值對特征進行預處理，即：

交易決策模塊需要直接對客戶數(shù)據(jù)的決策進行預測，Resnet 是當前圖像類別預測中使用最為廣泛的深度學習模型，能夠對大量的訓練數(shù)據(jù)進行有效地學習，并且提取到具備判別性信息的特征[11～15]，但由于其處理的往往是圖像這種高維度數(shù)據(jù)，而對于客戶數(shù)據(jù)200 維度的分析，Resnet 并不能展現(xiàn)出其優(yōu)勢。為了處理交易決策信息，本節(jié)設計了7 層的神經(jīng)網(wǎng)絡，用于處理低維數(shù)據(jù)。網(wǎng)絡的具體結構細節(jié)如圖3 所示。

圖3 網(wǎng)絡結構設計細節(jié)圖

圖4 心態(tài)信息對交易決策的影響

圖5 超參數(shù)的選擇對交易決策行為的影響程度圖

全連接層可以對特征進行有效地處理，而Relu 激活函數(shù)通過引入非線性的特性，使得網(wǎng)絡能夠處理非線性的問題。Relu 函數(shù)的表達式為

經(jīng)過多層Relu 激活函數(shù)的處理，網(wǎng)絡能夠學習到?jīng)Q策數(shù)據(jù)的關鍵特征進而降低交易決策預測的難度。

4 實驗結果分析

4.1 數(shù)據(jù)描述

本文實驗采用桑坦德交易決策任務數(shù)據(jù)集，訓練數(shù)據(jù)為14 萬桑坦德實際客戶交易數(shù)據(jù)。該數(shù)據(jù)集包含了客戶的年齡，收入情況，工作單位，居住地點等信息，共200維的特征，并進行了信息脫敏和主成分分析。此外，本文實驗中采用的預訓練模型為VIB-B-32。

4.2 實驗分析

首先研究了交易人數(shù)在加入心態(tài)信息時變化的情況，即心態(tài)信息對交易決策的影響。設置神經(jīng)網(wǎng)絡超參數(shù)的學習率設定為0.01，訓練迭代次數(shù)為200 000，測試數(shù)據(jù)為6 萬個數(shù)據(jù)樣本。

其次研究了超參數(shù)選取對決策行為的影響，即心態(tài)特征信息與決策特征的比重對交易決策行為的影響程度，如

圖6 研究了超參數(shù)選擇對交易決策預測準確率的影響程度。圖中橫坐標表示超參數(shù)λ的取值，縱坐標表示分別加入積極和消極心態(tài)特征信息之后預測客戶進行交易決策的準確率。當不加入心態(tài)信息時，即λ=0，準確率為90.4%。當加入積極的心態(tài)信息，且占比為10%(λ=0.1)時，準確率下降為87.5%。若繼續(xù)增大心態(tài)特征信息的比例至20%(λ=0.2)時，準確率下降為46.6%。圖中結果顯示當增大心態(tài)特征信息的比例至40%以上(λ＞0.4)時準確率保持不變，達到10.2%，這也說明心態(tài)特征信息在交易決策中的影響已經(jīng)遠遠超過其他特征信息了，已經(jīng)成為交易決策的主導因素。當加入消極心態(tài)信息時，當心態(tài)特征信息的比例至30%以上(λ＞0.3)時，準確率維持在89.8%不變。因此在基于心態(tài)的交易決策模型中，結合心態(tài)特征信息占所有決策特征的比重對交易決策行為準確率的影響程度以及對交易決策行為的影響程度，可以選取合適的超參數(shù)以建模決策模型中心態(tài)因素的影響。

圖6 超參數(shù)的選擇對交易決策準確率的影響程度

進一步為了展示客戶交易預測概率的影響，圖7 展示了挑選的19 個客戶在加入心態(tài)信息時交易預測模型預測其進行交易的概率。從圖中可以看出當不加入心態(tài)信息時，絕大多數(shù)客戶的預測是不進行交易，加入積極的心態(tài)信息之后，客戶選擇進行交易的概率基本都提升了，加入消極心態(tài)之后，客戶選擇進行交易的概率大部分都有所下降，這表明心態(tài)信息對不同客戶的影響存在差異，其交易決策還與其原本的特征高度相關，因而能夠很好地保留原始交易決策模型的特征。

圖7 加入心態(tài)信息對預測客戶交易的影響

5 結語

伴隨著人工智能在業(yè)界的廣泛應用，金融領域的投資者已不再滿足于以往基于金融專家的決策制定，各種深度學習算法與金融工程領域的結合應運而生?；诖?，本文針對客戶交易預測模型的需求，在預測模型中引入心態(tài)信息進行分析決策。首先設計了一個高效的神經(jīng)網(wǎng)絡以建立一個桑坦德客戶交易預測模型。其次建立心態(tài)信息獲取模塊，包括圖像和文本信息描述。最后建立基于心態(tài)的交易決策模型，將心態(tài)信息融合進決策模型，對比加入心態(tài)信息前后交易預測結果的變化。實驗結果表明，本文所提出的基于CLIP 的交易預測模型能夠有效結合心態(tài)信息對決策影響的優(yōu)勢，更好的做出相應的決策。