人工智能是推動(dòng)社會進(jìn)步和經(jīng)濟(jì)發(fā)展的關(guān)鍵力量。機(jī)器學(xué)習(xí)是人工智能領(lǐng)域的重要發(fā)展方向,而支持向量機(jī)(Support Vector Machine, SVM)是機(jī)器學(xué)習(xí)中的一項(xiàng)重要技術(shù)。量子機(jī)器學(xué)習(xí)是運(yùn)用量子計(jì)算相關(guān)技術(shù)推進(jìn)機(jī)器學(xué)習(xí)發(fā)展的一條新路徑。本文探索將SVM模型中參數(shù)優(yōu)化的問題轉(zhuǎn)化為二次無約束二值優(yōu)化(Quadratic Unconstrained Binary Optimization,QUBO)問題,而后使用量子計(jì)算對QUBO模型進(jìn)行求解,從而開展量子QUBO-SVM算
法模型在金融領(lǐng)域的應(yīng)用研究。實(shí)證分析結(jié)果表明, 量子QUBO-SVM算法模型在AUC、KS、Re c a l l和 Precision模型評估指標(biāo)方面的表現(xiàn)優(yōu)于經(jīng)典SVM算法 模型,為金融機(jī)構(gòu)推進(jìn)數(shù)字化轉(zhuǎn)型和智能化發(fā)展探索了 量子金融科技新方案。 SVM技術(shù)在金融領(lǐng)域的應(yīng)用研究 1995年,Cortes和Vapnik等人[1]提出了支持向量機(jī) (Support Vector Machine,SVM)算法,它是一種
有監(jiān)督機(jī)器學(xué)習(xí)技術(shù)方案,其核心思想是找到一個(gè)超平面,將不同類別標(biāo)簽的數(shù)據(jù)樣本區(qū)分開。2006年,楊毓等人[2]在商業(yè)銀行企業(yè)破產(chǎn)預(yù)測問題中構(gòu)建了SVM算法模型,該模型可以捕獲特征空間的幾何特征并得到最優(yōu)解,實(shí)證效果顯著。2010年,李霖等人[3]應(yīng)用SVM算法模型進(jìn)行客戶流失預(yù)測,并以國內(nèi)某商業(yè)銀行的VIP客戶流失預(yù)測為實(shí)例,與人工神經(jīng)網(wǎng)絡(luò)、決策樹、邏輯回歸和貝葉斯分類器方法進(jìn)行了對比,發(fā)現(xiàn)SVM效果明顯,是預(yù)測客戶是否有流失傾向的有效方法。2020年, 申晴等人[4]根據(jù)SVM算法和KNN算法在處理分類問題中的優(yōu)勢以及二者之間的聯(lián)系時(shí),提出了SVM-KNN 組合算法模型,并以我國165家上市企業(yè)2017—2018年度的財(cái)務(wù)數(shù)據(jù)為樣本,對我國商業(yè)銀行信用風(fēng)險(xiǎn)進(jìn)行了識別分析。2021年,李瑞祺等人[5]建立了基于譜風(fēng)險(xiǎn)度量的SVM算法模型,利用銀行金融信貸數(shù)據(jù),對模型進(jìn)行了測試,將基于譜風(fēng)險(xiǎn)度量的SVM算法模型與基于CVaR的SVM模型和不同核函數(shù)下的傳統(tǒng)SVM模型進(jìn)行對比,證明了基于譜風(fēng)險(xiǎn)度量的SVM模型在金融貸款預(yù)測情況下的優(yōu)越性和高效性。
QUBO問題在金融領(lǐng)域中的應(yīng)用研究
二次無約束二值優(yōu)化(Quadratic Unconstrained Binary Optimization,QUBO)問題是一種常見的整數(shù)規(guī)劃類問題,也是一種典型的優(yōu)化問題。該問題在數(shù)學(xué)上等價(jià)于求解一個(gè)無任何約束條件的二次型最值問題:
其中,決策變量X是一個(gè)n維向量,且向量中的每個(gè)元素取值為0或1。對于帶約束的非整數(shù)優(yōu)化問題, 可以通過“化整為零”和添加懲罰項(xiàng)的思路將其轉(zhuǎn)化為QUBO問題。QUBO問題可以使用傳統(tǒng)優(yōu)化算法進(jìn)行求解,也可以使用量子優(yōu)化算法進(jìn)行求解。因此,QUBO 問題求解器主要包括經(jīng)典求解器和量子求解器。
金融領(lǐng)域往往涉及很多優(yōu)化類問題,這些問題在一定程度上可以轉(zhuǎn)化為QUBO問題進(jìn)行求解。2021年, 吳永飛等人[6]將金融領(lǐng)域的股票投資組合優(yōu)化問題轉(zhuǎn)化為QUBO問題,并且使用量子近似優(yōu)化算法(Quantum Approximate Optimization Algorithm,QAOA)進(jìn)行求解。2022年,文凱等人[7]將信用評分場景中的數(shù)據(jù)特征篩選問題轉(zhuǎn)化為QUBO問題,并使用光量子技術(shù)進(jìn)行求解,實(shí)證顯示基于量子計(jì)算的特征篩選速度更快、效果更好。2023年,吳永飛等人[8]聚焦銀行反洗錢業(yè)務(wù)場景,將社區(qū)發(fā)現(xiàn)問題轉(zhuǎn)化為QUBO問題,利用量子退火機(jī)技術(shù)進(jìn)行求解,為異常社區(qū)發(fā)現(xiàn)提供了新思路。2024年,葉永金等人[9]將貨幣匯率套利問題轉(zhuǎn)化為QUBO問題,利用模擬退火算法對目標(biāo)問題進(jìn)行求解, 實(shí)現(xiàn)高效的套利分析。同年,Mattesi等人[10]將多元化目標(biāo)與夏普比率最大化目標(biāo)一起納入投資組合優(yōu)化模型,構(gòu)造了一個(gè)QUBO模型,并使用量子退火算法得到了優(yōu)化的投資組合策略。
量子QUBO-SVM技術(shù)在金融領(lǐng)域中的應(yīng)用研究
業(yè)務(wù)數(shù)據(jù)理解
本文所使用的銀行信用數(shù)據(jù)來自加州大學(xué)歐文分校(University of California,Irvine,UCI)提出的用于機(jī)器學(xué)習(xí)的數(shù)據(jù)庫。該數(shù)據(jù)庫包含數(shù)百個(gè)數(shù)據(jù)集, 其數(shù)目還在不斷增加。本文所使用的數(shù)據(jù)集是UCI數(shù)據(jù)庫中的德國信用數(shù)據(jù)集(German Credit Data),它源自德國的一家銀行,包含一系列與個(gè)人信用評估相關(guān)的特征,用以根據(jù)銀行信貸業(yè)務(wù)客戶信息來判別客戶是否有貸款違約傾向。該數(shù)據(jù)集共有21個(gè)字段,記錄了貸
款人基本信息及其貸款賬戶信用情況,其中包括20個(gè)解釋變量和一個(gè)響應(yīng)變量(表示信用是否良好),解釋變量包括13個(gè)離散型變量和7個(gè)連續(xù)型變量;數(shù)據(jù)樣本量為1000個(gè),其中“1”標(biāo)簽(信用不良)樣本占比約為30%。
模型構(gòu)建
傳統(tǒng)的S V M建模過程可以歸納為3個(gè)方面:間隔、對偶、核技巧。如對于一個(gè)包含d個(gè)特征的數(shù)據(jù)集構(gòu)建SVM算法模型,其中響應(yīng)變量取±1,算法的核心是找到一個(gè)超平面,可以很好的實(shí)現(xiàn)樣本分類,其表達(dá)式如下:
其中w和b是待求解的參數(shù),w為d維度向量;該超平面希望可以使得當(dāng)yn=1時(shí)wTxn+bgt;0,當(dāng)yn=-1 時(shí)wTxn+blt;0。對于w和b的優(yōu)化問題,可以通過“間隔”來定義目標(biāo)函數(shù),間隔的本質(zhì)是數(shù)據(jù)點(diǎn)到超平面的距離,目標(biāo)函數(shù)定義如下:
“間隔”的可視化表達(dá)如圖1所示。
上述優(yōu)化問題可以使用拉格朗日乘子法轉(zhuǎn)化為如下問題:
容易驗(yàn)證該優(yōu)化問題滿足KKT條件(Ka r u s h- Kuhn-Tucker Conditions),所以可以轉(zhuǎn)化為對偶問題:
通過求導(dǎo)運(yùn)算,可以將上述問題進(jìn)一步轉(zhuǎn)化為如下優(yōu)化問題:
這是一個(gè)標(biāo)準(zhǔn)的關(guān)于決策變量α 的二次規(guī)化(Quadratic Programming,QP)問題,其他量均是定值;可以通過引入二進(jìn)制輔助變量,將QP問題轉(zhuǎn)化為QUBO問題:通過引入K個(gè)二進(jìn)制變量,可以表示α 中的每個(gè)αi,即:
其中ti,k是二值變量;最終再通過引入懲罰系數(shù)可以得到最終的QUBO模型為:
在引入核函數(shù)的情況下僅需將上式的xj轉(zhuǎn)化為κ(xi,xj)。
通過上述轉(zhuǎn)化過程可以將SVM轉(zhuǎn)化為QU B O - SVM,具體表現(xiàn)形式為:
其中Q為n×k階方陣,Q中的每個(gè)元素定義如下:
通過求解二值變量t即可得到α,最后通過求得的α即可得到SVM算法模型的分類超平面。
本文使用D-W a v e 的量子-經(jīng)典混合求解算法(Quantum-Classical Hybrid Algorithm,QCHA) 進(jìn)行求解,該求解器是在構(gòu)建完QUBO矩陣后,通過循環(huán)運(yùn)算不斷更新最優(yōu)解。QCHA算法的關(guān)鍵步驟是將問題分解為具有較少獨(dú)立變量的子問題,這些子問題通過量子退火算法進(jìn)行求解,并使用其最優(yōu)解組合以更新全局解。這種方法有效利用了量子計(jì)算的優(yōu)勢。
實(shí)證分析
本文將數(shù)據(jù)劃分為訓(xùn)練集和測試集,其中訓(xùn)練集包含140個(gè)樣本,測試集包含860個(gè)樣本,隨機(jī)重復(fù)劃分
10組,旨在探索小樣本學(xué)習(xí)解決方案。針對每組數(shù)據(jù), 首先使用開源框架直接構(gòu)建SVM模型,然后將模型中參數(shù)優(yōu)化的部分轉(zhuǎn)化為QUBO問題,構(gòu)建QUBO-SVM 算法模型,使用QCHA算法進(jìn)行求解,同時(shí)也對比了模擬退火(Simulated Annealing,SA)算法的求解結(jié)果。基于10組數(shù)據(jù)的實(shí)證分析結(jié)果如表1所示。
表1展示了經(jīng)典SVM、量子QUBO-SVM和模擬退火QUBO-SVM三種算法模型的評估指標(biāo)對比情況, 經(jīng)典SVM在10組數(shù)據(jù)上的AUC平均值為0.69,而量子QUBO-SVM和模擬退火QUBO-SVM均達(dá)到了0.7, 從而說明了QUBO-SVM技術(shù)方案的有效性;然而,模擬退火QUBO-SVM在KS、Recall和Precision評估指標(biāo)上略低于量子QUBO-SVM。對于QUBO問題求解效果的比較,通常使用求解對應(yīng)的能量值(Energy)衡量,能量值越低效果越好。從表1可知,量子QUBO-SVM的Energy較模擬退火QUBO-SVM的Energy更低,說明該方案效果更優(yōu)。綜上,量子QUBO-SVM技術(shù)方案更具優(yōu)勢。
結(jié)語
本文面向金融應(yīng)用領(lǐng)域,提出了量子QUBO-SVM 技術(shù)方案,將傳統(tǒng)SVM的參數(shù)優(yōu)化問題轉(zhuǎn)化為QUBO 問題,形成QUBO-SVM算法模型,而后運(yùn)用量子優(yōu)化算法進(jìn)行求解。實(shí)證分析結(jié)果表明,量子QUBO-SVM技術(shù)方案在AUC、KS、Recall和Precision模型評估指標(biāo)方面較經(jīng)典SVM建模有一定提升,同時(shí)比模擬退火QUBO-SVM求解的能量值更低,是一種新興的量子機(jī)器學(xué)習(xí)技術(shù)方案。未來,隨著量子計(jì)算的進(jìn)一步發(fā)展,量子比特?cái)?shù)目更多,將可以有效提升模型的求解效率,為金融機(jī)構(gòu)數(shù)字化轉(zhuǎn)型和智能化發(fā)展提供新動(dòng)能、新方案。
【參考文獻(xiàn)】
[1] Cortes C,Vapnik V. Support-Vector Networks[J]. Machine Learning, 1995, 20(3):273-297.
[2]楊毓,蒙肖蓮.用支持向量機(jī)(SVM)構(gòu)建企業(yè)破產(chǎn)預(yù)測模型[J].金融研究, 2006(10):65-75.
[ 3 ] 李霖,李曼.基于S V M的銀行客戶流失預(yù)測分析——以某商業(yè)銀行VIP客戶流失為例[J].生產(chǎn)力研究, 2010(9):58-59.
[4]申晴,張連增.一種新的銀行信用風(fēng)險(xiǎn)識別方法: SVM-KNN組合模型[J].金融監(jiān)管研究,2020(7):23-37.
[5]李瑞祺,韓有攀.基于譜風(fēng)險(xiǎn)度量的支持向量機(jī)理論及在銀行信貸中的應(yīng)用[J].軟件,2021,42(11):56-58.
[6]吳永飛,紀(jì)瑞樸,王彥博,等.量子近似優(yōu)化算法在我國股票市場的應(yīng)用研究[J].銀行家,2021(10):120- 122.
[7]文凱,馬寅,王鵬,等.基于光量子計(jì)算的信用評分特征篩選研究報(bào)告[J].網(wǎng)絡(luò)安全與數(shù)據(jù)治理, 2022, 41(9):13-18.
[8]吳永飛,馬磊,等.量子社區(qū)發(fā)現(xiàn)算法在反洗錢業(yè)務(wù)的應(yīng)用探析[J].反洗錢研究,2023(6): 100-500.
[9]葉永金,吳永政,蘭冰,汪士.量子退火算法在貨幣交易市場的應(yīng)用研究[J].銀行家, 2024(5):116- 121.
[10]Mattesi M, Asproni L, Mattia C, et al. Diversifying Investments and Maximizing Sharpe Ratio: A Novel Quadratic Unconstrained Binary Optimization Formulation[J].Quantum Reports, 2024, 6(2).
(龍盈智達(dá)〔北京〕科技有限公司的周曉君、劉慧萍、曹曉峰、馮琳、張?jiān)?、楊璇對本文亦有貢獻(xiàn))
(作者單位:華夏銀行,
龍盈智達(dá)〔北京〕科技有限公司,
中科聚信信息技術(shù)〔北京〕有限公司)