人工智能在證券投資交易領(lǐng)域的應(yīng)用研究

常 韜

（中國(guó)人民大學(xué) 信息學(xué)院，北京 100872）

1 前言

近年來計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)快速發(fā)展，深刻地影響和改變了人類社會(huì)生產(chǎn)和生活的各個(gè)方面。人工智能是計(jì)算機(jī)領(lǐng)域的技術(shù)至高點(diǎn)，很早以前人類就夢(mèng)想著有一天可以制造出能模擬甚至超過人類大腦的機(jī)器，來幫助人類解決遇到的難題，無數(shù)科學(xué)家和工程師為了這個(gè)目標(biāo)而不懈努力，隨著機(jī)器學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)技術(shù)的快速發(fā)展，這個(gè)目標(biāo)已經(jīng)初步實(shí)現(xiàn)，特別在證券投資領(lǐng)域已經(jīng)開始了越來越廣泛的應(yīng)用。人工智能是基于現(xiàn)代計(jì)算機(jī)系統(tǒng)硬件和軟件模擬人的認(rèn)知和推理機(jī)制，利用數(shù)學(xué)理論和方法獲取外界信息，對(duì)信息進(jìn)行自主處理和決策并輸出問題答案的技術(shù)。人工智能綜合了計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)、哲學(xué)和生物學(xué)，是人類工業(yè)文明和科技工程文明發(fā)展過程中為解決復(fù)雜問題而發(fā)展出來的技術(shù)結(jié)晶。證券市場(chǎng)具有影響因素多、數(shù)據(jù)變化迅速、信息不完全等特點(diǎn)，傳統(tǒng)的技術(shù)指標(biāo)和數(shù)據(jù)分析難以預(yù)測(cè)價(jià)格變化。而人工智能技術(shù)中的深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)能夠?qū)?fù)雜無規(guī)律數(shù)據(jù)進(jìn)行自動(dòng)學(xué)習(xí)和自適應(yīng)優(yōu)化。早在上世紀(jì)80年代美林證券就開始研究量化交易，2014年創(chuàng)立的人工智能分析處理引擎Kensho開始逐步取代金融分析師，標(biāo)志著人工智能具備分析預(yù)測(cè)證券市場(chǎng)的能力。

2 人工智能交易系統(tǒng)的優(yōu)點(diǎn)與強(qiáng)化學(xué)習(xí)的運(yùn)用

人工智能交易系統(tǒng)的主要功能是利用深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等計(jì)算機(jī)技術(shù)對(duì)大量的歷史交易數(shù)據(jù)進(jìn)行訓(xùn)練建模，通過特定算法發(fā)現(xiàn)隱藏的知識(shí)和規(guī)律，得到一個(gè)能在一定程度上預(yù)測(cè)未來交易行情的模型。人工智能技術(shù)主要包括神經(jīng)網(wǎng)絡(luò)、遺傳算法、模糊算法等。人工智能交易系統(tǒng)能夠自動(dòng)對(duì)資金在各個(gè)股票上進(jìn)行分配，控制風(fēng)險(xiǎn)和收益，由于投資證券的目標(biāo)中既要獲取最大收益又要盡量減少風(fēng)險(xiǎn)，而收益與風(fēng)險(xiǎn)是一個(gè)相互矛盾的關(guān)系，為了在能承受的風(fēng)險(xiǎn)下獲取最大收益，可以使用夏普公式來描述：

其中Rp表示投資組合的預(yù)期年化收益率，Rf表示年化無風(fēng)險(xiǎn)利率，σp表示投資組合年化收益率的標(biāo)準(zhǔn)差。夏普比率沒有區(qū)分波動(dòng)的好壞，索提諾比率在夏普比率的基礎(chǔ)上做了改進(jìn)，在計(jì)算波動(dòng)率時(shí)采用下行的標(biāo)準(zhǔn)差，因?yàn)樯蠞q的波動(dòng)不是風(fēng)險(xiǎn)。索提諾比率公式如下：

其中Rp表示投資組合的預(yù)期年化收益率，Rf表示年化無風(fēng)險(xiǎn)利率，σt表示投資組合年化收益率下跌的標(biāo)準(zhǔn)差。

2.1 人工智能交易系統(tǒng)的優(yōu)勢(shì)

最近10多年來中國(guó)股市經(jīng)歷多次起伏，跌多漲少，據(jù)媒體統(tǒng)計(jì)90%的散戶虧損，能贏利的少之又少。因?yàn)槿巳菀资艿角榫w的影響，患得患失，追漲殺跌，不但無法制定良好的策略而且很難嚴(yán)格執(zhí)行自己的交易策略，因此非常需要一種執(zhí)行力強(qiáng)的機(jī)器智能來幫助設(shè)計(jì)和執(zhí)行交易策略。隨著人工智能技術(shù)的快速發(fā)展，2016年3月谷歌阿爾法狗以4:1的比分戰(zhàn)勝圍棋大師李世石，加速了人工智能技術(shù)在各行各業(yè)的應(yīng)用和推廣[1]。目前人工智能已經(jīng)廣泛應(yīng)用于美國(guó)華爾街，2016年高盛已經(jīng)把600多個(gè)交易員減少到個(gè)位數(shù)，這充分說明人工智能開始主導(dǎo)證券交易。

人工智能顛覆了傳統(tǒng)的交易模式，完全自動(dòng)化的選股，根據(jù)自主交易策略，全自動(dòng)交易，當(dāng)符合入場(chǎng)條件時(shí)自動(dòng)買入，當(dāng)股票價(jià)格高估時(shí)自動(dòng)賣出，自動(dòng)實(shí)現(xiàn)止盈止損和倉位管理，還能利用各種技術(shù)指標(biāo)和參數(shù)進(jìn)行自動(dòng)分析和決策，能夠以毫秒的時(shí)間間隔進(jìn)行高頻交易。人工智能系統(tǒng)能夠從歷史交易數(shù)據(jù)中進(jìn)行自主學(xué)習(xí)，利用學(xué)會(huì)的知識(shí)和數(shù)學(xué)理論對(duì)證券投資過程中的信息不完全問題進(jìn)行判斷決策，得出風(fēng)險(xiǎn)可控前提下收益最大的證券投資組合，并且在交易過程實(shí)踐中不斷的學(xué)習(xí)和試錯(cuò)，修改系統(tǒng)本身的參數(shù)和權(quán)重，達(dá)到交易系統(tǒng)神經(jīng)網(wǎng)絡(luò)的最優(yōu)化狀態(tài)。Abe使用從1990年到2016年的MSCI指數(shù)中的319只成分股的月度數(shù)據(jù)，分別使用深度神經(jīng)網(wǎng)絡(luò)，隨機(jī)森林和支持向量機(jī)預(yù)測(cè)下一個(gè)月的收益率，結(jié)果表明深度神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)準(zhǔn)確率最高[2]。人工智能神經(jīng)網(wǎng)絡(luò)還能夠?qū)ψC券類型進(jìn)行自主聚類和證券特征的抽取，通過隨機(jī)搜索算法像生物進(jìn)化一樣尋找出最適應(yīng)當(dāng)前證券市場(chǎng)的決策算法，這樣就避免了傳統(tǒng)數(shù)值算法包括牛頓法和共扼算法容易導(dǎo)致的局部最優(yōu)的問題。

2.2 人工智能交易系統(tǒng)依賴的證券理論

1952年，馬科維茨首次提出了馬科維茨理論，在給定風(fēng)險(xiǎn)條件下，通過不同比例分配資金投資多種證券得到最大可能收益的投資方法。從20世紀(jì)30年代以來，金融數(shù)學(xué)得到不斷的發(fā)展，數(shù)學(xué)家們不斷研究尋找各種證券資產(chǎn)的定價(jià)模型，其中比較著名的有布萊克-斯科爾斯期權(quán)定價(jià)公式，該方法已經(jīng)成為金融機(jī)構(gòu)設(shè)計(jì)新的金融產(chǎn)品的重要研究方法。斯蒂芬羅斯的套利理論和美國(guó)學(xué)者威廉夏普的資本資產(chǎn)定價(jià)理論也為人工智能交易系統(tǒng)奠定了堅(jiān)實(shí)基礎(chǔ)。愛德華索普出版的《戰(zhàn)勝市場(chǎng)》，標(biāo)志著量化交易的開始，利用計(jì)算機(jī)算法和程序從證券市場(chǎng)的歷史記錄中尋找能得到最大收益的多種大概率技術(shù)指標(biāo)，減少人類情緒和貪念帶來的影響，從而發(fā)揮計(jì)算機(jī)程序算法的優(yōu)勢(shì)作出最理性的決策。人工智能交易技術(shù)就是在量化交易的基礎(chǔ)上結(jié)合最新的計(jì)算機(jī)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展而來的。

人工智能是否能夠在一定程序上預(yù)測(cè)證券市場(chǎng)的價(jià)格變化，需要對(duì)證券價(jià)格變化理論進(jìn)行研究。目前關(guān)于證券交易市場(chǎng)漲跌原理的主要理論有以下幾種：隨機(jī)漫步理論，現(xiàn)代資產(chǎn)組合理論，有效市場(chǎng)假說，行為金融學(xué)理論。

以上4個(gè)證券交易市場(chǎng)漲跌理論都從各自的立場(chǎng)對(duì)市場(chǎng)價(jià)格變化作出了一定程序的解釋，但都存在比較明顯的缺陷，無法完全解釋真實(shí)世界的證券價(jià)格變化原因。于是學(xué)者安德魯（Andrew Lo）提出了適應(yīng)性市場(chǎng)假說（Adaptive Markets Hypothesis簡(jiǎn)稱AMH），試圖協(xié)調(diào)有效市場(chǎng)假說和行為經(jīng)濟(jì)學(xué)之間的矛盾，比以往理論能更好地解釋市場(chǎng)價(jià)格變化；該理論首次將生物進(jìn)化原理應(yīng)用到證券市場(chǎng)，認(rèn)為市場(chǎng)中的每個(gè)個(gè)體和組織基于贏利進(jìn)行決策，個(gè)體既會(huì)學(xué)習(xí)和適應(yīng)環(huán)境，同時(shí)也會(huì)出錯(cuò)，市場(chǎng)中存在競(jìng)爭(zhēng)，競(jìng)爭(zhēng)導(dǎo)致適應(yīng)市場(chǎng)變化的個(gè)體能夠生存和發(fā)展，而不能適應(yīng)市場(chǎng)環(huán)境，虧損的個(gè)體被逐漸淘汰，形成一種個(gè)體不斷適應(yīng)市場(chǎng)環(huán)境的動(dòng)態(tài)變化過程。適應(yīng)性市場(chǎng)假說理論比以往理論更好地解釋了證券市場(chǎng)價(jià)格變化的原因，也為把人工智能技術(shù)應(yīng)用到證券投資領(lǐng)域提供了一定的理論依據(jù)。

2.3 強(qiáng)化學(xué)習(xí)與智能體

根據(jù)AMH理論,證券市場(chǎng)中的個(gè)人投資者、基金、機(jī)構(gòu)投資者、投資公司都是以贏利作為唯一目標(biāo)，在市場(chǎng)中尋找投資機(jī)會(huì)，這些參與者的理性是有限的，有時(shí)會(huì)出現(xiàn)錯(cuò)誤，同時(shí)又在不斷地學(xué)習(xí)和適應(yīng)市場(chǎng)的變化，通過對(duì)市場(chǎng)環(huán)境的感知作出買賣或觀望的決策，市場(chǎng)會(huì)給予判斷正確的參與者一定的獎(jiǎng)勵(lì)（Reward），同時(shí)通過虧損來懲罰判斷錯(cuò)誤的參與者，從而影響市場(chǎng)價(jià)格的不斷變化。通過上述分析很容易聯(lián)想到使用人工智能中的強(qiáng)化學(xué)習(xí)來模擬市場(chǎng)中的參與者的適應(yīng)過程。強(qiáng)化學(xué)習(xí)的原理是：如果智能體（Agent）的一個(gè)行為導(dǎo)致環(huán)境的獎(jiǎng)勵(lì)，隨后智能體產(chǎn)生這個(gè)行為的趨勢(shì)就會(huì)增加；相反如果智能體的一個(gè)行為沒有獎(jiǎng)勵(lì)或者受到懲罰，那么產(chǎn)生這個(gè)行為的趨勢(shì)就會(huì)減少；智能體能夠合作和競(jìng)爭(zhēng)學(xué)習(xí)[3]；強(qiáng)化學(xué)習(xí)就的目標(biāo)是學(xué)習(xí)到一個(gè)能夠得到環(huán)境最大獎(jiǎng)勵(lì)的行為策略。

橋水基金創(chuàng)始人在《原則》中提出“投資是一個(gè)不斷反復(fù)的過程，下注有時(shí)會(huì)失敗，學(xué)習(xí)新知識(shí)并重新嘗試，在這個(gè)過程中可以通過反復(fù)試驗(yàn)來改進(jìn)自己的決策”。這種方法非常適合使用人工智能的強(qiáng)化學(xué)習(xí)來模擬。證券市場(chǎng)本質(zhì)上是一個(gè)通過連續(xù)決策尋找贏利的過程，交易策略可以抽象成一個(gè)強(qiáng)化學(xué)習(xí)中的智能體，智能體可以根據(jù)當(dāng)前證券市場(chǎng)的信息和狀態(tài)，生成一個(gè)交易的指令，然后發(fā)送到執(zhí)行程序進(jìn)行執(zhí)行操作，經(jīng)過一段時(shí)間后，系統(tǒng)會(huì)根據(jù)當(dāng)前的市場(chǎng)價(jià)格計(jì)算每個(gè)交易的贏虧，從而生成一個(gè)獎(jiǎng)勵(lì)或懲罰值。智能體會(huì)根據(jù)每個(gè)策略得到的獎(jiǎng)勵(lì)值調(diào)整自身的行為，以使自身獲得更多的獎(jiǎng)勵(lì)值。由于智能體決策包含選擇什么證券，何時(shí)買賣以及使用多少金額，這些變量的組合會(huì)非常巨大，因此需要生成多個(gè)智能體并進(jìn)行訓(xùn)練，一般當(dāng)訓(xùn)練超過百萬次時(shí)，智能體達(dá)到相對(duì)穩(wěn)定的狀態(tài)，經(jīng)常虧損的智能體將被淘汰，經(jīng)常贏利的智能體已經(jīng)學(xué)會(huì)了如何適應(yīng)市場(chǎng)并做出正確的交易策略。這個(gè)贏利最多、生存最久的智能體就是人功智能交易系統(tǒng)所需要的智能體，但是市場(chǎng)是瞬息萬變的，當(dāng)前的最優(yōu)策略，并不代表未來的最優(yōu)策略，所以穩(wěn)定的智能體仍然需要不斷地學(xué)習(xí)和適應(yīng)動(dòng)態(tài)的證券市場(chǎng)。

2.4 強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)函數(shù)

如何設(shè)計(jì)一個(gè)合適的獎(jiǎng)勵(lì)函數(shù)是增加智能體決策能力的關(guān)鍵，獎(jiǎng)勵(lì)函數(shù)實(shí)質(zhì)上就是一個(gè)目標(biāo)函數(shù)，智能體使用獎(jiǎng)勵(lì)函數(shù)來判斷自己是否正在向正確的方向進(jìn)化。有兩種設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)的方法：第一種是監(jiān)督式的學(xué)習(xí)，對(duì)智能體的買入價(jià)格、倉位控制、賣出價(jià)格等進(jìn)行打分，表現(xiàn)好的打高分，表現(xiàn)不好的打低分。理論上可以監(jiān)視訓(xùn)練過程，為每一個(gè)操作打分進(jìn)行獎(jiǎng)勵(lì)，但是這種方法工作量極大，無法大規(guī)模使用，而且人類也難以判斷影響證券市場(chǎng)的因素；第二種方法是強(qiáng)化學(xué)習(xí)，能夠自動(dòng)嘗試各種操作，不斷調(diào)整參數(shù)，進(jìn)行數(shù)百萬次的迭代，以找到獲得最大獎(jiǎng)勵(lì)逼近目標(biāo)的最有效方法。Moody提出的RRL算法就是一種在線的強(qiáng)化學(xué)習(xí)模式，能夠找到隨機(jī)動(dòng)態(tài)規(guī)劃問題的近似解[4]。RRL算法的預(yù)測(cè)模型公式如下：

其中Ft代表在t時(shí)刻的操作(買或賣)，向量w是神經(jīng)網(wǎng)絡(luò)的權(quán)重，變量v是閾值，rt代表收益率，rt=ln(pt)-ln(pt-1),用對(duì)數(shù)收益率比價(jià)格差值更能體現(xiàn)變動(dòng)。此預(yù)測(cè)模型在預(yù)測(cè)證券市場(chǎng)的價(jià)格變化方面優(yōu)于以往的模型。

3 人工智能交易系統(tǒng)的組成與應(yīng)用安全

3.1 人工智能交易系統(tǒng)組成結(jié)構(gòu)

在實(shí)際運(yùn)用中人工智能交易系統(tǒng)一般包括以下幾個(gè)部分，用戶需求接口模塊，證券市場(chǎng)綜合信息處理模塊，交易執(zhí)行模塊，投資結(jié)果分析和報(bào)表模塊，和最重要的交易決策模塊。國(guó)外的研究表明，人工智能交易系統(tǒng)在預(yù)測(cè)股票市場(chǎng)價(jià)格的變化趨勢(shì)方面已經(jīng)超過了普通的證券分析師，華爾街的許多投行已經(jīng)大規(guī)模運(yùn)用人工智能系統(tǒng)進(jìn)行證券投資，取得了非常不錯(cuò)的成績(jī)。

3.2 人工智能交易系統(tǒng)的安全性

為了加強(qiáng)人工智能交易系統(tǒng)的安全性和可靠性，防止資金和機(jī)密數(shù)據(jù)被黑客篡改，可以使用目前最安全可靠的區(qū)塊鏈技術(shù)，充分利用區(qū)塊鏈分布式系統(tǒng)的安全性和不可篡改性，把交易數(shù)據(jù)和重要信息存入?yún)^(qū)塊鏈系統(tǒng)中，通過各個(gè)節(jié)點(diǎn)運(yùn)行的一套公開透明的區(qū)塊鏈算法來保障存入數(shù)據(jù)的安全，使得證券交易網(wǎng)絡(luò)中各個(gè)參與實(shí)體能夠相互信任，對(duì)所發(fā)出和接收的信息無法否認(rèn)和修改，任何單個(gè)節(jié)點(diǎn)企圖對(duì)數(shù)據(jù)的修改都是無效的，從而完全保障人工智能交易系統(tǒng)的數(shù)據(jù)安全性，為人工智能自主決策和交易提供信息安全上的保障。

為了保證人工智能交易系統(tǒng)的安全性，防止非授權(quán)的修改和數(shù)據(jù)泄露，企業(yè)級(jí)的人工智能交易系統(tǒng)必須符合3A的安全性標(biāo)準(zhǔn)，包括授權(quán)（Uthorization），驗(yàn)證（Authentieation）和審核（Auditing）。任何用戶要想進(jìn)入人工智能交易系統(tǒng)，必須經(jīng)過嚴(yán)格注冊(cè)許可的用戶名和密碼，密碼必須保證一定的長(zhǎng)度和復(fù)雜性，同時(shí)定期強(qiáng)制更新，防止被破解和撞庫攻擊；同時(shí)設(shè)置一個(gè)每天最大的登錄失敗次數(shù)；用戶登錄后還只能有普通的查詢和訪問權(quán)限，如果要訪問機(jī)密信息和對(duì)系統(tǒng)進(jìn)行修改，必須要有管理員的授權(quán)和認(rèn)可，并實(shí)施最小化授權(quán)策略，保障交易系統(tǒng)的安全性；為了更好地保護(hù)人工智能交易，每隔一段時(shí)間還需要通過不可刪除的用戶操作日志對(duì)所有的用戶操作和行為進(jìn)行審計(jì)，這樣可以發(fā)現(xiàn)非法訪問和修改的行為，同時(shí)能夠阻止任何潛在的非法企圖，最大限度地保護(hù)人工智能交易系統(tǒng)的數(shù)據(jù)安全和資金安全。

3.3 人工智能交易系統(tǒng)的風(fēng)險(xiǎn)和應(yīng)對(duì)

霍金認(rèn)為發(fā)明人工智能是人類歷史上最好的事情，也可能是最壞的事情。人工智能的關(guān)鍵技術(shù)人工神經(jīng)網(wǎng)絡(luò)幾乎可以模擬任意函數(shù)，在不知道未知變量之間依賴關(guān)系的情況下抓取變量之間的非線性關(guān)系得到一個(gè)近似函數(shù)。但是計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的處理過程是一個(gè)黑箱，難以對(duì)計(jì)算結(jié)果進(jìn)行解釋和判斷，有可能得到一個(gè)出乎意料的結(jié)果；另外神經(jīng)網(wǎng)絡(luò)往往針對(duì)某一種具體環(huán)境條件進(jìn)行優(yōu)化和適應(yīng)，一旦環(huán)境條件發(fā)生大的變化，以往的算法就容易失效，因此人工智能并非完全可靠。人工智能系統(tǒng)如果達(dá)到一定的智能，有可能偏離人類管理者對(duì)于系統(tǒng)的目標(biāo)和期望，由于人工智能交易系統(tǒng)超高速的交易能力，一旦掌握巨量資金的多個(gè)人工智能實(shí)體，為了追求最大收益進(jìn)行零和博弈，可能出現(xiàn)交易規(guī)模越來越大，交易速度越來越快的現(xiàn)象，引起證券市場(chǎng)劇烈震蕩，甚至可能導(dǎo)致交易市場(chǎng)崩潰。任何人工智能系統(tǒng)都不可能是完美的，必然存在其失效的情況和條件；因此為了防止人工智能交易系統(tǒng)的失效可能，必須在極端情況下能夠允許人類管理員接管并獲得系統(tǒng)控制權(quán)，也就是說要保證人類管理者有能力和責(zé)任在人工智能交易系統(tǒng)出錯(cuò)時(shí)關(guān)閉系統(tǒng)并接管系統(tǒng)。

4 結(jié)論與建議

本文回顧了人工智能技術(shù)的發(fā)展現(xiàn)狀和應(yīng)用情況，分析了適應(yīng)性市場(chǎng)假說理論解釋強(qiáng)化學(xué)習(xí)智能體對(duì)證券市場(chǎng)價(jià)格變化的預(yù)測(cè)原理，得出了神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)在證券市場(chǎng)價(jià)格預(yù)測(cè)領(lǐng)域比以往的傳統(tǒng)方法有明顯優(yōu)勢(shì)的結(jié)論，提出可以通過3A安全性標(biāo)準(zhǔn)來保障人工智能交易系統(tǒng)的安全性，同時(shí)提出了為避免災(zāi)難當(dāng)系統(tǒng)失效時(shí)允許人工接管的應(yīng)對(duì)方法。

人工智能技術(shù)在證券投資中將會(huì)有更廣泛和深入的應(yīng)用，目前的技術(shù)仍然還有很大的提升空間，未來需要對(duì)神經(jīng)網(wǎng)絡(luò)的模型算法作持續(xù)的改進(jìn)以提高強(qiáng)化學(xué)習(xí)在證券價(jià)格方面的預(yù)測(cè)能力，同時(shí)必須注重增強(qiáng)人工智能交易系統(tǒng)的安全性和風(fēng)險(xiǎn)控制能力。