大數(shù)據(jù)分析在證券投資中的應(yīng)用及問題分析

一、前言

伴隨著大數(shù)據(jù)技術(shù)的高速發(fā)展，機構(gòu)投資者開始運用大數(shù)據(jù)分析來處理證券投資中遇到的一些問題。證券公司利用大數(shù)據(jù)分析處理股市交易中產(chǎn)生的大量信息數(shù)據(jù)來進行股票分析，并且通過挖掘搜集社交網(wǎng)絡(luò)的相關(guān)信息，通過分析來判斷市場中的投資情緒，把握市場中的第一動向，將其作為依據(jù)進行投資決策，除此之外，對股票的結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)進行分析，能夠做出比人工更為理性的量化投資，提高收益率。

二、大數(shù)據(jù)分析的相關(guān)概念

（一）什么是大數(shù)據(jù)分析

大數(shù)據(jù)即為數(shù)據(jù)量十分巨大的信息，其規(guī)模巨大到無法通過人工在合理時間內(nèi)獲取并整理分析成為人類所能解讀的信息。對大數(shù)據(jù)進行分析的基礎(chǔ)就是從物質(zhì)世界，互聯(lián)網(wǎng)以及其他數(shù)據(jù)源中獲取到各種結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及非數(shù)據(jù)化的各種信息，將其存儲到處理器中，使用計算機技術(shù)進行處理分析，利用高效的算法進行關(guān)聯(lián)分析，從中發(fā)現(xiàn)價值。從大數(shù)據(jù)中得到數(shù)據(jù)中的內(nèi)含價值，這也就是大數(shù)據(jù)分析的目的所在。

（二）大數(shù)據(jù)分析的基本方面

大數(shù)據(jù)分析包含六個基本方面，分別是：1.可視化分析，將數(shù)據(jù)信息轉(zhuǎn)化為圖表等形式的可視化信息，清晰直觀；2.數(shù)據(jù)挖掘算法，從大量的數(shù)據(jù)中有效地挖掘所需的數(shù)據(jù)信息，優(yōu)化處理分析的速度；3.預(yù)測性分析能力。通過可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷；4.語義引擎，使用一系列的工具從非結(jié)構(gòu)化的數(shù)據(jù)中解析，提取，分析數(shù)據(jù)，從“文檔”中智能提取信息；5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。使用高效率的流程和快捷的工具來處理數(shù)據(jù)，保證分析結(jié)果的高質(zhì)量；6.數(shù)據(jù)存儲，數(shù)據(jù)倉庫。按照一定結(jié)構(gòu)和模式建立關(guān)系型的數(shù)據(jù)庫將數(shù)據(jù)存儲起來，便于對數(shù)據(jù)進行查詢以及調(diào)用分析。

三、大數(shù)據(jù)分析在證券投資中的應(yīng)用

（一）股票分析

股票分析的內(nèi)容包含兩個方面，分別是技術(shù)分析和基本面分析。

1.基本面分析

在廣義上，基本面分析是指將經(jīng)濟學(xué)當(dāng)中供求關(guān)系原理作為基礎(chǔ)，通過對歷史的經(jīng)濟數(shù)據(jù)以及政治環(huán)境，要素主要包含宏觀經(jīng)濟狀況（利率水平、通貨膨脹等）、微觀經(jīng)濟情況（企業(yè)素質(zhì)等）以及政治情況等進行分析來對金融市場走勢進行分析。從狹義上來說，基本面分析則是指對廣義基本面分析中的微觀經(jīng)濟狀況進行分析，要素主要包含企業(yè)報表中的財務(wù)指標(biāo)、管理人員素質(zhì)、所在行業(yè)發(fā)展情況、主要產(chǎn)品競爭力等。大數(shù)據(jù)分析主要是使用相關(guān)算法，按照投資者所感興趣的指標(biāo)挖掘出符合投資者需求的股票，建立相關(guān)規(guī)則從中尋找股市中符合要求的股票進行投資。

2.技術(shù)分析

技術(shù)分析則是通過研究市場行為來判斷市場運行趨勢，通過跟隨市場運行趨勢的周期性變化來進行股票及其他金融衍生品交易的決策。技術(shù)分析認(rèn)為市場行為是重復(fù)的，股票市場中的歷史將會重演，若市場是有效市場?；谌斯ど窠?jīng)網(wǎng)絡(luò)算法的股票技術(shù)分析主要通過輸入預(yù)測樣本，設(shè)置目標(biāo)變量，對其打分，之后進行預(yù)測并將預(yù)測值與實際值相比較，最終通過建立擬合方程，得出預(yù)測值與真實值之間的關(guān)系，從而為投資決策提供參考。

（二）投資情緒分析

廣義上看，投資者情緒包含著眾多能夠影響投資者對證券的估值以及市場預(yù)期的因素；從狹義上看，投資者情緒分析僅僅研究廣義上眾多因素中的經(jīng)濟變量和其他因素。對于券商與相關(guān)的研究者來說，投資者情緒的測量是一個難題。如何對投資者情緒進行量化分析，這對證券市場研究來說至關(guān)重要。

在投資情緒分析中，通過獲取網(wǎng)民經(jīng)過微博、論壇和博客中的網(wǎng)絡(luò)文本信息，從雜亂無序的網(wǎng)絡(luò)媒體信息中獲取有價值的信息，把非結(jié)構(gòu)化的文本信息轉(zhuǎn)化為結(jié)構(gòu)化文本信息，從文本信息中提取投資者情緒測評指標(biāo)，結(jié)合屬性詞典和情感詞典，應(yīng)用情感分析引擎，獲得投資者情緒分析結(jié)果。從數(shù)據(jù)量如此巨大的文本信息中挖掘到有價值的信息，也正是大數(shù)據(jù)分析的長處所在。

（三）量化投資

量化投資是指對金融市場和產(chǎn)品信息進行量化分析，根據(jù)歷史交易和相關(guān)數(shù)據(jù)建立模型，由模型做出投資決定，再根據(jù)算法自動下單完成交易。大數(shù)據(jù)分析所應(yīng)用到的一系列分析工具，如數(shù)據(jù)挖掘、人工智能、支持向量機等分析工具，使得金融投資實現(xiàn)了高頻化、智能化。大數(shù)據(jù)分析技術(shù)在證券量化投資中的應(yīng)用可根據(jù)數(shù)據(jù)結(jié)構(gòu)的不同分為兩種應(yīng)用模式，分別為結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用與非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用。而結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用更為普遍。

結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用。在量化投資中，結(jié)構(gòu)化數(shù)據(jù)應(yīng)用主要集中于那些人們無法利用的極為短暫的市場變化中尋求獲利的計算機化交易，而這被稱之為高頻交易。比如某種證券買入價與賣出價差價的微小變化。在交易量大、交易次數(shù)多、持倉日短的高頻交易中，計算機每秒都要處理大量的結(jié)構(gòu)化數(shù)據(jù)。雖然高頻交易的每筆收益率很低，但是總體收益比較穩(wěn)定。

非結(jié)構(gòu)化數(shù)據(jù)當(dāng)下在量化投資領(lǐng)域的應(yīng)用并不普遍，但是業(yè)界正在進行大量的嘗試。非結(jié)構(gòu)化數(shù)據(jù)能夠提供有價值的信息并進而獲得超額利潤，這推動了更多的公司在這方面加大投入，并取得了一定成果。

四、大數(shù)據(jù)分析應(yīng)用帶來的問題

（一）大數(shù)據(jù)安全

大數(shù)據(jù)普遍存在巨大的數(shù)據(jù)安全需求。由于大數(shù)據(jù)具有比較高的價值密度，往往是眾多黑客眼中的一塊肥肉，因此吸引了大量的攻擊者鋌而走險。在2013年與2014年，全球互聯(lián)網(wǎng)巨頭雅虎曾被黑客攻破了用戶賬戶保護算法，分別導(dǎo)致了超過10億以及5億的賬戶信息泄露，其內(nèi)容涉及用戶姓名、電子郵箱、電話號碼、出生日期和部分登錄密碼。我國也暴發(fā)過“2000萬條酒店開房數(shù)據(jù)泄露”等一些安全事件，引起了全社會的廣泛關(guān)注。除了外部盜取帶來的風(fēng)險，內(nèi)部人員盜竊數(shù)據(jù)而導(dǎo)致?lián)p失的風(fēng)險也應(yīng)當(dāng)重點關(guān)注。2017年，我國某著名互聯(lián)網(wǎng)公司內(nèi)部員工盜取并販賣涉及交通、物流、醫(yī)療、社交、銀行等個人信息50億條，通過各種方式在網(wǎng)絡(luò)黑市販賣。

（二）大數(shù)據(jù)隱私保護

大數(shù)據(jù)普遍還存在隱私保護不善的問題。個人隱私泄露不僅會為用戶帶來嚴(yán)重的騷擾問題，也可能會讓用戶以及親友面臨遭受詐騙的風(fēng)險，從而對用戶造成極大的侵害。除此之外，人們面臨的威脅還有基于大數(shù)據(jù)對人們狀態(tài)以及行為的預(yù)測。隨著深度學(xué)習(xí)等人工智能技術(shù)的快速發(fā)展，通過對用戶行為建模與分析，個人行為規(guī)律可以被更為準(zhǔn)確地預(yù)測與識別，甚至刻意隱藏的敏感屬性可以被推測出來。在社交網(wǎng)絡(luò)中，可以通過用戶的朋友具有的屬性、用戶加入的群組等推測用戶可能具有的屬性，用戶隱藏的敏感屬性存在著挖掘和被公布的風(fēng)險。例如通過分析用戶的twitter信息，可以發(fā)現(xiàn)用戶的政治傾向、消費習(xí)慣等。除此之外，研究者基于用戶的歷史軌跡建立隱馬爾可夫模型，利用此模型可成功地對用戶出行的目的地進行預(yù)測。一旦被不法分子獲取到這些信息，將對用戶造成難以想象的后果。

五、如何應(yīng)對大數(shù)據(jù)分析在應(yīng)用中帶來的問題

（一）健全大數(shù)據(jù)的相關(guān)法律法規(guī)及使用規(guī)范

由于法律法規(guī)以及監(jiān)管層面的缺乏，用戶數(shù)據(jù)收集、存儲、管理與使用等缺乏規(guī)范，單純依靠企業(yè)的自律無法切實保障用戶隱私安全。在商業(yè)化場景中，用戶應(yīng)有權(quán)決定自己的信息如何被利用，實現(xiàn)用戶可控的隱私保護。隨著科技進步的高速發(fā)展以及互聯(lián)網(wǎng)技術(shù)的快速推廣應(yīng)用，健全法律法規(guī)為應(yīng)用新興技術(shù)、保護人民利益保駕護航迫在眉睫。從國家層面制訂相關(guān)法律法規(guī)來保障大數(shù)據(jù)的安全能夠從法律層面上保障用戶的切身利益，能夠在懲處違法犯罪分子時做到有法可依，起到警示不法分子，懲戒犯罪分子的作用，制訂健全使用規(guī)范能夠為企業(yè)提供一套行為指南，避免缺乏自律的企業(yè)肆無忌憚地濫用大數(shù)據(jù)，以法律法規(guī)或行業(yè)規(guī)范的形式確定用戶對個人信息利用的決定權(quán)利。例如用戶可以決定自己的信息何時以何種形式披露，何時被銷毀。

（二）升級信息安全技術(shù)保障信息安全

作為計算機技術(shù)發(fā)展的成果，要想繼續(xù)擴大應(yīng)用，在更重要更緊要的領(lǐng)域進行應(yīng)用，信息安全必須在技術(shù)層面上得到保障。黑客通過企業(yè)的技術(shù)漏洞從企業(yè)的服務(wù)器中竊取數(shù)據(jù)，而技術(shù)漏洞則只能通過升級技術(shù)手段來加以彌補，相關(guān)企業(yè)必須將培養(yǎng)技術(shù)人才以及研發(fā)信息安全技術(shù)作為公司的戰(zhàn)略性規(guī)劃并且加大投入。作為全球數(shù)據(jù)存儲系統(tǒng)的壟斷寡頭，EMC、ORACLE、IBM等公司所擁有的高端的數(shù)據(jù)存儲技術(shù)為金融業(yè)的信息安全打下了堅實的技術(shù)基礎(chǔ)，為眾多行業(yè)，尤其是金融業(yè)提供了杰出的數(shù)據(jù)存儲服務(wù)以及IT解決辦法，客戶群遍及全球。而在當(dāng)下，我國正與美國進行的博弈正是科學(xué)技術(shù)的博弈，美國對我國的技術(shù)封鎖也讓我們明白核心技術(shù)必須掌握在自己手中，依靠美國公司的技術(shù)不是長久之計，我國的數(shù)據(jù)安全終究也只能依靠我國的技術(shù)來提供根本保障。