關(guān)于大數(shù)據(jù)在金融行業(yè)中的運(yùn)用研究

周涵

摘要： 在高度信息化的今天，大數(shù)據(jù)已經(jīng)充斥在我們每個(gè)人的生活中，數(shù)據(jù)信息化也離我們?cè)絹碓浇?，不僅如此，在傳統(tǒng)金融行業(yè)里同樣也逐漸開始運(yùn)用大數(shù)據(jù)技術(shù)來分析市場(chǎng)走向以及人們的消費(fèi)習(xí)慣等等。如何從海量的大數(shù)據(jù)中挖掘出有價(jià)值的信息，并且利用其來做出正確的投資判斷，是本文研究的根本話題。

關(guān)鍵詞：計(jì)算機(jī)、大數(shù)據(jù)、金融、運(yùn)用模式

一、引言

眾所周知，金融是市場(chǎng)主體利用金融工具將資金從資金盈余方流向資金稀缺方的經(jīng)濟(jì)活動(dòng)?，F(xiàn)如今大數(shù)據(jù)的出現(xiàn)使各種數(shù)據(jù)飛速增長(zhǎng)，對(duì)大數(shù)據(jù)的研究和利用慢慢拓寬到了各個(gè)領(lǐng)域，而金融領(lǐng)域則是涉及最多的領(lǐng)域之一。

二、互聯(lián)網(wǎng)金融的相關(guān)概念與意義

從2013年開始互聯(lián)網(wǎng)金融開始興起，和傳統(tǒng)金融不同，互聯(lián)網(wǎng)金融是指用互聯(lián)網(wǎng)技術(shù)完成相關(guān)的金融活動(dòng)，這種新型金融模式突破了時(shí)間和空間的限制，使原有的服務(wù)成本大幅降低，如掌上銀行、移動(dòng)支付、網(wǎng)絡(luò)借貸、基金理財(cái)?shù)鹊?，這些原本需要去營(yíng)業(yè)廳辦理的業(yè)務(wù)如今在手機(jī)上就可以輕松做到。對(duì)于非傳統(tǒng)意義上的金融機(jī)構(gòu)以及個(gè)人來說，金融對(duì)于他們更像是余額寶等活期理財(cái)服務(wù)以及花唄、京東白條等小微貸服務(wù)，這些服務(wù)的最大共同點(diǎn)就是回款周期較長(zhǎng)，基本都是一個(gè)月左右甚至還有36期也就是三年時(shí)間，當(dāng)然以這種形式的小微貸貸款金額通常較小，對(duì)機(jī)構(gòu)來說，金額小意味著風(fēng)險(xiǎn)低，不用擔(dān)心用戶還不上款，而對(duì)于用戶來說買個(gè)手機(jī)可以分12期還款，他們可以買到自己想要的東西，同時(shí)也大大提高了手里現(xiàn)金的流動(dòng)度。對(duì)金融機(jī)構(gòu)、用戶和企業(yè)來說，這是一個(gè)雙贏的局面。對(duì)于傳統(tǒng)金融機(jī)構(gòu)來說，互聯(lián)網(wǎng)金融主要表現(xiàn)為網(wǎng)絡(luò)銀行業(yè)務(wù)，如工商銀行的網(wǎng)絡(luò)銀行業(yè)務(wù)占到了全部業(yè)務(wù)的78%，平均每秒就有6500筆業(yè)務(wù)產(chǎn)生。[1]

由此觀之，互聯(lián)網(wǎng)金融作為一種新的金融方式，在日常中起到了非常大的作用，也是傳統(tǒng)金融行業(yè)的一次技術(shù)革新。

三、大數(shù)據(jù)相關(guān)技術(shù)

3.1數(shù)據(jù)采集

數(shù)據(jù)采集就是從龐大的信息量中收集到各種各樣的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

數(shù)據(jù)庫(kù)采集：目前比較常見的傳輸數(shù)據(jù)的工具有Sqoop和ETL，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等等也依然是許多企業(yè)主要的數(shù)據(jù)存儲(chǔ)方式。對(duì)于 kettle 和 talend 本身，現(xiàn)在可以進(jìn)行大數(shù)據(jù)集成，使 hdfs、hbase 和當(dāng)前主流 nosql 數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步和集成成為可能。

Web 數(shù)據(jù)捕獲：這是一種通過 web 爬蟲或 web 公共 api 從 web 頁面獲取非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的方法，不僅如此，它還可以統(tǒng)一地結(jié)構(gòu)化為本地?cái)?shù)據(jù)。

3.2數(shù)據(jù)挖掘

大數(shù)據(jù)挖掘，需要大數(shù)據(jù)技術(shù)框架的支持，早期的Hadoop MapReduce框架，是解決大數(shù)據(jù)挖掘問題的第一代框架，而隨著數(shù)據(jù)處理需求的變化，緊隨其后又出現(xiàn)了很多的解決方案，比如說UCBerkeley的Spark，斯坦福大學(xué)的Phoenix等。

在龐大的數(shù)據(jù)量中尋找某種關(guān)系的被稱為無指導(dǎo)數(shù)據(jù)挖掘，而我們常用的分類、預(yù)測(cè)、估值等則屬于有指導(dǎo)的數(shù)據(jù)挖掘。目前，數(shù)據(jù)挖掘的算法主要包括神經(jīng)網(wǎng)絡(luò)法、決策樹法、遺傳算法、粗糙集法、關(guān)聯(lián)規(guī)則法等。

四、大數(shù)據(jù)技術(shù)在金融領(lǐng)域的運(yùn)用

4.1大數(shù)據(jù)在金融市場(chǎng)中的作用

大數(shù)據(jù)具有一個(gè)很重要的特性就是可以通過對(duì)現(xiàn)有采集到的數(shù)據(jù)進(jìn)行分析，從而對(duì)該事物進(jìn)行一個(gè)全方面的判斷與。而在金融行業(yè)里這更顯得尤為重要，我們可以借助于大規(guī)模的數(shù)據(jù)技術(shù)，幫助金融機(jī)構(gòu)在相關(guān)的金融衍生產(chǎn)品中進(jìn)行創(chuàng)新，通過對(duì)用戶的個(gè)人信息如愛好、收入等方面進(jìn)行分析，由此來推薦給他最適合他的金融產(chǎn)品，這是傳統(tǒng)金融行業(yè)所不能做到的。

4.2大數(shù)據(jù)在進(jìn)行金融投資中的作用

大數(shù)據(jù)技術(shù)的核心是利用相應(yīng)的計(jì)算機(jī)來掌握數(shù)據(jù)的價(jià)值，而機(jī)器學(xué)習(xí)則是利用我們來掌握數(shù)據(jù)的價(jià)值核心技術(shù)，對(duì)于利用大數(shù)據(jù)，機(jī)器學(xué)習(xí)非常重要。在股票等金融市場(chǎng)中，投資者可以使用機(jī)器學(xué)習(xí)中的相應(yīng)算法來選擇股票。本文介紹了隨機(jī)森林算法，隨機(jī)森林是一種將多樹與集成學(xué)習(xí)思想相結(jié)合的算法，它的基本單元是決策樹，每個(gè)決策樹是一個(gè)分類器，然后對(duì)于一個(gè)輸入樣本，n個(gè)樹將有 n 個(gè)分類結(jié)果。隨機(jī)森林集成了分類投票的所有結(jié)果，得票最多的類別被指定為最終輸出，這是最簡(jiǎn)單的裝袋思想。同時(shí)，隨機(jī)森林模型在訓(xùn)練完樣本之后，可以通過基尼系數(shù)來評(píng)價(jià)各個(gè)特征，這一點(diǎn)降低了機(jī)器學(xué)習(xí)方法“黑箱”的特性。通過選用股市常用的一些判別因子（如價(jià)值、成長(zhǎng)、動(dòng)量以及盈利等四大類因子）對(duì)股票走向進(jìn)行預(yù)測(cè)，在李斌等人所做的實(shí)驗(yàn)基礎(chǔ)上，基于A股市場(chǎng)的96個(gè)基本面異常因素，采用12種機(jī)器學(xué)習(xí)算法構(gòu)建股票收益預(yù)測(cè)模型和投資組合，表現(xiàn)最好的深度前饋網(wǎng)絡(luò)預(yù)測(cè)的多空組合可以獲得2.78%的月度收益。[2]因此，我們可以通過機(jī)器學(xué)習(xí)有效地預(yù)測(cè)股票等金融產(chǎn)品的未來方向。

4.3大數(shù)據(jù)在供應(yīng)鏈金融中的作用

供應(yīng)鏈管理是指在實(shí)現(xiàn)一定供應(yīng)鏈效益的前提下，通過對(duì)供應(yīng)商、制造商、倉(cāng)庫(kù)、配送中心和渠道商等實(shí)體進(jìn)行有效組裝而使整個(gè)供應(yīng)鏈系統(tǒng)成本達(dá)到最小的管理方法。[3]在如今大數(shù)據(jù)的背景下，供應(yīng)鏈金融也出現(xiàn)了更多不同的特點(diǎn)，一是速度快，這個(gè)快不僅僅說的是供應(yīng)物流速度快，也包括支付交易的速度快;二是可預(yù)測(cè)，我們可以通過對(duì)處于供應(yīng)鏈下流的的企業(yè)或者物流收貨人群進(jìn)行預(yù)估，從而得知哪種物流方式或者物流布局更適用于目標(biāo)客戶，減少成本提高效率。

五、結(jié)論

總的來說，大數(shù)據(jù)與現(xiàn)代的新金融相輔相成，文章解釋了相應(yīng)的計(jì)算機(jī)與大數(shù)據(jù)技術(shù)，并且分析了大數(shù)據(jù)在金融行業(yè)里所起到的作用，也討論了未來的方向。

參考文獻(xiàn)：

[1]姜超峰.供應(yīng)鏈金融服務(wù)創(chuàng)新[J].中國(guó)流通經(jīng)濟(jì)，2015，29（01）：64-67.

[2]李斌，林燕，唐文軒.ml-tea： 一種基于機(jī)器學(xué)習(xí)和技術(shù)分析的定量投資算法[ J ].系統(tǒng)工程理論與實(shí)踐，2017（5）：1081-1092

[3]田陽，陳智罡，宋新霞，李天明.區(qū)塊鏈在供應(yīng)鏈管理中的應(yīng)用綜述[J/OL].計(jì)算機(jī)工程與應(yīng)用：1-18[2021-07-25]