大數(shù)據(jù)在計量經(jīng)濟學(xué)中的應(yīng)用與簡析

丁超群

（廣東信源物流設(shè)備有限公司，廣東 廣州 510000）

引言

當前，經(jīng)過長時間的以及工業(yè)經(jīng)濟的發(fā)展以及經(jīng)濟的高速發(fā)展，我國經(jīng)濟發(fā)展的新常態(tài)化程度不斷發(fā)展，經(jīng)濟發(fā)展過程中不斷出現(xiàn)各種新型的產(chǎn)業(yè)形態(tài)以及經(jīng)濟發(fā)展新形勢，這就導(dǎo)致了我國經(jīng)濟發(fā)展中潛在的經(jīng)濟規(guī)律發(fā)生了改變，計量經(jīng)濟學(xué)作為分析經(jīng)濟發(fā)展客觀規(guī)律的有效手段是經(jīng)濟新常態(tài)下促進經(jīng)濟新格局構(gòu)建以及推動經(jīng)濟穩(wěn)步發(fā)展的關(guān)鍵。[1]計量經(jīng)濟學(xué)與經(jīng)濟學(xué)進行深入融合對宏觀經(jīng)濟市場進行研究和分析不僅可以有效地創(chuàng)新經(jīng)濟發(fā)展路徑，而且對發(fā)現(xiàn)和解決宏觀經(jīng)濟中存在的風(fēng)險具有重要意義。

一、處理大數(shù)據(jù)的工具

歷史上，經(jīng)濟學(xué)家一直處理電子表格中顯示的數(shù)據(jù)，如果電子表格中有超過100萬行數(shù)據(jù)，那就需要將其存儲在諸如MySQL之類的關(guān)系數(shù)據(jù)庫中。由于計算機中介交易的興起，許多公司發(fā)現(xiàn)有必要開發(fā)每天處理數(shù)十億筆交易的系統(tǒng)。例如，谷歌已經(jīng)完成過30萬億次網(wǎng)址抓取，平均每天超過200億次，每個月響應(yīng)1000億個搜索查詢。公司可以通過租賃來數(shù)據(jù)存儲和處理的能力，將以前處理大數(shù)據(jù)的固定成本轉(zhuǎn)變?yōu)榭勺兂杀?，降低了處理大?shù)據(jù)的門檻。

二、宏觀經(jīng)濟發(fā)展新形勢

（一）經(jīng)濟發(fā)展中的能源消耗較大的工業(yè)以及附加值較小的產(chǎn)業(yè)在經(jīng)濟新常態(tài)下逐步喪失優(yōu)勢

經(jīng)濟新常態(tài)下傳統(tǒng)工業(yè)以及技術(shù)含量較低，不利于經(jīng)濟發(fā)展質(zhì)量的提升，隨著供給側(cè)結(jié)構(gòu)性改革的推進這類產(chǎn)業(yè)在經(jīng)濟發(fā)展中的優(yōu)勢已經(jīng)逐步喪失了，這就要求經(jīng)濟發(fā)展必須重視創(chuàng)新的運用以及技術(shù)含量的提升，提高經(jīng)濟發(fā)展的整體附加值。因此，我國逐步開始實體經(jīng)濟結(jié)構(gòu)的轉(zhuǎn)型以及經(jīng)濟形式的創(chuàng)新，在提升經(jīng)濟新常態(tài)下經(jīng)濟發(fā)展速度的同時注重質(zhì)量和效益的提高。在這種情況下更應(yīng)該注重統(tǒng)計分析在經(jīng)濟發(fā)展中的運用和研究。

（二）金融資本市場在經(jīng)濟新常態(tài)下發(fā)展速度越來越快

金融資本運作在經(jīng)濟新常態(tài)下促進經(jīng)濟發(fā)展所起到的作用越來越大。[2]但是金融資本市場的迅速發(fā)展在促進經(jīng)濟發(fā)展轉(zhuǎn)型的同時也帶來了潛在的金融不穩(wěn)定因素，由于金融市場對實體經(jīng)濟發(fā)展的巨大作用，金融市場的不穩(wěn)定將對實體經(jīng)濟的發(fā)展產(chǎn)生巨大的不利影響，因此需要將金融工程運用在金融產(chǎn)品的研發(fā)與組合，通過將計量經(jīng)濟學(xué)與金融學(xué)深入融合預(yù)防系統(tǒng)性金融風(fēng)險的發(fā)生。

（三）經(jīng)濟新常態(tài)下經(jīng)濟發(fā)展中出現(xiàn)的問題越來越多，新型產(chǎn)業(yè)越來越多

隨著經(jīng)濟發(fā)展以及技術(shù)發(fā)展，經(jīng)濟發(fā)展中的產(chǎn)業(yè)形勢呈現(xiàn)出多元化的發(fā)展趨勢，由于傳統(tǒng)的市場監(jiān)管所解決和面對的都是傳統(tǒng)經(jīng)濟問題，對新問題不能做到及時的解決。[3]經(jīng)濟新形勢下例如共享經(jīng)濟，區(qū)域鏈等新興產(chǎn)業(yè)的出現(xiàn)，一方面對經(jīng)濟新格局的構(gòu)建以及經(jīng)濟發(fā)展質(zhì)量的提升起到了重要的推動力量，另一方面，由于新產(chǎn)業(yè)發(fā)展的不成熟也為經(jīng)濟發(fā)展整體格局的穩(wěn)定性產(chǎn)生了威脅，需要利用計量經(jīng)濟學(xué)對宏觀經(jīng)濟發(fā)展中波動的異常情況進行統(tǒng)計分析研究。

三、計量經(jīng)濟學(xué)在提升宏觀經(jīng)濟發(fā)展質(zhì)量的有效運用

（一）預(yù)測的一般考慮事項

預(yù)測的目的通常是獲得良好的樣本外預(yù)測。大多數(shù)人從經(jīng)驗中可以知道，構(gòu)建一個在樣本內(nèi)工作良好但在樣本外失敗的預(yù)測非常容易。機器學(xué)習(xí)專家將這種現(xiàn)象稱為“過度擬合”現(xiàn)象，并提出了幾種解決方法。首先，選擇較為簡單的模型。由于簡單的模型更適合樣本外預(yù)測，機器學(xué)習(xí)專家提出了各種方法來否認過于復(fù)雜的模型，在機器學(xué)習(xí)世界中，這被稱為“正則化”。同樣的，經(jīng)濟學(xué)家也傾向于選擇簡單的模型。其次，測試-訓(xùn)練循環(huán)和交叉驗證。為了訓(xùn)練、測試和驗證，將數(shù)據(jù)劃為不同的集合。使用訓(xùn)練數(shù)據(jù)來評價模型，使用驗證數(shù)據(jù)來選擇模型，使用測試數(shù)據(jù)來評估所選模型的性能。最后，利用調(diào)優(yōu)參數(shù)。如果我們對模型的復(fù)雜性有一個直觀的數(shù)值，我們可以將它看作一個參數(shù)，可以“優(yōu)化”它以產(chǎn)生最佳的樣本預(yù)測。即使沒有合適的調(diào)優(yōu)參數(shù)，也應(yīng)當謹慎的報告已有參數(shù)所反映出擬合程度的好壞，因為這個參數(shù)反映的是樣本外性能，更具有參考意義。

（二）處理大數(shù)據(jù)的方法

一般而言，如果提取的數(shù)據(jù)量非常大，可以選擇一個子樣本進行統(tǒng)計分析。一旦數(shù)據(jù)集被提取出來，通常需要進行一些附帶著數(shù)據(jù)統(tǒng)一和數(shù)據(jù)清理任務(wù)的探索性數(shù)據(jù)分析。統(tǒng)計學(xué)和計量經(jīng)濟學(xué)中的數(shù)據(jù)分析可以分為四大類：預(yù)測、總結(jié)、估算、假設(shè)檢驗。在大數(shù)據(jù)處理中，與預(yù)測相關(guān)聯(lián)的技術(shù)一般是機器學(xué)習(xí)；而和總結(jié)相關(guān)的技術(shù)一般為數(shù)據(jù)挖掘，比如挖掘其中有趣的模型。計量經(jīng)濟學(xué)家、統(tǒng)計學(xué)家和數(shù)據(jù)挖掘?qū)＜乙话愣荚趯ふ铱梢詮臄?shù)據(jù)中提取的深刻見解。機器學(xué)習(xí)專家通常主要關(guān)注開發(fā)高性能計算機系統(tǒng)，這些系統(tǒng)能夠在具有挑戰(zhàn)性的計算約束條件下提供有用的預(yù)測。應(yīng)用計量經(jīng)濟學(xué)的大部分內(nèi)容是檢測和總結(jié)數(shù)據(jù)中的關(guān)系，最常用的總結(jié)工具是（線性）回歸分析。機器學(xué)習(xí)提供了一套可以有效地總結(jié)數(shù)據(jù)中的各種非線性關(guān)系的工具。這些工具是現(xiàn)在最為常見也是最為普遍的，因為它們是與實際經(jīng)濟情況最符合的。

（三）計量經(jīng)濟學(xué)與機器學(xué)習(xí)

計量經(jīng)濟學(xué)和機器學(xué)習(xí)之間在許多領(lǐng)域都存在著有效的結(jié)合。其中最為重要的領(lǐng)域是因果關(guān)系預(yù)測。當我們想要評估某些處理方式的因果影響時，需要將有干預(yù)的結(jié)果與不加干預(yù)可能發(fā)生的情況進行比較，但大多數(shù)情況下不加干預(yù)所產(chǎn)生的反事實是無法觀測到的，因此必須通過某種模型來預(yù)測。你對反事實的預(yù)測模型越好，就越能估計出因果關(guān)系。比如經(jīng)濟學(xué)家經(jīng)常在外界干預(yù)發(fā)生時利用它預(yù)測接下來的經(jīng)濟類數(shù)據(jù)走勢，再根據(jù)預(yù)測做出相關(guān)應(yīng)對。

四、結(jié)語

由于計算機已經(jīng)滲透了經(jīng)濟交易系統(tǒng)，大數(shù)據(jù)只會越來越大。為小型數(shù)據(jù)集開發(fā)的數(shù)據(jù)處理工具和方法將越來越不足以應(yīng)付新的問題。機器學(xué)習(xí)的研究人員已經(jīng)開發(fā)出了處理大數(shù)據(jù)集的工具、研究出了處理大數(shù)據(jù)時特有的方法，未來也會有越來越多的相關(guān)技術(shù)出現(xiàn)。