大數(shù)據(jù)時(shí)代投資統(tǒng)計(jì)數(shù)據(jù)處理技術(shù)探究

王立穎

摘要：當(dāng)前隨著國(guó)際競(jìng)爭(zhēng)日益激烈，新形勢(shì)下各行各業(yè)發(fā)展都面臨著諸多的挑戰(zhàn)，市場(chǎng)環(huán)境具有不可預(yù)測(cè)性，統(tǒng)計(jì)數(shù)據(jù)信息變得更加重要。大數(shù)據(jù)時(shí)代的到來(lái)為統(tǒng)計(jì)工作提供了強(qiáng)大的技術(shù)支持，與此同時(shí)數(shù)據(jù)更新速度不斷加快，數(shù)據(jù)類型日益多樣化，處理難度也越來(lái)越大，增加了統(tǒng)計(jì)工作難度。本文著重研究了投資統(tǒng)計(jì)大數(shù)據(jù)相關(guān)的處理關(guān)鍵技術(shù)，以供參考。

關(guān)鍵詞：投資統(tǒng)計(jì); 大數(shù)據(jù); 處理; 關(guān)鍵技術(shù); 分析

一、加強(qiáng)投資統(tǒng)計(jì)大數(shù)據(jù)關(guān)鍵處理技術(shù)研究的重要意義

大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)類型日益多元化，數(shù)據(jù)具有應(yīng)用價(jià)值大、數(shù)量多、速度更新快的特點(diǎn)，這對(duì)于投資統(tǒng)計(jì)數(shù)據(jù)處理技術(shù)也提出了新的挑戰(zhàn)。投資統(tǒng)計(jì)是指搜集、整理、分析和應(yīng)用的數(shù)據(jù)，目前國(guó)家金融體制改革進(jìn)程有序推進(jìn)，為了更好地提高投資統(tǒng)計(jì)的科學(xué)性和準(zhǔn)確性，就需要結(jié)合實(shí)際形勢(shì)，深入研究投資統(tǒng)計(jì)大數(shù)據(jù)關(guān)鍵處理技術(shù)，這樣才能對(duì)海量的數(shù)據(jù)進(jìn)行實(shí)時(shí)動(dòng)態(tài)多元化處理，全面有效分析統(tǒng)計(jì)數(shù)據(jù)背后的規(guī)律，提高投資統(tǒng)計(jì)數(shù)據(jù)處理水平，進(jìn)而為國(guó)家有關(guān)部門和行業(yè)決策提供基本參考支持，也有助于推動(dòng)國(guó)家整體金融市場(chǎng)良性有序發(fā)展。

二、投資統(tǒng)計(jì)大數(shù)據(jù)基本特征分析

在投資系統(tǒng)中數(shù)據(jù)通?？梢苑殖扇N類型，主要涉及項(xiàng)目投資管理數(shù)據(jù)、聯(lián)網(wǎng)直報(bào)房地產(chǎn)投資數(shù)據(jù)、規(guī)下投資抽樣數(shù)據(jù)。此外還可以根據(jù)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)將投資系統(tǒng)數(shù)據(jù)分成結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類型，前者主要是通過(guò)統(tǒng)計(jì)系統(tǒng)企業(yè)的原始數(shù)據(jù)應(yīng)用二維表形式展現(xiàn)的數(shù)據(jù)，后者主要是指不能以二維表形式來(lái)展現(xiàn)的數(shù)據(jù)，其中包含文本、音頻、視頻、圖片等多種類型的數(shù)據(jù)樣式。投資統(tǒng)計(jì)大數(shù)據(jù)可以借助遙感技術(shù)、地理信息系統(tǒng)技術(shù)等進(jìn)行動(dòng)態(tài)監(jiān)測(cè)，實(shí)時(shí)掌握相關(guān)的數(shù)據(jù)，進(jìn)而與投資統(tǒng)計(jì)業(yè)務(wù)進(jìn)行關(guān)聯(lián)性研究。一方面既要對(duì)投資統(tǒng)計(jì)系統(tǒng)運(yùn)行情況進(jìn)行定位，每月定期生成相關(guān)的投資統(tǒng)計(jì)數(shù)據(jù)，另一方面又要借助 PDA 設(shè)備等及時(shí)搜集對(duì)投資統(tǒng)計(jì)項(xiàng)目樣本點(diǎn)的變動(dòng)情況進(jìn)行動(dòng)態(tài)采集，此外還要對(duì)投資統(tǒng)計(jì)系統(tǒng)運(yùn)行中的與重大項(xiàng)目投資進(jìn)度相關(guān)的以及與住建、發(fā)改、稅務(wù)、工商等相關(guān)部門相關(guān)聯(lián)的數(shù)據(jù)進(jìn)行共享分析和比對(duì)，進(jìn)而提高投資統(tǒng)計(jì)數(shù)據(jù)綜合管理效能。

投資統(tǒng)計(jì)大數(shù)據(jù)具有典型的獨(dú)特的特征，主要體現(xiàn)在以下幾個(gè)方面：

1. 數(shù)據(jù)量日益龐大。大數(shù)據(jù)時(shí)代的到來(lái)信息的生成、變化速度越來(lái)越快，投資統(tǒng)計(jì)數(shù)據(jù)逐漸從 TB 級(jí)升級(jí)到 PB 級(jí)。

2. 數(shù)據(jù)類型日益多樣化。目前各級(jí)有關(guān)部門對(duì)投資統(tǒng)計(jì)數(shù)據(jù)的關(guān)注度越來(lái)越高，需求越來(lái)越準(zhǔn)，所以需要對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行全方位的分析和研究，才能更好地滿足現(xiàn)實(shí)要求，提高投資數(shù)據(jù)綜合利用價(jià)值。

3.投資統(tǒng)計(jì)數(shù)據(jù)利用度不高。投資統(tǒng)計(jì)數(shù)據(jù)的采集是一個(gè)動(dòng)態(tài)的過(guò)程，收集的數(shù)據(jù)量非常大，通過(guò)運(yùn)用相關(guān)的監(jiān)測(cè)技術(shù)可以對(duì)重大投資項(xiàng)目過(guò)程相關(guān)的數(shù)據(jù)進(jìn)行監(jiān)測(cè)，雖然數(shù)據(jù)收集的很多，但是很多數(shù)據(jù)往往都屬于正常范圍，只有少量的有用的數(shù)據(jù)出現(xiàn)異常，這些對(duì)于投資項(xiàng)目影響較大，所以需要對(duì)這些數(shù)據(jù)進(jìn)行進(jìn)一步的精細(xì)化處理，檢驗(yàn)數(shù)據(jù)是否正確、真實(shí)和有效，所以可利用的具有價(jià)值的數(shù)據(jù)往往所占的比重較小。

三、投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)具體分析

投資統(tǒng)計(jì)大數(shù)據(jù)處理，需要加強(qiáng)技術(shù)攻關(guān)，從數(shù)據(jù)采集、傳輸、存儲(chǔ)到處理分析等各個(gè)環(huán)節(jié)都需要應(yīng)有很多的技術(shù)和方法，才能確保環(huán)環(huán)相扣，不斷提高投資統(tǒng)計(jì)效率和質(zhì)量，具體每個(gè)環(huán)節(jié)涉及到的關(guān)鍵技術(shù)主要有：

1.大數(shù)據(jù)采集技術(shù)。數(shù)據(jù)采集是投資統(tǒng)計(jì)管理體系中最基礎(chǔ)的部分和單元，通過(guò)借助相關(guān)的技術(shù)對(duì)各類數(shù)據(jù)端口進(jìn)行采集，才能確保數(shù)據(jù)的完整性。大數(shù)據(jù)的采集通常會(huì)涉及到很多數(shù)據(jù)庫(kù)同時(shí)接收相關(guān)的數(shù)據(jù)，采集的難點(diǎn)在于數(shù)據(jù)并發(fā)高，同時(shí)會(huì)有大量的數(shù)據(jù)訪問和操作，所以需要在數(shù)據(jù)采集端口有完善的采集技術(shù)來(lái)進(jìn)行支持，才能承載數(shù)據(jù)運(yùn)載負(fù)荷，保證數(shù)據(jù)盡可能全面有效地采集，采集技術(shù)目前主要是借助 Google 文件系統(tǒng) GFS 技術(shù)，對(duì)空間范圍內(nèi)的各類數(shù)據(jù)進(jìn)行收集、整理，動(dòng)態(tài)監(jiān)控?cái)?shù)據(jù)的變化情況，并可以實(shí)現(xiàn)在橫向和縱向領(lǐng)域內(nèi)的動(dòng)態(tài)管控。目前在投資統(tǒng)計(jì)大數(shù)據(jù)采集階段，需要不斷加強(qiáng)技術(shù)攻關(guān)，未來(lái)信息的重要性更加凸顯，只有不斷提高數(shù)據(jù)采集能力，才能最大限度地發(fā)揮統(tǒng)計(jì)數(shù)據(jù)應(yīng)有的參考價(jià)值，從源頭上第一時(shí)間掌握相關(guān)的數(shù)據(jù)資源，提高最大化開發(fā)利用效能。

2.大數(shù)據(jù)傳輸、存儲(chǔ)技術(shù)。目前投資統(tǒng)計(jì)系統(tǒng)應(yīng)用的數(shù)據(jù)聯(lián)網(wǎng)直報(bào)系統(tǒng)，通過(guò)構(gòu)建統(tǒng)一規(guī)范的數(shù)據(jù)聯(lián)網(wǎng)直報(bào)平臺(tái)，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)傳輸和存儲(chǔ)，確保各類原始數(shù)據(jù)能夠及時(shí)生成并傳送至相應(yīng)平臺(tái)進(jìn)行共享。隨著投資統(tǒng)計(jì)數(shù)據(jù)量不斷擴(kuò)大，需要對(duì)數(shù)據(jù)存儲(chǔ)和傳輸系統(tǒng)進(jìn)行不斷升級(jí)，否則會(huì)帶來(lái)一些隱患，降低處理效率，這就應(yīng)用到大數(shù)據(jù)傳輸與存儲(chǔ)技術(shù)，通常的處理手段是進(jìn)行數(shù)據(jù)壓縮，從而降低數(shù)據(jù)存儲(chǔ)空間，實(shí)現(xiàn)數(shù)據(jù)的快速傳輸。需要借助投資統(tǒng)計(jì)數(shù)據(jù)傳輸處理技術(shù)，構(gòu)建批量處理模型，解決系統(tǒng)資源占用空間較大、資源不能有效利用的問題，目前常用的處理技術(shù)是MapReduce 批處理模型，可以實(shí)現(xiàn)在常規(guī)計(jì)算機(jī)平臺(tái)上的聯(lián)機(jī)處置，還可以進(jìn)行輸入數(shù)據(jù)分割，進(jìn)而實(shí)現(xiàn)計(jì)算機(jī)集群的統(tǒng)一調(diào)度，確保各個(gè)數(shù)據(jù)處理端口能夠保持聯(lián)通。

3.大數(shù)據(jù)實(shí)時(shí)處理技術(shù)。投資統(tǒng)計(jì)大數(shù)據(jù)，除了進(jìn)行采集和存儲(chǔ)傳輸以外，還要進(jìn)行實(shí)時(shí)動(dòng)態(tài)處理，處理能力直接決定了數(shù)據(jù)的應(yīng)用價(jià)值。目前常用的實(shí)時(shí)處理技術(shù)是云計(jì)算系統(tǒng)，該系統(tǒng)可以滿足常規(guī)的投資統(tǒng)計(jì)處理服務(wù)，但是在聯(lián)網(wǎng)直報(bào)高峰期，系統(tǒng)也會(huì)出現(xiàn)處理差錯(cuò)，降低處理效率和處理的準(zhǔn)確性。由于投資統(tǒng)計(jì)數(shù)類型多樣，計(jì)算過(guò)程比較復(fù)雜，數(shù)據(jù)轉(zhuǎn)化等方面也存在一些銜接的問題，統(tǒng)計(jì)指標(biāo)屬性不完整、數(shù)據(jù)錯(cuò)誤異常等情況處理等過(guò)程，都影響數(shù)據(jù)分析，所以需要構(gòu)建更加開放的分布式處理系統(tǒng)，才能實(shí)現(xiàn)大規(guī)模處理，目前開發(fā)的 Sector 廣域網(wǎng)分布式系統(tǒng)，可以針對(duì)不同數(shù)據(jù)進(jìn)行大規(guī)模集中處理、分割和轉(zhuǎn)交。

總之，投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)，對(duì)投資統(tǒng)計(jì)工作起到了強(qiáng)有力的支撐作用，未來(lái)隨著投資環(huán)境更加復(fù)雜，投資統(tǒng)計(jì)數(shù)據(jù)處理技術(shù)也將進(jìn)一步升級(jí)，為持續(xù)提升投資統(tǒng)計(jì)效能提供更大的支持。

參考文獻(xiàn)：

[1]陳鵬，逯元堂，朱建華，張箏. 中國(guó)現(xiàn)行環(huán)保投資統(tǒng)計(jì)口徑優(yōu)化研究[J]. 生態(tài)經(jīng)濟(jì)，2017（ 07）

[2]廖加澤.投資統(tǒng)計(jì)大數(shù)據(jù)處理關(guān)鍵技術(shù)[J].電子技術(shù)與軟件工程，2015（ 08）

[3]羅文晉.基于門限模型的量化投資統(tǒng)計(jì)套利策略研究[J].廣東財(cái)經(jīng)大學(xué)，2016（ 11）