淺談大數(shù)據(jù)技術發(fā)展趨勢

蘇毅

（河北省工業(yè)和信息化廳信息中心，石家莊 050000）

1 引言

經(jīng)濟新常態(tài)階段以大數(shù)據(jù)、智能化、人工智能和互聯(lián)網(wǎng)為代表的新一代信息技術正在深刻改變著我們的生產(chǎn)方式和生活方式。大數(shù)據(jù)技術已經(jīng)成為我國產(chǎn)業(yè)結構調整、實現(xiàn)科技創(chuàng)新的重要技術支撐。因此，在競爭日益激烈的市場環(huán)境下，如何利用大數(shù)據(jù)技術成為企業(yè)占據(jù)市場主動性的關鍵因素。隨著大數(shù)據(jù)技術在社會各領域的廣泛應用，大數(shù)據(jù)技術必將呈現(xiàn)出更快的發(fā)展趨勢。

2 大數(shù)據(jù)技術的概述

大數(shù)據(jù)技術是當前的“熱詞”，如《華爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)以及無線網(wǎng)絡革命稱為引領未來繁榮發(fā)展的重大技術變革。目前，學術界對于大數(shù)據(jù)還沒有形成一個公認的定義。從技術能力角度分析，大數(shù)據(jù)是指規(guī)模超過現(xiàn)有數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集合，并同時強調并不是超過某個特定數(shù)量級的數(shù)據(jù)集才是大數(shù)據(jù)。大數(shù)據(jù)技術具有以下四個特征：①非結構化數(shù)據(jù)的超大規(guī)模。大數(shù)據(jù)相對結構化的數(shù)據(jù)要快10到50倍，而且其增長速度非?？臁＂诖髷?shù)據(jù)的異構和多樣性。大數(shù)據(jù)技術可以通過不同的形式存在，如文本、圖像以及視頻等，這些大數(shù)據(jù)數(shù)據(jù)沒有固定的模式。③大量的不相關信息。大數(shù)據(jù)實現(xiàn)了對未來趨勢的分析與預測，大數(shù)據(jù)信息之間沒有內在的必然性。④實時分析。大數(shù)據(jù)技術最顯著的特點就是實現(xiàn)了對數(shù)據(jù)庫資源信息的實時搜集，而且屬于精準化的分析處理。

結合大數(shù)據(jù)技術結構原理，大數(shù)據(jù)處理就是在復雜的數(shù)據(jù)中提煉有價值的信息。具體的大數(shù)據(jù)處理流程為：第一，大數(shù)據(jù)采集技術。數(shù)據(jù)是大數(shù)據(jù)知識服務模型的根本，大數(shù)據(jù)采集是大數(shù)據(jù)處理的基礎，大數(shù)據(jù)采集主要是通過大數(shù)據(jù)智能感知層和基礎支撐層實現(xiàn)的。第二，大數(shù)據(jù)預處理技術。大數(shù)據(jù)預處理技術是對已經(jīng)接受的數(shù)據(jù)進行辨析、抽取以及清洗的操作。具有的流程為：①抽取，由于大數(shù)據(jù)的結構、類型不同，因此，在數(shù)據(jù)抽取的過程中需要將不同類型的數(shù)據(jù)結構轉化為單一的構型，以此達到可以快速處理數(shù)據(jù)的目的。②由于大數(shù)據(jù)信息量比較大，尤其是一些信息是我們不關注的，同時抽取的信息可能會出現(xiàn)錯誤，因此，需要通過大數(shù)據(jù)預處理技術過濾掉不需要的信息，以此提煉出有效的數(shù)據(jù)。第三，大數(shù)據(jù)儲存及管理技術。大數(shù)據(jù)儲存技術就是將收集的數(shù)據(jù)信息通過存儲器存儲起來，并且進行相應的管理。大數(shù)據(jù)存儲與管理是大數(shù)據(jù)技術的關鍵環(huán)節(jié)，其重點需要解決的問題就是實現(xiàn)對大數(shù)據(jù)信息的有效管理。該環(huán)節(jié)的關鍵是解決復雜結構化、半結構化以及非結構化大數(shù)據(jù)管理與處理技術。當然在實踐中為了滿足對數(shù)據(jù)的分析與提取，數(shù)據(jù)存儲必須要滿足以下兩個條件：存儲基本框架必須要具有穩(wěn)定性，尤其是要在時間上具有穩(wěn)定性；存儲子系統(tǒng)必須要具有可以提供查詢和分析數(shù)據(jù)的功能。第四，數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)技術應用的最為重要的階段與功能，數(shù)據(jù)分析的目的就是通過對海量信息的提取以便做出最科學的決策。結合大數(shù)據(jù)技術分析成果，大數(shù)據(jù)分析常用的方式為：①數(shù)據(jù)可視化。數(shù)據(jù)可視化就是通過有效的圖形傳遞信息，數(shù)據(jù)可視化在現(xiàn)代工業(yè)制造領域有著廣泛的應用價值，如BIM體系就是充分利用大數(shù)據(jù)技術的可視化功能。②統(tǒng)計分析。統(tǒng)計分析則是利用大數(shù)據(jù)的自動預測分析功能，按照一定的規(guī)律在海量的數(shù)據(jù)庫中自動提取相應的數(shù)據(jù)信息的過程。③數(shù)據(jù)挖掘。數(shù)據(jù)挖掘就是在海量的信息中提取出人們事前不知道的但是潛在有用的信息和知識的過程。

3 大數(shù)據(jù)技術的發(fā)展趨勢

隨著互聯(lián)網(wǎng)技術的不斷發(fā)展，尤其是國家將大數(shù)據(jù)技術發(fā)展作為基本戰(zhàn)略之一后，大數(shù)據(jù)技術在社會各領域內的應用不斷拓展，開放共享已經(jīng)成為大數(shù)據(jù)資源的關鍵優(yōu)勢。但是，由于大數(shù)據(jù)技術缺乏統(tǒng)一的規(guī)范標準，尤其當前大數(shù)據(jù)的發(fā)展存在著數(shù)據(jù)框架落后的問題，如物聯(lián)網(wǎng)等新技術涌入，所帶來的大量數(shù)據(jù)無法納入當下的數(shù)據(jù)框架中。由物聯(lián)網(wǎng)、車聯(lián)網(wǎng)各種各樣的物理信號所帶來數(shù)量級的有效數(shù)據(jù)，是需要面對的新數(shù)據(jù)局面[1]。因此，未來我國大數(shù)據(jù)技術發(fā)展呈現(xiàn)以下趨勢：①數(shù)據(jù)資源化。大數(shù)據(jù)已經(jīng)成為企業(yè)占據(jù)市場的關鍵因素，大數(shù)據(jù)在社會各領域內將有更多的應用平臺，如大數(shù)據(jù)技術不僅在人們日常出行中得到廣泛應用，而且還在工業(yè)設計、生產(chǎn)中得到使用。因此，大數(shù)據(jù)技術必然會呈現(xiàn)出數(shù)據(jù)的資源化發(fā)展趨勢。②基于云的數(shù)據(jù)分析平臺將更趨完善。首先，云計算為大數(shù)據(jù)提供了可以彈性擴展、相對便宜的存儲空間和計算資源，使得中小企業(yè)也可以像亞馬遜一樣通過云計算來完成大數(shù)據(jù)分析。其次，云計算IT資源龐大、分布較為廣泛，是異構系統(tǒng)較多的企業(yè)及時準確處理數(shù)據(jù)的有力方式，甚至是唯一的方式。當然，大數(shù)據(jù)要走向云計算，還有賴于數(shù)據(jù)通信帶寬的提高和云資源池的建設，需要確保原始數(shù)據(jù)能遷移到云環(huán)境以及資源池可以隨需彈性擴展。③大數(shù)據(jù)的安全性日益提升。隨著大數(shù)據(jù)技術的不斷發(fā)展，大數(shù)據(jù)技術的信息共享性雖然為人們帶來了巨大的便利，但是，其存在的安全性也制約著大數(shù)據(jù)技術的實際應用。因此，大數(shù)據(jù)技術的安全性問題將成為我國大數(shù)據(jù)技術發(fā)展所必須要解決的問題之一。通過文件訪問控制來限制對數(shù)據(jù)的操作、基礎設備加密、匿名化保護技術和加密保護等技術正在最大程度的保護數(shù)據(jù)安全。④大數(shù)據(jù)分析與挖掘。在數(shù)據(jù)量迅速膨脹的同時，還要進行數(shù)據(jù)的深度分析和挖掘，并且對自動化分析要求越來越高，越來越多的大數(shù)據(jù)數(shù)據(jù)分析工具和產(chǎn)品應運而生，如用于大數(shù)據(jù)挖掘的R Hadoop版、基于MapReduce開發(fā)的數(shù)據(jù)挖掘算法等。

4 提高大數(shù)據(jù)技術發(fā)展的具體對策

大數(shù)據(jù)技術已經(jīng)成為人們生活生產(chǎn)所不可或缺的重要技術支撐。河北省“大智移云”發(fā)展領導小組辦公室出臺的《河北省大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新發(fā)展三年行動計劃（2018-2020）》明確提出要大力發(fā)展大數(shù)據(jù)產(chǎn)業(yè)，培育發(fā)展數(shù)據(jù)經(jīng)濟新動能，建設網(wǎng)絡強省。因此，結合相關工作實踐經(jīng)驗，提高大數(shù)據(jù)技術發(fā)展需要做好以下工作。

4.1 加強大數(shù)據(jù)人才培養(yǎng)，提升大數(shù)據(jù)后備人才素質

基于大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，暴露出我國大數(shù)據(jù)人才不足問題，尤其是缺乏高素質大數(shù)據(jù)技術應用型人才，因此，一方面我國要加大對大數(shù)據(jù)技術人才的培訓力度，鼓勵網(wǎng)絡科技企業(yè)加強人才培養(yǎng)，定期組織員工深入到優(yōu)秀的網(wǎng)絡企業(yè)學習深造。同時，國家要從戰(zhàn)略角度出發(fā)，鼓勵高校開設大數(shù)據(jù)技術專業(yè)教育，提高大數(shù)據(jù)專業(yè)人才培養(yǎng)速度，如高校要深入開展訂單式人才培養(yǎng)，通過與企業(yè)的校企合作，提高學生的實踐能力，為我國大數(shù)據(jù)技術發(fā)展培養(yǎng)優(yōu)秀的人才；另一方面要加強人才引進力度，通過人才引進提高人才整體素質，如河北省實施“百人計劃”“巨人計劃”等引進高端大數(shù)據(jù)人才，可以有效提升河北省人才儲備質量。

4.2 健全市場培育機制，建立完善的大數(shù)據(jù)評估體系

健全市場培育機制一方面要通過政府的引導機制，如政府部門要加強對大數(shù)據(jù)技術產(chǎn)業(yè)的采購力度，鼓勵政府部門通過服務外包等模式依托專業(yè)企業(yè)開展政府大數(shù)據(jù)應用，降低社會管理成本。另一方面，鼓勵社會資本投入大數(shù)據(jù)產(chǎn)業(yè)，重點對政務數(shù)據(jù)、公共服務領域數(shù)據(jù)開展采集整理和挖掘分析。大力推動大數(shù)據(jù)應用試點示范，加快大數(shù)據(jù)推廣應用，培育大數(shù)據(jù)應用市場。

4.3 提高大數(shù)據(jù)核心技術，提升大數(shù)據(jù)技術的安全性

提高大數(shù)據(jù)技術還必須要解決大數(shù)據(jù)技術的安全性問題，積極培育發(fā)展安全咨詢、測評認證、風險評估等第三方服務機構。加強關鍵信息基礎設施安全防護，建立完善金融、能源、交通、電信、統(tǒng)計、廣播電視、公共安全、公共事業(yè)等重要數(shù)據(jù)資源和信息系統(tǒng)的安全保密防護體系，加強對涉及國家利益、公共安全、商業(yè)秘密、個人隱私、軍工科研生產(chǎn)等信息的保護。

總之，基于大數(shù)據(jù)技術的不斷發(fā)展，加強大數(shù)據(jù)技術的創(chuàng)新與發(fā)展是促進經(jīng)濟結構轉型升級的必然舉措，因此，基于當前大數(shù)據(jù)技術發(fā)展現(xiàn)狀，我國必須要進一步加強人才培養(yǎng)力度，強化政策指導，建立規(guī)范的大數(shù)據(jù)產(chǎn)業(yè)體系，推動大數(shù)據(jù)技術的可持續(xù)發(fā)展。