大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀及趨勢探究

編者按：目前，數(shù)據(jù)已經(jīng)滲透到了每一個行業(yè)領(lǐng)域并成為重要的生產(chǎn)因素，數(shù)據(jù)規(guī)模也正以驚人的速度呈膨脹式的增長，大數(shù)據(jù)正成為這個時代最為顯著的標(biāo)簽。雖然大數(shù)據(jù)這個概念已經(jīng)為大多人所知，但大數(shù)據(jù)究竟是什么，很多人其實并不明白，甚至還存在許多誤區(qū)，文章基于對大數(shù)據(jù)現(xiàn)有技術(shù)體系的認(rèn)知，對大數(shù)據(jù)技術(shù)的現(xiàn)狀及其未來發(fā)展趨勢進(jìn)行探討。

數(shù)據(jù)已經(jīng)悄無聲息地融入我們生活的每一個細(xì)節(jié)，即使人們無法直接觸摸感受到它，但它的能力不可小覷。自2013年成為大數(shù)據(jù)元年以來，大數(shù)據(jù)一詞越來越多地進(jìn)入到了人們的視野當(dāng)中，這個名詞已然成為當(dāng)前日常生活中的一種時尚或者時髦。即便不從事科研工作或者在科技領(lǐng)域甚至在平日里接觸不到大數(shù)據(jù)概念的人們也對此較為熟悉，大數(shù)據(jù)已經(jīng)切實地融入了我們的生活，但對于“大數(shù)據(jù)是什么？”這個問題，大多數(shù)人還是一知半解。

什么才是大數(shù)據(jù)？盡管大數(shù)據(jù)的概念一經(jīng)提出便引發(fā)了社會各界的廣泛關(guān)注，但到目前為止，學(xué)術(shù)界對于大數(shù)據(jù)還沒有形成一個統(tǒng)一的定義，麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合。IBM公司提出了大數(shù)據(jù)的5V特點以將其與傳統(tǒng)數(shù)據(jù)區(qū)別，即：

1.Volume：數(shù)據(jù)量大，包括采集、存儲和計算的量都非常大。大數(shù)據(jù)的起始計量單位至少是PB（1024個TB）、E（1024個PB）或ZB（1024個EB）。

2.Variety：種類和來源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。

3.Value：數(shù)據(jù)價值密度相對較低，或者說是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低。

4.Velocity：數(shù)據(jù)增長速度快，處理速度也快，時效性要求高。

5.Veracity：數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。

從字面意義入手，大數(shù)據(jù)也應(yīng)該從“大”字開始理解。隨著互聯(lián)網(wǎng)浪潮席卷全球，全世界的數(shù)據(jù)量也呈井噴式上漲，2010年全球產(chǎn)生的數(shù)據(jù)量為1.2ZB，而十年后2020年這個數(shù)字已經(jīng)增長到64ZB，約為64萬億GB，預(yù)計到2025年將增長到約1000ZB。出于保存海量的網(wǎng)絡(luò)信息并獲取其中潛藏的巨大價值的目的，催生了大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)就是通過分析采集得來的、大量的、不同類型的數(shù)據(jù)，使數(shù)據(jù)可視化并得到其中的潛在價值，讓人們直觀地感受到數(shù)據(jù)的力量、使用數(shù)據(jù)的力量。

我國大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀分析

大數(shù)據(jù)技術(shù)主要涉及四個部分，數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)可視化技術(shù)。

數(shù)據(jù)采集技術(shù)：大數(shù)據(jù)采集是指從終端設(shè)備、社交網(wǎng)絡(luò)、企業(yè)管理系統(tǒng)以及其他互聯(lián)網(wǎng)平臺、系統(tǒng)等獲取數(shù)據(jù)的過程。這些數(shù)據(jù)不但來源廣泛，且數(shù)據(jù)類型多樣、規(guī)模龐大、產(chǎn)生速度快，傳統(tǒng)的數(shù)據(jù)采集方法基本無法勝任。

數(shù)據(jù)存儲技術(shù)：大數(shù)據(jù)存儲目前主要通過建立輕型數(shù)據(jù)庫、大型分布式數(shù)據(jù)庫或者存儲集群平臺以滿足大數(shù)據(jù)讀寫的高速需求。

數(shù)據(jù)分析技術(shù)：大數(shù)據(jù)分析技術(shù)通過數(shù)據(jù)清洗從大量不同類型的數(shù)據(jù)中獲取真實有效的數(shù)據(jù)，經(jīng)算法運算處理后獲得需要的結(jié)果。

數(shù)據(jù)可視化技術(shù)：使數(shù)據(jù)分析的復(fù)雜結(jié)果以圖表、詞云等對非計算機(jī)專業(yè)人士友好的形式輸出，方便其他專業(yè)人才運用。

近年來，大數(shù)據(jù)產(chǎn)業(yè)高速發(fā)展，在“十三五”時期，我國大數(shù)據(jù)產(chǎn)業(yè)規(guī)模年均增速超過25%，2020年達(dá)到約8000億元，產(chǎn)業(yè)價值不斷提升。并且“大數(shù)據(jù)”一詞在“十四五”規(guī)劃的征求意見稿中頻繁出現(xiàn)，“數(shù)據(jù)”一詞則更是出現(xiàn)了六十余次。可以看出，作為國民經(jīng)濟(jì)和社會發(fā)展的重要風(fēng)向標(biāo)，“十四五”規(guī)劃對于大數(shù)據(jù)的發(fā)展也作出了重要部署。

目前，大數(shù)據(jù)技術(shù)已經(jīng)在多個行業(yè)領(lǐng)域中有著不同運用，如：

1.電商領(lǐng)域：淘寶、京東等電商平臺利用大數(shù)據(jù)技術(shù)，對用戶信息進(jìn)行分析，從而為用戶推送用戶感興趣的產(chǎn)品，從而刺激消費。

2.醫(yī)療領(lǐng)域：醫(yī)療行業(yè)通過臨床數(shù)據(jù)對比、實時統(tǒng)計分析、遠(yuǎn)程病人數(shù)據(jù)分析、就診行為分析等，輔助醫(yī)生進(jìn)行臨床決策，規(guī)范診療路徑，提高醫(yī)生的工作效率。

3.安防領(lǐng)域：安防行業(yè)可實現(xiàn)視頻圖像模糊查詢、快速檢索、精準(zhǔn)定位，并能夠進(jìn)一步挖掘海量視頻監(jiān)控數(shù)據(jù)背后的價值信息，反饋內(nèi)涵知識輔助決策判斷。

4.金融領(lǐng)域：用戶畫像的基礎(chǔ)上，銀行可以根據(jù)用戶的年齡、資產(chǎn)規(guī)模、理財偏好等，對用戶群進(jìn)行精準(zhǔn)定位，分析出潛在的金融服務(wù)需求。

5.教育領(lǐng)域：通過大數(shù)據(jù)進(jìn)行學(xué)習(xí)分析，能夠為每位學(xué)生創(chuàng)設(shè)一個量身定做的個性化課程，為學(xué)生的多年學(xué)習(xí)提供一個富有挑戰(zhàn)性而不讓人厭倦的學(xué)習(xí)計劃。

6.交通領(lǐng)域：大數(shù)據(jù)技術(shù)可以預(yù)測未來交通情況，為改善交通狀況提供優(yōu)化方案，有助于交通部門提高對道路交通的把控能力，防止和緩解交通擁堵，提供更加人性化的服務(wù)。

大數(shù)據(jù)技術(shù)發(fā)展趨勢預(yù)測

大數(shù)據(jù)的安全及隱私問題

隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)的來源和應(yīng)用領(lǐng)域越來越廣泛：在互聯(lián)網(wǎng)上隨意瀏覽網(wǎng)頁，就會留下一連串的瀏覽痕跡;2018年Facebook泄露8700萬用戶的隱私數(shù)據(jù)的事件引發(fā)各界廣泛關(guān)注，隱私數(shù)據(jù)泄露不僅會威脅到用戶自身的人身財產(chǎn)安全，更會威脅到國家安全。獲得大量用戶數(shù)據(jù)的劍橋公司便是通過分析這8700萬用戶的隱私數(shù)據(jù)分析用戶行為與思維，以向其精準(zhǔn)投放內(nèi)容，用戶在這種精準(zhǔn)投放下很容易形成“信息繭房”，如果在內(nèi)容中添加某些特定成分，很容易在潛移默化中改變一個人的思想，劍橋公司便是利用這種手段在某種程度上達(dá)到了操作美國大選的目的。

大數(shù)據(jù)時代數(shù)據(jù)的更新變化速度加快，而一般的數(shù)據(jù)隱私保護(hù)技術(shù)大都基于靜態(tài)數(shù)據(jù)保護(hù)，這就給隱私保護(hù)帶來了新的挑戰(zhàn).在復(fù)雜變化的條件下如何實現(xiàn)數(shù)據(jù)隱私安全的保護(hù)，這將是未來大數(shù)據(jù)研究的重點方向之一。

大數(shù)據(jù)的存儲管理問題

截至2019年我國共有7.4萬個數(shù)據(jù)中心，2021年1月騰訊西部云計算數(shù)據(jù)中心二期工程竣工，整體建成后將具備20萬臺服務(wù)器的運算存儲能力，將會成為中國西部最大的單體數(shù)據(jù)中心。盡管目前通過建立大型分布式數(shù)據(jù)庫，數(shù)據(jù)存儲的問題得到了緩解，然而數(shù)據(jù)量以每年約50%的增速持續(xù)增長，即使全國范圍內(nèi)有如此之多的數(shù)據(jù)中心，傳統(tǒng)的數(shù)據(jù)存儲方式也已經(jīng)無法滿足現(xiàn)有需求。

大數(shù)據(jù)技術(shù)5V特征中的Value是價值密度低的體現(xiàn)，現(xiàn)有存儲技術(shù)存在大量數(shù)據(jù)冗余，大數(shù)據(jù)存儲技術(shù)的能耗極高并存在數(shù)據(jù)丟包的可能性，冗余數(shù)據(jù)的存儲意味著有效數(shù)據(jù)的丟失可能性增高，數(shù)據(jù)的價值密度進(jìn)一步降低、數(shù)據(jù)存儲成本上漲，這就對數(shù)據(jù)清洗技術(shù)提出了更高的要求。在數(shù)據(jù)存儲中數(shù)據(jù)讀寫速度、數(shù)據(jù)格式轉(zhuǎn)化是必要的，也是非常關(guān)鍵和復(fù)雜的，在未來如何進(jìn)一步提高數(shù)據(jù)存儲系統(tǒng)的效率將是亟待解決的大問題。

大數(shù)據(jù)融合應(yīng)用實體經(jīng)濟(jì)

近幾月來，金融、教育、互聯(lián)網(wǎng)、房地產(chǎn)等資本驅(qū)動行業(yè)均受到國家不同力度的打擊，而硬科技、新能源等更能創(chuàng)造社會價值的產(chǎn)業(yè)持續(xù)走高，“十四五”規(guī)劃中也提出要將大數(shù)據(jù)融合應(yīng)用的重點從虛擬經(jīng)濟(jì)轉(zhuǎn)變?yōu)閷嶓w經(jīng)濟(jì)。

因為大數(shù)據(jù)的發(fā)展不僅改變了科學(xué)思維，也必然會引起企業(yè)以及政府、個人的思維方式的變革，在信息技術(shù)突飛猛進(jìn)的今天，物聯(lián)網(wǎng)、嵌入式技術(shù)、傳感技術(shù)等的發(fā)展，為人類更全面地感知客觀存在的物理世界提供了基礎(chǔ)，大數(shù)據(jù)技術(shù)正是新型信息技術(shù)與傳統(tǒng)實業(yè)之間的紐帶，融合應(yīng)用會是大數(shù)據(jù)技術(shù)的發(fā)展重點。隨著大數(shù)據(jù)技術(shù)在各種產(chǎn)業(yè)中的深入融合應(yīng)用并帶動產(chǎn)業(yè)升級，我們的生活、生產(chǎn)方式也將會因為大數(shù)據(jù)技術(shù)而改變。

結(jié)語

大數(shù)據(jù)技術(shù)已經(jīng)成為各行各業(yè)需求創(chuàng)新突破的首要選擇，每天都會產(chǎn)生的龐大數(shù)據(jù)，也使得大數(shù)據(jù)成為一種新型資產(chǎn)。目前，大數(shù)據(jù)技術(shù)已經(jīng)改變了人們的思維方式、生活方式、生產(chǎn)方式。未來，大數(shù)據(jù)技術(shù)將會滲透進(jìn)我們生活的方方面面。蒸汽機(jī)誕生開創(chuàng)了“蒸汽時代”，電力發(fā)明帶領(lǐng)人們走入電氣時代，互聯(lián)網(wǎng)信息技術(shù)的浪潮將人們推向“信息時代”?！按髷?shù)據(jù)時代”會不會就是我們正在尋求的那個嶄新的時代呢？

參考文獻(xiàn)：

[1]陳曈，林捷.大數(shù)據(jù)是什么[J].電腦知識與技術(shù)，2017，13（13）：10-11.

[2]彭宇，龐景月，劉大同，等.大數(shù)據(jù)：內(nèi)涵、技術(shù)體系與展望[J].電子測量與儀器學(xué)報，2015，29（04）：469-482.

[3]黃小華.大數(shù)據(jù)技術(shù)體系及發(fā)展趨勢探析[J].商業(yè)文化，2021（20）：48-49.

[4]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報（工學(xué)版），2014，48（06）：957-972.

作者簡介：江子楊（2002—），江西上饒人，本科，現(xiàn)就讀于江西師范大學(xué)，主要研究方向為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)。