大數(shù)據(jù)應(yīng)用研究

劉偉娜+谷曉飛+監(jiān)文慧

[提要] 隨著云計算、移動互聯(lián)網(wǎng)的迅猛發(fā)展，信息技術(shù)在各行各業(yè)發(fā)揮了越來越重要的作用，產(chǎn)生于不同行業(yè)的大量數(shù)據(jù)帶來了新的機遇和挑戰(zhàn)，大數(shù)據(jù)技術(shù)在社會經(jīng)濟發(fā)展中脫穎而出。在電網(wǎng)、IT、教育、金融等領(lǐng)域，數(shù)據(jù)的來源、種類等紛繁復(fù)雜，數(shù)據(jù)處理一直是非常重要的一個方面，調(diào)度系統(tǒng)、交易系統(tǒng)、管理系統(tǒng)等各個環(huán)節(jié)都有大量的基礎(chǔ)數(shù)據(jù)產(chǎn)生，這就急需有效的大數(shù)據(jù)處理技術(shù)來對這些海量的數(shù)據(jù)進行分析、處理。本文主要從大數(shù)據(jù)的概念、技術(shù)及基本框架出發(fā)，對大數(shù)據(jù)處理技術(shù)的應(yīng)用，尤其是在教育、金融等領(lǐng)域的應(yīng)用進行研究，最后總結(jié)大數(shù)據(jù)研究現(xiàn)狀，并對大數(shù)據(jù)的發(fā)展前景及未來應(yīng)用進行展望。

關(guān)鍵詞：大數(shù)據(jù)；處理技術(shù)；應(yīng)用；發(fā)展前景

本文為河北省社會科學(xué)基金青年項目：“大數(shù)據(jù)背景下河北省科技型中小企業(yè)的云融資模式研究”（項目編號：HB16YJ045）

中圖分類號：F49 文獻標識碼：A

收錄日期：2017年3月16日

一、大數(shù)據(jù)的概念、技術(shù)及其基本框架

大數(shù)據(jù)指的是大規(guī)模、超大規(guī)模的數(shù)據(jù)集合，具有規(guī)模大、種類多、生成速度快、價值巨大但密度低的特點。收集大數(shù)據(jù)可以幫助企業(yè)挖掘出更多具有研究價值的信息，比如管理分布趨勢、人們的生活習慣等。傳統(tǒng)的數(shù)據(jù)處理方式無法對海量的數(shù)據(jù)進行準確的分析與處理?！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)和無線網(wǎng)絡(luò)稱為引領(lǐng)未來繁榮的三大技術(shù)變革。那么，大數(shù)據(jù)的定義是什么呢？維基百科對大數(shù)據(jù)做了比較簡單明了的定義：大數(shù)據(jù)是指利用常用軟件工作捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集。也就是說，大數(shù)據(jù)是一個由大量數(shù)據(jù)組成的數(shù)據(jù)集，這個數(shù)據(jù)集涵蓋的數(shù)據(jù)種類繁多，已經(jīng)無法用我們傳統(tǒng)的數(shù)據(jù)處理技術(shù)來分析和管理，也無法用傳統(tǒng)的數(shù)據(jù)庫來存儲和查詢，而且隨著數(shù)據(jù)的不斷擴充，數(shù)據(jù)的不完備性及時效性也為數(shù)據(jù)處理帶來了極大的挑戰(zhàn)，從而產(chǎn)生了大數(shù)據(jù)處理技術(shù)。Hadoop系統(tǒng)框架的提出，帶來了海量數(shù)據(jù)處理技術(shù)新的浪潮，Hadoop是一個由Apache基金會所開發(fā)的分布式基礎(chǔ)框架，實現(xiàn)了一個分布式文件系統(tǒng)，簡稱HDFS，用戶可以在不了解分布式底層設(shè)計細節(jié)的情況下，進行分布式程序的開發(fā)。Hadoop框架最核心的設(shè)計就是HDFS和MapReduce。Hadoop體系架構(gòu)和核心技術(shù)，如圖1、圖2所示。（圖1、圖2）

二、大數(shù)據(jù)處理技術(shù)的應(yīng)用

大數(shù)據(jù)在各個領(lǐng)域應(yīng)用廣泛，尤其是在電子商務(wù)、電網(wǎng)、網(wǎng)絡(luò)通信、醫(yī)療行業(yè)、能源行業(yè)、氣象行業(yè)、國防軍事等領(lǐng)域得到了深入的開發(fā)與應(yīng)用。比如在電網(wǎng)領(lǐng)域，智能電網(wǎng)的調(diào)度、蓄電池領(lǐng)域等都提出了將大數(shù)據(jù)技術(shù)融合進智能電網(wǎng)的發(fā)展方向；在電子商務(wù)方面，通過大數(shù)據(jù)的分析可以得到消費者的消費習慣、消費趨勢等信息；在網(wǎng)絡(luò)通信領(lǐng)域，可以通過對大量的通信數(shù)據(jù)的收集分析，捕捉市場變化；在醫(yī)療行業(yè)，在醫(yī)療活動、健康體檢、人類基因分析中會產(chǎn)生海量的有效數(shù)據(jù)，通過大數(shù)據(jù)處理技術(shù)，可以實現(xiàn)個性化治療，建立基因數(shù)據(jù)庫等；在氣象領(lǐng)域，氣象衛(wèi)星、天氣雷達等非常規(guī)遙感遙測數(shù)據(jù)中包含的數(shù)據(jù)信息非常豐富，通過收集大量的氣象衛(wèi)星數(shù)據(jù)可以挖掘出更多有助于預(yù)測天氣變化的規(guī)律，提供更加精準的天氣預(yù)報，同時通過這些數(shù)據(jù)分析也可以拓展氣象行業(yè)新的領(lǐng)域。另外，大數(shù)據(jù)在交互領(lǐng)域的應(yīng)用也更加廣泛和深入。

在金融保險領(lǐng)域，“互聯(lián)網(wǎng)+金融”的發(fā)展模式為大數(shù)據(jù)在金融領(lǐng)域的應(yīng)用提供了更加廣闊的空間。例如中小型企業(yè)融資問題的研究，通過搭建的云數(shù)據(jù)平臺，廣泛收集資金供需兩方的信息資源，用大數(shù)據(jù)處理技術(shù)對收集到的海量的數(shù)據(jù)進行處理分析，從而建立標準化風險評估體系，降低金融行業(yè)的風險系數(shù)、拓寬融資渠道等，助力金融行業(yè)的發(fā)展。在教育科研領(lǐng)域，近年來在移動互聯(lián)背景下，教育改革成果質(zhì)量有了突飛猛進的提升，通過對教育活動中的一系列行為數(shù)據(jù)進行統(tǒng)計分析，可以幫助我們?yōu)楦纳茖W(xué)生的成績提供個性化服務(wù)，與此同時，還能改善學(xué)生的出勤率、升學(xué)率等。目前，美國教育部門開發(fā)了“學(xué)習分析系統(tǒng)”，通過數(shù)據(jù)挖掘、模型化和案例運用，幫助教育者更多更精準地了解學(xué)生信息，對于翻轉(zhuǎn)課堂、案例化教學(xué)等新興的教學(xué)改革方式也提供了依據(jù)和幫助。國內(nèi)的高校主要是通過網(wǎng)絡(luò)教學(xué)平臺的構(gòu)建，依托大數(shù)據(jù)處理技術(shù)，分析教師、課程、學(xué)生三者之間的關(guān)系及各自的學(xué)習特征等。另外，大數(shù)據(jù)在智慧城市、智能運輸?shù)确矫嬉灿谐錾憩F(xiàn)。

綜上所述，大數(shù)據(jù)處理技術(shù)在各行各業(yè)都得到了廣泛的應(yīng)用，隨著移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的飛速發(fā)展，大數(shù)據(jù)未來的發(fā)展空間將會更加廣闊。

三、大數(shù)據(jù)發(fā)展的挑戰(zhàn)與展望

當前，大數(shù)據(jù)處理技術(shù)的應(yīng)用還面臨著很多的挑戰(zhàn)，目前的技術(shù)研究水平還處于初期階段，在數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)分析等方面還存在效率低、不穩(wěn)定的問題，數(shù)據(jù)模型建立、數(shù)據(jù)分析及相應(yīng)的搜索、挖掘算法還有待優(yōu)化。另外，在信息技術(shù)中，數(shù)據(jù)的安全和隱私一直也是人們最為關(guān)注的問題，數(shù)據(jù)量的增多，也意味著大數(shù)據(jù)的處理面臨著更嚴峻的安全風險。此外，病毒特征、漏洞特征和攻擊特征等信息也更容易通過大數(shù)據(jù)分析而被掌握和利用。如何建立嚴格的數(shù)據(jù)安全機制，提升數(shù)據(jù)質(zhì)量也成為大數(shù)據(jù)發(fā)展的制約因素。

綜上所述，大數(shù)據(jù)的發(fā)展還面臨著諸多問題。目前，大數(shù)據(jù)的安全問題已經(jīng)得到了國內(nèi)外研究學(xué)者的高度關(guān)注，但在多源異構(gòu)大數(shù)據(jù)的表示、度量和語義理解方法，建模理論和計算模型、能效優(yōu)化的分布存儲和處理的軟硬件系統(tǒng)架構(gòu)等方面的研究還有待進一步深入。

大數(shù)據(jù)的出現(xiàn)已經(jīng)影響了人們的生活和思維方式，改變了社會經(jīng)濟的發(fā)展模式，深入滲透于社會的各行各業(yè)。數(shù)據(jù)價值日益凸顯，信息對人們的生活質(zhì)量有著日益提高的重要作用。大數(shù)據(jù)不僅促進了物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、云計算等技術(shù)的融合，同時還催生了很多學(xué)科專業(yè)的交叉融合。目前，以Hadoop為代表的數(shù)據(jù)處理技術(shù)取得了很大的成功，但隨著大數(shù)據(jù)突飛猛進的發(fā)展速度，數(shù)據(jù)的規(guī)模會更大、種類更多、結(jié)構(gòu)也更為復(fù)雜，未來從交叉學(xué)科、人機交互、信息安全、方法論等角度出發(fā)，大數(shù)據(jù)的發(fā)展會更加貼近人們的生活，這也必將引起社會活動的巨大變革。

四、結(jié)語

大數(shù)據(jù)的產(chǎn)生對當今社會經(jīng)濟的發(fā)展及變革產(chǎn)生了巨大的影響，大數(shù)據(jù)技術(shù)的應(yīng)用及研究已經(jīng)融入到各行各業(yè)中，為社會經(jīng)濟的發(fā)展帶來了很大的機遇和挑戰(zhàn)。但是，大數(shù)據(jù)的發(fā)展同樣也面臨著很多的問題：數(shù)據(jù)種類越來越復(fù)雜，數(shù)據(jù)量日趨龐大，無論是數(shù)據(jù)存儲還是數(shù)據(jù)查詢，都出現(xiàn)了軟硬件等方面的瓶頸問題；用戶的應(yīng)用和分析結(jié)果呈整合趨勢，對實時性和指令響應(yīng)時間的要求越來越高；同時，數(shù)據(jù)處理的模型也越來越復(fù)雜，計算算法的要求越來越高等，這些都需要從數(shù)據(jù)采集、數(shù)據(jù)管理、數(shù)據(jù)處理（包括數(shù)據(jù)傳輸）等方面去改進優(yōu)化。隨著大數(shù)據(jù)技術(shù)在各行各業(yè)的廣泛應(yīng)用，數(shù)據(jù)處理技術(shù)也將會越來越先進，大數(shù)據(jù)將會更多更深入地與各個學(xué)科專業(yè)深度融合。相信大數(shù)據(jù)技術(shù)會對社會經(jīng)濟的發(fā)展產(chǎn)生強有力的推動作用。

主要參考文獻：

[1]徐巖.面向計算機基礎(chǔ)教學(xué)的Hadoop實驗設(shè)計[J].試驗室研究與探索，2016.1.

[2]方巍，鄭玉，徐江.大數(shù)據(jù)：概念、技術(shù)及應(yīng)用研究綜述[J].南京信息工程大學(xué)學(xué)報，2014.10.

[3]張引，陳敏，廖小飛.大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望[J].計算機研究與發(fā)展，2013.2.