大數(shù)據(jù)技術(shù)初探

楊雪

摘要：隨著科技發(fā)展和時(shí)代進(jìn)步，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生，不斷地在改變著人們的生活方式。大數(shù)據(jù)技術(shù)滲透到生活社會(huì)的各方面，深入挖掘這些數(shù)據(jù)，分析數(shù)據(jù)的規(guī)律和特點(diǎn)，不斷挖掘其中的價(jià)值和意義。本文將從大數(shù)據(jù)的概念、特點(diǎn)、應(yīng)用領(lǐng)域等幾個(gè)方面對(duì)大數(shù)據(jù)技術(shù)進(jìn)行分析探討，希望能理性認(rèn)識(shí)大數(shù)據(jù)的利弊，充分利用大數(shù)據(jù)技術(shù)帶給我們的機(jī)遇，真正發(fā)揮大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；應(yīng)用領(lǐng)域；發(fā)展趨勢(shì)

一、前言

大數(shù)據(jù)技術(shù)不僅可以全面的掌握某一領(lǐng)域或行業(yè)的數(shù)據(jù)，還能進(jìn)行實(shí)時(shí)存儲(chǔ)管理實(shí)現(xiàn)數(shù)據(jù)本身的分類展示，進(jìn)而及時(shí)地獲取到更有價(jià)值和意義的數(shù)據(jù)。大數(shù)據(jù)技術(shù)主要是通過對(duì)數(shù)據(jù)的研究獲取到其獨(dú)特的規(guī)律和特點(diǎn)實(shí)現(xiàn)有意義的挖掘和分析，從而全面系統(tǒng)的獲取到數(shù)據(jù)的核心價(jià)值。

二、大數(shù)據(jù)技術(shù)的特點(diǎn)

（一）大數(shù)據(jù)的特點(diǎn)。大數(shù)據(jù)的數(shù)據(jù)類型不再僅僅是純粹結(jié)構(gòu)化數(shù)據(jù)、數(shù)值型數(shù)據(jù)，還包括醫(yī)療數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、電商數(shù)據(jù)和軌跡數(shù)據(jù)等等。而且目前隨著研究的深入，更多的是異構(gòu)數(shù)據(jù)和不規(guī)則數(shù)據(jù)，數(shù)據(jù)維數(shù)高、數(shù)據(jù)量大、數(shù)據(jù)分散。數(shù)據(jù)分析之前需要數(shù)據(jù)的預(yù)處理操作，對(duì)數(shù)據(jù)進(jìn)行提純和特征提取，而且數(shù)據(jù)處理速度較快，對(duì)靜態(tài)和動(dòng)態(tài)數(shù)據(jù)處理的速度和效率要求較高。只有真實(shí)完整的數(shù)據(jù)才能使得后續(xù)大數(shù)據(jù)的分析、管理和預(yù)測(cè)等一系列活動(dòng)有價(jià)值和意義。

（二）廣泛的開源軟件。隨著互聯(lián)網(wǎng)信息的共享，信息技術(shù)的快速發(fā)展，數(shù)據(jù)源越來越多，數(shù)據(jù)傳播更快速。社會(huì)生活的各個(gè)方面都在應(yīng)用大數(shù)據(jù)技術(shù)，而且每個(gè)行業(yè)都朝著大數(shù)據(jù)智能化應(yīng)用、科技化方向發(fā)展。由此，很多開源軟件被大家廣泛使用。像深度學(xué)習(xí)的框架，Hadoop， Mapreduce，Hbase，MongoDb數(shù)據(jù)庫和Flask等這些各具特色功能的軟件都在被廣泛使用，有的也在被不斷優(yōu)化與創(chuàng)新，不斷提升使用效率和應(yīng)用范圍。

（三）人工智能技術(shù)。大數(shù)據(jù)技術(shù)不斷引進(jìn)人工智能技術(shù)，通過機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、區(qū)塊鏈、數(shù)據(jù)挖掘、模式識(shí)別等人工智能技術(shù)處理使用大數(shù)據(jù)。從巨大的數(shù)據(jù)資源中獲取有價(jià)值的數(shù)據(jù)，并對(duì)其進(jìn)行分析處理，實(shí)現(xiàn)數(shù)據(jù)更大價(jià)值化。尤其是在這個(gè)數(shù)據(jù)信息時(shí)代，人們每天都要接觸數(shù)據(jù)甚至產(chǎn)生數(shù)據(jù)，因此更智能的獲取數(shù)據(jù)、實(shí)時(shí)存儲(chǔ)數(shù)據(jù)顯得更加重要，還要更有效的管理和處理數(shù)據(jù)，甚至是數(shù)據(jù)的可視化展示等都與人們有重大的關(guān)系，實(shí)現(xiàn)人工智能技術(shù)的最大化價(jià)值和高速的效率。

三、大數(shù)據(jù)應(yīng)用領(lǐng)域

大數(shù)據(jù)技術(shù)從出現(xiàn)發(fā)展到現(xiàn)在，被各行各業(yè)廣泛使用，從企業(yè)到政府，大數(shù)據(jù)都在產(chǎn)生巨大的價(jià)值。將廣泛的數(shù)據(jù)匯集到一起，經(jīng)過數(shù)據(jù)預(yù)處理、智能分析、數(shù)據(jù)挖掘、深度學(xué)習(xí)技術(shù)等分析出數(shù)據(jù)的潛在規(guī)律，從而來分析預(yù)測(cè)未來的發(fā)展方向和趨勢(shì)，有助于人們深入認(rèn)識(shí)行業(yè)的數(shù)據(jù)特點(diǎn)，發(fā)展趨勢(shì)以及領(lǐng)域的運(yùn)行管理效率，從而取得更大的效益。

（一）智能商業(yè)。商業(yè)智能化是商業(yè)領(lǐng)域最感興趣的研究?jī)?nèi)容，也是大數(shù)據(jù)應(yīng)用最廣泛的領(lǐng)域。商業(yè)數(shù)據(jù)量大，且數(shù)據(jù)源豐富，完全符合大數(shù)據(jù)的特點(diǎn)，如阿里巴巴集團(tuán)的電商平臺(tái)，通過對(duì)平臺(tái)上的顧客進(jìn)行用戶畫像分析，了解不同顧客的需求，從而對(duì)不同的顧客進(jìn)行特定商品的推薦，吸引顧客對(duì)商品的購買興趣，在一定程度上加大了顧客的購買欲望，提升了店鋪的銷售量。

（二）智慧醫(yī)療。醫(yī)療行業(yè)是人們生活不可或缺的一部分，醫(yī)療行業(yè)信息巨大，數(shù)據(jù)種類多，隨著大數(shù)據(jù)在醫(yī)療行業(yè)的廣泛使用和不斷擴(kuò)展，相信大數(shù)據(jù)技術(shù)能在醫(yī)療行業(yè)產(chǎn)生巨大的價(jià)值和意義。

有研究做過糖尿病的例子，我們可以統(tǒng)計(jì)糖尿病患者的數(shù)據(jù)、通過大數(shù)據(jù)技術(shù)挖掘出其中的特征，分析患病者的特點(diǎn)，一方面可以提醒人們要從哪些方面加強(qiáng)預(yù)防，另一方面可以預(yù)測(cè)哪些特征的人更容易患上該疾病。大數(shù)據(jù)的發(fā)展也提升了醫(yī)療設(shè)備的使用，使得人們對(duì)疾病的認(rèn)識(shí)更深刻，從而能在以后給人們的生活創(chuàng)造更大的福利。

（三）智慧城市。智慧城市的理念隨著大數(shù)據(jù)技術(shù)的產(chǎn)生而得以發(fā)展和完善。人們利用大數(shù)據(jù)技術(shù)，實(shí)時(shí)獲取監(jiān)控的視頻數(shù)據(jù)、人們的出行軌跡數(shù)據(jù)等，對(duì)城市的交通出行以及各個(gè)方面的數(shù)據(jù)能夠?qū)崟r(shí)獲取并快速處理并可視化展示。將整個(gè)城市的行為融為一體，可以快速掌握當(dāng)前城市的狀態(tài)，大數(shù)據(jù)技術(shù)對(duì)處理城市突發(fā)狀況，合理規(guī)劃和管理城市發(fā)揮著極大的作用。

四、大數(shù)據(jù)技術(shù)發(fā)展趨勢(shì)

（一）人工智能技術(shù)的結(jié)合。大數(shù)據(jù)分析的目的是合理利用并挖掘出大數(shù)據(jù)中的信息，是從大數(shù)據(jù)中獲取更深層次的含義與價(jià)值，而不是過去的對(duì)數(shù)據(jù)的簡(jiǎn)單統(tǒng)計(jì)分析。要達(dá)到這一目標(biāo)，需要提高計(jì)算機(jī)的智能計(jì)算能力，如今的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是大數(shù)據(jù)技術(shù)中分析數(shù)據(jù)的強(qiáng)有力工具，能在大數(shù)據(jù)中挖掘到數(shù)據(jù)的深層的含義。近年來由于計(jì)算機(jī)硬件性能的快速提升，且以云計(jì)算、大數(shù)據(jù)為代表的計(jì)算技術(shù)的快速發(fā)展，使得信息處理的速度和質(zhì)量大為提高，能夠快速、并行地處理海量數(shù)據(jù)。

（二）基于大數(shù)據(jù)技術(shù)的多學(xué)科融合。大數(shù)據(jù)時(shí)代的社會(huì)進(jìn)程中，許多行業(yè)和學(xué)科的研究?jī)?nèi)容從表面上無所關(guān)聯(lián)，但是從數(shù)據(jù)研究深層的視角來分析，其實(shí)是有所聯(lián)系和結(jié)合點(diǎn)的。未來大數(shù)據(jù)技術(shù)將與區(qū)塊鏈技術(shù)、物聯(lián)網(wǎng)技術(shù)、云計(jì)算等熱點(diǎn)技術(shù)領(lǐng)域相互交叉，相互融合學(xué)習(xí)研究，產(chǎn)生更多融合不同行業(yè)、不同領(lǐng)域的數(shù)據(jù)的綜合性應(yīng)用。

（三）大數(shù)據(jù)安全管理。大數(shù)據(jù)及其相關(guān)重要資源涉及范圍廣，覆蓋面大，且針對(duì)的對(duì)象可能是行業(yè)的機(jī)密和國家主權(quán)問題，因此如何保護(hù)大數(shù)據(jù)資源的安全，以及如何保護(hù)用戶的隱私就成為一個(gè)社會(huì)熱點(diǎn)關(guān)注的問題。但大數(shù)據(jù)應(yīng)用所產(chǎn)生的隱私問題安全保護(hù)條例以及管理辦法還沒有得到實(shí)質(zhì)性的進(jìn)展和突破。因此，未來大數(shù)據(jù)安全和隱私問題依然是學(xué)術(shù)界和行業(yè)的研究熱點(diǎn)。

（四）大數(shù)據(jù)技術(shù)人才培養(yǎng)。大數(shù)據(jù)技術(shù)發(fā)展迅速，互聯(lián)網(wǎng)行業(yè)應(yīng)用需求的快速增長，但目前技術(shù)市場(chǎng)上的高精尖人才短缺嚴(yán)重。因此，有關(guān)單位應(yīng)積極推進(jìn)科學(xué)文化建設(shè)，推動(dòng)學(xué)科的交叉學(xué)習(xí)，全面對(duì)數(shù)據(jù)分析技術(shù)人才進(jìn)行培養(yǎng)。使得大數(shù)據(jù)學(xué)科體系建設(shè)和人才培養(yǎng)能與市場(chǎng)的需求同步前進(jìn)，同時(shí)推動(dòng)大數(shù)據(jù)技術(shù)迅速發(fā)展，推動(dòng)行業(yè)更快的建設(shè)。

五、總結(jié)

如今人們已經(jīng)習(xí)慣了將自己的生活通過網(wǎng)絡(luò)進(jìn)行記錄和分享，智慧農(nóng)業(yè)、智慧教育、智慧醫(yī)療、智慧環(huán)保、智慧城市的建設(shè)，也已經(jīng)將當(dāng)今社會(huì)融入到到“大數(shù)據(jù)”時(shí)代。大數(shù)據(jù)技術(shù)仍然在發(fā)展，并在潛移默化的改變著人們的生活節(jié)奏和整個(gè)社會(huì)的發(fā)展方向，我們要合理使用大數(shù)據(jù)技術(shù)平臺(tái)，造福于人類的生活。

參考文獻(xiàn)：

[1]張曉燕，劉超.基于云計(jì)算的大數(shù)據(jù)技術(shù)研究[J].電子世界， 2018（3）：63-64.

[2]謝思睿.大數(shù)據(jù)應(yīng)用的綜述和展望[J].通訊世界， 2017（21）：3-4.

[3]陳曈.近年來大數(shù)據(jù)應(yīng)用情況綜述[J].電腦與信息技術(shù)， 2017， 25（3）：63-65.

[4]呂登龍， 朱詩兵. 大數(shù)據(jù)及其體系架構(gòu)與關(guān)鍵技術(shù)綜述[J]. 裝備學(xué)院學(xué)報(bào)， 2017， 28（1）：86-96.

[5]米保全.概述大數(shù)據(jù)系統(tǒng)及分析技術(shù)[J].通訊世界， 2017（24）：97-98.