大數(shù)據(jù)發(fā)展的特點、問題及其對策研究

摘 要：大數(shù)據(jù)是體量巨大需要更快、更強的能力處理的信息資產(chǎn)。它的特征是數(shù)據(jù)數(shù)量巨大、數(shù)據(jù)有多樣性、價值真實性高且密度低、處理速度較快。大數(shù)據(jù)的發(fā)展面臨新的挑戰(zhàn)，可能使得個人隱私泄露，大數(shù)據(jù)的發(fā)展需要更多的模型和計算方法。加強立法活動，加強數(shù)據(jù)開發(fā)，加大對人才培養(yǎng)是大數(shù)據(jù)發(fā)展的策略。

關(guān)鍵詞：大數(shù)據(jù) 特點 問題 對策

大數(shù)據(jù)（Big Data）是極其龐大的數(shù)據(jù)存儲資料，因為其數(shù)據(jù)體量巨大，需要更快、更強的能力才能夠處理，使其變成有價值的信息資產(chǎn)。大數(shù)據(jù)產(chǎn)業(yè)具有重要的戰(zhàn)略意義，通關(guān)對原有數(shù)據(jù)進行產(chǎn)業(yè)加工，挖掘有價值的信息，從而提升企業(yè)利潤和加強政府管理能力。

一、大數(shù)據(jù)發(fā)展的特點和問題

1、大數(shù)據(jù)的4V特征

大數(shù)據(jù)發(fā)展是維克托·邁爾·舍恩伯格在《大數(shù)據(jù)時代》中提出的概念，大數(shù)據(jù)應(yīng)該對所有數(shù)據(jù)進行分析處理，而不是采用單一的抽樣調(diào)查處理[1]。在業(yè)界，通常用4V來形容大數(shù)據(jù)發(fā)展的特點，即是Volume（數(shù)據(jù)數(shù)量巨大）、Variety（數(shù)據(jù)有多樣性）、Value（價值真實性高且密度低）、Velocity（處理速度較快）。大數(shù)據(jù)數(shù)量大，每天產(chǎn)生的數(shù)據(jù)在不斷膨脹，在PB（=1000TB）、EB、ZB級別；數(shù)據(jù)類型多樣性包括圖片、視頻、位置等；數(shù)據(jù)雖然特別巨大，但是能夠在很短的時間內(nèi)提取信息。

2、大數(shù)據(jù)的存儲特點

大數(shù)據(jù)的數(shù)據(jù)存儲模式通常有三種：第一類是，采用MPP架構(gòu)新型數(shù)據(jù)庫集群，采用列存儲、粗粒度索引等技術(shù)，使用MPP架構(gòu)高效的分布式計算模式，對企業(yè)分析類應(yīng)用數(shù)據(jù)存儲；第二類是，采用Hadoop技術(shù)對數(shù)據(jù)擴展和封裝，利用Hadoop衍生的幾十種NoSQL技術(shù)，對非結(jié)構(gòu)化數(shù)據(jù)計算，可以有效處理非結(jié)構(gòu)、復(fù)雜數(shù)據(jù)計算，充分挖掘其特點；第三種是采用大數(shù)據(jù)一體機，專門為大數(shù)據(jù)分析而開發(fā)的服務(wù)器，在里面可以對數(shù)據(jù)有效存儲、查詢、分析等。大數(shù)據(jù)主要包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。

二、大數(shù)據(jù)發(fā)展的問題

1、大數(shù)據(jù)的數(shù)據(jù)安全面臨挑戰(zhàn)

大數(shù)據(jù)技術(shù)與傳統(tǒng)的數(shù)據(jù)存儲不同，它的存儲周期為復(fù)雜多鏈條形態(tài)，數(shù)據(jù)共享、交易、存儲、挖掘分析等使得數(shù)據(jù)應(yīng)用多樣化，在信息系統(tǒng)軟硬件架構(gòu)變革的背景下，黑客可能對數(shù)據(jù)篡改、偽造、重放，控制關(guān)鍵節(jié)點，使其成為高數(shù)量級僵尸網(wǎng)絡(luò)。大數(shù)據(jù)采用開放的分布式存儲和計算架構(gòu)，深層的程序設(shè)計復(fù)雜，高級持續(xù)性威脅APT攻擊和大規(guī)模分布式拒絕服務(wù)DDoS攻擊，傳統(tǒng)的防御技術(shù)無法抵御外界攻擊，有的甚至將大數(shù)據(jù)作為APT攻擊的載體，這些新型手段的破壞方式給大數(shù)據(jù)管理帶來了挑戰(zhàn)。

2、大數(shù)據(jù)發(fā)展使得個人隱私泄露

在大數(shù)據(jù)時代，互聯(lián)網(wǎng)企業(yè)如百度、騰訊、阿里巴巴等企業(yè)既是數(shù)據(jù)的生產(chǎn)者，又是數(shù)據(jù)的存儲、管理、使用者，他們在不同場景對數(shù)據(jù)收集處理，這很難確保數(shù)據(jù)不被匿名、隱蔽、清楚個人關(guān)鍵信息。有的企業(yè)為了追求利潤目的，不同企業(yè)之間互相共享客戶數(shù)據(jù)，缺乏有效監(jiān)管，主要靠企業(yè)自律，用戶無法確定自己隱私信息的用途。再則，服務(wù)商內(nèi)部人員偷盜售賣個人隱私信息，或者是網(wǎng)絡(luò)供應(yīng)商數(shù)據(jù)被木馬、釣魚網(wǎng)站、病毒等劫持盜用，大數(shù)據(jù)技術(shù)應(yīng)用使隱私保護和公民權(quán)益面臨嚴重威脅。

3、大數(shù)據(jù)的使用和分析的問題

由于大數(shù)據(jù)中數(shù)據(jù)體量巨大，數(shù)據(jù)常常以雜亂無序的方式呈現(xiàn)，有效、有價值的數(shù)據(jù)應(yīng)該是精確完整、有價值的，在對數(shù)據(jù)采集與獲取以后，需要用到不同的分析過濾技術(shù)，將多源數(shù)據(jù)進行融合計算，對數(shù)據(jù)源進行自動檢測與修復(fù)，提高數(shù)據(jù)源的質(zhì)量。在對數(shù)據(jù)分析中，數(shù)據(jù)建模也是重要核心的方法，由于數(shù)據(jù)海量式呈現(xiàn)，需要構(gòu)建眾多模型構(gòu)成的模型庫，挖掘出數(shù)據(jù)背后的共性特征和個性化的差異特征。大數(shù)據(jù)產(chǎn)生具有動態(tài)性和涌現(xiàn)性特點，數(shù)據(jù)的產(chǎn)生與多少都是不確定的，在分析過程中，需要對這些不確定的問題進行有效配置和彈性地調(diào)度，探索動態(tài)相應(yīng)的策略與算法，不斷優(yōu)化和改進，才能夠?qū)崿F(xiàn)數(shù)據(jù)價值的開發(fā)和有效利用。

三、大數(shù)據(jù)發(fā)展的對策研究

1、加強大數(shù)據(jù)立法活動，確保大數(shù)據(jù)信息安全

2017年6月1日開始實施的《中華人民共和國網(wǎng)絡(luò)安全法》明確規(guī)定了，“任何個人和組織不得從事非法侵入他人網(wǎng)絡(luò)、干擾他人網(wǎng)絡(luò)正常功能、竊取網(wǎng)絡(luò)數(shù)據(jù)等危害網(wǎng)絡(luò)安全的活動；不得提供專門用于從事侵入網(wǎng)絡(luò)、干擾網(wǎng)絡(luò)正常功能及防護措施、竊取網(wǎng)絡(luò)數(shù)據(jù)等危害網(wǎng)絡(luò)安全活動的程序、工具”，“網(wǎng)絡(luò)運營者不得收集與其提供的服務(wù)無關(guān)的個人信息，不得違反法律、行政法規(guī)的規(guī)定和雙方的約定收集、使用個人信息，并應(yīng)當依照法律、行政法規(guī)的規(guī)定和與用戶的約定，處理其保存的個人信息”[2]。國家從法律的角度規(guī)范了數(shù)據(jù)收集、存儲、使用、刪除等行為，應(yīng)當繼續(xù)完善個人信息保護的規(guī)定，并制定相關(guān)的配套政策供具體執(zhí)行，確實著力保護個人信息安全。

2、加大對數(shù)據(jù)開發(fā)力度

用云存儲技術(shù)應(yīng)對不斷增長的大數(shù)據(jù)，解決儲存容量、設(shè)備、位置等問題，確保數(shù)據(jù)的安全可用。云存儲的數(shù)據(jù)中心架構(gòu)，“基于云計算理念架構(gòu)數(shù)據(jù)，以云服務(wù)等級協(xié)議為基礎(chǔ)，采用并行編程模型的調(diào)度分割，并行數(shù)據(jù)庫和分布式文件系統(tǒng)，對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)儲存”，并為客戶提供所需的服務(wù)。針對海量的數(shù)據(jù)，應(yīng)該提高數(shù)據(jù)的質(zhì)量，針對業(yè)務(wù)數(shù)據(jù)、傳感數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等，將不同類型的數(shù)據(jù)分類處理，動態(tài)增減，加強數(shù)據(jù)理論和技術(shù)研究，篩選有價值數(shù)據(jù)。對數(shù)據(jù)的分析，需要優(yōu)化模型庫和知識庫，修正相關(guān)參數(shù)，加強復(fù)雜模型庫的設(shè)計與研究，使得擴展的數(shù)據(jù)分析模型能夠應(yīng)對不斷增長的大數(shù)據(jù)。大數(shù)據(jù)的需求分為周期性和非周期性需求，針對非周期性需求可以采用彈性的廣布分配的計算方法來處理，構(gòu)架彈性和虛擬云計算處理體系以實現(xiàn)技術(shù)動態(tài)平衡[3]。

3、加大對大數(shù)據(jù)人才培養(yǎng)

我國大數(shù)據(jù)產(chǎn)業(yè)整體實力與國外相比仍有較大差距，作為大數(shù)據(jù)發(fā)展的核心專業(yè)人才隊伍建設(shè)不足是一個重要原因之一。當前我國的大數(shù)據(jù)人才培養(yǎng)主要是以統(tǒng)計學(xué)和計算機培養(yǎng)為核心，統(tǒng)計學(xué)人才主要注重基礎(chǔ)性數(shù)據(jù)挖掘、分析和建模，計算機人才大培養(yǎng)包括了計算機設(shè)施、系統(tǒng)集成與存儲、數(shù)據(jù)建模和管理、深層次的數(shù)據(jù)分析和挖掘以及計算機安全等多方面。與國外日趨成熟的培養(yǎng)模式相比，我國國內(nèi)培養(yǎng)大數(shù)據(jù)人才刻不容緩，要完善大數(shù)據(jù)培養(yǎng)方式，增加大數(shù)據(jù)專業(yè)方向，積極借鑒國外經(jīng)驗，快速、全面的獲取先進的人才，為我國大數(shù)據(jù)發(fā)展打下堅實的人才基礎(chǔ)[4]。在打造高端人才的同時，要積極引進高端人才，把懂大數(shù)據(jù)分析和管理的國際高層次人才引進國內(nèi)，讓重點高校和科研院所培養(yǎng)更多高端專業(yè)人才。另外，為適應(yīng)不斷變化的市場需要，要加強對在職人員相關(guān)技能的專業(yè)培訓(xùn)，提升他們的大數(shù)據(jù)收集、分析、應(yīng)用能力。

參考文獻

[1]維克托·邁爾-舍恩伯格.《大數(shù)據(jù)時代》[M]，浙江人民出版社，2013年1月1日

[2]中華人民共和國網(wǎng)絡(luò)安全法（附草案說明）[M]， 法律出版社，2016年11月

[3]官思發(fā)、孟璽、李宗潔、劉揚，大數(shù)據(jù)分析研究現(xiàn)狀、問題與對策[J]，情報雜志，2015年5月18

[4]劉宏晶，國內(nèi)外高校大數(shù)據(jù)高端人才培養(yǎng)途徑與啟示[D]，北京：首都經(jīng)濟貿(mào)易大學(xué)，2017年3月

作者簡介

南東辰（1995-），男，陜西咸陽，西安翻譯學(xué)院，大專，15級，專業(yè)：工商企業(yè)管理。