大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題研究

◆李 鋒 史慕志

大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題研究

◆李 鋒 史慕志

（中國電子科技集團公司第二十八研究所 江蘇 210007）

隨著科學技術(shù)手段的不斷發(fā)展，大數(shù)據(jù)應(yīng)用技術(shù)及系統(tǒng)在不斷的完善，現(xiàn)階段主要的大數(shù)據(jù)為應(yīng)用技術(shù)云計算、計算機編程模型、大數(shù)據(jù)獲取方法、大數(shù)據(jù)處理系統(tǒng)等等。大數(shù)據(jù)應(yīng)用技術(shù)體系在實踐中還是存在一些問題與不足，解決這些問題才可以完善大數(shù)據(jù)應(yīng)用技術(shù)體系。對此，文章主要對大數(shù)據(jù)應(yīng)用技術(shù)體系以及其潛在的問題進行了簡單的研究分析。

大數(shù)據(jù)；應(yīng)用；技術(shù)體系；潛在問題

0 引言

在科學技術(shù)的持續(xù)發(fā)展過程中，大數(shù)據(jù)應(yīng)用的技術(shù)體系在不斷的發(fā)展，其存在的潛在問題也逐漸凸顯，而在大數(shù)據(jù)不斷發(fā)展的過程中，必須要解決這些問題，這樣才可以真正的實現(xiàn)智能化、集約化發(fā)展。

1 大數(shù)據(jù)應(yīng)用技術(shù)體系

大數(shù)據(jù)就是涉及的資料量規(guī)模巨大，無法通過主流軟件工具在合理的時間中進行處理，整理成為為企業(yè)的經(jīng)營決策提供的各種咨詢。現(xiàn)階段，對于大數(shù)據(jù)的主流定義就是規(guī)模性、多樣性以及高速性。規(guī)模性就是在數(shù)據(jù)累積到了一定的高度，無法通過主流工具對其進行處理；多樣性就會對于一些要處理的數(shù)據(jù)類型，主要有結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的特征，在根本上增加了操作的復雜性；高速性就是在數(shù)據(jù)到達以及處理過程中的高效性，降低延遲性。同時，隱私性以及價值性也是大數(shù)據(jù)的重要特征因素。

1.1 云計算、計算編程模型系統(tǒng)

云計算屬于一種經(jīng)濟驅(qū)動類型的發(fā)散模型，其主要工作原理就是通過一種虛擬以及動態(tài)的相關(guān)特征進行能源、平臺等相關(guān)通信傳輸給客戶。其具體如下的特征：

第一，云計算可以獲得數(shù)量龐大且分布式的數(shù)據(jù)信息；第二，計算系統(tǒng)以及規(guī)模經(jīng)濟之間具有一定的關(guān)系，要根據(jù)需求進行計價分析；第三，在給客戶提供基礎(chǔ)信息服務(wù)的基礎(chǔ)之上，也可以進行信息的存儲計算處理。云計算服務(wù)的類型主要可以分為基礎(chǔ)設(shè)施服務(wù)、平臺服務(wù)以及軟件服務(wù)幾種類型。

計算機編程模型中較為關(guān)鍵的關(guān)系數(shù)據(jù)庫就是MapReduce,此種技術(shù)主要就是在進行聯(lián)機事物的處理、分析事物以及各種信息數(shù)據(jù)技術(shù)基礎(chǔ)之上，通過低價的服務(wù)器對大型的數(shù)據(jù)信息進行平行處理。此種技術(shù)的主要工作原理就是將整體信息數(shù)據(jù)分為若干個子系統(tǒng)，通過對子系統(tǒng)數(shù)據(jù)信息進行整合，可以獲得全新的結(jié)果。數(shù)據(jù)信息處理主要就是通過初始信息處理，利用Map對初始的Key/value進行處理，獲得相關(guān)結(jié)果信息，然后，在將Reduce融合具有相同Key數(shù)值的鍵值，在獲得結(jié)果信息[1]。

1.2 大數(shù)據(jù)獲得方法

（1）利用傳感器獲得大數(shù)據(jù)信息

傳感器的有效應(yīng)用可以為大數(shù)據(jù)信息的獲得提供基礎(chǔ)保障，也可以有效的優(yōu)化傳感器自身的網(wǎng)絡(luò)結(jié)構(gòu)模式。傳感器的網(wǎng)絡(luò)設(shè)備對大數(shù)據(jù)信息的保存、大數(shù)據(jù)的獲取均有不同的要求，處理信息數(shù)據(jù)共享問題是現(xiàn)階段研究的重點。NIST與IEEE組織網(wǎng)絡(luò)應(yīng)用會議對不兼容的問題進行了分析；OGC則提出了wed的處理框架，這樣就可以利用wed平臺對各項信息數(shù)據(jù)進行收集，控制節(jié)點[2]。

（2）利用wed2.0獲得信息數(shù)據(jù)

Wed2.0就是利用網(wǎng)絡(luò)用戶的身份轉(zhuǎn)化，成為網(wǎng)絡(luò)作者以及共建人，這樣就可以將在網(wǎng)絡(luò)上的各項活動由被動的信息接受變?yōu)樾畔⒌膭?chuàng)造，在網(wǎng)絡(luò)上軟件的開發(fā)以及各種軟件的應(yīng)用就會吸引大量的點擊率，可以說在大數(shù)據(jù)時代，隨著網(wǎng)絡(luò)技術(shù)手段的成熟，無疑給人們的生活帶來一定的便捷。

2 大數(shù)據(jù)應(yīng)用存在的問題與解決對策

2.1 人才匱乏的問題

在大數(shù)據(jù)時代其面臨的主要問題就是資金以及人員的問題。大數(shù)據(jù)人才的匱乏是影響大數(shù)據(jù)市場發(fā)展的關(guān)鍵因素。雖然各個行業(yè)業(yè)務(wù)的數(shù)據(jù)為數(shù)據(jù)分析提供了基礎(chǔ)條件，但是科學家數(shù)量的不足也直接的制約領(lǐng)導大數(shù)據(jù)的發(fā)展。

數(shù)據(jù)科學家多數(shù)為復合型的人才，是對數(shù)學、統(tǒng)計以及機器學習等各個領(lǐng)域知識的綜合性掌控，可以對各項信息數(shù)據(jù)進行預測性的價值分析。對此，要加強對大數(shù)據(jù)人才的培養(yǎng)。

大數(shù)據(jù)的接受以及管理需要一定的基礎(chǔ)設(shè)施以及能源，而無論是傳感器還是數(shù)據(jù)中心的服務(wù)器，都必須要大量的硬件投入以及能源消耗，這對于大數(shù)據(jù)處理的財力要求嚴格，加強對大數(shù)據(jù)資金的服務(wù)器研究的投入，對投資資金的比例進行分析，是現(xiàn)階段大數(shù)據(jù)應(yīng)用中必須要解決的問題。

2.2 安全與隱私問題

大數(shù)據(jù)在發(fā)展中面臨著一定的安全以及隱私問題。隨著社會經(jīng)濟的發(fā)展，傳感器以及攝像頭等設(shè)備數(shù)量在不斷的增多，這樣就會在一定程度上對人們的位置信息進行記錄、監(jiān)視，通過對人們海量信息數(shù)據(jù)的分析，就可以了解人們的出行、消費等規(guī)律，這樣就會在一定程度上威脅人們的生命以及財產(chǎn)安全。

同時，隨著云計算的不斷發(fā)展，云設(shè)施具有經(jīng)濟性的特征，這樣就會在一定程度上給僵尸網(wǎng)絡(luò)的發(fā)展帶來了契機，增加了密碼系統(tǒng)破譯的幾率。而因為云計算的不斷發(fā)展，使得人們對于計算機越來越依賴，將個人的信息、工作信息等存儲在網(wǎng)絡(luò)之上，這樣就會增加信息泄露的幾率。

為了解決信息安全性的問題，一些學者提出了K-匿名的方法，將自己與周邊的用戶組成一定范圍的具有集合性的UI性，請求位置服務(wù)，可以模糊自己的精準定位；一些學者提出通過對周邊K-1的用戶位置信息進行搜集整理，通過其中一個信息名義發(fā)送位置請求服務(wù)，可以實現(xiàn)隱藏坐標的效果。一些學者通過將集中信息流控制以及差分隱私保護等方式，將其融入到數(shù)據(jù)生成以及計算的階段中，提出了保護隱私系統(tǒng)，通過隱私保護系統(tǒng)避免在計算中將一些非授權(quán)的隱私信息數(shù)據(jù)泄露，支持對計算結(jié)果的自動除密，這樣可以有效的避免定位信息泄露等問題的出現(xiàn)[3]。

而蘋果則研發(fā)了電子分析污染技術(shù)，此技術(shù)在應(yīng)用上可以將用戶在蘋果產(chǎn)品中產(chǎn)生的各項行為信息數(shù)據(jù)進行污染以及混淆處理，這樣就降低了信息泄露的幾率。這些加密措施與手段主要的原理，就是在加密手段無法保護個人信息的時候，通過冗雜的信息干擾有效的信息，這樣就會增加信息竊取的成本，進而降低信息泄露的幾率[4]。

2.3 影響IT行業(yè)的生態(tài)環(huán)境以及產(chǎn)業(yè)鏈變革

在傳統(tǒng)的網(wǎng)絡(luò)公司運營中其主要的模式就是在自己的服務(wù)器上對產(chǎn)品以及服務(wù)進行管理，通過網(wǎng)絡(luò)連線的方式為用戶終端提供信息，其產(chǎn)生的數(shù)據(jù)信息屬于公司。而在大數(shù)據(jù)時代，服務(wù)公司會通過第三方平臺進行業(yè)務(wù)信息的存儲，也就是說用戶提供數(shù)據(jù)，服務(wù)方處理信息數(shù)據(jù)而數(shù)據(jù)的存儲則在第三方。大數(shù)據(jù)對IT產(chǎn)業(yè)鏈的影響主要就是數(shù)據(jù)資源、應(yīng)用軟件以及基礎(chǔ)設(shè)施三個內(nèi)容。數(shù)據(jù)資源中，各個信息中心、通信運營商等要對大數(shù)據(jù)技術(shù)進行研發(fā)與應(yīng)用，充分的培育專業(yè)的人才，完成數(shù)據(jù)資源收集以及產(chǎn)業(yè)開發(fā)；而在軟件方面，隨著高性能云平臺的不斷成熟，云應(yīng)用軟件也會不斷的成熟，這樣就可以提升網(wǎng)絡(luò)應(yīng)用服務(wù)的質(zhì)量與效果。

3 結(jié)束語

科學技術(shù)手段在不斷的發(fā)展中，計算機網(wǎng)絡(luò)信息技術(shù)在人們的生活中越來越重要。隨著無線網(wǎng)絡(luò)以及智能手機、移動設(shè)備等無限網(wǎng)絡(luò)的不斷普及，人們逐漸進入到了大數(shù)據(jù)時代，構(gòu)建完善的大數(shù)據(jù)應(yīng)用技術(shù)系統(tǒng)，完善大數(shù)據(jù)處理系統(tǒng)，才可以真正的實現(xiàn)網(wǎng)絡(luò)化以及信息化的發(fā)展趨勢，加強對大數(shù)據(jù)應(yīng)用技術(shù)體系以及潛在問題的分析，綜合實際狀況的有效應(yīng)對，才可以真正的推動其持續(xù)發(fā)展。

[1]靳琦. 大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題探討[J]. 電子技術(shù)與軟件工程, 2015.

[2]竇萬春, 江澄. 大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題[J]. 中興通訊技術(shù), 2013.

[3]胡輝, 陳伽, 胡松,等. 分析大數(shù)據(jù)應(yīng)用的技術(shù)體系及潛在問題[J]. 電子技術(shù)與軟件工程, 2016.

[4]何友，周偉. 海上信息感知大數(shù)據(jù)技術(shù)[J].指揮信息系統(tǒng)與技術(shù), 2018.