大數據系統(tǒng)和分析技術研究

陳曉偉

摘 要：文章的內容主要是以大數據的發(fā)展狀況作為研究的背景，然后對大數據處理系統(tǒng)以及大數據等等相關內容進行了深入的分析和研究，并且在這個基礎上分析發(fā)現(xiàn)當前我國大數據計算所面臨的困難和難題，并且根據這些難題提出相應的解決措施，希望能夠大大的提升大數據的計算工作效率，并且能夠進一步的提升系統(tǒng)的有效性。

關鍵詞：大數據；數據分析；技術

中圖分類號：TP311.13 文獻標志碼：A 文章編號：2095-2945（2019）20-0136-02

Abstract： The content of this paper is mainly based on the development of big data as the research background， and then carries on the in-depth analysis and research to big data processing system and big data and so on. On this basis， this paper analyzes and finds the difficulties and problems faced by big data's calculation in our country， and puts forward the corresponding solutions according to these problems， hoping to greatly improve the computational efficiency of big data and further improve the effectiveness of the system.

Keywords： big data； data analysis； technology

我們從技術的角度來進行分析，可以發(fā)現(xiàn)大數據和云計算之間的關系就好像是一枚硬幣所存在的正反面。大數據是無法采用單獨的計算機而進行工作的，必須是采用分布式的架構方式來進行。它的主要特點就是能夠對大量的數據進行分布式的數據挖掘，但與此同時它還必須在云計算的基礎上去完成進一步的云儲存以及虛擬化技術等等。

隨著現(xiàn)如今我國科學技術的飛速發(fā)展，目前已經進入到了大數據與云時代的發(fā)展階段中，隨著大數據在我們生活和工作中的逐漸滲透，大數據因此吸引了越來越多人們的重視和關注。相關的研究人員認為，大數據一般都是用來形容一個公司所創(chuàng)造的大量非結構化的數據，這些數據一般在下載到關系型數據庫進行分析應用時就會花費大量的時間以及金錢。與此同時大數據的分析一般都會和云計算緊密的聯(lián)系起來，最主要的原因是由于實時的大數據分析一定需要數以千計的電腦來進行分配完成工作[1]。

1 大數據的處理系統(tǒng)

1.1 批量的數據處理系統(tǒng)

大數據的處理系統(tǒng)最為主要也是最為重要的任務就是根據大批數據然后分析適當的模式，并且由此提出相關的明確含義，制定出科學合理的應對策略，從而進一步的實現(xiàn)特定的業(yè)務目標。一般來說大數據都是源于互聯(lián)網或者是云計算等等相關的網絡平臺，能夠幫助平臺解決所出現(xiàn)的各種難題，并且提出新的問題。對于一個企業(yè)來說，企業(yè)可以通過處理過程中所產生的相關數據從而進行對惡意軟件的有效識別，從而進一步的判斷出這些外來的信息是否安全可靠，這樣就可以大大的加強公司網絡和數據的安全性[2]。

1.2 交互式的數據處理系統(tǒng)

交互式的數據處理系統(tǒng)和非交互式的數據處理系統(tǒng)相比較來說，前者更具有靈活的特點，該系統(tǒng)能夠和相關的工作人員采用人機對話的方式來完成輸入工作，這時系統(tǒng)就可以自動的進行數據的分析，并且指導相關的操作人員按照分析的要求去一步一步的展開操作，最終獲取得到有效的結果。采用這樣的處理方式能夠將系統(tǒng)當中的應用信息得到及時的處理，從而便于交互式的數據能夠進一步的展開工作[3]。

2 對大數據的分析

2.1 深度學習

在進行分析大數據的過程中，其中最為重要的一個內容就是我們如何才能有效的表達以及學習大數據，因為無論是什么樣形式的數據它都具有著很多的表達方式，但是最為主要的方式也是最為簡單的模型，這種模型目前來說還處于在低級階段，因此其并不能給予我們良好的學習效果。針對于此從而產生了深度學習。深度學習主要指的是根據層次的架構中所針對對象在不同階級上的表達從而解決一些比較抽象不容易直接思考的問題。深度學習主要起源于20世紀的80年代期間，隨著近幾年科學技術的飛速發(fā)展，深度學習無論是在圖像領域中還是在語言語音的應用領域中都得到了飛速的發(fā)展。在2009年，微軟研究院的相關工作人員第1次在關于對語音的處理中開始采用這一深度神經網絡，采用這樣的方式明顯的提升了語音在識別過程中的正確率，因此這種處理模式很快成為了在深度學習過程中最為成熟的應用之一[4]。

2.2 知識計算

知識計算是對大數據展開分析的一個最為基礎的環(huán)節(jié)。知識計算在目前的世界領域當中是一個非常關鍵和重要的研究內容，從目前的實際情況來看，國內以及國外一共建立了50多種相關的知識庫，相關有效的應用建立了上百種，在這其中比較具有代表性的知識庫以及應用的系統(tǒng)有KnowItAll，TextRunner，Probase，Satori 以及一些在維基百科等等相關在線知識百科所構建的知識庫，例如DBpedia。隨著大數據信息的飛速發(fā)展，針對一些規(guī)模較大的網頁信息中所包含的信息和知識，和自動能夠構建知識庫這種的方式已經被越來越多的人所重視和接納。當人們面對大量的知識建庫時就會根據不同信息從而建立不同的各種知識之間的相互融合，而這也同樣是我們必須要得到快速解決的內容之一。

3 目前大數據計算所面臨的問題以及提出的相關解決措施

3.1 數據的復雜性

隨著大數據的飛速發(fā)展，目前大數據已經融入到了我們生活以及工作中的方方面面，但同時人們在進行計算的過程中也會面臨著各種各樣的問題，例如大規(guī)模樣本的出現(xiàn)，這種現(xiàn)象的產生直接導致我們的群眾開始面臨著各種復雜的數據對象。眾所周知大數據的主要特點就是數據的類型以及數據的模式具有多樣化豐富化，并且之間的聯(lián)系也是非常的復雜繁多，數據的質量也是參差不齊，這些種種因素都會導致數據在計算或者是表達的過程出現(xiàn)較大的難題，傳統(tǒng)的數據模式下計算的復雜性以及難度會不斷的被增大，同時語義的分析也會變得更加復雜。然而從目前我國的發(fā)展現(xiàn)狀來看，大部分的群眾對于數據當中所蘊含的意義理解得并不夠深入，再加上大部分人們對大數據的相關知識并不是非常了解，因此在很大程度上嚴重的影響了計算機模型的設計以及相關的制作。因此我們目前應當加緊解決的重要問題就是要將大數據的復雜本性定量化，并且對數據所包含的問題展開深入性的分析和研究。當我們將上述的問題都得到快速的解決以后那么在一定程度上能夠讓更多的群眾理解大數據的模型是什么，了解到大數據所具有的特征和優(yōu)點是什么，從而進一步的獲取到相關的知識和信息。同時也由此我們可以看出，只有我們不斷的去完善以及改進多模式下的數據分析理論以及模型，并且將各個數據之間所存在的聯(lián)系做到及時的梳理，對復雜的模型進行深入的分析和研究，只有這樣才可以真正的降低其的復雜程度，從而讓人們對大數據有一個更加透徹的認識[5]。

3.2 計算的復雜性

我們都知道，大數據的特點就是規(guī)模大、速度快以及數據的結構多樣等等。而這些特點也導致了過去傳統(tǒng)的機器學習以及數據的收集都無法得到當前數據的支持，尤其是當大數據在面對一些小樣本的數據時，無法進行全局式的分析以及計算，對此我們的大數據在計算過程中就要選擇適當的脫離傳統(tǒng)計算的局限性。大數據在進行求解的過程中，我們要提前對它的可計算性進行一個有效的評估工作，并且對計算方法進行進一步的確認，對價值驅動在特定領域的應用給予支持。但是從目前的情況來看，當前我國的大數據樣本種類非常繁多，結構也比較復雜，分布的非常不均衡等等這些現(xiàn)象都為大數據的研究工作帶來了一定的挑戰(zhàn)。對于這種現(xiàn)象我們應當將目光放在大數據的生命周期當中，在大數據自身復雜性的基礎上，然后對以數據為中心的計算模式進行深入的研究和分析，并且找出科學合理的改善方式，建立起更加規(guī)范科學的數據模式，從而對大數據的相關理論展開進一步的研究工作，最終建立起一套牢固的并且不依賴于全量數據的數據計算理論基礎。

3.3 系統(tǒng)的復雜性

目前有效的支持大數據的研究平臺是針對不同數據類型的處理系統(tǒng)。這一數據的處理大平臺所面臨的難題也非常繁多，例如數據太大、結構復雜、計算過程的周期長以及難度較高等等。這些問題不僅僅會給處理系統(tǒng)的整體結構以及計算方式等等帶來更加嚴峻以及困難的挑戰(zhàn)，與此同時也會在數據處理系統(tǒng)的運行速度以及其他方面都帶來較大的難題，而這每一個問題都是非常嚴重以及必須加緊解決的重要問題，是系統(tǒng)想要不斷的進行優(yōu)化的最基本的準則，更是系統(tǒng)想要得到有效處理的重要基礎，因此我們要想有效的提高數據的計算能力那么就必須要加強解決這些關鍵性的問題。而要想解決這些問題那么首先要做的就是要充分的了解大數據在處理過程中所存在的問題，并且針對大數據在價值的基礎上進一步的整合大數據的處理以及存儲系統(tǒng)的架構，嚴格的按照執(zhí)行大數據的感知準則在其系統(tǒng)以及數據的處理方面等等都展開深入的研究和分析，只有這樣才能形成一個高效率低耗能的大數據處理系統(tǒng)。

4 結束語

現(xiàn)如今我國正處于在高速發(fā)展的重要時期，科技的發(fā)展信息之間的快速流通，人與人之間的交流等等越來越密集，我們的生活也變得越來越方便，大數據正是現(xiàn)如今高科技時代的重要產物。有人將大數據當作為一座蘊藏能量的煤礦，煤礦如果按照性質分可以分為焦煤、無煙煤、貧煤等等，與此同時露天煤礦以及深山煤礦的挖掘成本又會有著巨大的不同。而大數據和煤礦之間有著非常相似的聯(lián)系，大數據的主要并不在于大，而是在于有用有價值，價值含量高以及挖掘成本都要比數量顯得更為重要，因此對于我國很多的行業(yè)和企業(yè)來說，如何有效的利用大規(guī)模的數據才是自身企業(yè)贏得勝利的關鍵內容。

參考文獻：

[1]程學旗，靳小龍，王元卓，等.大數據系統(tǒng)和分析技術綜述[J].軟件學報，2014（09）：1889-1908.

[2]曹軍威，袁仲達，明陽陽，等.能源互聯(lián)網大數據分析技術綜述[J].南方電網技術，2015（11）：11-12.

[3]張磊，杜冬梅.基于大數據系統(tǒng)和分析技術的研討[J].現(xiàn)代經濟信息，2016（21）：90-91.

[4]喬雙寧，梁文慶.大數據系統(tǒng)和分析技術綜述[J].數字化用戶，2018（39）：67-68.

[5]吳卉男.大數據系統(tǒng)和分析技術綜述[J].信息記錄材料，2016（03）：71-72.