當前大數(shù)據(jù)時代的數(shù)據(jù)管理技術(shù)探討

狄永財

摘要：隨著我國經(jīng)濟和網(wǎng)絡(luò)技術(shù)的快速發(fā)展，當前對于網(wǎng)絡(luò)數(shù)據(jù)的管理需求也極速增加，無論是數(shù)據(jù)的收集整理還是數(shù)據(jù)安全的保證，都對新時代數(shù)據(jù)管理人員的工作提出了更高的要求。本文探討了大數(shù)據(jù)的定義概述，分析了大數(shù)據(jù)時代數(shù)據(jù)信息管理流程，研究了大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)優(yōu)化理念。

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)管理;信息技術(shù)優(yōu)化;安全保障;數(shù)據(jù)安全

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2020）02-0080-02

0 引言

隨著大數(shù)據(jù)的快速發(fā)展和深入應(yīng)用，當前產(chǎn)業(yè)的發(fā)展也迎來了不可避免的問題，首先便是對于互聯(lián)網(wǎng)數(shù)據(jù)應(yīng)用中數(shù)據(jù)信息收集與整理的困難，其次便是對于數(shù)據(jù)安全和管理等方面出現(xiàn)的難題，這對于大數(shù)據(jù)的發(fā)展和應(yīng)用都是不可忽視的問題，也在近些年逐漸成為了我們熱議的話題。

1 大數(shù)據(jù)的定義概述

當前人們對于大數(shù)據(jù)的定義仍然沒有一致的概念和明確的劃分，但目前較為成熟的三種看法：第一種將大數(shù)據(jù)看作是運用相關(guān)信息技術(shù)，通過分析和整合大量數(shù)據(jù)，進而獲得舉足輕重的信息匯總成果，從而為用戶提供極為重要的信息咨詢幫助，而第二種看法則將大數(shù)據(jù)看作是能夠擁有強大計算能力的計算機，能夠幫助人們更好地處理相關(guān)的技術(shù)問題。而最后一種看法，則將大數(shù)據(jù)視作能夠在有限時間內(nèi)，收集整理分析相關(guān)數(shù)據(jù)信息的重要工具，是獲取決策相關(guān)數(shù)據(jù)和信息的重要信息處理技術(shù)。因此筆者對三種看法進行了簡單的總結(jié)，將大數(shù)據(jù)分析看作是能夠在限定時間內(nèi)，通過匯總大量關(guān)鍵信息，分析信息數(shù)據(jù)并幫助用戶做出決策的關(guān)鍵性信息處理技術(shù)[1]。

首先，大數(shù)據(jù)具有著鮮明的社會性，這主要體現(xiàn)在其能夠更好地匯集信息和數(shù)據(jù)，并以互聯(lián)網(wǎng)的方式連接廣闊的領(lǐng)域和其他行業(yè)，從而利用信息技術(shù)的應(yīng)用替代傳統(tǒng)的人力勞動，不僅能夠提高信息處理和分析的效率，還能夠更好地提高企業(yè)處理信息的效率和能力，進而借助大數(shù)據(jù)信息等現(xiàn)代技術(shù)創(chuàng)造更大的信息價值，幫助企業(yè)更好地實現(xiàn)決策。其次，還能夠在更為廣泛的范圍內(nèi)應(yīng)用現(xiàn)代信息技術(shù)，從而更好地且持續(xù)地利用大數(shù)據(jù)信息深入地影響人們的生活和生產(chǎn)方式，換句話說，由于大數(shù)據(jù)技術(shù)的應(yīng)用，已經(jīng)通過整理收集處理融合以及分析等方式，深入影響到了人們的生活習(xí)慣和品質(zhì)，從而推動了社會性的變動。最后，大數(shù)據(jù)是全部公開透明的，能夠在大多數(shù)情況和場景下充分地運用相關(guān)技術(shù)，同時公開地匯總與處理企業(yè)需要的或者是收集到的信息，進而將這些信息運用到企業(yè)決策的各個方面，滿足人們和企業(yè)的各種不同需求，而這又體現(xiàn)出了重要且強烈的動態(tài)性，在人們處理大數(shù)據(jù)信息的過程中，往往能夠利用大數(shù)據(jù)的關(guān)鍵信息，對外部環(huán)境的變化做出反應(yīng)，從而更好地實現(xiàn)對于大數(shù)據(jù)時代信息的動態(tài)處理和掌握，優(yōu)化決策和生活生產(chǎn)方式，滿足人們生活和企業(yè)決策需求。

2 大數(shù)據(jù)時代數(shù)據(jù)信息管理流程

大數(shù)據(jù)時代數(shù)據(jù)信息管理和分析對于企業(yè)的管理和個人的生活方式都存在重大的影響，因此分析大數(shù)據(jù)時代數(shù)據(jù)信息管理和分析的流程，對于企業(yè)和個人來講都極為重要，對于大數(shù)據(jù)時代數(shù)據(jù)管理應(yīng)用也結(jié)尾重要[2-3]。

2.1 大數(shù)據(jù)信息的采集

采集是大數(shù)據(jù)信息分析的首要環(huán)節(jié)和工作，在近些年的大數(shù)據(jù)應(yīng)用中極為關(guān)鍵，數(shù)據(jù)信息的收集質(zhì)量直接影響到大數(shù)據(jù)處理技術(shù)的應(yīng)用質(zhì)量，對于大數(shù)據(jù)信息的整理規(guī)律性也具有重要影響，在近些年的數(shù)據(jù)信息應(yīng)用中，逐漸建立起了繁多的互聯(lián)網(wǎng)大數(shù)據(jù)庫，對于數(shù)據(jù)管理和采集的要求也更為成熟，相關(guān)的互聯(lián)網(wǎng)企業(yè)都需要能夠根據(jù)采集的數(shù)據(jù)建立起龐大的數(shù)據(jù)體系，從而更好地進行簡單的大數(shù)據(jù)應(yīng)用和查詢工作，但由于當前數(shù)據(jù)采集的質(zhì)量和效率都不夠高，采集的難度有很大，因此對于數(shù)據(jù)庫的建設(shè)極為困難，需要相關(guān)的人員能夠找到針對性的數(shù)據(jù)采集方式。同時，由于大數(shù)據(jù)的訪問數(shù)量極為龐大，相關(guān)的訪問量在峰值時能夠達到驚人的上百萬，因此對于采集部門對于梳理的管理也形成了不可避免的考驗，需要通過合理的數(shù)據(jù)管理和應(yīng)用來構(gòu)建龐大的數(shù)據(jù)管理體系，從而更好地支撐大數(shù)據(jù)庫完成數(shù)據(jù)查詢和管理動作，并實現(xiàn)數(shù)據(jù)庫負載均衡的優(yōu)化。

2.2 大數(shù)據(jù)信息的統(tǒng)計和管理分析

在大數(shù)據(jù)的統(tǒng)計和管理分析等方面，需要能夠采取科學(xué)合理的數(shù)據(jù)整理與管理方式，實現(xiàn)對于數(shù)據(jù)庫和數(shù)據(jù)信息群的優(yōu)化分析匯總，并利用合理且科學(xué)的方式對數(shù)據(jù)信息進行分析，從而更好地滿足不同客戶的需要。而在企業(yè)管理和個人決策中，則需要能夠根據(jù)不同的數(shù)據(jù)信息，實現(xiàn)對于大數(shù)據(jù)信息的統(tǒng)計和科學(xué)管理，進而實現(xiàn)對于大數(shù)據(jù)信息的優(yōu)化管理與分析，幫助企業(yè)和個人用戶更好地應(yīng)用大數(shù)據(jù)信息處理技術(shù)。而在這同時，還需要能夠根據(jù)不同的信息技術(shù)和數(shù)據(jù)分析需求，采取不同的數(shù)據(jù)分析技術(shù)和能力，實現(xiàn)對于大數(shù)據(jù)的實時性分析與研究，并選擇科學(xué)且合理的數(shù)據(jù)分析模型和數(shù)據(jù)分析方式，從而更好地實現(xiàn)對于龐大信息量的管理工作。

2.3 大數(shù)據(jù)信息的管理和預(yù)處理

對于大數(shù)據(jù)信息技術(shù)的應(yīng)用，需要從兩個方面進行，一個便是上面提到的大數(shù)據(jù)信息的應(yīng)用，另一個則是我們需要更好地去思考的，如何更好地實現(xiàn)對于大數(shù)據(jù)信息的預(yù)處理，從而更好地預(yù)防大數(shù)據(jù)信息出現(xiàn)的問題，實現(xiàn)對于大數(shù)據(jù)信息的合理化和科學(xué)化管理，優(yōu)化大數(shù)據(jù)信息的應(yīng)用及有效性，避免由于信息自身的錯誤導(dǎo)致的大數(shù)據(jù)應(yīng)用的錯誤。因此，在進行大數(shù)據(jù)信息管理時，采用前端數(shù)據(jù)導(dǎo)入并集中數(shù)據(jù)庫處理，同時還應(yīng)該采用分布式儲存的方式，在導(dǎo)入的基礎(chǔ)上進行預(yù)處理，從而更好地實現(xiàn)對于大量數(shù)據(jù)的統(tǒng)一處理，避免由于數(shù)據(jù)量過大導(dǎo)致的大數(shù)據(jù)處理出現(xiàn)混亂的問題，從而提升大數(shù)據(jù)技術(shù)應(yīng)用的質(zhì)量，提升數(shù)據(jù)管理水平。

3 大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)優(yōu)化理念

當前我國大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)的優(yōu)化，需要充分地掌握當前大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)優(yōu)化的理念，即深入挖掘數(shù)據(jù)的價值和實現(xiàn)對于大數(shù)據(jù)信息的深層處理，以及把握數(shù)據(jù)分析的相關(guān)變量，從而去偽存真。

3.1 挖掘大數(shù)據(jù)信息的價值

想要實現(xiàn)大數(shù)據(jù)時代的數(shù)據(jù)信息管理技術(shù)的優(yōu)化，便需要能夠?qū)?shù)據(jù)進行分級，從而更好地管理和整理數(shù)據(jù)。為此，正是需要深入地挖掘大數(shù)據(jù)信息自身的內(nèi)在價值，從而更好地實現(xiàn)對于大數(shù)據(jù)信息的綜合利用和分析。因此，可以通過數(shù)據(jù)信息的多種類比進行分析，從而更好地實現(xiàn)對于數(shù)據(jù)類別的判斷。例如對于廣告庫的構(gòu)建，需要涵蓋廣告庫和相關(guān)的廣告內(nèi)容與信息，同時也可以采用同樣的方式分析傳統(tǒng)的數(shù)據(jù)庫，借助算法來表現(xiàn)其價值，從而更好地進行客戶之間的使用效果分析，向用戶提供更有價值的數(shù)據(jù)和信息，進而實現(xiàn)對于大數(shù)據(jù)時代下數(shù)據(jù)信息的管理技術(shù)的優(yōu)化[4]。

3.2 深層處理大數(shù)據(jù)信息

在進行數(shù)據(jù)分析之前，不僅需要能夠?qū)崿F(xiàn)對于數(shù)據(jù)管理的技術(shù)優(yōu)化，還需要深層的處理大數(shù)據(jù)信息，這樣一來才能夠更好地實現(xiàn)對于數(shù)據(jù)信息技術(shù)的優(yōu)化和應(yīng)用，為此需要能夠嚴格地按照相關(guān)的數(shù)據(jù)分析流程，深入地對相關(guān)數(shù)據(jù)進行深層次的處理和分析，進而實現(xiàn)去偽存真，從而使得大數(shù)據(jù)的應(yīng)用能夠逐步地取代傳統(tǒng)的信息處理技術(shù)與方式，推動大數(shù)據(jù)能夠應(yīng)用到生產(chǎn)生活的各個方面。而在大數(shù)據(jù)背景下，進行更好地數(shù)據(jù)管理技術(shù)應(yīng)用能夠更好地實現(xiàn)對于數(shù)據(jù)背景下的復(fù)雜信息轉(zhuǎn)化和深入識別，從而促進整體分類整合，并提出不必要的虛假信息，進而在深層次處理余下的信息和數(shù)據(jù)，從而將處理結(jié)果轉(zhuǎn)化到實際的應(yīng)用中去，從而幫助用戶更好地獲取有價值的信息[5]。

3.3 把握大數(shù)據(jù)分析的相關(guān)變量

大數(shù)據(jù)應(yīng)用在實際的應(yīng)用活動中，需要能夠根據(jù)大數(shù)據(jù)分析的相關(guān)變量，對數(shù)據(jù)進行統(tǒng)一分析，進而幫助大數(shù)據(jù)分類中實現(xiàn)相關(guān)性的優(yōu)化，避免由于大規(guī)模變化和數(shù)據(jù)量過大導(dǎo)致的數(shù)據(jù)量混亂。此外，大數(shù)據(jù)背景下，由于出現(xiàn)了龐大的數(shù)據(jù)規(guī)模，所以僅僅只是依靠單一的線性處理技術(shù)，實現(xiàn)對于大數(shù)據(jù)的分析處理并不現(xiàn)實，而計算方式和大數(shù)據(jù)的應(yīng)用關(guān)系非常密切，雖然數(shù)量和變量的持續(xù)變化很難，但對于大數(shù)據(jù)的管理仍然存在著重要的促進作用[6]。

4 結(jié)語

總之，隨著信息技術(shù)和大數(shù)據(jù)的快速發(fā)展，當前我國越來越多地運用信息技術(shù)和數(shù)據(jù)信息技術(shù)，包括互聯(lián)網(wǎng)和移動終端等，進一步促使人類進入了數(shù)據(jù)量爆炸的時代，數(shù)據(jù)信息的大批量傳遞需要能夠針對數(shù)據(jù)管理技術(shù)進行進一步的優(yōu)化和推動，實現(xiàn)大數(shù)據(jù)技術(shù)的應(yīng)用和實際產(chǎn)業(yè)發(fā)展的結(jié)合。

參考文獻

[1] 付哲.關(guān)于大數(shù)據(jù)的研究應(yīng)用概述[J].信息與電腦（理論版），2014（9）：91-92.

[2] 金雯婷，張松.互聯(lián)網(wǎng)大數(shù)據(jù)采集與處理的關(guān)鍵技術(shù)研究[J].中國金融電腦，2014（11）：70-73.

[3] 吳明菁.大數(shù)據(jù)時代管理會計實踐與創(chuàng)新探討[J].現(xiàn)代商貿(mào)工業(yè)，2017（10）：182-183.

[4] 崔哲.大數(shù)據(jù)時代政府信息資源管理研究[D].長春：長春工業(yè)大學(xué)，2016.

[5] 馬凱航，高永明，吳止鍰，等.大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)研究綜述[J].軟件，2015（10）：46-49+56.

[6] 王穎.大數(shù)據(jù)時代數(shù)據(jù)管理技術(shù)探析[J].信息系統(tǒng)工程，2019（6）：48.

Discussion on Data Management Technology in the Current Big Data Era

DI Yong-cai

（Tianjin Land Resources and House Vocational College， Tianjin? 300270）

Abstract：With the rapid development of China's economy and network technology， the current demand for network data management is also increasing rapidly， whether it is data collection or data security， all put forward higher requirements for the work of data managers in the new era. This article explores the definition of big data， analyzes the data information management process in the era of big data， and studies the concept of data management technology optimization in the era of big data.

Key words：big data; data management; it optimization; security; data security