基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究

陸冉

摘要：本文研究的主要目的是在現(xiàn)代化信息技術(shù)高速發(fā)展背景下，強(qiáng)調(diào)基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究的重要性。明確大數(shù)據(jù)技術(shù)的定義、特征與應(yīng)用價(jià)值，對大數(shù)據(jù)語境下的信息系統(tǒng)關(guān)鍵技術(shù)做出細(xì)致分析，以全方面提升大數(shù)據(jù)技術(shù)在信息系統(tǒng)中的應(yīng)用水準(zhǔn)，進(jìn)而推動社會主義現(xiàn)代化建設(shè)，滿足人民群眾的生產(chǎn)生活需要。此次研究選用的是文獻(xiàn)研究法，通過對相應(yīng)文獻(xiàn)的查找，為文章的分析提供一些理論基礎(chǔ)。

關(guān)鍵詞：大數(shù)據(jù);信息系統(tǒng);關(guān)鍵技術(shù)

前言：大數(shù)據(jù)技術(shù)是在互聯(lián)網(wǎng)技術(shù)與計(jì)算機(jī)技術(shù)飛速發(fā)展的技術(shù)環(huán)境下應(yīng)運(yùn)而生的，其在信息數(shù)據(jù)管理工作中的效率優(yōu)勢使其成為當(dāng)今社會下的熱點(diǎn)話題。信息系統(tǒng)管理技術(shù)在現(xiàn)階段已經(jīng)延伸進(jìn)社會生產(chǎn)生活的方方面面，已經(jīng)成為社會生產(chǎn)有序開展的關(guān)鍵?？梢灶A(yù)見的是，將大數(shù)據(jù)技術(shù)應(yīng)用與信息系統(tǒng)管理將為我國信息技術(shù)行業(yè)的發(fā)展與人民生活水平的提高提供新的動力。因此，本文此次研究的內(nèi)容和提出的策略對大數(shù)據(jù)技術(shù)研究具有理論性意義，對信息系統(tǒng)關(guān)鍵技術(shù)突破具有現(xiàn)實(shí)意義。

1.大數(shù)據(jù)概述

1.1大數(shù)據(jù)的定義

大數(shù)據(jù)作為現(xiàn)階段新興的信息技術(shù)，其定義的模糊復(fù)雜是現(xiàn)階段時(shí)代屬性的突出展現(xiàn)。根據(jù)該技術(shù)使用主體的經(jīng)驗(yàn)可以將大數(shù)據(jù)定義為高于使用者本身處理與分析能力最高限度的數(shù)據(jù)。在互聯(lián)網(wǎng)行業(yè)中，其主要是指信息數(shù)據(jù)的流通，將其應(yīng)用到人們?nèi)粘Ｉ铑I(lǐng)域中就是需要對其進(jìn)行的收集、整理以及分析分，從而能做出最正確的判斷和決策[1]。在對于現(xiàn)階段的大數(shù)據(jù)應(yīng)用而言，數(shù)據(jù)量的提升并沒有與數(shù)據(jù)價(jià)值呈現(xiàn)正相關(guān)關(guān)系，數(shù)據(jù)大爆炸時(shí)代下的數(shù)據(jù)價(jià)值的弱化問題，反映出人們對待數(shù)據(jù)的漠視同時(shí)也呼吁著更多技術(shù)與人才的引入。

1.2大數(shù)據(jù)的特征與價(jià)值

大數(shù)據(jù)最明顯的特征在于其內(nèi)容龐雜、類型多樣，同時(shí)其自身的價(jià)值性與生成的時(shí)效性在目前研究中的關(guān)注度也在不斷上升?？梢钥隙ǖ氖谴髷?shù)據(jù)技術(shù)中不僅蘊(yùn)含著數(shù)據(jù)量累積相加的價(jià)值，更包含了由數(shù)據(jù)組別間的關(guān)聯(lián)性與規(guī)律性所帶來的潛在衍生價(jià)值，合理利用此類價(jià)值將會給整個社會的經(jīng)濟(jì)發(fā)展、技術(shù)創(chuàng)新和價(jià)值取向帶來重大變革[2]。以現(xiàn)代企業(yè)為例，企業(yè)在生產(chǎn)過程中的原料采辦、交通運(yùn)輸、產(chǎn)品銷售環(huán)節(jié)都將產(chǎn)生大量的數(shù)據(jù)信息，其中或是蘊(yùn)含這原料交通成本價(jià)格波動規(guī)律，或是包括用戶偏好數(shù)據(jù)等產(chǎn)品銷售層面的影響因素信息。隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展與移動終端設(shè)備技術(shù)支持水平的不斷提高，大數(shù)據(jù)的來源更加多樣，其內(nèi)部結(jié)構(gòu)組成的系統(tǒng)化正逐漸受到消解，而與此同時(shí)大數(shù)據(jù)在數(shù)據(jù)生成過程與傳播變換過程的速度卻呈現(xiàn)出指數(shù)上升的趨勢，這無疑對大數(shù)據(jù)的處理分析與價(jià)值挖掘造成相當(dāng)程度的干擾。

2.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究

2.1分布式數(shù)據(jù)庫與處理系統(tǒng)

根據(jù)大數(shù)據(jù)技術(shù)數(shù)據(jù)內(nèi)容的龐雜特點(diǎn)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫在處理大體量多樣性信息時(shí)存在一定程度上的卡頓缺陷，面臨著數(shù)據(jù)混亂丟失的風(fēng)險(xiǎn)，對于此類數(shù)據(jù)而言，其有效價(jià)值比例低于數(shù)據(jù)整體搜集比例，同時(shí)大數(shù)據(jù)服務(wù)強(qiáng)調(diào)通過將各類大數(shù)據(jù)操作進(jìn)行封裝，為消費(fèi)者提供無處不在的、標(biāo)準(zhǔn)化的、隨需的檢索、分析與可視化服務(wù)[3]。因此，其呼吁著一類管理方式更加便捷簡單的信息數(shù)據(jù)庫處理系統(tǒng)的出現(xiàn)。在這種背景下分布式數(shù)據(jù)庫利用大數(shù)據(jù)信息傳播原理以其精簡的數(shù)據(jù)處理模型與大容量的數(shù)據(jù)儲存空間脫穎而出，分布式數(shù)據(jù)庫與處理系統(tǒng)的結(jié)構(gòu)模型如圖1所示。該系統(tǒng)內(nèi)部主要采用了Bigtable與Dynamo兩種技術(shù)工藝，在Bigtable工藝中，該技術(shù)將數(shù)據(jù)信息使用字符串的方式進(jìn)行單位統(tǒng)一，通過犧牲具體內(nèi)容展示的方式獲取了高速信息處理的能力。在Dynamo工藝中，該技術(shù)將分布式哈希表管理理念注入大數(shù)據(jù)信息管理工作中，為信息管理提供了批處理與流處理兩種方案結(jié)合的處理思路。批處理技術(shù)在大數(shù)據(jù)處理中使用特定處理方案對大數(shù)據(jù)進(jìn)行分組處理，在此基礎(chǔ)上大數(shù)據(jù)處理實(shí)現(xiàn)了多個處理器的并聯(lián)處理，雖然一定程度上打散了原有數(shù)據(jù)的關(guān)聯(lián)性，但只要根據(jù)待處理數(shù)據(jù)特點(diǎn)規(guī)律。采取科學(xué)合理的數(shù)據(jù)分組模式，數(shù)據(jù)間的處理速度和靈活調(diào)度能力將會得到相應(yīng)的提升。流處理技術(shù)則不同于批處理技術(shù)，該技術(shù)將大數(shù)據(jù)內(nèi)的信息數(shù)據(jù)看成某種連續(xù)的信息流整體，在處理的過程中信息以此進(jìn)入系統(tǒng)并將處理結(jié)果進(jìn)行同步上傳，應(yīng)對時(shí)效性要求較高的數(shù)據(jù)信息常優(yōu)先采用流處理技術(shù)。

2.2分布式文件管理技術(shù)

大數(shù)據(jù)技術(shù)對數(shù)據(jù)的存儲與管理所提出的要求較高，傳統(tǒng)的文件管理技術(shù)在速度與空間上往往難以滿足其要求，為了提高大數(shù)據(jù)信息管理的效率分布式文件管理技術(shù)結(jié)合大數(shù)據(jù)信息特點(diǎn)廣泛應(yīng)用于國內(nèi)外互聯(lián)網(wǎng)公司。分布式文件管理技術(shù)結(jié)構(gòu)模型如圖2所示。在該技術(shù)中最具代表性的為谷歌公司所推出的GFS文件管理系統(tǒng)，該系統(tǒng)充分發(fā)揮了谷歌公司作為互聯(lián)網(wǎng)大廠內(nèi)部原有的資源基礎(chǔ)優(yōu)勢，將多個低成本服務(wù)器進(jìn)行連接，極大地提高了文件管理工作中的拓展性。分布式文件管理結(jié)束整體借鑒了分布式數(shù)據(jù)庫與處理系統(tǒng)的批處理技術(shù)工藝與經(jīng)驗(yàn)，將數(shù)據(jù)分組放置于多個服務(wù)器之中進(jìn)行管理，同時(shí)為了避免數(shù)據(jù)分流所帶來的時(shí)效性損耗，谷歌公司的GFS系統(tǒng)創(chuàng)新采用了在服務(wù)器間增設(shè)緩沖層的技術(shù)，以提升大數(shù)據(jù)信息傳輸與存讀速度。

結(jié)束語：將大數(shù)據(jù)技術(shù)與信息系統(tǒng)技術(shù)相結(jié)合是我國數(shù)字化、信息化、現(xiàn)代化轉(zhuǎn)型升級的重要舉措，目前已經(jīng)得到行業(yè)內(nèi)廣泛的認(rèn)可。通過本文研究得知大數(shù)據(jù)技術(shù)在定義、特征與價(jià)值方面與信息系統(tǒng)技術(shù)存在契合點(diǎn)與兼容性，基于此本文著重研究并分析了分布式數(shù)據(jù)庫與處理系統(tǒng)與分布式文件管理技術(shù)兩種基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)。

參考文獻(xiàn)：

[1]張海浪.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].數(shù)字技術(shù)與應(yīng)用，2018，36（01）：67+69.

[2]禹祿君.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].湖南郵電職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2015，14（03）：40-42.

[3]朱攀.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].電子技術(shù)與軟件工程，2014（04）：216.