大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用研究

孟祥富

【摘要】本文在對(duì)大數(shù)據(jù)的定義及主要特征進(jìn)行綜合闡述的基礎(chǔ)上，介紹了幾種大數(shù)據(jù)的關(guān)鍵技術(shù)，并說(shuō)明了大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的具體應(yīng)用，以期為相關(guān)人士提供借鑒和參考。

【關(guān)鍵詞】數(shù)據(jù)備份；云計(jì)算；Hadoop

隨著社會(huì)的不斷發(fā)展和生產(chǎn)力的不斷提高，大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用越來(lái)越廣泛，成為一種必然的發(fā)展趨勢(shì)。大數(shù)據(jù)技術(shù)的應(yīng)用，使得人們可以通過(guò)計(jì)算機(jī)的信息系統(tǒng)，分析事物的發(fā)展趨勢(shì)，從而不斷提升自身的知識(shí)層次和價(jià)值觀念。因此，大數(shù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)的應(yīng)用，具有十分重要的現(xiàn)實(shí)意義。

一、大數(shù)據(jù)的基本概述

大數(shù)據(jù)指的是無(wú)法在短時(shí)間內(nèi)進(jìn)行捕捉、處理和分析的數(shù)據(jù)組合，通過(guò)運(yùn)用嶄新的數(shù)據(jù)處理模式，采用較為方便的算法，利用強(qiáng)大的洞察能力獲取有價(jià)值的信息資產(chǎn)。大數(shù)據(jù)的來(lái)源較為廣泛，例如，網(wǎng)上交易記錄、監(jiān)控視頻等，都屬于大數(shù)據(jù)的范疇。大數(shù)據(jù)主要有以下四個(gè)特征：首先，大數(shù)據(jù)具有多樣性的特點(diǎn)，由于數(shù)據(jù)的來(lái)源渠道不同，數(shù)據(jù)的形式也多種多樣，例如：圖片、視頻、音頻等。其次，大數(shù)據(jù)的存儲(chǔ)能力和計(jì)算能力都很強(qiáng)大，能夠完成常規(guī)軟件無(wú)法完成的數(shù)據(jù)計(jì)算和存儲(chǔ)。第三，大數(shù)據(jù)的發(fā)展速度較快，目前已被應(yīng)用于包括計(jì)算機(jī)信息系統(tǒng)在內(nèi)的各個(gè)領(lǐng)域。最后，由于大數(shù)據(jù)的信息量巨大，導(dǎo)致了其實(shí)用價(jià)值降低，篩選真正有價(jià)值信息的難度增大。

二、大數(shù)據(jù)的關(guān)鍵技術(shù)

（一）云計(jì)算技術(shù)。云計(jì)算技術(shù)是一種通過(guò)分布式、并行式的計(jì)算方法對(duì)計(jì)算機(jī)數(shù)據(jù)進(jìn)行梳理，綜合網(wǎng)絡(luò)上的所有信息資源，包括數(shù)據(jù)、存儲(chǔ)等相關(guān)計(jì)算資源都進(jìn)行并行式網(wǎng)格化計(jì)算，以此來(lái)實(shí)現(xiàn)對(duì)各種資源的分配調(diào)度。通過(guò)云計(jì)算技術(shù)對(duì)大數(shù)據(jù)時(shí)代下的信息進(jìn)行系統(tǒng)管理和處理。云計(jì)算技術(shù)不斷發(fā)展的同時(shí)也推動(dòng)著計(jì)算機(jī)處理數(shù)據(jù)的方式帶來(lái)革命性的創(chuàng)新，將信息產(chǎn)業(yè)的模式推向一種全新的并行交互化發(fā)展模式。隨著云計(jì)算技術(shù)的不斷革新，數(shù)據(jù)處理過(guò)程中可以容納的信息量不斷增加，可以處理的領(lǐng)域不斷擴(kuò)展，云計(jì)算技術(shù)帶來(lái)了第三次計(jì)算機(jī)數(shù)據(jù)處理的變革浪潮。

（二）數(shù)據(jù)備份技術(shù)。大數(shù)據(jù)時(shí)代下的信息保護(hù)也受到各界的重視，計(jì)算機(jī)信息數(shù)據(jù)備份的重要性日益凸顯，數(shù)據(jù)備份技術(shù)可以幫助企業(yè)保護(hù)企業(yè)信息，為企業(yè)數(shù)據(jù)資源建立一個(gè)安全的儲(chǔ)存環(huán)境。信息化的不斷發(fā)展給全球帶來(lái)巨大的技術(shù)進(jìn)步的同時(shí)也造成了信息泄露、個(gè)人企業(yè)的私人信息受到極大的威脅。一份完整的數(shù)據(jù)可以保障企業(yè)業(yè)務(wù)順利運(yùn)作，有效避免因?yàn)橥话l(fā)意外情況而導(dǎo)致的數(shù)據(jù)丟失，數(shù)據(jù)備份系統(tǒng)一定要做到和企業(yè)的信息操作系統(tǒng)完全兼容，這樣才能保證事故發(fā)生時(shí)，能夠快速恢復(fù)企業(yè)信息。

（三）Hadoop。Hadoop系統(tǒng)是一個(gè)綜合性處理信息資源的平臺(tái)，可以綜合多種信息處理技術(shù)工具，其中包括多種功能零部件，比如HDFS分布式文件系統(tǒng)、MapReduce并行計(jì)算框架、Hbase分布式NoSQL列式數(shù)據(jù)庫(kù)、Hive數(shù)據(jù)倉(cāng)庫(kù)工具、 Flume日志收集工具等許多關(guān)鍵技術(shù)工具。Hadoop系統(tǒng)中的每個(gè)相關(guān)技術(shù)工具都擁有高性能、高容錯(cuò)率這樣的優(yōu)點(diǎn)，可靠地對(duì)大數(shù)據(jù)進(jìn)行管理和應(yīng)用。

三、大數(shù)據(jù)技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用

（一）云計(jì)算技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用。想要應(yīng)用云計(jì)算技術(shù)在計(jì)算機(jī)信息系統(tǒng)中進(jìn)行數(shù)據(jù)處理，通過(guò)云計(jì)算的分布式網(wǎng)格計(jì)算，對(duì)整個(gè)資源進(jìn)行數(shù)據(jù)處理，首先要構(gòu)建相關(guān)模型。云計(jì)算模型的構(gòu)建可以讓全部數(shù)據(jù)都遷移到云端，合理有效地降低計(jì)算機(jī)系統(tǒng)在信息處理上的經(jīng)濟(jì)費(fèi)用。在云計(jì)算下，技術(shù)服務(wù)軟件利用無(wú)線局域網(wǎng)自動(dòng)產(chǎn)生了相應(yīng)的傳輸移動(dòng)數(shù)據(jù)的網(wǎng)格，面向大數(shù)據(jù)信息構(gòu)建出了一個(gè)的閉環(huán)反饋信息處理模型。在云計(jì)算處理數(shù)據(jù)的過(guò)程中，云計(jì)算又以一個(gè)有向無(wú)環(huán)的數(shù)據(jù)流圖展示出來(lái)，流圖為G=（V，E），在此基礎(chǔ)之上根據(jù)云計(jì)算的并行式的計(jì)算方法，生成了由一系列的組和一系列的傳輸遠(yuǎn)程數(shù)據(jù)所用的隱性通道組成了云計(jì)算的計(jì)算服務(wù)模式，其中模式中組和隱形通道的公式分別為和，此外還需要出口節(jié)點(diǎn)用來(lái)生成輸出的對(duì)應(yīng)數(shù)據(jù)。在C/S的架構(gòu)下，如果云計(jì)算數(shù)據(jù)流模型的傳輸范圍被控制在這個(gè)范圍內(nèi)：

在此范圍內(nèi)傳輸數(shù)據(jù)時(shí)，云計(jì)算技術(shù)處理大數(shù)據(jù)信息時(shí)所應(yīng)用的數(shù)據(jù)流圖上的關(guān)鍵組成部位也要采用有向圖模型來(lái)表示，即為，云計(jì)算模式中最重要的交叉通道承載物理節(jié)點(diǎn)集和鏈路集在公式中分別以VP和EP表示，而公式中的SCAP則代表了不同組件中物理節(jié)點(diǎn)的不同數(shù)據(jù)單元的具體數(shù)量。另行設(shè)置輸入數(shù)據(jù)所用的無(wú)向圖模式，實(shí)現(xiàn)云計(jì)算對(duì)數(shù)據(jù)資源的動(dòng)態(tài)資源配置管理處理，最終云計(jì)算的整體架構(gòu)可以通過(guò)下式表示出來(lái)：

這種云計(jì)算的整體架構(gòu)是結(jié)合多方信息進(jìn)行數(shù)據(jù)整合加速處理的云計(jì)算技術(shù)，根據(jù)不斷的應(yīng)用模擬試驗(yàn)得知，將此種云計(jì)算方法應(yīng)用到計(jì)算機(jī)系統(tǒng)中的數(shù)據(jù)處理中，可以大幅度增加數(shù)據(jù)的容納量，減少數(shù)據(jù)處理的能量損耗和所需時(shí)間，并且由于其能夠?qū)?shù)據(jù)上傳至云端，還可以達(dá)到資源共享和提高計(jì)算機(jī)系統(tǒng)處理效率等目的。上述云計(jì)算的模型不僅能夠進(jìn)行多數(shù)據(jù)集中計(jì)算，還支持多個(gè)用戶計(jì)算資源的共享，減少同類型數(shù)據(jù)的重復(fù)運(yùn)算率，一套較為基礎(chǔ)、普遍的云計(jì)算技術(shù)，可以在全國(guó)范圍內(nèi)進(jìn)行推廣，解決絕大部分?jǐn)?shù)據(jù)計(jì)算問(wèn)題，因此云計(jì)算技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用具有極大的市場(chǎng)前景。

（二）數(shù)據(jù)備份技術(shù)在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用。新時(shí)代背景下，商業(yè)環(huán)境越發(fā)復(fù)雜化，企業(yè)要從多種方面來(lái)加強(qiáng)對(duì)數(shù)據(jù)的保護(hù)，包括數(shù)據(jù)的備份恢復(fù)系統(tǒng)無(wú)休運(yùn)行以及提高系統(tǒng)的容錯(cuò)率，在企業(yè)建立數(shù)據(jù)備份的同時(shí)，應(yīng)該建立數(shù)據(jù)備份系統(tǒng)的容災(zāi)系統(tǒng)，建立對(duì)信息數(shù)據(jù)的最優(yōu)備份方案，即“數(shù)據(jù)備份加數(shù)據(jù)保險(xiǎn)庫(kù)”?，F(xiàn)階段大部分企業(yè)對(duì)數(shù)據(jù)備份的重要性沒(méi)有足夠的認(rèn)識(shí)，導(dǎo)致應(yīng)用數(shù)據(jù)備份系統(tǒng)的企業(yè)只有20%，而被應(yīng)用的數(shù)據(jù)備份系統(tǒng)中含有容災(zāi)系統(tǒng)的只有5%-6%，應(yīng)該在國(guó)內(nèi)大力推廣實(shí)施數(shù)據(jù)備份技術(shù)，加強(qiáng)對(duì)企業(yè)信息的保護(hù)，讓企業(yè)家認(rèn)識(shí)到數(shù)據(jù)保護(hù)對(duì)企業(yè)的幫助。想要從根本上保障企業(yè)的信息安全，除了要做到對(duì)數(shù)據(jù)的定期備份之外，還應(yīng)該強(qiáng)化備份細(xì)節(jié)，部分企業(yè)認(rèn)為拷貝數(shù)據(jù)到移動(dòng)儲(chǔ)存就是數(shù)據(jù)備份，這樣的觀念，給企業(yè)信息資源留下了極大的隱患。endprint

實(shí)現(xiàn)數(shù)據(jù)備份的方式多種多樣，首先備份的存儲(chǔ)介質(zhì)要使用磁帶、移動(dòng)硬盤、U盤等設(shè)備備份，還要做到異地存放，在存放的地點(diǎn)安裝完整的計(jì)算機(jī)、互聯(lián)網(wǎng)等相關(guān)通信設(shè)備，確保意外發(fā)生后，能夠立刻啟動(dòng)備份數(shù)據(jù)系統(tǒng)。再將備份數(shù)據(jù)系統(tǒng)與企業(yè)系統(tǒng)相連接，以此恢復(fù)企業(yè)本部系統(tǒng)數(shù)據(jù)。除了要將數(shù)據(jù)存儲(chǔ)到可移動(dòng)設(shè)備上，還要將數(shù)據(jù)傳輸至遠(yuǎn)程備份中心，制作成光盤，雙重保證企業(yè)信息安全。企業(yè)都會(huì)建立相關(guān)企業(yè)信息數(shù)據(jù)庫(kù)，因此，在做到信息詳細(xì)內(nèi)容備份的同時(shí)，還應(yīng)該在備份機(jī)上建立對(duì)應(yīng)的備份數(shù)據(jù)庫(kù)，通過(guò)通信系統(tǒng)，保持主數(shù)據(jù)庫(kù)和備份數(shù)據(jù)庫(kù)同步更新，在事故發(fā)生時(shí)，備份數(shù)據(jù)庫(kù)就可以立即代替主數(shù)據(jù)庫(kù)，恢復(fù)企業(yè)相關(guān)信息，減少企業(yè)因?yàn)閿?shù)據(jù)丟失造成的經(jīng)濟(jì)損失。數(shù)據(jù)備份還可以應(yīng)用對(duì)主數(shù)據(jù)庫(kù)和重要文件的監(jiān)控和跟蹤，在備份機(jī)中生成對(duì)應(yīng)的更新日志，備份系統(tǒng)會(huì)根據(jù)更新日志，自動(dòng)對(duì)備份磁盤進(jìn)行數(shù)據(jù)更新。綜上所述，企業(yè)可以根據(jù)企業(yè)的實(shí)際情況，按照企業(yè)的需求，制定出對(duì)企業(yè)最佳的數(shù)據(jù)備份方案，保證系統(tǒng)的可實(shí)施性。

（三）Hadoop在計(jì)算機(jī)信息系統(tǒng)中的應(yīng)用。Hadoop系統(tǒng)由于自身具有的極高的擴(kuò)展性能和低成本，被廣泛應(yīng)用在各行各業(yè)中，并且對(duì)于Hadoop來(lái)說(shuō)無(wú)論是怎樣的數(shù)據(jù)都可以快速大量地儲(chǔ)存信息數(shù)據(jù)，能夠做到和絕大部分的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)完美融合不出現(xiàn)排斥現(xiàn)象。以鐵路貨運(yùn)為例，鐵路運(yùn)輸存在數(shù)據(jù)類型多、數(shù)據(jù)資源難以進(jìn)行整合、運(yùn)用其他系統(tǒng)成本較高等諸多實(shí)際問(wèn)題，而Hadoop則從根本上解決了鐵路運(yùn)輸信息的問(wèn)題，滿足鐵路運(yùn)輸中絕大部分類型的數(shù)據(jù)，Hadoop系統(tǒng)和鐵路運(yùn)輸?shù)臄?shù)據(jù)倉(cāng)庫(kù)系統(tǒng)一起構(gòu)成了貨運(yùn)信息的大數(shù)據(jù)分析平臺(tái)，Hadoop系統(tǒng)在平臺(tái)上對(duì)數(shù)據(jù)存儲(chǔ)備份進(jìn)行管理，兩個(gè)系統(tǒng)互相配合，使得數(shù)據(jù)信息的整合和管理變得簡(jiǎn)單便捷。從鐵輪貨運(yùn)系統(tǒng)對(duì)Hadoop系統(tǒng)的應(yīng)用可以看出，Hadoop系統(tǒng)在針對(duì)復(fù)雜數(shù)據(jù)的整合儲(chǔ)存、集中管理方面的優(yōu)異性，Hadoop系統(tǒng)的各個(gè)零部件在運(yùn)行過(guò)程中發(fā)揮各自功能的同時(shí)能做到相互協(xié)作，給數(shù)據(jù)資源處理提供所需的功能，目前Hadoop系統(tǒng)的開(kāi)發(fā)逐漸步入完善階段，各個(gè)功能部件的功能分工明確，細(xì)致劃分，逐漸形成一套功能豐富、作用完善的大數(shù)據(jù)信息分析平臺(tái)應(yīng)用系統(tǒng)。

四、結(jié)論

綜上所訴，當(dāng)今世界信息知識(shí)蓬勃發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)被廣泛應(yīng)用到各行各業(yè)中去，隨之帶動(dòng)相關(guān)信息行業(yè)規(guī)模擴(kuò)大，給相關(guān)行業(yè)帶去大數(shù)據(jù)中具有極高行業(yè)價(jià)值的數(shù)據(jù)信息，幫助行業(yè)解決實(shí)際問(wèn)題的同時(shí)，因?yàn)樾袠I(yè)需求不同，對(duì)計(jì)算機(jī)系統(tǒng)的要求也在不斷提高，促進(jìn)其快速發(fā)展，未來(lái)大數(shù)據(jù)技術(shù)會(huì)被更多地應(yīng)用在計(jì)算機(jī)信息系統(tǒng)中。

【參考文獻(xiàn)】

[1]陳小莉.基于大數(shù)據(jù)的計(jì)算機(jī)數(shù)據(jù)挖掘技術(shù)在檔案管理系統(tǒng)中的研究應(yīng)用[J].激光雜志，2017（02）：142-145.

[2]徐勝杰.大數(shù)據(jù)技術(shù)在指揮信息系統(tǒng)中的應(yīng)用與發(fā)展[J].電子技術(shù)與軟件工程，2017（06）：168.

[3]李春林.大數(shù)據(jù)技術(shù)及其計(jì)算機(jī)信息系統(tǒng)中的運(yùn)用探討[J].科技經(jīng)濟(jì)市場(chǎng)，2016（09）：42-43.endprint