通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中的應(yīng)用研究

賀志朋

摘要：大數(shù)據(jù)背景下，越來(lái)越重視數(shù)據(jù)的管理。通信技術(shù)特別是移動(dòng)通信技術(shù)的應(yīng)用，成為數(shù)據(jù)管理的重要工具，彌補(bǔ)了傳統(tǒng)的通信技術(shù)不足，在數(shù)據(jù)的收集、上傳中發(fā)揮重要作用，使數(shù)據(jù)管理對(duì)象范圍明顯擴(kuò)大到了個(gè)人，實(shí)現(xiàn)個(gè)人數(shù)據(jù)的收集、傳輸、定制、查詢(xún)。互聯(lián)網(wǎng)技術(shù)高性能計(jì)算、分布式存儲(chǔ)技術(shù)為數(shù)據(jù)分析、存儲(chǔ)提供了途徑，互聯(lián)網(wǎng)中的多線程并發(fā)、數(shù)據(jù)預(yù)讀傳輸?shù)燃夹g(shù)方便了數(shù)據(jù)的傳輸，互聯(lián)網(wǎng)還可開(kāi)展以云安全、虛擬防火墻、入侵檢測(cè)、流量過(guò)濾、虛擬機(jī)自動(dòng)擴(kuò)展等為代表針對(duì)數(shù)據(jù)管理綜合服務(wù)。文章概述了通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中應(yīng)用領(lǐng)域現(xiàn)狀和發(fā)展方向。

關(guān)鍵詞：互聯(lián)網(wǎng)技術(shù)；通信；數(shù)據(jù)管理

進(jìn)入21世紀(jì)以來(lái)，人類(lèi)社會(huì)信息技術(shù)飛速發(fā)展，以互聯(lián)網(wǎng)為代表的各種信息技術(shù)不斷涌現(xiàn)，并深入到人類(lèi)社會(huì)的生產(chǎn)、生活、工作、學(xué)習(xí)之中，成為人類(lèi)不可或缺的助手。各類(lèi)信息充分交融、匯集，使數(shù)據(jù)滲透至每一個(gè)行業(yè)和職能領(lǐng)域，成為重要的職能要素，人類(lèi)正進(jìn)入大數(shù)據(jù)時(shí)代。大數(shù)據(jù)背景下，越來(lái)越重視數(shù)據(jù)的管理，數(shù)據(jù)管理是大數(shù)據(jù)時(shí)代的核心工作，包括數(shù)據(jù)的收集、處理、分析、價(jià)值挖掘等。數(shù)據(jù)管理水平的提高，反過(guò)來(lái)又深深影響通信、互聯(lián)網(wǎng)技術(shù)，本研究就通信及互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中應(yīng)用領(lǐng)域現(xiàn)狀、發(fā)展方向進(jìn)行概述。

1 大數(shù)據(jù)背景下的數(shù)據(jù)管理

大數(shù)據(jù)時(shí)代下，數(shù)據(jù)正呈現(xiàn)爆炸式增長(zhǎng)，這些數(shù)據(jù)具有量大、類(lèi)型繁多、價(jià)值密度低、速度快時(shí)效高等特征。大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)管理提出了更高的要求，主要體現(xiàn)在以下幾個(gè)方面：（1）信息收集、處理速度加快，對(duì)信息收集、處理能力提出了更高的要求，大量應(yīng)用專(zhuān)業(yè)的技術(shù)，如數(shù)據(jù)收集工具，信息專(zhuān)業(yè)與計(jì)算機(jī)行業(yè)高度融合。（2）信息共享更加方便，這要求信息系統(tǒng)、管理專(zhuān)業(yè)人員更重視團(tuán)隊(duì)合作，重視節(jié)點(diǎn)之間的通信，開(kāi)發(fā)、利用更先進(jìn)的與共享有關(guān)的能力，如即時(shí)通信、云端數(shù)據(jù)存儲(chǔ)與共享。（3）大數(shù)據(jù)下，更為重視數(shù)據(jù)的挖掘，重視互聯(lián)網(wǎng)中海量信息的挖掘，信息管理涉及的行業(yè)更加廣泛，信息管理在醫(yī)療衛(wèi)生、行業(yè)發(fā)展、企業(yè)戰(zhàn)略分析等領(lǐng)域作用越來(lái)越突出。總而言之，大數(shù)據(jù)背景推動(dòng)了數(shù)據(jù)管理領(lǐng)域的發(fā)展，數(shù)據(jù)管理的發(fā)展離不開(kāi)通信、互聯(lián)網(wǎng)技術(shù)的應(yīng)用，對(duì)后兩者提出了更高的要求，三者的融合程度進(jìn)一步提高。

2 通信技術(shù)在數(shù)據(jù)管理中的應(yīng)用

前文提到為實(shí)現(xiàn)大數(shù)據(jù)背景下的數(shù)據(jù)管理，便需要更為高效、先進(jìn)的通信技術(shù)，重視節(jié)點(diǎn)之間的通信，開(kāi)發(fā)、利用更先進(jìn)的與共享有關(guān)的能力。目前，與數(shù)據(jù)管理有關(guān)的通信技術(shù)，以微信、網(wǎng)絡(luò)電話(huà)等為代表。在中國(guó)手機(jī)網(wǎng)民的數(shù)量己超過(guò)7億人，移動(dòng)網(wǎng)絡(luò)與互聯(lián)網(wǎng)的融合明顯增強(qiáng)，移動(dòng)互聯(lián)網(wǎng)通信極大地推動(dòng)了數(shù)據(jù)管理發(fā)展，并成為數(shù)據(jù)管理的重要工具，彌補(bǔ)了傳統(tǒng)的通信技術(shù)不足。需注意的是，移動(dòng)通信技術(shù)也產(chǎn)生了海量的數(shù)據(jù)，如個(gè)人的網(wǎng)絡(luò)瀏覽數(shù)據(jù)、健康信息等，這推動(dòng)了更多的數(shù)據(jù)服務(wù)業(yè)務(wù)發(fā)展。以健康數(shù)據(jù)管理服務(wù)為例，移動(dòng)通信技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的收集、上傳，使數(shù)據(jù)管理對(duì)象范圍明顯擴(kuò)大到了個(gè)人，節(jié)約了數(shù)據(jù)收集的成本。移動(dòng)通信技術(shù)也使數(shù)據(jù)管理的形式發(fā)生了明顯改變，移動(dòng)通信使用者開(kāi)始成為數(shù)據(jù)管理服務(wù)的使用者，移動(dòng)通信工作者能夠通過(guò)移動(dòng)通信技術(shù)發(fā)出指令，實(shí)現(xiàn)數(shù)據(jù)的收集、傳輸、定制、查詢(xún)等工作。

3 互聯(lián)網(wǎng)技術(shù)在數(shù)據(jù)管理中的應(yīng)用

近年來(lái)，IP數(shù)據(jù)網(wǎng)、互聯(lián)網(wǎng)、電信網(wǎng)、電視網(wǎng)等信息網(wǎng)絡(luò)的融合步伐明顯加快，產(chǎn)生了許多新的數(shù)據(jù)管理需求，推動(dòng)數(shù)據(jù)管理發(fā)展。產(chǎn)生了許多新的網(wǎng)絡(luò)內(nèi)容，但這些網(wǎng)絡(luò)內(nèi)容包裝、傳送、操作、終端存在一定的差異，各有優(yōu)劣，如電信、電視網(wǎng)絡(luò)信息傳輸速度快，互聯(lián)網(wǎng)盡管應(yīng)用十分廣泛，但可分配地址少、信息傳輸速度慢，不同網(wǎng)絡(luò)的融合推動(dòng)了通信技術(shù)的發(fā)展，實(shí)現(xiàn)了優(yōu)勢(shì)互補(bǔ)。目前已有利用互聯(lián)網(wǎng)實(shí)現(xiàn)遠(yuǎn)距離控制電視網(wǎng)絡(luò)的技術(shù)，多網(wǎng)融合，能夠保障高話(huà)務(wù)場(chǎng)景下的通信，克服網(wǎng)絡(luò)載波擴(kuò)容、增加應(yīng)急通信車(chē)等傳統(tǒng)手段負(fù)荷不足的缺陷。當(dāng)前，多網(wǎng)融合的技術(shù)儲(chǔ)備基本成熟，有關(guān)的數(shù)學(xué)、物理學(xué)、材料科學(xué)、行為科學(xué)、計(jì)算機(jī)編程等方面都發(fā)展迅速，以碼分多址（Code Division MultipleAccess，CDMA）技術(shù)、WiFi技術(shù)、LTE技術(shù)為代表的融合技術(shù)，豐富了多網(wǎng)融合的形式。以WiFi為例，具有較高的頻帶使用率，接入承載能力較好，成本低，安裝便捷，非常適合大量用戶(hù)移動(dòng)終端接入，在無(wú)線傳感控制、遠(yuǎn)程環(huán)境監(jiān)測(cè)、遠(yuǎn)程視頻監(jiān)控等領(lǐng)域具有極高的應(yīng)用價(jià)值，固線、無(wú)線技術(shù)的融合，有效實(shí)現(xiàn)了移動(dòng)設(shè)備的數(shù)據(jù)管理，可實(shí)現(xiàn)多點(diǎn)、遠(yuǎn)程數(shù)據(jù)傳輸、遠(yuǎn)程干預(yù)。

大數(shù)據(jù)時(shí)代下對(duì)數(shù)據(jù)管理的需求明顯提高，數(shù)據(jù)的計(jì)算量明顯增大，互聯(lián)網(wǎng)是實(shí)現(xiàn)高性能計(jì)算的途徑之一?；诨ヂ?lián)網(wǎng)的高性能計(jì)算，可以連接世界范圍內(nèi)的不同地區(qū)的計(jì)算機(jī)，分配計(jì)算任務(wù)，實(shí)現(xiàn)高性能計(jì)算，理論上可以實(shí)現(xiàn)成千上萬(wàn)臺(tái)計(jì)算機(jī)共同計(jì)算。這種體系下，每個(gè)計(jì)算機(jī)都分配出處理器容量，如SETl@hom，F(xiàn)olding@home計(jì)劃，互聯(lián)網(wǎng)高性能計(jì)算主要用于宇宙物理學(xué)、大數(shù)據(jù)統(tǒng)計(jì)、遙感數(shù)據(jù)處理等領(lǐng)域。當(dāng)前，云計(jì)算技術(shù)飛速發(fā)展，成了基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)數(shù)據(jù)分析的典范。網(wǎng)絡(luò)下高性能計(jì)算技術(shù)，根據(jù)節(jié)點(diǎn)能力，自適應(yīng)分配不同大小的數(shù)據(jù)，進(jìn)行“異構(gòu)”計(jì)算，能極大地提高計(jì)算效率，甚至可利用移動(dòng)計(jì)算設(shè)置。

互聯(lián)網(wǎng)也為數(shù)據(jù)管理提供了豐富的應(yīng)用途徑，以云存儲(chǔ)為典型的代表，這是一種分段式的數(shù)據(jù)存儲(chǔ)技術(shù)，海量的數(shù)據(jù)以分段的形式存儲(chǔ)在單獨(dú)的文件中，數(shù)據(jù)庫(kù)則負(fù)責(zé)管理這些文件的索引，采用系統(tǒng)可快速定位讀取數(shù)據(jù)文件，對(duì)于海量的數(shù)據(jù)而言，非常方便，使用者可根據(jù)數(shù)據(jù)的容量，不斷增加網(wǎng)絡(luò)中的計(jì)算機(jī)單元、存儲(chǔ)節(jié)點(diǎn)進(jìn)行擴(kuò)容。分布式的數(shù)據(jù)存儲(chǔ)將業(yè)務(wù)數(shù)據(jù)、元數(shù)據(jù)分開(kāi)管理，將業(yè)務(wù)數(shù)據(jù)儲(chǔ)存在廉價(jià)的工作節(jié)點(diǎn)上、將數(shù)據(jù)存儲(chǔ)容量擴(kuò)展，適合存儲(chǔ)海量數(shù)據(jù)的互聯(lián)網(wǎng)企業(yè)、電信業(yè)務(wù)等企業(yè)。分布式數(shù)據(jù)存儲(chǔ)技術(shù)以云存儲(chǔ)為核心，商業(yè)化的云存儲(chǔ)技術(shù)己得到應(yīng)用，如Amazon公司的簡(jiǎn)單服務(wù)、Google公司推出的“Google storage”等項(xiàng)目，國(guó)內(nèi)百度云盤(pán)、QQ云盤(pán)等。以Amazon公司的簡(jiǎn)單服務(wù)為例，這是一個(gè)強(qiáng)大的、可伸縮的、可靠的、按需使用的分布式存儲(chǔ)系統(tǒng)，用戶(hù)可以將程序調(diào)用所需要的相片、影像等文檔數(shù)據(jù)資料直接存儲(chǔ)到S3上，相當(dāng)于第三方硬盤(pán)驅(qū)動(dòng)，實(shí)際上分布式存儲(chǔ)系統(tǒng)散布在各個(gè)地理位置許多機(jī)器上的存儲(chǔ)空間中，后者提供虛擬化存儲(chǔ)服務(wù)。目前為止，其內(nèi)部原理尚未被公開(kāi)。

互聯(lián)網(wǎng)中的數(shù)據(jù)傳輸，可采用多線程并發(fā)、數(shù)據(jù)預(yù)讀傳輸技術(shù)，進(jìn)行并行檢索，傳輸，利用網(wǎng)絡(luò)帶寬、服務(wù)器處理能力，預(yù)讀與緩存數(shù)據(jù)，能夠極大地提高數(shù)據(jù)傳輸效率。對(duì)于數(shù)據(jù)的組織，互聯(lián)網(wǎng)可采用金字塔技術(shù)結(jié)合索引，在服務(wù)器I/O、網(wǎng)絡(luò)帶寬使用與客戶(hù)端處理方面，可有效地提高效率。需注意的是，對(duì)于部分?jǐn)?shù)據(jù)的處理，需要進(jìn)行分類(lèi)、變化、融合等處理，若采用集群處理，需要優(yōu)化空間才能實(shí)現(xiàn)數(shù)據(jù)調(diào)度。

基于互聯(lián)網(wǎng)的數(shù)據(jù)管理服務(wù)還包括云安全、虛擬防火墻、入侵檢測(cè)、流量過(guò)濾、虛擬機(jī)自動(dòng)擴(kuò)展等，這些服務(wù)都為數(shù)據(jù)管理提供了便利?？梢詾榈谌綉?yīng)用提供大吞吐的API存儲(chǔ)接口，可用于互聯(lián)網(wǎng)數(shù)據(jù)用戶(hù)提供數(shù)據(jù)接口，極大地拓展了數(shù)據(jù)管理服務(wù)內(nèi)容。

4結(jié)語(yǔ)

通信及互聯(lián)網(wǎng)技術(shù)的發(fā)展推動(dòng)了數(shù)據(jù)管理的發(fā)展，通信、互聯(lián)網(wǎng)技術(shù)與各行各業(yè)的融合程度上升，產(chǎn)生了大量的數(shù)據(jù)管理服務(wù)，通信及互聯(lián)網(wǎng)技術(shù)為數(shù)據(jù)的收集、傳輸、存儲(chǔ)提供了解決方案。