互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)的應(yīng)用

李剛

摘? ?要：基于對(duì)互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)的探討、研究，首先要明確云儲(chǔ)存技術(shù)的定義，然后與其中內(nèi)容相結(jié)合，對(duì)互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)進(jìn)行分析。文章主要從基本策略與4層架構(gòu)設(shè)計(jì)兩方面入手，分析將后者擴(kuò)展至架構(gòu)硬件體系以及設(shè)計(jì)系統(tǒng)處理流程的途徑?，F(xiàn)如今互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)的作用愈發(fā)明顯，及時(shí)進(jìn)一步探索更先進(jìn)的方法與技術(shù)勢(shì)在必行，為有需要的人士提供些許幫助。

關(guān)鍵詞：互聯(lián)網(wǎng);開(kāi)源數(shù)據(jù)存儲(chǔ);數(shù)據(jù)分析

隨著信息技術(shù)在全球范圍內(nèi)的飛速發(fā)展，互聯(lián)網(wǎng)上的開(kāi)源數(shù)據(jù)可以用海量來(lái)形容，此時(shí)若想確保正常的數(shù)據(jù)存儲(chǔ)與使用，僅依靠磁盤(pán)陣列方式是遠(yuǎn)遠(yuǎn)不夠的。與此同時(shí)，作為新時(shí)代應(yīng)運(yùn)而生的先進(jìn)產(chǎn)物，云存儲(chǔ)技術(shù)能夠起到分析互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)應(yīng)用的作用，通過(guò)對(duì)數(shù)據(jù)分類(lèi)技術(shù)的應(yīng)用，使海量數(shù)據(jù)得到初步的有效檢索，再在此基礎(chǔ)上采取私有云的方式，分類(lèi)存儲(chǔ)已經(jīng)分類(lèi)好的數(shù)據(jù)，為日后的計(jì)算分析提供便利。由此可見(jiàn)，為進(jìn)一步提升開(kāi)源數(shù)據(jù)存儲(chǔ)與分析的效率，及時(shí)探索更有效的方式與策略勢(shì)在必行。

1? ? 云儲(chǔ)存技術(shù)概述

云存儲(chǔ)技術(shù)概念實(shí)際上源于云計(jì)算概念，通過(guò)對(duì)網(wǎng)格技術(shù)、集群應(yīng)用或者是分布式文件系統(tǒng)等功能的運(yùn)用，采取合適的應(yīng)用軟件展開(kāi)對(duì)網(wǎng)絡(luò)中大量不同類(lèi)型存儲(chǔ)設(shè)備的整合，從而使其協(xié)同合作，對(duì)外提供數(shù)據(jù)存儲(chǔ)與業(yè)務(wù)訪問(wèn)服務(wù)。如果大量數(shù)據(jù)存儲(chǔ)與管理程序是云計(jì)算系統(tǒng)運(yùn)算與處理的關(guān)鍵所在，那么云計(jì)算系統(tǒng)中存儲(chǔ)設(shè)備的大量配置就非常必要，在向云存儲(chǔ)系統(tǒng)轉(zhuǎn)變的基礎(chǔ)上，也可以將云存儲(chǔ)看作一個(gè)數(shù)據(jù)存儲(chǔ)與管理的云計(jì)算系統(tǒng)。

2? ? 互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)

實(shí)際上，可以通過(guò)對(duì)面向服務(wù)體系結(jié)構(gòu)（Service-Oriented Architecture，SOA）的應(yīng)用實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)。SOA是在業(yè)務(wù)集成形成需求的時(shí)候，可以在連接后達(dá)成特定任務(wù)中要求的目標(biāo)，作為一種功能實(shí)體，相對(duì)來(lái)講具備較強(qiáng)的獨(dú)立性，能夠?qū)崿F(xiàn)軟件系統(tǒng)架構(gòu)[1]。除此之外，還可以將SOA定義成組件模型，其能夠有效聯(lián)系應(yīng)用程序中的各個(gè)功能單元，就硬件平臺(tái)、編程語(yǔ)言以及操作系統(tǒng)來(lái)講，接口是獨(dú)立存在的。如此一來(lái)，各類(lèi)系統(tǒng)中的服務(wù)即能采取統(tǒng)一方式交互[2]。

2.1? 基本策略

基本策略的軟件架構(gòu)設(shè)計(jì)，主要以SOA的設(shè)計(jì)思想為指導(dǎo)，其基本策略如下：

（1）通過(guò)對(duì)于實(shí)現(xiàn)無(wú)關(guān)接口的應(yīng)用定義服務(wù)，即相關(guān)人員需將面向服務(wù)、對(duì)象作為根據(jù)，同時(shí)將用戶人機(jī)接口以及軟件運(yùn)行環(huán)境等因素考慮在內(nèi)，若都能實(shí)現(xiàn)有效獨(dú)立，能在極大程度上降低運(yùn)行時(shí)對(duì)人機(jī)界面接口情況的影響，進(jìn)一步為系統(tǒng)整體運(yùn)行效率提供保障。

（2）相關(guān)人員需明確認(rèn)識(shí)通信協(xié)議強(qiáng)調(diào)位置透明性與互操作性的關(guān)鍵意義。互操作性即為在計(jì)算機(jī)系統(tǒng)、應(yīng)用程序與網(wǎng)絡(luò)都不相同的情況下，已然具備共同工作與共享信息的能力。由于是兩個(gè)系統(tǒng)連接后的信息共享，需對(duì)互操作性展開(kāi)級(jí)別劃分，不能單一認(rèn)為用戶也可以實(shí)現(xiàn)信息隨意訪問(wèn)。

（3）業(yè)務(wù)功能服務(wù)可應(yīng)用于封裝技術(shù)。該技術(shù)通常是指通過(guò)對(duì)絕緣材料的運(yùn)用，實(shí)現(xiàn)對(duì)集成電路打包的技術(shù)，而本文中則指封裝分析模塊軟件功能的技術(shù)，如此能使破壞與修改的概率顯著降低[3]。除數(shù)據(jù)查詢(xún)與分析功能之外，也能用于一定程度的數(shù)據(jù)信息挖掘，由此可見(jiàn)，在用戶操作與使用便捷性提升方面，該技術(shù)是非常有利的。

2.2? 4層架構(gòu)設(shè)計(jì)

4層架構(gòu)設(shè)計(jì)軟件體系結(jié)構(gòu)所包含的內(nèi)容可以分為4層，且能明顯觀察到其為遞進(jìn)層次關(guān)系。第一層次是基礎(chǔ)數(shù)據(jù)層，原始數(shù)據(jù)庫(kù)、預(yù)處理與運(yùn)算存儲(chǔ)數(shù)據(jù)、各類(lèi)信息知識(shí)等，都是其中含括的主要內(nèi)容。第二層次則是面向服務(wù)的構(gòu)件管理層，是應(yīng)用軟件系統(tǒng)調(diào)度與管理中最不可忽視的重要部分，主要包括服務(wù)調(diào)度管理、業(yè)務(wù)流程編排以及系統(tǒng)管理與監(jiān)控等組件。第三層次是服務(wù)層，以高內(nèi)聚與低耦合的功能組件為主要內(nèi)容，通常情況下以數(shù)據(jù)檢索、挖掘?yàn)槟康模{(diào)度管理都由構(gòu)件管理平臺(tái)統(tǒng)一進(jìn)行。第四層次為應(yīng)用層，此處以數(shù)據(jù)分析、檢索以及挖掘?yàn)楹诵墓ぷ?，同時(shí)實(shí)現(xiàn)各類(lèi)可視化用戶接口的提供[4]。

2.2.1? 架構(gòu)硬件體系

（1）分布式處理體系在運(yùn)行過(guò)程中的服務(wù)器數(shù)量，通常在兩個(gè)或以上，系統(tǒng)應(yīng)用軟件能在一臺(tái)或已連接的多臺(tái)服務(wù)器上運(yùn)行。相比較其他形式的硬件架構(gòu)而言，分布式處理體系的特征與長(zhǎng)處如下：在分布式架構(gòu)的作用下，達(dá)成負(fù)載平衡計(jì)算的目的;選擇最合適的計(jì)算機(jī)運(yùn)行程序;稀有資源能夠全面共享。其中，共享稀有資源與平衡負(fù)載可以看作是分布式架構(gòu)的核心所在。

（2）兩臺(tái)或以上數(shù)量的計(jì)算機(jī)或者節(jié)點(diǎn)在同群組內(nèi)共同工作，即為PC服務(wù)器集群，與獨(dú)立工作的計(jì)算機(jī)相比，具備更強(qiáng)的可擴(kuò)充性與實(shí)用性[5]。與此同時(shí)，服務(wù)器集群的優(yōu)勢(shì)是能夠有效滿足范圍內(nèi)的用戶所需，在各節(jié)點(diǎn)都有資源的情況下，可用性與可擴(kuò)充性也能隨之顯著提升。若在節(jié)點(diǎn)硬件或軟件運(yùn)行時(shí)發(fā)現(xiàn)異常狀況，系統(tǒng)會(huì)自動(dòng)進(jìn)行故障切換，而如果軟件系統(tǒng)對(duì)服務(wù)器處理速度提出更高的要求，服務(wù)器擴(kuò)充工作也可以隨時(shí)進(jìn)行，從而在最大程度上使用戶需求得到滿足。

2.2.2? 設(shè)計(jì)系統(tǒng)處理流程

（1）數(shù)據(jù)獲取。以將已經(jīng)預(yù)處理完成的數(shù)據(jù)有效提取到系統(tǒng)中為主要功能，與此同時(shí)，再以數(shù)據(jù)清洗、格式統(tǒng)一化處理為基礎(chǔ)，實(shí)現(xiàn)數(shù)據(jù)合理有序的傳輸，使后續(xù)處理過(guò)程中系統(tǒng)功能的完善性得到保障[6]，即相關(guān)人員需要確保前端探針設(shè)備傳回?cái)?shù)據(jù)處理的合理性，在充分發(fā)揮數(shù)據(jù)預(yù)處理層作用的前提下，達(dá)成格式統(tǒng)一化與分類(lèi)處理的目的。經(jīng)實(shí)踐證明，以此為基點(diǎn)再向數(shù)據(jù)存儲(chǔ)層存放，同時(shí)明確各類(lèi)文件在不同服務(wù)器中存放的差異，在提高數(shù)據(jù)資料調(diào)取、分析效率的情況下，能夠?yàn)槿蘸笥脩粽{(diào)用以及查詢(xún)功能提供極大便利。

（2）數(shù)據(jù)組織。主要功能在于能實(shí)現(xiàn)對(duì)文件流的在線處理，以快速掃描、文字提取、信息識(shí)別、數(shù)據(jù)過(guò)濾以及信息分類(lèi)等為主。其中所提到的快速掃描技術(shù)，能有效完成數(shù)據(jù)文件檢索;而通過(guò)對(duì)文字提取功能的合理應(yīng)用，能夠結(jié)合實(shí)際情況形成派生文本數(shù)據(jù);信息分類(lèi)能有效整合信息時(shí)代下每時(shí)每刻產(chǎn)生的海量數(shù)據(jù)，并最大程度上保證其準(zhǔn)確性與合理性，使數(shù)據(jù)檢索與查詢(xún)的便捷性得到保障[7]。

（3）數(shù)據(jù)存儲(chǔ)數(shù)據(jù)計(jì)算。本文所指的數(shù)據(jù)存儲(chǔ)，主要是通過(guò)中間管理層來(lái)實(shí)現(xiàn)的，以大文件庫(kù)、全文數(shù)庫(kù)以及關(guān)系數(shù)據(jù)庫(kù)等儲(chǔ)存服務(wù)為例，均是存儲(chǔ)系統(tǒng)中的關(guān)鍵內(nèi)容。除此之外，還包括統(tǒng)一視圖中間管理層實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)，進(jìn)而形成單一系統(tǒng)映像[8]。將自然語(yǔ)言處理的高級(jí)數(shù)據(jù)分析功能作為基礎(chǔ)，能有效地實(shí)現(xiàn)數(shù)據(jù)計(jì)算，其屬于信息過(guò)濾與檢索常規(guī)數(shù)據(jù)處理的擴(kuò)充。

3? ? 結(jié)語(yǔ)

綜上所述，就網(wǎng)絡(luò)技術(shù)環(huán)境目前情況來(lái)看，開(kāi)源數(shù)據(jù)作為其中的研究熱點(diǎn)，能夠?qū)⒕W(wǎng)絡(luò)新技術(shù)、信息采集以及數(shù)據(jù)分析等多個(gè)領(lǐng)域均含括在內(nèi)，相對(duì)來(lái)講優(yōu)勢(shì)非常明顯。與此同時(shí)，在新時(shí)期大數(shù)據(jù)環(huán)境的影響下，開(kāi)源數(shù)據(jù)的挖掘與分析技術(shù)也必然會(huì)得到進(jìn)一步的發(fā)展，及時(shí)創(chuàng)新信息采集與網(wǎng)絡(luò)監(jiān)控等勢(shì)在必行。

[參考文獻(xiàn)]

[1]向華偉.開(kāi)源數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)的實(shí)現(xiàn)路徑分析[J].電子技術(shù)與軟件工程，2016（20）：186.

[2]寧德軍，葉培根，劉琴，等.基于存儲(chǔ)庫(kù)數(shù)據(jù)挖掘的開(kāi)源軟件成功度量方法[J].電子學(xué)報(bào)，2018（12）：116-121.

[3]郝文江.互聯(lián)網(wǎng)開(kāi)源數(shù)據(jù)存儲(chǔ)與分析技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2013（7）：24-27.

[4]姜天海.新技術(shù)讓數(shù)據(jù)存儲(chǔ)時(shí)間逼近“永恒”[J].科學(xué)新聞，2017（1）：44.

[5]李華平，許鵬，胡曉明.高職院校教育資源云平臺(tái)的數(shù)據(jù)存儲(chǔ)研究[J].洛陽(yáng)師范學(xué)院學(xué)報(bào)，2017（5）：56-59.

[6]王峰，閆匯，劉圓.冷數(shù)據(jù)存儲(chǔ)研究[J].電信技術(shù)，2017（6）：22-24.

[7]楊靖.在線數(shù)據(jù)存儲(chǔ)—你存儲(chǔ)了嗎？[J].電腦知識(shí)與技術(shù)，2009（8）：225-226.

[8]彭澤華，胡開(kāi)勝.高校圖書(shū)館數(shù)據(jù)存儲(chǔ)外包的探討[J].電腦知識(shí)與技術(shù)，2009（22）：20-22.

Abstract：Based on the discussion and research on the open source data storage and analysis technology of the Internet， it is necessary to clarify what is cloud storage technology first， then combine it with the content to analyze the open source data storage and analysis technology of the Internet. This paper mainly starts from the basic strategy and four-layer architecture design， analyzes the way of extends the latter to construct the hardware system and design the system processing process. Nowadays， the role of open source data storage and analysis technology on the Internet is becoming more and more obvious. It is imperative to further explore more advanced methods and technologies in a timely manner， so as to provide some help for those in need.

Key words：Internet; open source data storage; data analysis