基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究

胡珊

摘? ?要：近年來，隨著經(jīng)濟的飛速發(fā)展，社會逐漸步入信息化社會。相比傳統(tǒng)數(shù)據(jù)挖掘系統(tǒng)，基于云計算的數(shù)據(jù)挖掘平臺是新時代的科技產(chǎn)物，具有得天獨厚的優(yōu)勢，其處理海量數(shù)據(jù)的能力、面向服務(wù)、高度擴展性等特點受到各行各業(yè)廣泛的關(guān)注和認可。文章首先概述了云計算的概念以及服務(wù)范圍，之后分析基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)，并且提出相關(guān)的技術(shù)指導(dǎo)建議。

關(guān)鍵詞：云計算;數(shù)據(jù)挖掘;平臺架構(gòu);關(guān)鍵技術(shù)

隨著經(jīng)濟全球化的逐漸加深，國家建設(shè)規(guī)模得到進一步擴大。時代的發(fā)展促使人們從電氣時代步入高效發(fā)展的信息時代?；ヂ?lián)網(wǎng)技術(shù)的廣泛應(yīng)用，為人們的日常生活帶來極大的便利，同時也促進了國際經(jīng)濟的發(fā)展。在互聯(lián)網(wǎng)時代，每天都會產(chǎn)生大量的數(shù)據(jù)信息，海量的數(shù)據(jù)內(nèi)存在大量的無用信息。并且現(xiàn)階段信息處理技術(shù)尚不成熟，在信息挖掘方面比較薄弱，為了改善這樣的現(xiàn)象，基于云計算的數(shù)據(jù)挖掘平臺應(yīng)運而生。幫助人們解決了信息處理問題，也推動了信息時代的發(fā)展。傳統(tǒng)數(shù)據(jù)挖掘并不能滿足人們對信息的需求，經(jīng)過專家學(xué)者的探索研究，云計算具有超強的計算能力和存儲能力，并且運營成本比較低，得到社會的青睞，所以以云計算為依托構(gòu)建數(shù)據(jù)挖掘平臺是新時代發(fā)展的必然趨勢，為推動國家科技水平發(fā)展做出突出貢獻。

1? ? 云計算概述

1.1? 概念

云計算是二十一世紀的新名詞，是一種新型網(wǎng)絡(luò)模式，社會各界對其的定義各有不同。云計算是分布式計算的一種，主要利用網(wǎng)絡(luò)“云”將巨大的數(shù)據(jù)計算處理程序分解為無數(shù)個小程序，之后利用多種服務(wù)器構(gòu)成的系統(tǒng)進行處理和分析，并且將處理后的結(jié)果回傳給用戶[1]。美國NIST認為云計算是一種根據(jù)使用量來進行付費提供的，是一種比較方便、符合用戶需求的網(wǎng)絡(luò)訪問模式。綜合國內(nèi)外專家學(xué)者研究成果，將其定義為：云計算是一種多種計算方式對于某些特定需求，在短時間內(nèi)面對海量信息數(shù)據(jù)具有超高效率的計算處理模式。

1.2? 服務(wù)層次

通過對現(xiàn)階段的理論綜述研究，分析出云計算服務(wù)層次一般為3種：軟件級服務(wù)、平臺級服務(wù)以及基礎(chǔ)設(shè)施級服務(wù)。軟件級服務(wù)就是指用戶群體利用云計算來獲取信息資源和計算能力，進而實現(xiàn)對軟件的操作使用。平臺級服務(wù)能夠在用戶群體不需要購買相關(guān)的軟硬件設(shè)備的前提下直接實現(xiàn)應(yīng)用的測試和開發(fā)等?；A(chǔ)設(shè)施級服務(wù)主要是幫助用戶群體直接實現(xiàn)云計算服務(wù)的使用，比如資源的存儲、開發(fā)等。在服務(wù)層次上，發(fā)展較為成熟的是美國的亞馬遜等服務(wù)平臺。

2? ? 基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)

近年來，互聯(lián)網(wǎng)技術(shù)發(fā)展比較迅速，在數(shù)據(jù)挖掘平臺架構(gòu)方面得到了充分體現(xiàn)。在云計算的分布式存儲和分布式計算的影響之下，推動了新時代數(shù)據(jù)挖掘平臺的創(chuàng)新改革。

可以發(fā)現(xiàn)，基于云計算的數(shù)據(jù)挖掘平臺構(gòu)架是從上到下的順序設(shè)計，一共分為3層，根據(jù)順序依次為數(shù)據(jù)挖掘云服務(wù)層、數(shù)據(jù)挖掘能力層以及云計算支撐平臺層[2]。其中，數(shù)據(jù)挖掘云服務(wù)層主要是向外界分享數(shù)據(jù)挖掘云服務(wù)以及服務(wù)能力封裝的接口方法，也就是本地應(yīng)用程序的編程接口，具體包括HTTP，Restful，SOAP以及Web service等?？梢詾榭蛻籼峁┙馕鲆?，并且支持語言語句的搜索查詢，可以根據(jù)實際情況適當(dāng)調(diào)節(jié)云服務(wù)，來滿足不同業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的用戶業(yè)務(wù)的真實需求，此外，還可以對數(shù)據(jù)挖掘云服務(wù)自行調(diào)用和組裝。

數(shù)據(jù)挖掘能力層主要是較為基礎(chǔ)的數(shù)據(jù)挖掘能力，具體表現(xiàn)為調(diào)度引起和算法服務(wù)管理以及數(shù)據(jù)并行處理框架等，并且也為使用者提供數(shù)據(jù)挖掘能力層的相關(guān)能力。在本層中，能夠直接與Mathout和Weka等第三方數(shù)據(jù)挖掘工具的分布式算法庫連接，除此之外，還具有內(nèi)部數(shù)據(jù)挖掘算法能力和算法庫。

云計算支撐平臺層通常情況下具備3種能力，分別是分布式文件存儲、數(shù)據(jù)庫存儲和計算能力。本層架構(gòu)比較簡單，可適用于企業(yè)自主研發(fā)的數(shù)據(jù)挖掘平臺，還可以依托于第三方云計算數(shù)據(jù)處理平臺，。

3? ? 基于云計算的數(shù)據(jù)挖掘平臺的關(guān)鍵技術(shù)

通過對數(shù)據(jù)挖掘技術(shù)和云計算技術(shù)的有機結(jié)合，進一步實現(xiàn)基于云計算的數(shù)據(jù)挖掘平臺的搭建[3]。而基于云計算的數(shù)據(jù)平臺搭建的質(zhì)量與云計算數(shù)據(jù)平臺的每一個關(guān)鍵技術(shù)有著密不可分的關(guān)系。本文全方位地分析有關(guān)于云計算數(shù)據(jù)挖掘平臺的關(guān)鍵技術(shù)，找出平臺架設(shè)過程中的問題和不足，進而對平臺進行完善優(yōu)化，推動信息化社會穩(wěn)定發(fā)展。

3.1? 云計算技術(shù)

云計算關(guān)鍵技術(shù)主要表現(xiàn)在虛擬化技術(shù)、分布式存儲技術(shù)以及并行云計算技術(shù)3個方面。（1）虛擬化技術(shù)。能夠為網(wǎng)絡(luò)海量數(shù)據(jù)挖掘營造良好環(huán)境，在大數(shù)據(jù)時代背景下，虛擬化技術(shù)在數(shù)據(jù)挖掘的具體表現(xiàn)可以分為跨兩個或者跨多個系統(tǒng)的信息數(shù)據(jù)挖掘處理。此外，結(jié)合虛擬化技術(shù)可以幫助用戶群體實現(xiàn)動態(tài)化數(shù)據(jù)管理，能夠擴大技術(shù)服務(wù)范圍，進而提高服務(wù)效率。（2）分布式存儲技術(shù)。其存在的價值在于可以提高信息數(shù)據(jù)處理精度，還可以降低挖掘平臺運作的成本。如果平臺的硬件能力不足，可以轉(zhuǎn)化研究方向，向高性能的軟件方面探索來彌補缺陷?；诜N種外在影響因素，分布式存儲方式相比傳統(tǒng)存儲方式，具有非常大的優(yōu)勢，比如存儲容量龐大，并且挖掘平臺運作成本相關(guān)較低。（3）并行云計算技術(shù)。該方面的研究尚不成熟，但是該技術(shù)在一定意義上對云計算數(shù)據(jù)挖掘平臺的運作效率有著直接影響作用[4]，利用此項技術(shù)能夠?qū)崿F(xiàn)多個數(shù)據(jù)處理任務(wù)的同時進行。并且云計算技術(shù)對服務(wù)調(diào)度有著非常重要的作用，而且基于并行云計算技術(shù)，可以強化云計算數(shù)據(jù)挖掘平臺的穩(wěn)定性。

3.2? 數(shù)據(jù)匯集調(diào)度中心

具體表現(xiàn)為將平臺的各種業(yè)務(wù)數(shù)據(jù)進行匯集接入，可以為多種源數(shù)據(jù)格式進行支撐，從而有效地解決由于各種數(shù)據(jù)所導(dǎo)致的規(guī)約問題。除此之外，源數(shù)據(jù)格式也可以為多種數(shù)據(jù)作為支撐，比如各種日志數(shù)據(jù)、爬蟲數(shù)據(jù)等，同時還支持聯(lián)機分析處理系統(tǒng)數(shù)據(jù)和聯(lián)機事物處理系統(tǒng)數(shù)據(jù)等?；诖隧椉夹g(shù)，可以實現(xiàn)很大程度的數(shù)據(jù)同步，比如文件數(shù)據(jù)傳輸協(xié)議同步等。而且源數(shù)據(jù)格式也應(yīng)該提供更多的數(shù)據(jù)同步形式，比如socket消息同步、數(shù)據(jù)庫實時同步以及文件傳輸協(xié)議等。并且利用數(shù)據(jù)匯集調(diào)度中心可以有效地改善現(xiàn)階段云計算所存在的隱私安全問題。也就是并行云計算技術(shù)為云計算提高了效率，而數(shù)據(jù)匯集調(diào)度則為云計算數(shù)據(jù)挖掘平臺的高效性、穩(wěn)定性和安全性提供了保障。在數(shù)據(jù)匯集調(diào)度中心方面，主要應(yīng)用的是模板化的設(shè)計技術(shù)，具體功能為將不同類型的數(shù)據(jù)信息進行整合匯集，可以支持新數(shù)據(jù)和源數(shù)據(jù)的配置，借此可以實現(xiàn)對于不同業(yè)務(wù)數(shù)據(jù)的規(guī)約和統(tǒng)一匯集管理。

3.3? 服務(wù)調(diào)度與管理技術(shù)

云計算具備非常強的基礎(chǔ)能力，服務(wù)調(diào)度和管理技術(shù)正是實現(xiàn)其能力的關(guān)鍵技術(shù)。云計算數(shù)據(jù)挖掘平臺的架構(gòu)必須具備服務(wù)調(diào)度能力和服務(wù)管理能力，而且需要不同的業(yè)務(wù)系統(tǒng)才可以滿足使用此平臺的條件[5]。在并行互斥和服務(wù)管理等方面，應(yīng)該結(jié)合平臺實際運作情況以及用戶信息反饋等，根據(jù)實際需求合理對服務(wù)和資源進行分配，出現(xiàn)這些問題，要根據(jù)服務(wù)的優(yōu)先等級按照順序解決。基于此，才可以進一步實現(xiàn)云計算數(shù)據(jù)挖掘平臺的安全性和可靠性，同時根據(jù)相關(guān)的服務(wù)管控情況適當(dāng)?shù)貙φ{(diào)度進行調(diào)節(jié)。在服務(wù)注冊和服務(wù)暴露等方面，可以利用服務(wù)管理對這些系統(tǒng)功能進行統(tǒng)一管理。在云計算數(shù)據(jù)挖掘平臺實際操作過程中，服務(wù)管理功能可以直接納入第三方數(shù)據(jù)挖掘能力，由于其自身具備暴露本地服務(wù)的能力，所以可以最大限度地發(fā)揮出云計算數(shù)據(jù)挖掘平臺的服務(wù)能力。

4? ? 結(jié)語

總而言之，云計算技術(shù)的廣泛應(yīng)用為國家建設(shè)帶來新的機遇和挑戰(zhàn)，在新的時代背景下，將云計算技術(shù)作為依托構(gòu)建數(shù)據(jù)挖掘平臺，可以極大地提高數(shù)據(jù)處理效率，還可以為用戶群體提供更為優(yōu)質(zhì)的體驗和服務(wù)。但是現(xiàn)階段的數(shù)據(jù)挖掘平臺發(fā)展過程中存在一些問題，比如用戶的安全隱私問題等，都需要加大重視程度，努力探索完善，彌補技術(shù)上的不足。文章全面分析了云計算和數(shù)據(jù)挖掘技術(shù)以及二者進行有機結(jié)合后的發(fā)展前景與關(guān)鍵技術(shù)，提出一些不成熟的建議，旨在幫助新時代云計算數(shù)據(jù)挖掘平臺獲得更為良好的發(fā)展。通過國內(nèi)外專家學(xué)者的探索研究和社會的不斷進步，云計算數(shù)據(jù)挖掘平臺也會不斷地完善優(yōu)化，受到社會各界的廣泛關(guān)注，為用戶提供更為優(yōu)質(zhì)的服務(wù)體驗，推動信息時代的發(fā)展。

[參考文獻]

[1]葛曉玢，劉杰.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究[J].景德鎮(zhèn)高專學(xué)報，2017（3）：26-29.

[2]陳磊.基于云計算的數(shù)據(jù)挖掘平臺架構(gòu)及其關(guān)鍵技術(shù)研究[J].電腦編程技巧與維護，2017（6）：64-65.

[3]馮娜.云計算環(huán)境下數(shù)據(jù)挖掘信息平臺架構(gòu)設(shè)計及實現(xiàn)[J].電腦編程技巧與維護，2017（18）：63-65.

[4]徐焱.基于教育數(shù)據(jù)挖掘的個性化自適應(yīng)學(xué)習(xí)系統(tǒng)研究[J].中國教育信息化，2019（11）：13-15.

[5]尚斯年.基于云計算分布式技術(shù)的海量AIS數(shù)據(jù)挖掘系統(tǒng)設(shè)計與實現(xiàn)[D].大連：大連海事大學(xué)，2017.

Research on the architecture and key technologies of data

mining platform based on cloud computing

Hu Shan

（Guangzhou College of Technology and Business， Guangzhou 510000， China）

Abstract：In recent years， with the rapid development of economy， the society has gradually stepped into the information society. Compared with the traditional data mining system， the data mining platform based on cloud computing is the product of science and technology in the new era， which has unique advantages. Its ability to deal with massive data， service-oriented， high scalability and other characteristics are widely concerned and recognized by all walks of life. This paper first outlines the concept and service scope of cloud computing， then analyzes the data mining platform architecture based on cloud computing， and puts forward relevant technical guidance suggestions.

Key words：cloud computing; data mining; platform architecture; key technologies