數(shù)據(jù)倉(cāng)庫(kù)下基于知識(shí)庫(kù)的虛擬實(shí)驗(yàn)平臺(tái)構(gòu)建

吳興蛟+傅強(qiáng)+段云彪+胡勁

引言

虛擬實(shí)驗(yàn)室主要是一種為了模擬現(xiàn)實(shí)實(shí)驗(yàn)的一個(gè)分布式的，基于網(wǎng)絡(luò)的分布式，可以提供在線教學(xué)，技術(shù)交流，共同研究，實(shí)時(shí)交流的一個(gè)信息平臺(tái)。目前虛擬實(shí)驗(yàn)室的定義大致分為兩種，一種是基于計(jì)算機(jī)創(chuàng)建的虛擬平臺(tái)，實(shí)驗(yàn)者可以通過(guò)平臺(tái)可以在里面實(shí)現(xiàn)預(yù)設(shè)實(shí)驗(yàn)，形成最后的分析結(jié)果。另一種是創(chuàng)造一個(gè)交互環(huán)境作為引導(dǎo)模擬實(shí)驗(yàn)的場(chǎng)所。然而不論是哪種定義，總的來(lái)說(shuō)。虛擬實(shí)驗(yàn)室是一種為了替換現(xiàn)有實(shí)驗(yàn)方式，擴(kuò)展實(shí)驗(yàn)實(shí)現(xiàn)條件的。節(jié)約實(shí)驗(yàn)成本的一種新型實(shí)驗(yàn)教學(xué)方式。虛擬實(shí)驗(yàn)室主要由模擬部分，數(shù)據(jù)分析部分構(gòu)成?，F(xiàn)行的虛擬實(shí)驗(yàn)室一般分為三大類：基于網(wǎng)絡(luò)應(yīng)用云計(jì)算技術(shù)，基于虛擬現(xiàn)實(shí)，多人協(xié)作虛擬實(shí)驗(yàn)室。對(duì)于虛擬實(shí)驗(yàn)室的改進(jìn)一般是在技術(shù)上的更新。現(xiàn)在虛擬實(shí)驗(yàn)室還具有一個(gè)最嚴(yán)重的的缺點(diǎn)，可擴(kuò)展性不足，只能針對(duì)某個(gè)領(lǐng)域?qū)崿F(xiàn)，并且實(shí)現(xiàn)出來(lái)的實(shí)驗(yàn)室不具有學(xué)習(xí)分析功能，例如胡文成在基于網(wǎng)絡(luò)平臺(tái)虛擬實(shí)驗(yàn)室技術(shù)的研究和實(shí)現(xiàn)一文中提出的基于C/S的虛擬實(shí)驗(yàn)室實(shí)驗(yàn)內(nèi)容的還不夠豐富，在仿真環(huán)境的逼真程度上，還需要有進(jìn)一步的改進(jìn)。張小平在基于EDA虛擬實(shí)驗(yàn)室中心值法的研究一文中只是針對(duì)于單機(jī)進(jìn)行試驗(yàn)。結(jié)合現(xiàn)在大數(shù)據(jù)的技術(shù)在此基礎(chǔ)上提出數(shù)據(jù)倉(cāng)庫(kù)下基于知識(shí)庫(kù)的虛擬實(shí)驗(yàn)平臺(tái)構(gòu)建設(shè)想。

1總體架構(gòu)

為了克服現(xiàn)在虛擬實(shí)驗(yàn)室通用性低、構(gòu)建成本高，學(xué)生創(chuàng)新性難以得到拓展這個(gè)問(wèn)題?；诂F(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)，云計(jì)算的背景下。使用人工智能技術(shù)構(gòu)建一個(gè)能提高學(xué)生動(dòng)手能力，培養(yǎng)學(xué)生創(chuàng)造才能的虛擬實(shí)驗(yàn)平臺(tái)是一件具有極大意義的工作。

曾雪輝在虛擬實(shí)驗(yàn)室中用戶注冊(cè)組件的設(shè)計(jì)與實(shí)現(xiàn)一文中提出了組件的概念。

虛擬實(shí)驗(yàn)室核心采用應(yīng)用服務(wù)器集群進(jìn)行運(yùn)算處理，使用B/S架構(gòu)。實(shí)現(xiàn)瘦客戶端運(yùn)行，從而提高軟件平臺(tái)運(yùn)行兼容性。使用javaee技術(shù)開(kāi)發(fā)，項(xiàng)目實(shí)現(xiàn)部分開(kāi)源，從而提升項(xiàng)目的可維護(hù)性以及可拓展性。虛擬實(shí)驗(yàn)在核心仿真模塊的支撐下，采用組件技術(shù)分離實(shí)驗(yàn)場(chǎng)景，實(shí)驗(yàn)組件。使用XML配置耦合模塊，不僅從軟件開(kāi)發(fā)的角度實(shí)現(xiàn)了復(fù)用，同時(shí)為創(chuàng)新實(shí)驗(yàn)室，研發(fā)實(shí)驗(yàn)室提供可靠的組件。

虛擬實(shí)驗(yàn)室的主要功能還是不能擺脫為用戶提供真實(shí)互動(dòng)的實(shí)驗(yàn)功能。虛擬實(shí)驗(yàn)室在構(gòu)建初期主要是為用戶實(shí)現(xiàn)普通實(shí)驗(yàn)的模擬。該虛擬實(shí)驗(yàn)的構(gòu)建值得指出的一點(diǎn)是，改實(shí)驗(yàn)室不同于市面上的專注于一種或者一類實(shí)驗(yàn)。這是一個(gè)實(shí)驗(yàn)平臺(tái)，實(shí)驗(yàn)平臺(tái)構(gòu)建之后，主要會(huì)為一定用戶提供開(kāi)源服務(wù)，一些具有初步編程知識(shí)或者想融合到開(kāi)發(fā)中的人員就會(huì)慢慢豐富平臺(tái)實(shí)驗(yàn)。在實(shí)驗(yàn)提供以后測(cè)試之后就會(huì)在平臺(tái)分權(quán)限開(kāi)放。從而支撐一部分實(shí)驗(yàn)?zāi)M練習(xí)。

在普通實(shí)驗(yàn)的支撐下，用戶可以任意組織實(shí)驗(yàn)。最初使用專家打分等方法實(shí)現(xiàn)對(duì)于實(shí)驗(yàn)數(shù)據(jù)的分析以及分析。在數(shù)據(jù)積累到一定數(shù)量的時(shí)候采用機(jī)器學(xué)習(xí)的方式從數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行挖掘與學(xué)習(xí)，從而形成規(guī)則庫(kù)，在規(guī)則庫(kù)的反饋下機(jī)器就能不斷的成長(zhǎng)同時(shí)呈現(xiàn)出相對(duì)精準(zhǔn)的結(jié)果。這樣的話無(wú)論對(duì)于用戶興趣探索還是科研初期雛形都是有意義的。

傳統(tǒng)數(shù)據(jù)生成之后，經(jīng)過(guò)分類之后會(huì)存人數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)。創(chuàng)新實(shí)驗(yàn)經(jīng)過(guò)分類之后也會(huì)存人數(shù)據(jù)倉(cāng)庫(kù)。這里的數(shù)據(jù)庫(kù)不局限于現(xiàn)在的分布式數(shù)據(jù)庫(kù)。也包含分布式數(shù)據(jù)庫(kù)，同時(shí)數(shù)據(jù)庫(kù)磁盤也會(huì)使用陣列進(jìn)行支撐。從而從物理上保證數(shù)據(jù)的完整性。

數(shù)據(jù)倉(cāng)庫(kù)內(nèi)被打上標(biāo)簽的數(shù)據(jù)會(huì)用挖掘工具進(jìn)行訓(xùn)練，形成規(guī)則庫(kù)。規(guī)則庫(kù)內(nèi)規(guī)則反作用于實(shí)驗(yàn)。形成了有效閉環(huán)。

該虛擬實(shí)驗(yàn)室主要是基于規(guī)則學(xué)習(xí)的知識(shí)庫(kù)反饋組合平臺(tái)，實(shí)驗(yàn)室建設(shè)主要分為模塊匹配庫(kù)以及實(shí)驗(yàn)知識(shí)庫(kù)。在此基礎(chǔ)上通過(guò)應(yīng)用服務(wù)器集群為外界提供普通實(shí)驗(yàn)室，創(chuàng)新實(shí)驗(yàn)室以及研發(fā)實(shí)驗(yàn)室接口。通過(guò)這三個(gè)接口為外界提供服務(wù)。其中普通實(shí)驗(yàn)室主要是整合那些可以在實(shí)驗(yàn)室完成普通實(shí)驗(yàn)，創(chuàng)新實(shí)驗(yàn)室主要是通過(guò)規(guī)則庫(kù)以及構(gòu)件庫(kù)的支撐對(duì)外提供跨學(xué)科以及跨領(lǐng)域的組合實(shí)驗(yàn)。研發(fā)實(shí)驗(yàn)室是一個(gè)服務(wù)于少數(shù)具備一定業(yè)務(wù)知識(shí)以及編程人員的接口，這個(gè)實(shí)驗(yàn)室可以對(duì)外提供一些自己研發(fā)以及構(gòu)建的實(shí)驗(yàn)。

實(shí)驗(yàn)數(shù)據(jù)主要分為兩類，一類是傳統(tǒng)實(shí)驗(yàn)數(shù)據(jù)，這類數(shù)據(jù)主要是針對(duì)普通實(shí)驗(yàn)而言的。這類實(shí)驗(yàn)數(shù)據(jù)具有一定區(qū)間標(biāo)準(zhǔn)，可以通過(guò)編程實(shí)現(xiàn)分析，從而將分析結(jié)果展現(xiàn)給用戶。同時(shí)將數(shù)據(jù)進(jìn)行檢驗(yàn)留底，從而為后面分析留下依據(jù)。另一類是自己組合實(shí)驗(yàn)產(chǎn)生的數(shù)據(jù)，這類數(shù)據(jù)是一些新興數(shù)據(jù)，以及不可預(yù)計(jì)的結(jié)果，這類結(jié)果可以提供給那些致力于創(chuàng)新實(shí)驗(yàn)的用戶，一方面用于數(shù)據(jù)分析。另一方面可以提供給實(shí)驗(yàn)專家，作為打破實(shí)驗(yàn)創(chuàng)新瓶頸的參考。最后將數(shù)據(jù)進(jìn)行標(biāo)識(shí)以及分類放入實(shí)驗(yàn)知識(shí)庫(kù)。

知識(shí)庫(kù)通過(guò)智能算法分析組合產(chǎn)生規(guī)則。此類規(guī)則主要用于反饋實(shí)驗(yàn)組合，為自主實(shí)驗(yàn)者提供原始數(shù)據(jù)。從而指導(dǎo)創(chuàng)新。

知識(shí)庫(kù)還可以作為后面分析的數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)對(duì)于實(shí)驗(yàn)規(guī)律的探究。由于數(shù)據(jù)是不規(guī)則的，可以考慮使用mongodb等非結(jié)構(gòu)化數(shù)據(jù)庫(kù)存儲(chǔ)。

2數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流轉(zhuǎn)

數(shù)據(jù)是構(gòu)成實(shí)驗(yàn)平臺(tái)的關(guān)鍵所在，由于數(shù)據(jù)眾多，同時(shí)數(shù)據(jù)的種類不一致，同時(shí)數(shù)據(jù)的結(jié)構(gòu)迥異，所以在分析前應(yīng)該將數(shù)據(jù)進(jìn)行相應(yīng)的處理。這就涉及到了數(shù)據(jù)挖掘的相關(guān)知識(shí)以及概念。

ETL：ETL是Extract-Transform-Load的縮寫，翻譯為中文指的是數(shù)據(jù)的裝載，轉(zhuǎn)換以及加載。說(shuō)簡(jiǎn)單一點(diǎn)就是，生產(chǎn)系統(tǒng)將數(shù)據(jù)存入對(duì)應(yīng)的數(shù)據(jù)庫(kù)，在數(shù)據(jù)ETL工具以及ETL引擎的集合下。通過(guò)一系列數(shù)據(jù)轉(zhuǎn)化工程，進(jìn)過(guò)數(shù)據(jù)的清洗處理從而將數(shù)據(jù)存入數(shù)據(jù)倉(cāng)庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)單來(lái)說(shuō)就是存儲(chǔ)數(shù)據(jù)的關(guān)系數(shù)據(jù)庫(kù)以及多維數(shù)據(jù)庫(kù)的集合。與數(shù)據(jù)庫(kù)不同的是，數(shù)據(jù)倉(cāng)庫(kù)建立的數(shù)據(jù)集市是面向主題的。同時(shí)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)是固化的非易失的。數(shù)據(jù)主要用于經(jīng)營(yíng)分析。

OLAP服務(wù)器實(shí)現(xiàn)的是在現(xiàn)在的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上對(duì)于數(shù)據(jù)進(jìn)行多維分析，面向主題操作的操作指令集合執(zhí)行系統(tǒng)，主要負(fù)責(zé)數(shù)據(jù)的處理。

數(shù)據(jù)挖掘服務(wù)器：在處理以后的數(shù)據(jù)基礎(chǔ)上，對(duì)于規(guī)則的探尋。將一系列算法運(yùn)用于數(shù)據(jù)集上就要借助數(shù)據(jù)挖掘服務(wù)器進(jìn)行處理。endprint

知識(shí)庫(kù)的構(gòu)建是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過(guò)程，首先從數(shù)據(jù)的來(lái)源肯定是傳統(tǒng)數(shù)據(jù)。組合數(shù)據(jù)以及標(biāo)記數(shù)據(jù)幾個(gè)生成數(shù)據(jù)庫(kù)。這些數(shù)據(jù)來(lái)自于試驗(yàn)后的生產(chǎn)系統(tǒng)，通過(guò)ETL進(jìn)行數(shù)據(jù)的去重，去噪以及轉(zhuǎn)換缺失，數(shù)據(jù)插補(bǔ)一系列操作。最后形成增量數(shù)據(jù)供分析。通過(guò)寫好的OLAP服務(wù)進(jìn)行操作或者人工分析以后將結(jié)果進(jìn)行保存。分析后的數(shù)據(jù)可以使用報(bào)表技術(shù)進(jìn)行展示或者形成相應(yīng)的分析報(bào)告。同時(shí)提供對(duì)外的分析接口供其他人來(lái)調(diào)用，實(shí)現(xiàn)在線分析使用。

3規(guī)則庫(kù)學(xué)習(xí)

規(guī)則庫(kù)的學(xué)習(xí)主要是采用多工具數(shù)據(jù)交換處理方式。與現(xiàn)在方式不同之處在于，這種方式下組合更加靈活，同時(shí)可以根據(jù)不同的工具制定不同的處理計(jì)劃。對(duì)于軟件工具取長(zhǎng)補(bǔ)短。唯一不足在于還需人工干預(yù)，不能自動(dòng)完成。支撐工具運(yùn)行的是官方或者自己編寫的算法庫(kù)。這些算法針對(duì)不同的規(guī)則以及場(chǎng)景展開(kāi)，從而輔助分析。不同的工具對(duì)于中間結(jié)果的處理數(shù)據(jù)格式是不同的，在這采用XML數(shù)據(jù)島進(jìn)行處理。有效的加快了數(shù)據(jù)處理速度。最后完善規(guī)則庫(kù)。

數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是一堆并不能真正體現(xiàn)價(jià)值的一堆數(shù)字集合，并不能真正用于反饋調(diào)節(jié)組合試驗(yàn)。要讓數(shù)據(jù)得到使用就得將數(shù)據(jù)進(jìn)行處理使之成為規(guī)則。

形成的規(guī)則就是所謂的能區(qū)分?jǐn)?shù)據(jù)的集合組，通過(guò)這些規(guī)則就可以對(duì)于簡(jiǎn)單的組合形式進(jìn)行區(qū)分。例如末端淬火試驗(yàn)中就可以通過(guò)已知的數(shù)據(jù)通過(guò)遺傳算法推斷出實(shí)驗(yàn)不同數(shù)據(jù)下的淬透性曲線。

規(guī)則的挖掘可以采用外界工具，例如MATLAB以及SPSSMODELER工具或者其他，那我們?cè)谙到y(tǒng)架構(gòu)的過(guò)程中就要為其預(yù)留相應(yīng)的接口。同時(shí)為挖掘工具提供一套封裝的智能算法倉(cāng)庫(kù)接口。由于生成數(shù)據(jù)的格式存在差異，所以在這些數(shù)據(jù)進(jìn)入規(guī)則庫(kù)之前應(yīng)該預(yù)留相應(yīng)的數(shù)據(jù)交換單元，例如使用XML數(shù)據(jù)交換文件或者使用中間轉(zhuǎn)換程序。這樣就可以實(shí)現(xiàn)數(shù)據(jù)的轉(zhuǎn)換。

4云端實(shí)驗(yàn)室

在B/S架構(gòu)的支撐下，平臺(tái)可以很簡(jiǎn)單的為不同用戶以及場(chǎng)景提供支撐。在這構(gòu)建了兩種接入方式，一種是使用中心機(jī)房的形式使用內(nèi)網(wǎng)直接為實(shí)驗(yàn)室提供服務(wù)。另一種是對(duì)于有需求的科研用戶以及認(rèn)證后的用戶提供服務(wù)。

5結(jié)語(yǔ)

虛擬實(shí)驗(yàn)室是一項(xiàng)由來(lái)已久的模擬現(xiàn)實(shí)實(shí)驗(yàn)的技術(shù)，虛擬實(shí)驗(yàn)室主要為保障實(shí)驗(yàn)者安全?？缭綄?shí)驗(yàn)平臺(tái)物理性缺陷，實(shí)現(xiàn)科研探究的實(shí)時(shí)性的一項(xiàng)輔助實(shí)驗(yàn)的技術(shù)。現(xiàn)行的虛擬實(shí)驗(yàn)室一般趨向于畫質(zhì)的渲染、環(huán)境模擬以及專業(yè)領(lǐng)域的模擬。在現(xiàn)在大數(shù)據(jù)，人工智能的導(dǎo)向下，實(shí)現(xiàn)一個(gè)基于組裝式，基于知識(shí)庫(kù)學(xué)習(xí)的虛擬實(shí)驗(yàn)平臺(tái)尤為重要，本文提供的是一種組織架構(gòu)，希望在以后的研究中不斷實(shí)踐。endprint