多源數(shù)據(jù)集成的視覺傳達(dá)設(shè)計(jì)仿真研究

曲興衛(wèi) 王自珍

摘 要： 針對ASP.NET面向?qū)ο笠曈X傳達(dá)網(wǎng)頁設(shè)計(jì)方法存在信息挖掘粗糙、視覺傳達(dá)效果差的弊端，設(shè)計(jì)了基于多源數(shù)據(jù)集成的視覺傳達(dá)網(wǎng)頁設(shè)計(jì)方法。其運(yùn)行架構(gòu)由多源數(shù)據(jù)化集成、多類型可視化集成以及可視化支持服務(wù)三部分構(gòu)成。網(wǎng)頁主要功能包括集成管理、圖表管理、數(shù)據(jù)源管理、項(xiàng)目管理、系統(tǒng)管理，對網(wǎng)頁多源數(shù)據(jù)集成功能實(shí)施詳細(xì)設(shè)計(jì)和實(shí)現(xiàn)，如多源數(shù)據(jù)集成、多類型可視化集成以及可視化支撐服務(wù)功能的集成訪問設(shè)計(jì)以及實(shí)現(xiàn)。采用DeepWeb爬蟲檢索視覺傳達(dá)網(wǎng)站，其采用爬行方法篩選URL，對有用的頁面進(jìn)行抓取。實(shí)驗(yàn)結(jié)果說明，該方法設(shè)計(jì)的智能配電管理網(wǎng)頁運(yùn)行效果佳，具有較高的可視化實(shí)現(xiàn)性能以及信息挖掘質(zhì)量，視覺傳達(dá)效果好。

關(guān)鍵詞： 多源數(shù)據(jù)集成； 視覺傳達(dá)； 可視化； 支撐服務(wù)； 信息挖掘； 爬蟲檢索

中圖分類號： TN911?34； TP393.07 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）13?0172?05

Abstract： The traditional visual communication webpage design method has the disadvantages of rough information mining and poor visual communication effect. Therefore， the visual communication webpage design method based on multi?source data integration was designed. Its operating framework is composed of multi?source data integration， multi?type visual integration and visual support service. The main functions of webpage include integration management， graph management， data source management， project management and system management. The multi?source data integration function of webpage is designed and implemented in detail， including the multi?source integration， multi?type visual integration and integration access of visual support service function. The DeepWeb crawler is used to retrieve the visual communication website， and the crawling method is used to filter the URL and capture the useful webpage. The experimental results show that the intelligent power distribution management webpage designed with the proposed method has superior running effect， high visual realization performance and information mining quality， and perfect visual communication effect.

Keywords： multi?source data integration； visual communication； visualization； support service； information mining； crawler retrieval

0 引 言

在科學(xué)技術(shù)日益發(fā)展的今天，互聯(lián)網(wǎng)技術(shù)和軟硬件技術(shù)都已得到迅速發(fā)展，來自互聯(lián)網(wǎng)的信息數(shù)量也急劇上升，在大量數(shù)據(jù)中高效率搜索所需信息便成為目前最熱的研究話題。正是由于互聯(lián)網(wǎng)信息發(fā)展如此迅猛，人們設(shè)計(jì)開發(fā)出大量以數(shù)據(jù)為主的軟件系統(tǒng)與網(wǎng)頁用來處理如此龐大的互聯(lián)網(wǎng)信息。其中，起到主導(dǎo)作用的一項(xiàng)設(shè)計(jì)就是數(shù)據(jù)可視化，它的主要特點(diǎn)是以用戶直接接受的方式對數(shù)據(jù)進(jìn)行讀取，使用戶對數(shù)據(jù)的分析和研究變得更加便利。因此，數(shù)據(jù)可視化在信息化系統(tǒng)中儼然成為一項(xiàng)重要技術(shù)。傳統(tǒng)基于ASP.NET面向?qū)ο笠曈X傳達(dá)網(wǎng)頁設(shè)計(jì)方法存在信息挖掘粗糙、視覺傳達(dá)效果差的弊端。因此，本文設(shè)計(jì)基于多源數(shù)據(jù)基礎(chǔ)的視覺傳達(dá)網(wǎng)頁，提高信息挖掘質(zhì)量以及網(wǎng)頁的視覺傳達(dá)效果。

1 多源數(shù)據(jù)集成的視覺傳達(dá)設(shè)計(jì)方法

1.1 基于多源數(shù)據(jù)集成的運(yùn)行架構(gòu)設(shè)計(jì)

采用JavaEE多源數(shù)據(jù)集成平臺，設(shè)計(jì)基于多源數(shù)據(jù)集成的視覺傳達(dá)網(wǎng)頁，利用互聯(lián)網(wǎng)集成方式，以多源數(shù)據(jù)集成、數(shù)據(jù)可視化技術(shù)集成、可視化支持服務(wù)，使數(shù)據(jù)可視化呈現(xiàn)在網(wǎng)頁中[1]。開發(fā)人員開發(fā)網(wǎng)頁可視化時(shí)按系統(tǒng)集成要求，將基于多源數(shù)據(jù)集成的視覺傳達(dá)網(wǎng)頁獲取系統(tǒng)數(shù)據(jù)、定制可視化效果等功能進(jìn)行組合，網(wǎng)頁運(yùn)行架構(gòu)如圖1所示。

網(wǎng)頁運(yùn)行架構(gòu)包括：

1） 多源數(shù)據(jù)化集成：網(wǎng)頁具有集成多源數(shù)據(jù)功能，為集成提供各種數(shù)據(jù)、解決數(shù)據(jù)文件集成方式等作用，通過對數(shù)據(jù)識別、整理等操作實(shí)現(xiàn)數(shù)據(jù)集成。

2） 多類型可視化集成：為實(shí)現(xiàn)網(wǎng)頁呈現(xiàn)出多種數(shù)據(jù)化可視結(jié)果，對可視化技術(shù)進(jìn)行統(tǒng)一集成[2]，該功能可滿足大量的數(shù)據(jù)可視化與圖表的集成。

3） 可視化支撐服務(wù)：在網(wǎng)頁應(yīng)用系統(tǒng)和網(wǎng)頁間進(jìn)行數(shù)據(jù)互換時(shí)，供給一致的數(shù)據(jù)可視化集成接口，促進(jìn)數(shù)據(jù)互換的完成。

1.2 網(wǎng)頁功能架構(gòu)設(shè)計(jì)

網(wǎng)頁整體功能包括應(yīng)用系統(tǒng)集成管理、圖表管理、數(shù)據(jù)源管理、項(xiàng)目管理、系統(tǒng)管理五個(gè)方面，如圖2所示。

網(wǎng)頁的各項(xiàng)功能如下：

應(yīng)用系統(tǒng)集成管理：用戶在線對網(wǎng)頁系統(tǒng)集成、數(shù)據(jù)加密、圖表顯示等情況進(jìn)行選擇操作后[3]，網(wǎng)頁將用戶各項(xiàng)需求進(jìn)行統(tǒng)計(jì)，利用系統(tǒng)參數(shù)對接接口、可視化集成訪問來實(shí)現(xiàn)數(shù)據(jù)可視化。

圖表管理：通過可視化定制、數(shù)據(jù)可視化、資源及可視化技術(shù)集成四個(gè)方面幫助用戶在線查詢數(shù)據(jù)集成后的網(wǎng)頁瀏覽狀況，在數(shù)據(jù)可視化的發(fā)展方面起到了很關(guān)鍵的作用。

數(shù)據(jù)源管理：通過管理數(shù)據(jù)庫、文件及元數(shù)據(jù)確定網(wǎng)頁的應(yīng)用規(guī)模，其操作是依靠數(shù)據(jù)源集成和應(yīng)用流程來完成的。

項(xiàng)目管理：項(xiàng)目屬于網(wǎng)頁中一個(gè)最基礎(chǔ)的管理單元，作為數(shù)據(jù)可視化的對接入口，能夠?qū)⒃S多數(shù)據(jù)源、圖表、應(yīng)用系統(tǒng)基礎(chǔ)建立在相同的項(xiàng)目里[4]，并且數(shù)據(jù)交換只可以在相同的項(xiàng)目里實(shí)現(xiàn)。

系統(tǒng)管理：系統(tǒng)管理屬于網(wǎng)頁設(shè)計(jì)中最基本的管理單元，其功能是用戶體系、權(quán)限體系、安全管理、系統(tǒng)監(jiān)控能夠?qū)W(wǎng)頁的數(shù)據(jù)管理起到支撐作用，并保障網(wǎng)頁工作能夠正常進(jìn)行。

1.3 網(wǎng)頁多源數(shù)據(jù)集成功能設(shè)計(jì)與實(shí)現(xiàn)

1.3.1 多源數(shù)據(jù)集成功能設(shè)計(jì)

為了適應(yīng)越來越多的用戶使用數(shù)據(jù)集成的需求，本文設(shè)計(jì)的視覺傳達(dá)網(wǎng)頁需擁有多源數(shù)據(jù)集成的功能。多源數(shù)據(jù)集成根據(jù)數(shù)據(jù)集成特點(diǎn)建立了能夠擴(kuò)大、統(tǒng)一的數(shù)據(jù)集成規(guī)則，使在線數(shù)據(jù)集成及歸納分類得以正常進(jìn)行。為使不同種類數(shù)據(jù)庫集成并能夠讀取不同種類的數(shù)據(jù)文件，視覺傳達(dá)網(wǎng)頁還應(yīng)擁有在線數(shù)據(jù)進(jìn)行交換的功能[5]。多源數(shù)據(jù)集成功能設(shè)計(jì)如圖3所示。

第三方技術(shù)為數(shù)據(jù)文件的集成提供技術(shù)支持，使數(shù)據(jù)文件實(shí)現(xiàn)最基礎(chǔ)的查看及搜索。若想對數(shù)據(jù)文件進(jìn)行較有難度的操作，提高數(shù)據(jù)文件使用效率，就要在設(shè)計(jì)中加入表管理這一操作，對數(shù)據(jù)庫進(jìn)行表管理[6]。對數(shù)據(jù)文件進(jìn)行入庫整理然后添加到數(shù)據(jù)庫表中，就可實(shí)現(xiàn)用戶對數(shù)據(jù)庫進(jìn)行復(fù)雜的字符串拆分或拼接等操作。

1.3.2 多源數(shù)據(jù)集成功能實(shí)現(xiàn)

網(wǎng)頁實(shí)現(xiàn)多源數(shù)據(jù)集成可分為三項(xiàng)，即輸入網(wǎng)頁信息、底層數(shù)據(jù)集成應(yīng)用、數(shù)據(jù)集成。輸入網(wǎng)頁信息包含數(shù)據(jù)庫類別、連接地址、用戶名等，底層數(shù)據(jù)庫應(yīng)用是對數(shù)據(jù)庫進(jìn)行連接，數(shù)據(jù)集成是根據(jù)網(wǎng)頁數(shù)據(jù)的操作反應(yīng)，帶來JSON格式規(guī)范的數(shù)據(jù)對象。多源數(shù)據(jù)集成通過大批量的I/O操作實(shí)現(xiàn)長時(shí)間操作，能夠承擔(dān)巨大的網(wǎng)頁瀏覽負(fù)載壓力。利用接口編程的思路和SOA應(yīng)用方式，把各類數(shù)據(jù)運(yùn)行變?yōu)閱为?dú)的一個(gè)模塊，應(yīng)用Dubbox把各個(gè)模塊變?yōu)閆ooKeeper里的一項(xiàng)功能，再對每一個(gè)模塊進(jìn)行安排，通過這種操作能夠使多源數(shù)據(jù)集成的利用率得到提高。

1.4 多類型可視化集成功能設(shè)計(jì)

設(shè)計(jì)多類型可視化集成是為了滿足網(wǎng)頁的可視化技術(shù)集成、可視化定制、數(shù)據(jù)可視化等功能。多類型可視化集成是為網(wǎng)頁技術(shù)用戶、網(wǎng)頁用戶、應(yīng)用系統(tǒng)用戶提供服務(wù)的。多類型可視化集成包括可視化技術(shù)集成服務(wù)、可視化定制服務(wù)、數(shù)據(jù)可視化服務(wù)、資源服務(wù)、可配置集成文件[7]，其功能運(yùn)行圖如圖4所示。

多類型可視化集成根據(jù)集成文件產(chǎn)生相同的集成規(guī)則。將文件集成與服務(wù)動態(tài)加載相結(jié)合，增大可視化操作范圍，對可視化技術(shù)信息整理、可視化效果定制及可視化顯示等功能提供支撐作用，進(jìn)而使網(wǎng)頁可視化操作范圍增大，使操作更加便捷。

1.5 可視化支撐服務(wù)功能的集成訪問設(shè)計(jì)

視覺傳達(dá)網(wǎng)頁中起主要作用的是可視化支撐功能。它能夠在視覺傳達(dá)網(wǎng)頁中定制系統(tǒng)的集成信息，把該網(wǎng)頁的可視化結(jié)果進(jìn)行展示和集成，為用戶帶來數(shù)據(jù)可視化結(jié)果。其功能包括應(yīng)用系統(tǒng)集成管理、系統(tǒng)參數(shù)對接接口、可視化集成訪問?？梢暬稍L問能為用戶對視覺傳達(dá)網(wǎng)頁進(jìn)行操作后呈現(xiàn)出可視化效果，通過在接受用戶命令后執(zhí)行系統(tǒng)參數(shù)對接接口，對數(shù)據(jù)進(jìn)行調(diào)取、查詢并分析實(shí)現(xiàn)[8]。如圖5所示，其操作流程是：用戶對基于多源數(shù)據(jù)集成的視覺傳達(dá)網(wǎng)頁進(jìn)行訪問；可視化集成訪問對緩存服務(wù)中可視化效果進(jìn)行檢測；若緩存服務(wù)中未檢測到可視化效果，則繼續(xù)利用緩存服務(wù)調(diào)取授權(quán)信息；尋找相應(yīng)的多類型可視化接口；保存數(shù)據(jù)可視化操作結(jié)果；將可視化結(jié)果呈現(xiàn)給用戶。

1.6 DeepWeb爬蟲的工作過程

DeepWeb爬蟲是為搜索視覺傳達(dá)網(wǎng)站設(shè)計(jì)的，它的爬行方法與其他爬蟲一致，即篩選URL，對有用的頁面進(jìn)行抓取，在將鏈接減少后，進(jìn)入到URL列表中。該爬蟲在爬行時(shí)[9]，并不像其他爬蟲僅對網(wǎng)頁內(nèi)容進(jìn)行抓取研究，它的工作重點(diǎn)是網(wǎng)頁中有沒有搜索表單。因此本文通過以下步驟將爬行抓取網(wǎng)頁內(nèi)容更改為爬行抓取表單[10]，用圖6描述，其操作流程為：

1） 設(shè)立使用DeepWeb爬蟲抓取的網(wǎng)站地址；

2） 創(chuàng)建利用DeepWeb爬蟲搜索的網(wǎng)站搜索表單本體；

3） DeepWeb爬蟲對搜索表單中的網(wǎng)頁進(jìn)行抓取；

4） 將DeepWeb爬蟲抓取的網(wǎng)頁進(jìn)行下載，并分析搜索表單；

5） 將滿足需要的搜索表單預(yù)填寫；

6） 將預(yù)填寫的結(jié)果進(jìn)行提交；

7） 對所需表單和顯示結(jié)果進(jìn)行儲存。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 智能配電管理網(wǎng)頁設(shè)計(jì)效果檢測

智能配電管理網(wǎng)頁系統(tǒng)已廣泛應(yīng)用于供電企業(yè)運(yùn)行管理、設(shè)備管理、用戶服務(wù)等領(lǐng)域，其作用是實(shí)時(shí)監(jiān)控、計(jì)算分析、交換信息等。由于該網(wǎng)頁的訪問量不高，因此對采用本文網(wǎng)頁設(shè)計(jì)方法設(shè)計(jì)的智能配電管理網(wǎng)頁的設(shè)計(jì)要求也不高，通過單機(jī)部署代替集群部署，在一個(gè)服務(wù)器中即可擁有所有的服務(wù)。實(shí)驗(yàn)檢測本文方法設(shè)計(jì)的智能配電管理網(wǎng)頁的總體走勢效果，用圖7描述。從中能夠看出，網(wǎng)頁整體分析可應(yīng)用于企業(yè)各時(shí)間段中的電量計(jì)算，根據(jù)設(shè)施的編號調(diào)配相應(yīng)的數(shù)據(jù)計(jì)算范圍，并通過動態(tài)數(shù)據(jù)對電量總體趨勢結(jié)果進(jìn)行展示，說明采用本文方法設(shè)計(jì)的智能配電管理網(wǎng)頁運(yùn)行效果佳，是一種有效的配電管理網(wǎng)頁。

2.2 可視化實(shí)現(xiàn)性能檢測

采用本文方法設(shè)計(jì)的智能配電管理網(wǎng)頁同其他使用系統(tǒng)共同工作時(shí)，能夠使其他使用系統(tǒng)操作更加便捷，因此多源數(shù)據(jù)集成、多類型可視化集成、可視化支撐等作用極其重要。實(shí)驗(yàn)對比分析了本文方法以及其他可視化方法進(jìn)行智能配電管理網(wǎng)頁設(shè)計(jì)過程中對各項(xiàng)功能的支持、兼容以及難易程度，結(jié)果用表1描述。從中能夠看出，相對于其他可視化方法，本文方法支持多種數(shù)據(jù)源、在線定制以及維護(hù)功能，能夠兼容其他可視化技術(shù)框架，容易實(shí)現(xiàn)系統(tǒng)的無縫集成，具有較高的網(wǎng)頁可視化實(shí)現(xiàn)性能，網(wǎng)頁視覺傳達(dá)效果好。

2.3 數(shù)據(jù)挖掘性能檢測

實(shí)驗(yàn)檢測采用本文方法以及傳統(tǒng)ASP.NET方法設(shè)計(jì)的吃玩搜索網(wǎng)頁的數(shù)據(jù)挖掘性能，實(shí)驗(yàn)數(shù)據(jù)用表2描述，這些數(shù)據(jù)是該網(wǎng)頁的操作數(shù)據(jù)?？梢钥闯鱿鄬τ趥鹘y(tǒng)ASP.NET方法，本文方法獲取的數(shù)據(jù)量更大，說明本文方法設(shè)計(jì)的吃玩搜索網(wǎng)頁爬行性能更強(qiáng)，能夠挖掘出更多的有效數(shù)據(jù)。

實(shí)驗(yàn)統(tǒng)計(jì)本文方法以及傳統(tǒng)ASP.NET方法所得的全部網(wǎng)站列表，分別用表3和表4描述。能夠看出，本文方法獲取的網(wǎng)站列表更詳細(xì)、內(nèi)容更多，說明本文方法的信息挖掘性能更強(qiáng)。

3 結(jié) 論

本文提出基于多源數(shù)據(jù)集成的視覺傳達(dá)網(wǎng)頁設(shè)計(jì)方法，提高了網(wǎng)頁數(shù)據(jù)挖掘質(zhì)量以及網(wǎng)頁的視覺傳達(dá)效果，得到了令人滿意的效果。

參考文獻(xiàn)

[1] 王海濤，張志亮，孫煜華，等.Web信息抽取網(wǎng)頁自動瀏覽導(dǎo)航與集成規(guī)則研究[J].計(jì)算機(jī)科學(xué)與探索，2014，8（9）：1049?1066.

WANG Haitao， ZHANG Zhiliang， SUN Yuhua， et al. Web information extraction web page automatic navigation and integration rules research [J]. Computer science and exploration， 2014， 8（9）： 1049?1066.

[2] 馮興利，洪丹丹，羅軍鋒，等.自適應(yīng)網(wǎng)頁設(shè)計(jì)中的關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用，2016，36（z1）：249?251.

FENG Xingli， HONG Dandan， LUO Junfeng， et al. Key technologies in adaptive Web design [J]. Computer applications， 2016， 36（S1）： 249?251.

[3] 王瀟嫻.基于視覺傳達(dá)設(shè)計(jì)領(lǐng)域的互補(bǔ)設(shè)計(jì)方法研究[J].包裝工程，2015，36（8）：112?115.

WANG Xiaoxian. Based on the design of complementary design in the field of visual communication design [J]. Packaging engineering， 2015， 36（8）： 112?115.

[4] 韋艷麗，趙韓，楊亞榮.基于逆向反演的交互式網(wǎng)頁動畫設(shè)計(jì)方法研究[J].藝術(shù)百家，2016，32（2）：252?253.

WEI Yanli， ZHAO Han， YANG Yarong. Research on interactive web page animation based on reverse inversion research [J]. Art hundred， 2016， 32（2）： 252?253.

[5] 王夢喆，孔繁強(qiáng).基于大數(shù)據(jù)的二次元社交網(wǎng)站體驗(yàn)設(shè)計(jì)[J].包裝工程，2016，37（8）：36?39.

WANG Mengzhe， KONG Fanqiang. Hole big data two dimensional social networking website design experience based on [J]. Packaging engineering， 2016， 37（8）： 36?39.

[6] 王桂玲，張峰，韓燕波.一種基于數(shù)據(jù)服務(wù)超鏈進(jìn)行情景數(shù)據(jù)集成的方法[J].電信科學(xué)，2014，30（2）：51?59.

WANG Guiling， ZHANG Feng， HAN Yanbo. A method of scenario data integration based on data service hyperchain [J]. Telecommunications science， 2014， 30（2）： 51?59.

[7] 盧曉勇，陳木生，吳政隆，等.基于免疫克隆特征選擇和欠采樣集成的垃圾網(wǎng)頁檢測[J].計(jì)算機(jī)應(yīng)用，2016，36（7）：1899?1903.

LU Xiaoyong， CHEN Musheng， WU Zhenglong， et al. Feature selection and under sampling integration of garbage page detection based on immune clone [J]. Computer applications， 2016， 36（7）： 1899?1903.

[8] 張世鋒.技術(shù)推動觀念VR技術(shù)引發(fā)的視覺傳達(dá)新觀念[J].新美術(shù)，2016，37（11）：87?91.

ZHANG Shifeng. Technology driven concept VR technology caused by the new concept of visual communication [J]. New art， 2016， 37（11）： 87?91.

[9] 聶俊嵐，陳賀敏，張繼凱，等.基于數(shù)據(jù)相似度的多維海洋數(shù)據(jù)交互式集成可視化[J].海洋通報(bào)，2015，34（5）：586?591.

NIE Junlan， CHEN Hemin， ZHANG Jikai， et al. Interactive integration visualization of multidimensional ocean data based on data similarity [J]. Oceanographic bulletin， 2015， 34（5）： 586?591.

[10] 潘華，王淑營，孫林夫，等.面向產(chǎn)業(yè)鏈協(xié)同SaaS平臺多源信息動態(tài)集成安全技術(shù)研究[J].計(jì)算機(jī)集成制造系統(tǒng)，2015，21（3）：813?821.

PAN Hua， WANG Shuying， SUN Linfu， et al. For industrial chain collaboration SaaS platform， multi?source information dynamic integration security technology is studied [J]. Computer integrated manufacturing system， 2015， 21（3）： 813?821.