基于J2EE的科技資源調(diào)查系統(tǒng)的設(shè)計與實現(xiàn)

孟慶軒

摘 要： 在調(diào)研和分析相關(guān)管理部門需求的基礎(chǔ)上，采用數(shù)據(jù)倉庫、OLAP分析、GIS等技術(shù)，設(shè)計和完成了一個基于B/S結(jié)構(gòu)的科技資源調(diào)查系統(tǒng)，實現(xiàn)了對科技資源調(diào)查數(shù)據(jù)的多維度統(tǒng)計分析、查詢，以及基于地圖、圖表的數(shù)據(jù)展示。借助這個系統(tǒng)，可以使我國相關(guān)科技管理部門深入地掌握我國科技資源的現(xiàn)狀、動態(tài)變化、分布和利用情況，為我國科技條件建設(shè)投入提供決策參考的依據(jù)。

關(guān)鍵詞： 科技資源； 數(shù)據(jù)倉庫； OLAP； 地理信息展示

中圖分類號：TP391 文獻標志碼：A 文章編號：1006-8228（2013）06-74-04

Design and implementation of a survey system of science and technology resources based on J2EE

Meng Qingxuan

（Beijing Modern Vocational and Technical College， Beijing 101300， China）

Abstract： A survey system of scientific and technological resources based on B / S structure is designed and completed with usage of data warehouse， OLAP analysis and GIS technology after research and analysis of the needs of the relevant administrative departments. The survey system is able to make a multidimensional statistical analysis， query and data expression based on the maps and charts for the survey data of scientific and technological resources. With the help of the system， technology management departments are able to get more information about the status， dynamic changes and the utilization of scientific and technological resources， and to provide a reference for decision-making on the national science and technology infrastructure platform construction.

Key words： scientific and technological resources； data warehouse； OLAP； geographical information display

0 引言

科技資源調(diào)查系統(tǒng)自2008年啟動以來，在全國范圍內(nèi)收集到了大量的科技數(shù)據(jù)。這些數(shù)據(jù)信息量大，價值高，對于摸清我國科技資源家底具有重要的意義。雖然開發(fā)了科技資源調(diào)查系統(tǒng)，但目前該系統(tǒng)主要用于填報，很少或基本上沒有涉及到?jīng)Q策分析，所獲得的這些海量數(shù)據(jù)在原有的作業(yè)系統(tǒng)中無法提煉并升華為有用的信息及時提供給分析人員與管理決策者，從而不能幫助相關(guān)管理人員從全局上對現(xiàn)有科技資源進行把握?，F(xiàn)階段我國還沒有建立起一個完善的以國家為單位的科技資源調(diào)查系統(tǒng)，用于對我國的科技資源進行整體把握和考量。為此，筆者在北航攻讀工程碩士期間所在的小組設(shè)計并開發(fā)了一個基于Web的科技資源調(diào)查系統(tǒng)的地理信息統(tǒng)計分析功能。

1 系統(tǒng)設(shè)計

本系統(tǒng)是一個基于B/S結(jié)構(gòu)的Web系統(tǒng)，主要用于對現(xiàn)有的科技資源進行基于地理信息的概要展示、檢索、比較和分析。系統(tǒng)采取分層的方式來簡化系統(tǒng)設(shè)計與開發(fā)。

本系統(tǒng)的重點在于數(shù)據(jù)倉庫的設(shè)計。為了按照科技資源類型快速進行基于地理信息的科技資源匯總信息的展示，并按照統(tǒng)計指標和統(tǒng)計維度進行科技資源匯總信息的查詢與分析，系統(tǒng)采用數(shù)據(jù)倉庫技術(shù)。系統(tǒng)按照用戶需求和科技資源類型設(shè)計了八個主題，每一個主題設(shè)計了相應(yīng)的度量值和維度對多維數(shù)據(jù)集進行展示。

對于本系統(tǒng)而言，開發(fā)語言采用Java，數(shù)據(jù)倉庫采用SQL Server，就存在Java語言如何訪問SQL Server分析服務(wù)中多維數(shù)據(jù)集實例的問題。為了解決這個問題，本系統(tǒng)的結(jié)構(gòu)設(shè)計比較特殊，需要采用兩個服務(wù)器，其中tomcat服務(wù)器用于編譯執(zhí)行J2EE代碼，IIS服務(wù)器作為橋梁采用純Java類庫OLAP4J連接SQL Server的分析服務(wù)進行多維數(shù)據(jù)集實例的訪問[1-2]。

1.1 系統(tǒng)層次結(jié)構(gòu)設(shè)計

為了簡化系統(tǒng)的設(shè)計與開發(fā)，以及便于以后的維護和升級，把系統(tǒng)劃分為如圖1所示的邏輯層次。

展示層：按照設(shè)計好的主題對科技數(shù)據(jù)采用多種形式進行展示與查詢，便于用戶的決策。

業(yè)務(wù)層：對于展示層的數(shù)據(jù)展示提供支持，涉及的主要模塊有多維統(tǒng)計分析、信息關(guān)聯(lián)、數(shù)據(jù)查詢、報表展示、地圖展示、數(shù)據(jù)比較、報表打印、圖形展示。OLAP、百度地圖、統(tǒng)計圖形、報表服務(wù)為這些模塊提供了支持，并為連接和訪問統(tǒng)一數(shù)據(jù)倉庫層提供了支持。

統(tǒng)一數(shù)據(jù)倉庫：按照主題設(shè)計好的數(shù)據(jù)倉庫，對業(yè)務(wù)層提供多維數(shù)據(jù)支持。

數(shù)據(jù)預(yù)處理：采用數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)分類、數(shù)據(jù)整合操作對已經(jīng)存在的科技資源數(shù)據(jù)形成本系統(tǒng)所需要的統(tǒng)一數(shù)據(jù)格式進行存儲。

科技資源調(diào)查數(shù)據(jù)：采用關(guān)系數(shù)據(jù)庫存儲本系統(tǒng)所用到的科技資源詳細數(shù)據(jù)。

1.2 數(shù)據(jù)倉庫設(shè)計

本系統(tǒng)的統(tǒng)計分析功能主要通過數(shù)據(jù)倉庫和聯(lián)機分析處理（OLAP）操作完成。所以數(shù)據(jù)倉庫的設(shè)計至關(guān)重要。

數(shù)據(jù)倉庫中數(shù)據(jù)的組織是面向主題的?？梢哉f，主題定義的過程就是數(shù)據(jù)倉庫模型建立的過程[3]。按照需求分析和用戶的要求，本系統(tǒng)按照科技資源的種類不同確定了八個主題，分別是大型儀器、人員狀況、資金狀況、單位信息、實驗基地、保存機構(gòu)、課題信息和成果信息。

本系統(tǒng)多維立方體中的絕大多數(shù)查詢都是基于一定程度的綜合數(shù)據(jù)之上的，只有少數(shù)查詢涉及到細節(jié)，為了兼顧細節(jié)查詢和快速響應(yīng)的要求，該系統(tǒng)對數(shù)據(jù)進行了不同程度的聚合，將聚合后的數(shù)據(jù)按MOLAP結(jié)構(gòu)存儲于數(shù)據(jù)多維立方體中，而葉子級的數(shù)據(jù)則仍存放在OLTP數(shù)據(jù)庫中，從而形成了一個多重粒度的數(shù)據(jù)組織結(jié)構(gòu)[4]。

對于每一主題分別設(shè)計了相關(guān)的度量值與維度，其中大型儀器主題的星型模型圖如圖2所示。其中，在主管部門、地理位置、儀器分類三個維度存在嚴格的層次關(guān)系。本系統(tǒng)的數(shù)據(jù)倉庫采用SQL Server 分析服務(wù)實現(xiàn)。

2 系統(tǒng)功能詳細設(shè)計與實現(xiàn)

按照用戶對數(shù)據(jù)的查看要求進行分析，本系統(tǒng)的主要功能需求包括科技信息統(tǒng)計、科技信息檢索、關(guān)聯(lián)檢索、科技信息比較、科技信息地理分布查看、科技信息圖表查看、科技信息報表查看、打印服務(wù)等。每個功能完成各自不同的工作。按照各自設(shè)計要求和功能特點，結(jié)合系統(tǒng)的實際運行來滿足客戶的要求。本系統(tǒng)現(xiàn)在只有管理員一種角色，系統(tǒng)用例圖如圖3所示。

圖2 大型儀器星型模型圖

2.1 科技信息統(tǒng)計

科技信息統(tǒng)計功能是系統(tǒng)的核心，根據(jù)各級管理部門的需求，針對不同的分析主題，設(shè)計多種查詢維度（如地理位置、時間、單位等）即統(tǒng)計指標和度量指標（如人員、經(jīng)費等）即統(tǒng)計項，支持多種靈活的科技信息統(tǒng)計方式，如上卷、下鉆、維度組合等，便于用戶從多個維度、條件和匯總粒度對不同的度量指標進行統(tǒng)計分析。

圖3 系統(tǒng)用例圖

實現(xiàn)上，需從SQL Server分析服務(wù)中讀取相應(yīng)的匯總信息，為地理信息展示、報表服務(wù)、信息比較、圖表展示提供需要展示的多維數(shù)據(jù)。本系統(tǒng)是基于J2EE開發(fā)的，對于如何通過Java代碼訪問SQL Server分析服務(wù)是本系統(tǒng)的一個重點。在此，我們利用了OLAP4J這個純Java API。

使用OLAP4J進行MDX查詢時，在初始化階段初始化連接和主題，主題指的是大型儀器、人員狀況、資金狀況、單位信息、實驗基地、保存機構(gòu)、課題信息和成果信息八個主題中的一個。在構(gòu)建MDX查詢語句時，采用構(gòu)建字符串的方式進行。最后的結(jié)果返回采用相應(yīng)實體類存儲。最后關(guān)閉連接[5-6]。

2.2 科技信息檢索

用戶填寫查詢條件，可以快速地找到所需要的科技資源信息。在統(tǒng)一的信息檢索框架下，針對某一特定主題提供相應(yīng)的查詢目標與對應(yīng)的查詢條件，用戶可以填寫一個或多個檢索科技信息的條件進行信息檢索，并可以方便地對檢索到的科技信息進行查看。

對于科技信息搜索流程而言，首先裝載和顯示地圖，對于用戶輸入的用戶條件，從后臺進行搜索，搜索到的信息按照其地理位置在地圖上進行標注，當(dāng)用戶單擊某一標注時，顯示這一地理位置所包含的搜索到的信息。具體流程如圖4所示。其中，對于維度匯總信息的查詢通過生成MDX查詢來完成，對于具體信息的查詢通過生成SQL查詢來完成。

2.3 關(guān)聯(lián)檢索

關(guān)聯(lián)檢索功能用于支持各種科技資源信息的智能關(guān)聯(lián)，如：允許用戶從一種類型的信息（如單位）出發(fā)，靈活地查看與之相關(guān)的其他類型的數(shù)據(jù)（如大型儀器、人員狀況等），從而使用戶能方便地瀏覽相關(guān)的信息而不必重新統(tǒng)計或者查詢，花費最小的時間代價獲取所需要的信息。

對于系統(tǒng)存在的八個分析主題都有地理位置維度，所以不同種類的科技資源通過地理位置進行自動關(guān)聯(lián)，即可完成關(guān)聯(lián)檢索的功能。

圖4 科技信息搜索流程圖

2.4 科技信息比較

用戶應(yīng)該能夠進行在同一地理級別多個地理位置的科技資信息比較，以了解不同地理位置的科技資源的分布情況、發(fā)展水平、科技投入情況等等。

實現(xiàn)上，當(dāng)用戶打開總體信息所在的頁面時，在加載地圖之后，會從后臺通過AJAX技術(shù)讀取默認數(shù)據(jù)來源的匯總信息和地理位置經(jīng)緯度信息。讀取完成后，會自動將地理位置經(jīng)緯度信息和地理位置名稱放在一個數(shù)組里，作為拉框選擇的一個搜索參數(shù)傳給拉框選擇函數(shù)。

當(dāng)用戶選擇拉框選擇功能時，會初始化拉框選擇函數(shù)，并將當(dāng)前地圖的地理位置經(jīng)緯度信息和地理名稱及當(dāng)前地理級別（省、市、區(qū)）作為參數(shù)傳入。在拉框選擇的鼠標拖動過程中，會獲取拖動的起點和終點位置，之后根據(jù)這兩個位置在地圖上繪制矩形選擇框。還需要根據(jù)這兩個位置，計算當(dāng)前矩形選擇框所包含的經(jīng)緯度區(qū)域。之后通過一個循環(huán)，判斷當(dāng)前地理級別所有地理位置的經(jīng)緯度信息是否在當(dāng)前矩形選擇框的經(jīng)緯度區(qū)域內(nèi)，如果在的話就將經(jīng)緯度對應(yīng)的地理位置名稱和當(dāng)前地理級別傳入數(shù)據(jù)比較框中。在數(shù)據(jù)比較框中會展示現(xiàn)在要比較的地理位置的名稱，并且可以進行自由添加與刪除，之后單擊確定按鈕，從后臺根據(jù)地理位置名稱和當(dāng)前地理級別讀取相應(yīng)的匯總信息，之后在前臺進行比較結(jié)果的展示。

2.5 科技信息地理分布查看

用戶能夠基于地理位置查看科技資源信息的概要信息和詳細信息，以了解科技信息的地理分布情況。地理信息可分為：全國、地區(qū)、省、市、區(qū)、單位六個級別。系統(tǒng)首次登錄時默認的是省級級別，并且按照每個主題默認的統(tǒng)計指標和統(tǒng)計項進行科技資源的匯總展示。

在實現(xiàn)上采用百度地圖API進行開發(fā)。當(dāng)用戶通過鼠標縮放地圖時，需從后臺通過AJAX技術(shù)重新讀取相應(yīng)地理級別的概要信息與經(jīng)緯度信息，進行地圖標注的重新繪制[7-8]；當(dāng)用戶通過鼠標移動地圖時，地圖上的標注也會重新繪制；當(dāng)用戶點擊地圖上的標注時，進行相應(yīng)概要信息的展示；當(dāng)用戶設(shè)置信息的數(shù)據(jù)來源、統(tǒng)計項、統(tǒng)計指標時，從后臺重新讀取相應(yīng)的概要信息，并進行地理標注的重新繪制。為了加快地圖標注的繪制速度，每次只繪制當(dāng)前地圖顯示區(qū)所包含的地理標注。具體流程如圖5所示。

圖5 地理信息分布查看流程圖

2.6 科技信息圖表查看

用戶可以通過柱形圖、餅形圖等直觀的圖表方式對各個地理級別匯總的科技信息進行查看。用戶也可以通過圖表的方式查看科技信息比較功能中同一級別的多個地理位置的科技信息對比結(jié)果。用戶通過這種立體、直接和生動的方式對科技信息進行查看，便于決策與分析。

本系統(tǒng)采用JfreeChart這個Java平臺上的一個開放圖表繪制類庫來完成。對于從多維數(shù)據(jù)集中讀取的多維數(shù)據(jù)賦給Jfreechart圖表的數(shù)據(jù)對象，設(shè)置圖表類型，之后進行圖表外觀的定制，最后生成相應(yīng)的圖表文件并在前臺進行展示。

2.7 科技信息報表查看

用戶可以通過報表服務(wù)對某一地理位置的特定類型的科技資源信息按照一個或多個某一特定維度進行查看，并且還可以根據(jù)選擇維度的順序不同進行排序，對于從后臺數(shù)據(jù)庫中得到的多維信息可以進行切片、切塊、旋轉(zhuǎn)、上卷、下鉆等查看方式，用戶可以方便地對科技信息從各個維度進行查看與分析。具體流程如圖6所示。

圖6 報表服務(wù)流程圖

2.8 打印服務(wù)

用戶通過打印服務(wù)可以對檢索到或者查看到的科技資源信息進行打印，采用Javascript即可實現(xiàn)。

3 結(jié)束語

本文從系統(tǒng)設(shè)計和數(shù)據(jù)倉庫設(shè)計出發(fā)實現(xiàn)了一個基于B/S結(jié)構(gòu)的科技資源調(diào)查系統(tǒng)。在實現(xiàn)過程中運用了數(shù)據(jù)倉庫、OLAP分析、地理信息展示、圖表展示等多種技術(shù)，提供了科技資源查看的多角度視圖和直觀展示。對于本系統(tǒng)而言，將數(shù)據(jù)挖掘技術(shù)引入該系統(tǒng)中，進而發(fā)現(xiàn)潛在的信息和資源將成為下一步研究的重點。

參考文獻：

[1] 李剛.輕量級Java EE企業(yè)應(yīng)用實戰(zhàn)（第3版）——Struts 2+Spring

3+Hibernate整合開發(fā)[M].電子工業(yè)出版社，2011.

[2] Reed Jacobson，Stacia Misner.SOL Server 2005分析服務(wù)從入門到

精通[M].清華大學(xué)出版社，2007.

[3] 蘇新寧.數(shù)據(jù)倉庫和數(shù)據(jù)挖掘[M].清華大學(xué)出版社，2006.

[4] 甄磊.數(shù)據(jù)倉庫技術(shù)在銀行客戶管理系統(tǒng)中的研究與實現(xiàn)[D].南京理

工大學(xué)，2010.

[5] 張芳寧.海洋數(shù)據(jù)倉庫架構(gòu)及接口規(guī)范的設(shè)計與實現(xiàn)[D].青島大學(xué)，2011.

[6] 胡瑞娟.OLAP和數(shù)據(jù)挖掘技術(shù)在醫(yī)院信息系統(tǒng)中的研究與應(yīng)用[D].

長春理工大學(xué)，2009.

[7] 李剛.瘋狂Ajax講義——Prototype/jQuery+DWR+Spring+

Hibernate整合開發(fā)[M].電子工業(yè)出版社，2012.

[8] 白學(xué)文，楊紅，楊韜.基于百度地圖API發(fā)布鄉(xiāng)鎮(zhèn)精細化天氣預(yù)報[J].

云南科技管理，2012.1：461-448