面向科技資源數(shù)據(jù)處理的“一站式”共享與服務(wù)平臺(tái)建設(shè)

林珠，李莎，鄭偉鴻，羅俊博

（1.廣東省科技基礎(chǔ)條件平臺(tái)中心，廣州 510033；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣州 510033）

面向科技資源數(shù)據(jù)處理的“一站式”共享與服務(wù)平臺(tái)建設(shè)

林珠1，李莎1，鄭偉鴻1，羅俊博2

（1.廣東省科技基礎(chǔ)條件平臺(tái)中心，廣州 510033；2.廣東省高性能計(jì)算重點(diǎn)實(shí)驗(yàn)室，廣州 510033）

科技資源在現(xiàn)階段的科研活動(dòng)中起支撐作用，有效運(yùn)用科技資源將有利于科研工作者、中小微企業(yè)等進(jìn)一步開展創(chuàng)新實(shí)踐，推動(dòng)社會(huì)資源的共享。通過信息系統(tǒng)技術(shù)和大數(shù)據(jù)處理技術(shù)的運(yùn)用，搭建科技資源供需雙方的在線服務(wù)平臺(tái)，形成用戶中心、服務(wù)監(jiān)管中心、運(yùn)營與結(jié)算中心、糾紛協(xié)調(diào)中心為一體的“一站式”服務(wù)體系，全面推進(jìn)科技資源向社會(huì)的開放共享。

科技資源；一站式服務(wù)；數(shù)據(jù)交換平臺(tái)；數(shù)據(jù)采集

0 引言

近年來，在科技資源共享與服務(wù)方面堅(jiān)持“統(tǒng)一部署、突出重點(diǎn)，整合資源、開放共享，市場(chǎng)導(dǎo)向、創(chuàng)新體制，政府主導(dǎo)、多方聯(lián)動(dòng)”的原則，充分整合各類科技資源，通過各類共享平臺(tái)的構(gòu)建為科技創(chuàng)新活動(dòng)提供了強(qiáng)有力的基礎(chǔ)條件支撐[1]。以“物理上合理分布、邏輯上相對(duì)統(tǒng)一”為基本原則，從頂層設(shè)計(jì)出發(fā)，開展科技資源共享與服務(wù)平臺(tái)建設(shè)，以數(shù)據(jù)標(biāo)準(zhǔn)化為手段帶動(dòng)信息的統(tǒng)一與共享，以開放服務(wù)的評(píng)價(jià)與監(jiān)督帶動(dòng)資源的建設(shè)；在此基礎(chǔ)上開展科技資源深度挖掘、綜合集成、有效利用的效果，形成了從標(biāo)準(zhǔn)規(guī)范制定、數(shù)據(jù)整合加工、數(shù)據(jù)挖掘到開放服務(wù)的一套完整的科技資源共享服務(wù)體系結(jié)構(gòu)[2]。為中小微企業(yè)科技創(chuàng)新活動(dòng)提供資源與技術(shù)服務(wù)，為科技工作者、科研院校等的科研工作提供基礎(chǔ)支撐。

1 平臺(tái)整體架構(gòu)

“一站式”科技基礎(chǔ)條件資源平臺(tái)共享與服務(wù)平臺(tái)建設(shè)綜合考慮未來科技資源服務(wù)的發(fā)展和信息系統(tǒng)的維護(hù)升級(jí)，將平臺(tái)架構(gòu)劃分為云數(shù)據(jù)中心、數(shù)據(jù)層、技術(shù)支撐層、業(yè)務(wù)處理層和應(yīng)用服務(wù)層五個(gè)層次，如圖1所示。

基礎(chǔ)設(shè)施層是將平臺(tái)的基礎(chǔ)硬件進(jìn)行資源池化，為平臺(tái)提供各種基礎(chǔ)設(shè)施服務(wù)的層次，它主要包括基礎(chǔ)硬件、基礎(chǔ)設(shè)施資源池化、各種管理服務(wù)三部分內(nèi)容。基礎(chǔ)硬件主要是指平臺(tái)所采用的計(jì)算集群、存儲(chǔ)陣列和大二層網(wǎng)絡(luò)，以及支撐這些基礎(chǔ)硬件的機(jī)房綜合環(huán)境；基礎(chǔ)設(shè)施資源池化[3]主要是將各類硬件資源進(jìn)行池化，從而使基礎(chǔ)設(shè)施實(shí)現(xiàn)高效應(yīng)用及彈性服務(wù)，通過池化后的資源最后需要進(jìn)行統(tǒng)一管理，為平臺(tái)提供基礎(chǔ)服務(wù)，因此，基礎(chǔ)設(shè)施層的具有管理服務(wù)部分，用以實(shí)現(xiàn)訪問控制、負(fù)載均衡、工作流、服務(wù)總線等功能，提供總結(jié)管理、虛擬機(jī)管理、資源管理、容災(zāi)與安全等服務(wù)。

數(shù)據(jù)層是在基礎(chǔ)設(shè)施層的前提下，將科技資源數(shù)據(jù)進(jìn)行整合與梳理，從而更好地為平臺(tái)提供服務(wù)的層次。數(shù)據(jù)層的建設(shè)不僅包括平臺(tái)自身擁有數(shù)據(jù)資源的建設(shè)，還應(yīng)搭建科技資源數(shù)據(jù)交換平臺(tái)，科技資源擁有機(jī)構(gòu)如果愿意將資源提供給平臺(tái)進(jìn)行管理和維護(hù)，則歸為平臺(tái)自身擁有數(shù)據(jù)資源進(jìn)行管理，也成為科技資源云數(shù)據(jù)中心[4]的一部分，如果資源擁有機(jī)構(gòu)自身具備資源維護(hù)的條件，并且不愿意提交至平臺(tái)進(jìn)行管理，則通過科技資源數(shù)據(jù)交換平臺(tái)進(jìn)行資源的接入與運(yùn)用。科技資源數(shù)據(jù)交換平臺(tái)應(yīng)包括當(dāng)前常用數(shù)據(jù)庫和文件系統(tǒng)的接口調(diào)用，具備對(duì)異構(gòu)資源進(jìn)行多維度的整合能力。數(shù)據(jù)層將平臺(tái)自身擁有資源和科技資源數(shù)據(jù)交換平臺(tái)納入資源進(jìn)行整合梳理后，最終提供科技資源的各類數(shù)據(jù)，并可根據(jù)發(fā)展情況進(jìn)行資源類別的擴(kuò)展。

圖1 整體架構(gòu)圖

技術(shù)支撐層主要描述平臺(tái)開發(fā)實(shí)現(xiàn)的各種關(guān)鍵技術(shù)，以支撐平臺(tái)的搭建和運(yùn)行。在平臺(tái)開發(fā)方面，主要采用SOA架構(gòu)，具體開發(fā)框架采用J2EE及其相關(guān)技術(shù)[5]，如采用EJB容器、ORM持久化、JFinal極速開發(fā)框架、Shiro安全與權(quán)限控制、FreeMaker渲染、HTML5及JSP頁面等技術(shù)[6]。編碼實(shí)現(xiàn)后的平臺(tái)將通過JBoss AS應(yīng)用服務(wù)器中間件部署至科技資源云數(shù)據(jù)中心。

業(yè)務(wù)處理層主要描述了平臺(tái)實(shí)現(xiàn)的各種業(yè)務(wù)，根據(jù)需求主要將業(yè)務(wù)劃分為用戶中心、服務(wù)監(jiān)管中心、運(yùn)營結(jié)算中心和糾紛協(xié)調(diào)中心。服務(wù)監(jiān)管中心主要功能有資源監(jiān)管、資源服務(wù)統(tǒng)計(jì)、服務(wù)評(píng)價(jià)；運(yùn)營結(jié)算中心主要功能有平臺(tái)專題策劃、資源設(shè)定、價(jià)格核實(shí)與指導(dǎo)和財(cái)政測(cè)算；糾紛協(xié)調(diào)中心主要功能有平臺(tái)加盟、不良行為管理、信用體系和糾紛處理。

應(yīng)用服務(wù)層是指將資源提種多樣化服務(wù)和提供多樣化應(yīng)用平臺(tái)。平臺(tái)所采用的特色應(yīng)用支撐主要包括統(tǒng)一認(rèn)證、信息推送、圖形分析、綜合搜索等技術(shù)，除此之外，還提供一些Web打印、服務(wù)窗口等常用的應(yīng)用支撐；服務(wù)模式部分是指平臺(tái)應(yīng)基于Web服務(wù)，同時(shí)擴(kuò)展微信平臺(tái)、App應(yīng)用、客服專線等多樣化的服務(wù)模式；服務(wù)類型主要是指平臺(tái)能提供哪些類型的服務(wù)，包括但不限于找機(jī)構(gòu)、找專家、找儀器、找文獻(xiàn)、找技術(shù)和找服務(wù)。

2 科技資源數(shù)據(jù)處理關(guān)鍵技術(shù)

基于SOA/ESB的科技資源數(shù)據(jù)交換平臺(tái)由三大關(guān)鍵基礎(chǔ)中間件組成，分別是：①大容量、安全、可靠傳輸?shù)南㈥?duì)列中間件（Message queue）；②兼容JBI、OS-GI標(biāo)準(zhǔn)的組件化消息處理工作流引擎中間件（Work-flow）；③基于JBI標(biāo)準(zhǔn)的模塊化系列消息適配器中間件（Message adapter）。

科技資源數(shù)據(jù)處理工作流引擎以Message queue作為消息隊(duì)列，提供點(diǎn)對(duì)點(diǎn)、發(fā)布訂閱、路由、集群等多種方式的消息傳遞模式，極大方便了科技資源使用需求的靈活構(gòu)建[7]。具體如圖2所示。

科技資源數(shù)據(jù)處理工作流引擎集成多種企業(yè)應(yīng)用中常見的適配器，通過現(xiàn)成的適配器，減少程序員開發(fā)工作量，實(shí)現(xiàn)快速應(yīng)用集成能力，并提供適配器開發(fā)向?qū)Ш凸ぞ撸阌谝院髮?duì)資源的定制和擴(kuò)展。

“一站式”科技基礎(chǔ)條件資源共享與服務(wù)平臺(tái)集成的資源種類繁多，這些資源地理上分布廣泛，存儲(chǔ)方式和實(shí)現(xiàn)技術(shù)千差萬別。如果采用普通的直接檢索方法，費(fèi)時(shí)費(fèi)力，用戶很難準(zhǔn)確定位所需的資源信息。為了提高異質(zhì)異構(gòu)資源的利用率和共享程度，加快檢索速度，必須建立科技資源的元數(shù)據(jù)并提供元數(shù)據(jù)目錄服務(wù)[8]，其邏輯結(jié)構(gòu)如圖3所示。

圖2 科技資源數(shù)據(jù)處理工作流引擎

圖3 元數(shù)據(jù)目錄服務(wù)邏輯結(jié)構(gòu)

從元數(shù)據(jù)目錄服務(wù)的可靠性、安全性、負(fù)載均衡考慮，建立元數(shù)據(jù)管理和選擇適當(dāng)?shù)牟呗裕ㄈ缫恢鞫鄰牟渴鸩呗裕┎渴鹪獢?shù)據(jù)目錄服務(wù)。

（1）元數(shù)據(jù)模型

元數(shù)據(jù)模型采用《中華人民共和國國家標(biāo)準(zhǔn)：科技平臺(tái)元數(shù)據(jù)注冊(cè)與管理》（GB/T 30523）中元數(shù)據(jù)注冊(cè)表單的形式。

（2）元數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)庫、XML文件和目錄服務(wù)三種存儲(chǔ)方式都可用來存儲(chǔ)元數(shù)據(jù)。數(shù)據(jù)庫以表記錄組織存儲(chǔ)元數(shù)據(jù)，XML自定義標(biāo)記以文本的形式組織存儲(chǔ)元數(shù)據(jù)，目錄服務(wù)定義對(duì)象屬性以樹形結(jié)構(gòu)組織存儲(chǔ)元數(shù)據(jù)。它們組織存儲(chǔ)數(shù)據(jù)信息的方式各不一樣，元數(shù)據(jù)的操作接口和查詢效率都有所區(qū)別。

（3）元數(shù)據(jù)目錄服務(wù)部署

元數(shù)據(jù)目錄服務(wù)作為門戶應(yīng)用系統(tǒng)的搜索源存在，并且提供其他資源中間服務(wù)，對(duì)它的可靠性、負(fù)載均衡能力、安全性有特別的要求。一主多從的分布式部署方案可以滿足上述要求[9]。

“一站式”科技基礎(chǔ)條件資源共享與服務(wù)平臺(tái)是各種科技資源的一個(gè)集中統(tǒng)一的服務(wù)提供點(diǎn)，集成了豐富的科技資源和互聯(lián)網(wǎng)上海量的科技信息。隨著各類資源的不斷接入，如何從大量異構(gòu)的科技信息資源中快速檢索出有效信息成為一個(gè)亟待解決的問題。為了方便用戶在工作中準(zhǔn)確的查找、定位資源，提高資源的使用率，需要開發(fā)針對(duì)廣東省科技基礎(chǔ)條件資源特點(diǎn)的科技資源搜索系統(tǒng)，一方面能夠?qū)Ａ康目萍夹畔①Y源進(jìn)行專業(yè)化、領(lǐng)域化搜索，另一方面，能夠提供各類資源搜索引擎的接口，滿足各種跨平臺(tái)資源的智能搜索功能需求，建立各級(jí)門戶的一站式查詢檢索手段，確?？蒲腥藛T訪問平臺(tái)的便捷、可靠和高效。

科技信息采集模塊的功能是定時(shí)從網(wǎng)絡(luò)上提取科技網(wǎng)頁資源并存儲(chǔ)為XML文檔，獲取海量的Web資源。信息采集模塊程序提取網(wǎng)頁中的鏈接信息并對(duì)頁面進(jìn)行分析，在存儲(chǔ)模塊前加了一個(gè)主題相關(guān)性判定，若是領(lǐng)域相關(guān)網(wǎng)頁就存儲(chǔ)，否則就丟棄，從而實(shí)現(xiàn)了面向領(lǐng)域的信息采集模塊。

3 建設(shè)成果

根據(jù)需求分析，平臺(tái)將建成集用戶中心、服務(wù)監(jiān)管中心、運(yùn)營與結(jié)算中心、糾紛協(xié)調(diào)中心為一體的“一站式”平臺(tái)，四個(gè)中心圍繞資源進(jìn)行相關(guān)業(yè)務(wù)，各中心主要負(fù)責(zé)業(yè)務(wù)如圖4所示。

用戶通過平臺(tái)查找所需要的資源，然后對(duì)該資源進(jìn)行申請(qǐng)，平臺(tái)管理員接受申請(qǐng)后根據(jù)信用體系的資料對(duì)該用戶進(jìn)行信用審核，審核通過后，用戶可以使用該資源。資源使用完畢后平臺(tái)管理員會(huì)對(duì)資源進(jìn)行價(jià)格核實(shí)，根據(jù)價(jià)格指導(dǎo)進(jìn)行財(cái)政補(bǔ)貼測(cè)算，用戶根據(jù)結(jié)算價(jià)格進(jìn)行付費(fèi)。付費(fèi)完成后，用戶管理中心會(huì)根據(jù)資源使用情況進(jìn)行積分的發(fā)放與調(diào)整，而用戶也對(duì)此次的資源服務(wù)進(jìn)行綜合評(píng)價(jià)，如果使用過程中產(chǎn)生糾紛，將由糾紛協(xié)調(diào)中心進(jìn)行協(xié)調(diào)。資源使用完成后，用戶管理中心還可以出具用戶使用證明。

資源的管理業(yè)務(wù)主要由資源提供方、平臺(tái)管理員交互進(jìn)行。資源提供方通過平臺(tái)加盟條件將資源加入服務(wù)平臺(tái)，平臺(tái)管理人員需對(duì)資源進(jìn)行審核，通過審核的資源才能在平臺(tái)上進(jìn)行顯示和提供給用戶，審核后可以對(duì)資源進(jìn)行公共、免費(fèi)資源的設(shè)定，進(jìn)行一些平臺(tái)的專題策劃活動(dòng)，如定期免費(fèi)使用某些科技資源等。當(dāng)用戶使用完成后，平臺(tái)管理人員還需要對(duì)資源提供方的服務(wù)進(jìn)行總結(jié)，同時(shí)在使用過程中對(duì)資源的性能進(jìn)行監(jiān)管，也對(duì)資源的使用情況進(jìn)行統(tǒng)計(jì)分析。平臺(tái)提供交流與技術(shù)支撐，使得資源可以有效地與平臺(tái)結(jié)合，達(dá)到最好的共享效果。

圖4 各中心負(fù)責(zé)業(yè)務(wù)

4 結(jié)語

“一站式”科技資源共享與服務(wù)平臺(tái)立足于科技資源大數(shù)據(jù)，運(yùn)用現(xiàn)階段的信息系統(tǒng)技術(shù)，充分開展平臺(tái)建設(shè)，針對(duì)科技資源大數(shù)據(jù)的特點(diǎn)，建設(shè)科技資源數(shù)據(jù)交換平臺(tái)、元數(shù)據(jù)目錄服務(wù)、科技資源信息采集等多方面的功能對(duì)資源大數(shù)據(jù)進(jìn)行處理，全方位保障科技資源大數(shù)據(jù)的運(yùn)用。在功能方面，建設(shè)了用戶中心、服務(wù)監(jiān)管中心、運(yùn)營與結(jié)算中心、糾紛協(xié)調(diào)中心，四個(gè)中心形成一體進(jìn)行服務(wù)，使供方展示資源、提供資源，需方可以購買資源、使用資源，全面促進(jìn)科技資源向社會(huì)的

[1]羅亮.科技基礎(chǔ)條件平臺(tái)建設(shè)現(xiàn)狀及發(fā)展對(duì)策思考——以廣東為例[J].科技創(chuàng)新導(dǎo)報(bào),2013(24):224-224.

[2]吳家喜.我國科技資源開放共享公共服務(wù)體系的構(gòu)建[J].社會(huì)科學(xué)家,2011(12):126-129.

[3]賴培源,馬衛(wèi)民,劉藝,等.云資源池網(wǎng)絡(luò)自動(dòng)化部署技術(shù)研究與實(shí)踐[J].電信科學(xué),2015,31(7):96-103.

[4]林珠,陳樹敏,羅俊博,等.基于云計(jì)算的科技資源數(shù)據(jù)中心架構(gòu)設(shè)計(jì)[J].中國科技資源導(dǎo)刊,2015,47(4).

[5]Zhang Z,Liu J,Tian J,etal.DevelopmentofManagement Software for Large-Scale Cattle Farm[J].Software Engineer,2014.

[6]Palma F,Moha N,Tremblay G,et al.Specification and Detection of SOA Antipatterns in Web Services[M].Software Architecture. Springer International Publishing,2014:58-73.

[7]田欣,黃媛潔,司忠平.基于SOA科學(xué)工作流引擎關(guān)鍵技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)[J].科學(xué)中國人,2015(3Z).

[8]宋立榮.基層科技報(bào)告資源建設(shè)中元數(shù)據(jù)質(zhì)量評(píng)估研究——以中國科學(xué)技術(shù)信息研究所為例[J].中國科技資源導(dǎo)刊,2016,48 (1):57-66.

[9]馬建玲.綜合科技資源集成登記系統(tǒng)&開放資源元數(shù)據(jù)集成服務(wù)系統(tǒng)[C]，2015.

Development of One-Stop Sharing and Service Platform for Data Processing of Science and Technology Resources

LIN Zhu1，LISha1，ZHENGWei-hong1，LUO Jun-bo2

（1.Guangdong Science&Technology Inframstructure Center,,Guangzhou 510033；2.Guangdong Provincial Key Laboratory of HPC,Guangzhou 510033）

The science and technology resources play a supporting role in the present stage of scientific research activities,the use of technology re-sourceswill carry out innovative practice for scientific research workers,small and micro enterprises,promote the sharing of social re-sources.The use of information system technology and data processing technology,online service platform has user center,service opera-tion and supervision center,settlement center,dispute coordination center as one of the one-stop service system,to promote science and technology resource open sharing to society.

Technological Resources;One Stop Service；;Data Exchange Platform;Data Acquisition

1007-1423（2017）12-0067-05

10.3969/j.issn.1007-1423.2017.12.018

林珠（1983-），女，梅州人，高級(jí)工程師，碩士，研究方向?yàn)閿?shù)據(jù)挖掘和人工智能、信息系統(tǒng)

李莎（1982-），女，湖北黃岡人，工程師，碩士，雙學(xué)士，研究方向?yàn)樾畔⑾到y(tǒng)、科技管理

鄭偉鴻（1989-），男，潮州饒平人，工程師，雙學(xué)士，研究方向?yàn)樘摂M化技術(shù)、軟件研發(fā)

羅俊博（1981-）,女，項(xiàng)目管理師，研究方向?yàn)榭萍假Y源數(shù)據(jù)整合、資源標(biāo)準(zhǔn)化建設(shè)

2017-01-12

2017-04-18

廣東省科技計(jì)劃項(xiàng)目（粵科規(guī)財(cái)字[2015]72號(hào)）、科技資源數(shù)據(jù)分析與開放共享服務(wù)平臺(tái)建設(shè)（No.2014B070706004）、遠(yuǎn)程健康監(jiān)護(hù)大數(shù)據(jù)關(guān)鍵共性技術(shù)研究與應(yīng)用（No.2016A050502060）