摘 要:【目的】科技政務(wù)數(shù)據(jù)具有多源性、權(quán)威性等特征,蘊(yùn)含著巨大的經(jīng)濟(jì)社會(huì)利用價(jià)值,但由于數(shù)據(jù)來(lái)源途徑多、數(shù)據(jù)結(jié)構(gòu)多樣和數(shù)據(jù)質(zhì)量參差不齊等問(wèn)題,導(dǎo)致對(duì)科技政務(wù)數(shù)據(jù)的綜合利用不充分,數(shù)據(jù)價(jià)值未能體現(xiàn)。因此,需要建立一個(gè)綜合、高效的科技政務(wù)數(shù)據(jù)分析、處理及可視化平臺(tái),為科技管理部門(mén)決策提供數(shù)據(jù)層面的有力支撐?!痉椒ā炕谖⒎?wù)的架構(gòu),建立以數(shù)據(jù)中臺(tái)為基礎(chǔ)的科技政務(wù)數(shù)據(jù)可視化平臺(tái)?!窘Y(jié)果】該平臺(tái)實(shí)現(xiàn)了對(duì)科技政務(wù)數(shù)據(jù)的統(tǒng)一采集、存儲(chǔ)、分析和計(jì)算,并進(jìn)行可視化展示。【結(jié)論】科技政務(wù)數(shù)據(jù)可視化平臺(tái)通過(guò)對(duì)數(shù)據(jù)的統(tǒng)一處理,打破了“數(shù)據(jù)孤島”,以直觀的圖表展示數(shù)據(jù),極大地提高了科技政務(wù)數(shù)據(jù)的利用率,為科技政策的制定提供了重要的數(shù)據(jù)參考。
關(guān)鍵詞:政務(wù)數(shù)據(jù);數(shù)據(jù)中臺(tái);數(shù)據(jù)可視化;微服務(wù)
中圖分類(lèi)號(hào):TP311.1 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1003-5168(2024)18-0018-06
DOI:10.19968/j.cnki.hnkj.1003-5168.2024.18.004
Design and Implementation of Science and Technology Government Data Visualization Platform
JIAO Changchun YANG Yifan
(The Scientific & Technological Information Center of Henan, Zhengzhou 450000, China)
Abstract:[Purposes] Science and technology government data possesses the attributes of multi-source and authority, and it contains significant economic and social value. Nevertheless, due to the issues of multiple data sources, diverse data structures, and uneven data quality, the comprehensive utilization of science and technology government data is inadequate, and the value of the data is not manifested. Therefore, it is necessary to establish a comprehensive and efficient science and technology government data analysis, processing and visualization platform, which will provide strong data-level support for science and technology management departments to make decisions. [Methods] Based on the architecture of microservices, this paper establishes a visualization platform for science and technology government data based on the data middle platform. [Findings] This platform realizes the unified collection, storage, analysis, calculation and visual display of science and technology government data. [Conclusions] Through the unified processing of data, science and technology government data visualization platform solves the problem of data silos, presents the data with intuitive charts, significantly enhances the utilization rate of science and technology government data, and provides an important data reference for the formulation of science and technology policies.
Keywords: government data; data middle platform; data visualization; microservice
0 引言
我國(guó)電子政務(wù)自20世紀(jì)80年代末期提出以來(lái),各級(jí)政府部門(mén)積極響應(yīng),2000年以后電子政務(wù)迅速發(fā)展[1]?,F(xiàn)如今,電子政務(wù)已成為政府部門(mén)提供服務(wù)的重要窗口,各級(jí)政府和部門(mén)根據(jù)自身業(yè)務(wù)特點(diǎn)建設(shè)了各具特色的業(yè)務(wù)系統(tǒng),極大地提高了政府工作效率與服務(wù)水平。與此同時(shí),伴隨著這些系統(tǒng)的應(yīng)用也產(chǎn)生了大量的政務(wù)數(shù)據(jù)。隨著信息化的不斷深入和新一代互聯(lián)網(wǎng)技術(shù)的快速發(fā)展,數(shù)據(jù)逐漸成為影響社會(huì)經(jīng)濟(jì)發(fā)展的重要生產(chǎn)要素,其中,政務(wù)數(shù)據(jù)作為數(shù)據(jù)資源的重要組成部分,因其多源性、權(quán)威性等特征,蘊(yùn)含巨大的經(jīng)濟(jì)社會(huì)價(jià)值[2]。
2019年10月,黨的十九屆四中全會(huì)首次提出“推進(jìn)數(shù)字政府建設(shè)”。2022年國(guó)務(wù)院辦公廳發(fā)布《全國(guó)一體化政務(wù)大數(shù)據(jù)體系建設(shè)指南》,指出要加快推進(jìn)政務(wù)數(shù)據(jù)一體化決策部署,支撐數(shù)字政府建設(shè)。數(shù)據(jù)的戰(zhàn)略性地位及數(shù)字政府的新趨勢(shì)為政府對(duì)政務(wù)數(shù)據(jù)的綜合治理和充分使用,提出了更深層次的要求。由此可見(jiàn),準(zhǔn)確、翔實(shí)、清晰的數(shù)據(jù)已成為當(dāng)前政府部門(mén)決策時(shí)的重要抓手。
河南省科技管理部門(mén)早在20世紀(jì)90年代就已經(jīng)開(kāi)始探索自身的信息化道路,根據(jù)自身部門(mén)業(yè)務(wù)特點(diǎn),建立了科技信息管理系統(tǒng),經(jīng)過(guò)不斷地發(fā)展,逐漸將所有業(yè)務(wù)由線下轉(zhuǎn)移到線上,極大地提升了科技服務(wù)水平。但隨著科技計(jì)劃管理改革的不斷推進(jìn),科技管理部門(mén)的業(yè)務(wù)也在不斷迭代,相應(yīng)的業(yè)務(wù)系統(tǒng)也在不斷地變化,存儲(chǔ)數(shù)據(jù)介質(zhì)也跟隨著計(jì)算機(jī)行業(yè)的發(fā)展不斷更迭,科技政務(wù)數(shù)據(jù)逐漸出現(xiàn)了來(lái)源途徑多、數(shù)據(jù)質(zhì)量差距大、數(shù)據(jù)形態(tài)異構(gòu)、數(shù)據(jù)孤島等問(wèn)題[3],導(dǎo)致數(shù)據(jù)綜合利用不充分,數(shù)據(jù)的價(jià)值未能體現(xiàn)。因此,建立一個(gè)綜合、高效的科技政務(wù)數(shù)據(jù)分析、處理及可視化平臺(tái),為科技部門(mén)的決策做好數(shù)據(jù)層面的支撐,對(duì)于提高科技部門(mén)的服務(wù)能力和質(zhì)量具有十分重要的現(xiàn)實(shí)意義。
1 數(shù)據(jù)中臺(tái)與數(shù)據(jù)可視化概述
1.1 數(shù)據(jù)中臺(tái)
河南省科技管理部門(mén)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)從使用角度來(lái)看,當(dāng)前還存在較多的問(wèn)題。比如,數(shù)據(jù)重復(fù)或缺失、數(shù)據(jù)量大且分散、數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)來(lái)源渠道廣、數(shù)據(jù)質(zhì)量參差不齊等。這些問(wèn)題對(duì)數(shù)據(jù)的綜合使用造成了極大的困難,因此,建立科技政務(wù)數(shù)據(jù)可視化平臺(tái)的第一步就是要做好數(shù)據(jù)層面的準(zhǔn)備。通過(guò)搭建獨(dú)立的數(shù)據(jù)中臺(tái),可以對(duì)科技政務(wù)數(shù)據(jù)進(jìn)行長(zhǎng)效的治理,有效解決上述科技政務(wù)數(shù)據(jù)存在的問(wèn)題。
數(shù)據(jù)中臺(tái)的核心作用是通過(guò)統(tǒng)一的數(shù)據(jù)采集、計(jì)算處理、存儲(chǔ)共享等操作打通“數(shù)據(jù)孤島”,讓數(shù)據(jù)的價(jià)值得到充分體現(xiàn),但是目前對(duì)數(shù)據(jù)中臺(tái)還沒(méi)有統(tǒng)一的定義[4-5]。吳信東等[6]從數(shù)據(jù)資產(chǎn)化角度給出了定義:數(shù)據(jù)中臺(tái)是將一個(gè)機(jī)構(gòu)的數(shù)據(jù)作為戰(zhàn)略資產(chǎn)進(jìn)行管理,從數(shù)據(jù)搜集到處理應(yīng)用的一套管理機(jī)制,以期提高數(shù)據(jù)質(zhì)量,實(shí)現(xiàn)廣泛的數(shù)據(jù)共享,最終實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。從以上定義可以看出,數(shù)據(jù)中臺(tái)需要對(duì)數(shù)據(jù)的搜集到處理再到應(yīng)用進(jìn)行管理,且要通過(guò)數(shù)據(jù)挖掘、人工智能等技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析、處理,從中提煉出有價(jià)值的信息,進(jìn)而實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。
在數(shù)據(jù)中臺(tái)的建設(shè)方面,Khalil等[7]在分析大數(shù)據(jù)技術(shù)的機(jī)遇和挑戰(zhàn)時(shí),認(rèn)為數(shù)據(jù)中臺(tái)建設(shè)在大數(shù)據(jù)時(shí)代是必要的,并且明確提出,數(shù)據(jù)中臺(tái)應(yīng)在數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)質(zhì)量及數(shù)據(jù)安全等方面發(fā)揮重要作用,這為數(shù)據(jù)中臺(tái)的建設(shè)提供了基本的理論指導(dǎo)。Nateghi等[8]認(rèn)為在利用數(shù)據(jù)中臺(tái)進(jìn)行采集、處理和存儲(chǔ)數(shù)據(jù)的過(guò)程中,尤其要保證數(shù)據(jù)的質(zhì)量,因?yàn)楦哔|(zhì)量的數(shù)據(jù)是進(jìn)行數(shù)據(jù)分析和決策的基礎(chǔ),也是影響其準(zhǔn)確性和可靠性的關(guān)鍵因素。Sawadogo等[9]提出在數(shù)據(jù)中臺(tái)的建設(shè)過(guò)程中,應(yīng)重視對(duì)元數(shù)據(jù)和數(shù)據(jù)質(zhì)量的管理。鄭耀東等[10]基于阿里云平臺(tái)和產(chǎn)品,提出了工業(yè)數(shù)據(jù)中臺(tái)構(gòu)建六步法,為工業(yè)級(jí)的數(shù)據(jù)中臺(tái)建設(shè)提供了參考依據(jù)。
對(duì)于數(shù)據(jù)中臺(tái)的研究,目前已經(jīng)形成了基本的理論。大型互聯(lián)網(wǎng)企業(yè)根據(jù)自身業(yè)務(wù)特點(diǎn),結(jié)合自身技術(shù)水平,定制開(kāi)發(fā)了屬于自己的數(shù)據(jù)中臺(tái)。雖然實(shí)現(xiàn)細(xì)節(jié)上多有不同,但各自的數(shù)據(jù)中臺(tái)都可以提供數(shù)據(jù)采集、計(jì)算、處理、存儲(chǔ)、分析等服務(wù),讓企業(yè)在大數(shù)據(jù)時(shí)代提升核心競(jìng)爭(zhēng)力。隨著研究的不斷深入,數(shù)據(jù)中臺(tái)的內(nèi)涵也會(huì)愈加豐富,其價(jià)值也會(huì)愈加凸顯。
1.2 數(shù)據(jù)可視化
數(shù)據(jù)經(jīng)過(guò)分析、計(jì)算、處理后,以結(jié)構(gòu)化或非結(jié)構(gòu)化的形式存放于數(shù)據(jù)庫(kù)中,業(yè)務(wù)人員或政策制定者很難從原始的數(shù)據(jù)組織方式中直觀地看到數(shù)據(jù)所表達(dá)的信息,只有通過(guò)合理地解析與表達(dá)后,才能將數(shù)據(jù)的價(jià)值充分展現(xiàn)出來(lái)。數(shù)據(jù)可視化正是讓數(shù)據(jù)變得清晰、直觀、易于理解的最佳途徑[11]。
數(shù)據(jù)可視化將復(fù)雜數(shù)據(jù)的重要特征壓縮,提取數(shù)據(jù)間的關(guān)聯(lián)關(guān)系,用人類(lèi)易于感知的圖形展示,以便人們可以快速、準(zhǔn)確地獲取信息。數(shù)據(jù)可視化充分利用了計(jì)算機(jī)圖形學(xué)、圖像處理和人機(jī)交互等技術(shù),將數(shù)據(jù)以柱狀、線狀、地圖和表格等形式展示出來(lái),使數(shù)據(jù)更容易理解和記憶??偟膩?lái)說(shuō),數(shù)據(jù)可視化旨在借助圖形化手段,清晰、有效地傳達(dá)和溝通信息,直觀傳達(dá)數(shù)據(jù)的關(guān)鍵特征,實(shí)現(xiàn)對(duì)稀疏而又復(fù)雜數(shù)據(jù)集的深入洞察[12]。
數(shù)據(jù)可視化滿足了大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)呈現(xiàn)的需求,因而在近些年得到了快速發(fā)展。根據(jù)其可視化的原理不同,劃分為基于幾何的技術(shù)、面向像素技術(shù)、基于圖標(biāo)的技術(shù)、基于層次的技術(shù)等[13]。并且國(guó)內(nèi)外相繼涌現(xiàn)很多優(yōu)秀的可視化平臺(tái)或工具,例如,國(guó)外比較成熟的數(shù)據(jù)可視化平臺(tái)有Power BI、Google Charts、Tableau等。Power BI是微軟推出的一款強(qiáng)大的商業(yè)智能分析工具;Google Charts是谷歌公司開(kāi)源的一個(gè)項(xiàng)目,其功能強(qiáng)大,核心是一個(gè)JavaScript庫(kù),開(kāi)發(fā)人員可以借助該庫(kù)生成各種樣式的圖表,支持?jǐn)?shù)據(jù)的動(dòng)態(tài)更新,并且具有很好的兼容性;Tableau是一種通用的數(shù)據(jù)可視化工具,在數(shù)據(jù)分析行業(yè)中有著極為廣泛的應(yīng)用[14]。國(guó)內(nèi)比較成熟的可視化平臺(tái)有DataV、ECharts。DataV是阿里集團(tuán)推出的一款數(shù)據(jù)可視化應(yīng)用搭建工具,能夠快速、高效地對(duì)數(shù)據(jù)進(jìn)行分析,并進(jìn)行可視化展示;ECharts是百度團(tuán)隊(duì)開(kāi)源的一個(gè)JavaScript圖表庫(kù),提供了豐富多樣的圖表以及靈活的配置,是一款非常優(yōu)秀的可視化工具。
2 科技政務(wù)數(shù)據(jù)可視化平臺(tái)設(shè)計(jì)
科技政務(wù)數(shù)據(jù)可視化平臺(tái)基于微服務(wù)的思想,整體架構(gòu)分為兩大模塊,即數(shù)據(jù)中臺(tái)和可視化應(yīng)用,且數(shù)據(jù)中臺(tái)與可視化應(yīng)用完全解耦。經(jīng)過(guò)數(shù)據(jù)中臺(tái)統(tǒng)一清洗、分析、計(jì)算、存儲(chǔ)后的數(shù)據(jù)完全獨(dú)立,中臺(tái)可以對(duì)多個(gè)外部應(yīng)用提供數(shù)據(jù)訪問(wèn)服務(wù)。同樣,可視化應(yīng)用也可以兼容多種數(shù)據(jù)源,數(shù)據(jù)既可以來(lái)自中臺(tái),也可以來(lái)自其他數(shù)據(jù)庫(kù)或數(shù)據(jù)文件??萍颊?wù)數(shù)據(jù)可視化平臺(tái)整體架構(gòu)如圖1所示。
由圖1可知,數(shù)據(jù)中臺(tái)起到了數(shù)據(jù)支撐的作用。數(shù)據(jù)中臺(tái)需要對(duì)接多種數(shù)據(jù)源,其中包括但不限于關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)文件及數(shù)據(jù)接口等常用的數(shù)據(jù)存儲(chǔ)方式。
數(shù)據(jù)中臺(tái)在進(jìn)行數(shù)據(jù)采集時(shí),應(yīng)根據(jù)數(shù)據(jù)的時(shí)效性提供離線采集和實(shí)時(shí)采集。例如,在河南省科技管理部門(mén)所持有的數(shù)據(jù)中,一部分來(lái)自工作人員手動(dòng)統(tǒng)計(jì)的數(shù)據(jù),常用文檔或表格的形式組織數(shù)據(jù),這些數(shù)據(jù)需要進(jìn)行離線采集。而對(duì)于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù),則可以進(jìn)行實(shí)時(shí)采集,采集的間隔時(shí)長(zhǎng)則根據(jù)數(shù)據(jù)產(chǎn)生的速度、數(shù)據(jù)量大小、實(shí)時(shí)程度等實(shí)際情況而定。數(shù)據(jù)中臺(tái)在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí),采用分布式存儲(chǔ)技術(shù)。分布式存儲(chǔ)是可擴(kuò)展的存儲(chǔ)結(jié)構(gòu),大大提高了中臺(tái)數(shù)據(jù)存儲(chǔ)的可靠性和穩(wěn)定性。在數(shù)據(jù)處理方面,采用ETL工具進(jìn)行數(shù)據(jù)統(tǒng)一處理。即對(duì)數(shù)據(jù)進(jìn)行抽?。‥xtract)、轉(zhuǎn)換(Transformation)、裝載(Loading),常用的開(kāi)源ETL工具有sqoop、DataX、Kettle、canal等。其中Kettle是使用最廣泛且功能強(qiáng)大的ETL工具,通過(guò)Kettle可以快速地進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換和加載,實(shí)現(xiàn)數(shù)據(jù)快速入庫(kù)和分析。數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)訪問(wèn)服務(wù),可根據(jù)模型經(jīng)過(guò)簡(jiǎn)單配置生成API服務(wù),供外部系統(tǒng)訪問(wèn),也可將中臺(tái)存儲(chǔ)的數(shù)據(jù)全量或增量轉(zhuǎn)存到指定的數(shù)據(jù)庫(kù)中,以滿足現(xiàn)有業(yè)務(wù)系統(tǒng)使用數(shù)據(jù)的需求。數(shù)據(jù)中臺(tái)作為獨(dú)立的服務(wù),擁有統(tǒng)一的日志監(jiān)控和安全模塊。
科技政務(wù)數(shù)據(jù)可視化平臺(tái)的可視化應(yīng)用層是獨(dú)立的服務(wù),可以對(duì)現(xiàn)有主流數(shù)據(jù)源完成連接,且支持對(duì)不同的數(shù)據(jù)庫(kù)編寫(xiě)sql來(lái)獲取數(shù)據(jù)。數(shù)據(jù)讀取完畢,可以進(jìn)行簡(jiǎn)單的數(shù)據(jù)過(guò)濾、計(jì)算,選用合適的圖表關(guān)聯(lián)數(shù)據(jù),對(duì)于每個(gè)圖表的數(shù)據(jù)支持實(shí)時(shí)更新,更新時(shí)間間隔由數(shù)據(jù)的時(shí)效性決定。考慮到熟悉業(yè)務(wù)的人員大多為非技術(shù)人員,于是該科技政務(wù)數(shù)據(jù)可視化平臺(tái)的可視化應(yīng)用層會(huì)提供友好的用戶交互界面,非技術(shù)人員通過(guò)簡(jiǎn)單的學(xué)習(xí)就可以將指定的數(shù)據(jù)制作成精美的圖表。
3 科技政務(wù)數(shù)據(jù)可視化平臺(tái)實(shí)現(xiàn)
科技政務(wù)數(shù)據(jù)可視化平臺(tái)采用前后端分離的方式開(kāi)發(fā),前端主要涉及Vue、Element-ui、H5等技術(shù),后端以Java為主要開(kāi)發(fā)語(yǔ)言。該平臺(tái)的數(shù)據(jù)中臺(tái)模塊界面如圖2所示??梢暬瘧?yīng)用層界面如圖3所示。數(shù)據(jù)中臺(tái)與可視化應(yīng)用層擁有權(quán)限控制模塊,用戶須憑借管理人員分配的賬戶和密碼進(jìn)行登錄后才能使用該平臺(tái)。
數(shù)據(jù)中臺(tái)是基于Hadoop生態(tài)之上進(jìn)行開(kāi)發(fā)的,包括數(shù)據(jù)流程、數(shù)據(jù)編目、臨時(shí)查詢、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)服務(wù)和系統(tǒng)管理等子模塊。
數(shù)據(jù)流程模塊包括對(duì)數(shù)據(jù)源和任務(wù)流程的管理,目前支持MySQL、Oracle、SqlServer、MongoDB、PostgreSQL、Hive、文件和API等數(shù)據(jù)源。任務(wù)流程是處理數(shù)據(jù)的入口,通過(guò)設(shè)置、組合任務(wù)流程節(jié)點(diǎn)的方式,完成對(duì)數(shù)據(jù)的采集、清洗、計(jì)算和存儲(chǔ)。按照功能不同可以將節(jié)點(diǎn)分成采集節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)、服務(wù)節(jié)點(diǎn),如圖4所示。采集節(jié)點(diǎn)通過(guò)指定數(shù)據(jù)源、數(shù)據(jù)庫(kù)名和表明就可以將數(shù)據(jù)同步進(jìn)數(shù)據(jù)中臺(tái),根據(jù)數(shù)據(jù)生成的方式選擇全量或增量采集。計(jì)算節(jié)點(diǎn)是進(jìn)行數(shù)據(jù)處理的主要節(jié)點(diǎn),可以通過(guò)編寫(xiě)HiveSQL或者PySpark腳本對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、修補(bǔ)、計(jì)算等操作,統(tǒng)一數(shù)據(jù)格式。服務(wù)節(jié)點(diǎn)可以將計(jì)算節(jié)點(diǎn)輸出的數(shù)據(jù)轉(zhuǎn)存到指定的數(shù)據(jù)庫(kù)表中,滿足現(xiàn)有業(yè)務(wù)系統(tǒng)對(duì)規(guī)整數(shù)據(jù)的需求。
數(shù)據(jù)編目模塊實(shí)現(xiàn)的是對(duì)中臺(tái)內(nèi)部數(shù)據(jù)表的管理,包括表的增、刪、改、查和導(dǎo)出等功能。臨時(shí)查詢是提供的SQL查詢服務(wù),該模塊可以通過(guò)編寫(xiě)SQL語(yǔ)句來(lái)查詢數(shù)據(jù)中臺(tái)內(nèi)部表數(shù)據(jù)。在數(shù)據(jù)標(biāo)準(zhǔn)模塊中通過(guò)新建標(biāo)準(zhǔn),可以對(duì)元數(shù)據(jù)指定數(shù)值長(zhǎng)度、最大值、最小值和正則匹配規(guī)則,標(biāo)準(zhǔn)建立以后,在數(shù)據(jù)表中的列可以引用數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)質(zhì)量模塊通過(guò)建立質(zhì)量規(guī)則和質(zhì)量任務(wù),對(duì)中臺(tái)存儲(chǔ)的表數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估,從而得出數(shù)據(jù)合格率,來(lái)監(jiān)控中臺(tái)存儲(chǔ)的數(shù)據(jù)質(zhì)量。數(shù)據(jù)服務(wù)模塊可以通過(guò)配置請(qǐng)求信息與響應(yīng)信息,快速生成數(shù)據(jù)訪問(wèn)接口,將治理后的數(shù)據(jù)和模型計(jì)算結(jié)果數(shù)據(jù)提供給外部業(yè)務(wù)系統(tǒng)。系統(tǒng)管理模塊包含對(duì)用戶、角色、日志等系統(tǒng)相關(guān)內(nèi)容的管理。
可視化應(yīng)用層包括數(shù)據(jù)源對(duì)接、數(shù)據(jù)拉取和圖表生成等子模塊。數(shù)據(jù)源對(duì)接模塊通過(guò)設(shè)置連接數(shù)據(jù)源的必要參數(shù)來(lái)拉取數(shù)據(jù),該模塊對(duì)常用的數(shù)據(jù)來(lái)源均做了適配,支持的數(shù)據(jù)源類(lèi)型與數(shù)據(jù)中臺(tái)相同,如圖5所示,只需要填寫(xiě)相關(guān)鏈接參數(shù)即可從MySQL數(shù)據(jù)庫(kù)中拉取數(shù)據(jù)。
數(shù)據(jù)拉取模塊除支持拉取整張數(shù)據(jù)表的數(shù)據(jù)外,也支持通過(guò)編寫(xiě)SQL語(yǔ)句的方式獲取指定數(shù)據(jù)(該方式不支持文件、數(shù)據(jù)接口及非關(guān)系型數(shù)據(jù)庫(kù))。
圖表生成模塊通過(guò)配置數(shù)據(jù)關(guān)聯(lián)、組合圖表來(lái)生成可視化頁(yè)面。所有的圖表操作、排版均在畫(huà)布中進(jìn)行,畫(huà)布尺寸即為生成的頁(yè)面尺寸,生成的頁(yè)面可在瀏覽器中訪問(wèn)。當(dāng)前支持的圖表類(lèi)型包括表格、柱狀圖、折線圖、餅圖、雷達(dá)圖、漏斗圖、地圖等常用數(shù)據(jù)展示圖表。圖表進(jìn)行數(shù)據(jù)關(guān)聯(lián)時(shí),以拉取到的數(shù)據(jù)列為基準(zhǔn),其中X軸只能對(duì)應(yīng)一列,數(shù)據(jù)和條件篩選可以包含多列,通過(guò)組合多個(gè)篩選條件,可以更為準(zhǔn)確地展示數(shù)據(jù),圖6為柱狀圖數(shù)據(jù)關(guān)聯(lián)。同時(shí),根據(jù)展示數(shù)據(jù)的時(shí)效性不同,可以指定每個(gè)圖表數(shù)據(jù)拉取的時(shí)間間隔,定時(shí)拉取數(shù)據(jù),數(shù)據(jù)更新的同時(shí)圖表會(huì)重新生成,實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)展示的效果。
4 結(jié)語(yǔ)
本研究根據(jù)河南省科技管理部門(mén)下屬業(yè)務(wù)系統(tǒng)的數(shù)據(jù)特點(diǎn)和數(shù)據(jù)展示的需要,建立了科技政務(wù)數(shù)據(jù)可視化平臺(tái)。該平臺(tái)包括數(shù)據(jù)中臺(tái)和可視化應(yīng)用兩大模塊,平臺(tái)整體基于微服務(wù)的思想實(shí)現(xiàn),數(shù)據(jù)中臺(tái)和可視化應(yīng)用被拆分為兩個(gè)獨(dú)立的服務(wù),以滿足其他現(xiàn)有系統(tǒng)對(duì)數(shù)據(jù)和可視化的需要??萍颊?wù)數(shù)據(jù)可視化平臺(tái)實(shí)現(xiàn)了對(duì)數(shù)據(jù)的統(tǒng)一采集、存儲(chǔ)、分析和處理,并進(jìn)行可視化展示,極大地提高了科技政務(wù)數(shù)據(jù)的利用率,為科技政策的制定提供了重要的數(shù)據(jù)參考。
參考文獻(xiàn):
[1] 李鳴.我國(guó)電子政務(wù)發(fā)展綜述[J].武漢工程大學(xué)學(xué)報(bào),2010,32(4):52-55.
[2]施穎瑩.數(shù)字政府一體化建設(shè)背景下政府?dāng)?shù)據(jù)治理研究[D].杭州:浙江大學(xué),2023.
[3]閆佳和,李紅輝,馬英,等.多源異構(gòu)數(shù)據(jù)融合關(guān)鍵技術(shù)與政務(wù)大數(shù)據(jù)治理體系[J].計(jì)算機(jī)科學(xué),2024,51(2):1-14.
[4]鄧立君.數(shù)據(jù)中臺(tái)與大數(shù)據(jù)中心分析[J].電子世界,2019(22):85-86.
[5]陳新宇,羅家鷹,江威.中臺(tái)實(shí)踐:數(shù)字化轉(zhuǎn)型方法論與解決方案[M].北京:機(jī)械工業(yè)出版社,2020.
[6]吳信東,應(yīng)澤宇,盛紹靜,等.數(shù)據(jù)中臺(tái)框架與實(shí)踐[J].大數(shù)據(jù),2023,9(6):137-159.
[7]KHALIL I,KIM R Y,SEO C.Challenges and Opportunities of Big Data[J].Journal of Plaform Technology,2020,8(2):3-9.
[8]NATEGHI R,AVEN T. Risk Analysis in the Age of Big Data: The Promises and Pitfalls[J]. Risk Analysis, 2021,41(10):1751-1758.
[9]SAWADOGO P,DARMONT J.On data lake architectures and metadata management[J].Journal of Intelligent Information Systems, 2021, 56(1): 97-120.
[10]鄭耀東,李旭峰,陳和平.工業(yè)企業(yè)數(shù)據(jù)中臺(tái)構(gòu)建方法探索[J].現(xiàn)代信息科技,2020,4(21):130-133.
[11]高玥.大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D].杭州:浙江大學(xué),2014.
[12]王元光.模型驅(qū)動(dòng)的數(shù)據(jù)可視化平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京:北京交通大學(xué),2015.
[13]CARD S K,MACKINLAY J D,SHNEIDERMAN B.Readings in Information Visualization:Using Vision To Think[M].Morgan Kaufmann Publishers Inc,1999.
[14]BATT S,GREALIS T,HARMON O,et al.Learning Tableau:A Data Visualization Tool[J].The Journal of Economic Education,2020,51(3-4):317-328.