一種城市基礎(chǔ)設(shè)施安全監(jiān)測數(shù)據(jù)報(bào)表的自動生成方法

李 超 滕德貴 胡 波

(1. 重慶市勘測院, 重慶 401121; 2. 重慶市智能感知大數(shù)據(jù)產(chǎn)業(yè)技術(shù)協(xié)同創(chuàng)新中心, 重慶 401121)

0 引言

隨著城市基礎(chǔ)設(shè)施建設(shè)加速,在自動化安全監(jiān)測系統(tǒng)逐漸普及的背景下,多數(shù)建設(shè)工程的安全監(jiān)測項(xiàng)目數(shù)據(jù)和成果在進(jìn)行處理時,需要生成各類數(shù)據(jù)成果報(bào)表[1-2]。在對這些數(shù)據(jù)進(jìn)行報(bào)表生成時,格式要求差異較大,多數(shù)行業(yè)用戶常用方式是使用Office辦公軟件進(jìn)行數(shù)據(jù)組織和拖拽報(bào)表,不能滿足不同用戶對海量監(jiān)測數(shù)據(jù)的智能管理和對報(bào)表樣式自定義配置的個性化要求,報(bào)表生成的自動化程度低、出錯概率較高[3-4],少部分監(jiān)測系統(tǒng)軟件采用模板定制及web自動生成的報(bào)表[5-7],針對性強(qiáng),未考慮通用性及兼容性,適用面窄,難以推廣使用,國內(nèi)外針對通用監(jiān)測報(bào)表的研究較少。

本文研究實(shí)現(xiàn)了一種城市基礎(chǔ)設(shè)施安全監(jiān)測數(shù)據(jù)的報(bào)表自動生成方法,以解決現(xiàn)有技術(shù)中存在的在處理安全監(jiān)測數(shù)據(jù)生成報(bào)表時,生成報(bào)表不能智能化的滿足不同用戶對海量監(jiān)測數(shù)據(jù)的入庫管理和對報(bào)表樣式進(jìn)行自定義配置的個性化要求,報(bào)表生成的自動化程度低、可靠性低的技術(shù)問題。

1 需求分析

一套完整的監(jiān)測數(shù)據(jù)成果報(bào)表解決方案包括數(shù)據(jù)入庫、數(shù)據(jù)整理、變形計(jì)算、報(bào)表組織輸出等步驟[9-11],為實(shí)現(xiàn)靈活度、可靠性、自動化程度高的安全監(jiān)測通用智能報(bào)表生成系統(tǒng)與方法,本文結(jié)合城市基礎(chǔ)設(shè)施安全監(jiān)測專業(yè)相關(guān)標(biāo)準(zhǔn)與技術(shù)規(guī)范,廣泛且深入地調(diào)研了國內(nèi)監(jiān)測行業(yè)對數(shù)據(jù)報(bào)表的共性和個性化需求。

(1)數(shù)據(jù)入庫要靈活高效:基礎(chǔ)性的原始監(jiān)測數(shù)據(jù)具有多源和異構(gòu)的特征,例如傳統(tǒng)人工監(jiān)測數(shù)據(jù)、手機(jī)App采集數(shù)據(jù)、自動化傳感器采集數(shù)據(jù)等,針對安全監(jiān)測數(shù)據(jù)的入庫需要實(shí)現(xiàn)標(biāo)準(zhǔn)化處理及批量化入庫;

(2)數(shù)據(jù)預(yù)處理要智能化:原始監(jiān)測數(shù)據(jù)不可避免會存在粗差,智能化的進(jìn)行數(shù)據(jù)預(yù)處理,需對數(shù)據(jù)進(jìn)行粗差自動探測、清洗和實(shí)時計(jì)算預(yù)警;

(3)報(bào)表數(shù)據(jù)的分類組織要靈活:不同建設(shè)單位或不同類型的監(jiān)測項(xiàng)目,甚至同一個項(xiàng)目中,相同類型的監(jiān)測輸出的報(bào)表分類不盡相同,例如幾何水準(zhǔn)監(jiān)測點(diǎn),在不同場景下可分別對應(yīng)拱頂沉降、豎向位移、道床下沉等分類名稱,需要根據(jù)項(xiàng)目要求靈活組織;

(4)報(bào)表支持的類型要全面:一般來說,報(bào)表類型包括原始數(shù)據(jù)報(bào)表、監(jiān)測日報(bào)、監(jiān)測期報(bào)以及在特殊時段的自定義報(bào)表,用戶在使用時要能方便地選擇報(bào)表時段和報(bào)表類型;

(5)監(jiān)測維度和特征值的輸出要支持配置:一種監(jiān)測類型通常會有多個監(jiān)測維度,不同的監(jiān)測維度需支持選擇性輸出;同一監(jiān)測維度需支持初始值、本次測值、本次變化量、累計(jì)變化量、變化速率、控制閾值等特征值的選擇性輸出;

(6)報(bào)表風(fēng)格樣式要靈活可定制:不同地域或不同行業(yè)用戶對報(bào)表成果格式的要求不盡相同,需要有選擇性地輸出監(jiān)測統(tǒng)計(jì)分析表、監(jiān)測詳細(xì)數(shù)據(jù)表、監(jiān)測過程曲線圖和對比分析圖表等;在細(xì)節(jié)方面對數(shù)據(jù)取位、時間格式、文本字體、曲線類型也有要求,這就需要能夠提供靈活多樣的報(bào)表形式定制功能。

2 自動化報(bào)表方法設(shè)計(jì)實(shí)現(xiàn)

2.1 數(shù)據(jù)標(biāo)準(zhǔn)化入庫

基礎(chǔ)設(shè)施建設(shè)施工及運(yùn)營過程中的采集的各種安全監(jiān)測數(shù)據(jù),例如位移、應(yīng)力、振動、環(huán)境變量等,可通過不同方式獲取,如圖1所示,包括傳統(tǒng)人工測量、手機(jī)APP半自動化測量、智能傳感器的全自動化監(jiān)測和第三方異構(gòu)數(shù)據(jù)庫的同步抓取等;而對于智能傳感器的自動化監(jiān)測方式,同一數(shù)據(jù)類型也會因?yàn)橛玫降脑O(shè)備廠商或型號不一樣,使得監(jiān)測數(shù)據(jù)具有不同的格式[8]。設(shè)計(jì)各種監(jiān)測類型的標(biāo)準(zhǔn)數(shù)據(jù)表,利用ICE、Mqtt等通信協(xié)議,通過Excel/Xml/Json/Http短報(bào)文等形式,將多源異構(gòu)的安全監(jiān)測數(shù)據(jù)標(biāo)準(zhǔn)化處理,并批量化并行入庫。表1是平面位移監(jiān)測的標(biāo)準(zhǔn)數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì),設(shè)計(jì)完成后提交數(shù)據(jù)庫引擎生成相應(yīng)數(shù)據(jù)庫表,即可進(jìn)一步接收各種來源的原始監(jiān)測數(shù)據(jù),表結(jié)構(gòu)可根據(jù)業(yè)務(wù)需要動態(tài)調(diào)整設(shè)計(jì)并更新。

數(shù)據(jù)在入庫的同時對數(shù)據(jù)的基本屬性、測點(diǎn)名稱、監(jiān)測時間、新舊點(diǎn)名沖突、粗差等進(jìn)行校驗(yàn)預(yù)處理,并根據(jù)差分運(yùn)算規(guī)則進(jìn)行自動計(jì)算,自動計(jì)算的方式支持實(shí)時或定時觸發(fā),計(jì)算可得到本次變形量、累計(jì)變形量、變形速率等數(shù)據(jù)形成平面計(jì)算成果數(shù)據(jù)管理表。

表1 平面位移監(jiān)測的標(biāo)準(zhǔn)數(shù)據(jù)表結(jié)構(gòu)設(shè)計(jì)

2.2 數(shù)據(jù)分類組織

對于不同用戶,報(bào)表輸出的數(shù)據(jù)維度不確定,數(shù)據(jù)項(xiàng)對應(yīng)的名稱也不固定。為實(shí)現(xiàn)報(bào)表的靈活分類,設(shè)計(jì)可配置的數(shù)據(jù)維度管理表,用來批處理分類查詢標(biāo)準(zhǔn)化處理后入庫的安全監(jiān)測數(shù)據(jù),智能生成監(jiān)測結(jié)果分類數(shù)據(jù)表,完成安全監(jiān)測數(shù)據(jù)的多層級分組。

如圖2所示,以平面位移監(jiān)測數(shù)據(jù)分類舉例說明:先定義平面位移監(jiān)測的數(shù)據(jù)維度,具體有5個維度,其中“X方向位移、Y方向位移、Z方向位移”是用戶需要導(dǎo)出的維度,通過在點(diǎn)位信息表中將各維度的自定義描述信息“基坑坑頂X位移、基坑坑頂Y位移、基坑坑頂豎向位移”按點(diǎn)配好后批量導(dǎo)入并更新到數(shù)據(jù)維度管理表,再通過選擇web界面的工點(diǎn)下拉菜單和時間控件,即可查詢出以自定義分類命名的三張數(shù)據(jù)表,如圖4所示,數(shù)據(jù)記錄按點(diǎn)名排序,完成安全監(jiān)測數(shù)據(jù)的自定義分類組織。用戶還可根據(jù)需要設(shè)置“數(shù)據(jù)取位”和“是否導(dǎo)出”等選項(xiàng)。

2.3 報(bào)表模板的雙向配置

針對不同用戶的個性化報(bào)表要求,首先進(jìn)行報(bào)表模板的結(jié)構(gòu)化解析,通過多類別的智能書簽對報(bào)表模板中所包含標(biāo)準(zhǔn)組件進(jìn)行編輯處理;其次結(jié)合待生成報(bào)表的內(nèi)容和風(fēng)格,設(shè)計(jì)報(bào)表模板的參數(shù)配置表,在項(xiàng)目數(shù)據(jù)庫中對文字、圖表內(nèi)容及格式進(jìn)行參數(shù)詳細(xì)定制,通過模板配置與數(shù)據(jù)庫聯(lián)動配置的雙向定制化,實(shí)現(xiàn)不同格式的報(bào)表成果輸出。

(1)基于書簽的報(bào)表模板的結(jié)構(gòu)化解析

首先結(jié)合行業(yè)多個用戶提供的報(bào)表成果,梳理具有較好普適性的標(biāo)準(zhǔn)模板。根據(jù)報(bào)表所包含的內(nèi)容,分成各個標(biāo)準(zhǔn)定義的模塊,例如封面、目錄、監(jiān)測概況、綜述分析、數(shù)據(jù)表、曲線可視表達(dá)、數(shù)字簽章等模塊,并通過Word書簽編輯器對這些標(biāo)準(zhǔn)模塊增加書簽,模板結(jié)構(gòu)的組成支持調(diào)整與拓展。通過規(guī)范命名的書簽形式,可對后續(xù)內(nèi)容的自動編輯進(jìn)行定位。比如:對“綜述分析”模塊部分,新增書簽“tag_0_綜述分析”,后續(xù)如需整體填充或修改“綜述分析”的內(nèi)容,自動定位到該書簽執(zhí)行相關(guān)操作如圖3所示。

同時可進(jìn)行顆粒度更精細(xì)的文字類、表格類、圖形類詳細(xì)條目屬性的模板解析。例如:對于文字條目屬性,報(bào)表的封面構(gòu)件包含:報(bào)表編號、項(xiàng)目名稱、工點(diǎn)名稱、報(bào)告日期、報(bào)表出具單位等文字類屬性,針對每個屬性點(diǎn),新增相應(yīng)的文字類書簽,如:新增書簽“tag_1_報(bào)告日期”、“tag_1_項(xiàng)目名稱”等。上述條目屬性書簽的數(shù)量不受限制,支持嵌套,例如標(biāo)準(zhǔn)組件類書簽中可含有文字類書簽,只需保證條目屬性書簽的唯一性即可。

(2)基于數(shù)據(jù)庫的雙向聯(lián)動配置

上述包含各類書簽的報(bào)表模板配置完成后,通過與數(shù)據(jù)庫聯(lián)動配置的雙向定制,設(shè)計(jì)報(bào)表模板的參數(shù)配置表,對標(biāo)準(zhǔn)組件、文字、表格、圖形的內(nèi)容及風(fēng)格進(jìn)行參數(shù)詳細(xì)定制,參數(shù)主要包括以下方面:報(bào)表類型、數(shù)據(jù)塊名稱、屬性名稱、書簽標(biāo)識、操作參數(shù)、內(nèi)容參數(shù)、風(fēng)格參數(shù),等等。在配置好這些參數(shù)后,根據(jù)字段“書簽標(biāo)識”與模板中的書簽對應(yīng)關(guān)聯(lián),從而形成模板設(shè)計(jì)與數(shù)據(jù)庫配置的雙向聯(lián)動機(jī)制。

在配置模板文字類詳細(xì)條目的內(nèi)容與風(fēng)格時,以某用戶監(jiān)測日報(bào)封面的合同編號的處理為例,如表2所示。

表2 某用戶監(jiān)測日報(bào)封面的參數(shù)配置示例

在報(bào)表生成并輸出時,程序自動搜索和定位封面書簽“tag_1_合同編號”,并執(zhí)行合同編號內(nèi)容“2018-KC-0272”替換操作,同時賦予“黑體、四號、加粗”的字體風(fēng)格,形成符合參數(shù)配置表的文字內(nèi)容與風(fēng)格。

在配置模板表格類詳細(xì)條目的內(nèi)容與風(fēng)格時,首先定義數(shù)據(jù)表的字段構(gòu)成與排序,再設(shè)置圖表的搭配表達(dá)方式。例如:針對“深層水平位移”的數(shù)據(jù)表格,定義其字段組成及排序?yàn)椤吧疃取⒊跏紲y值、本次測值、上次累計(jì)值、本次累計(jì)值、本次變化、變化速率、地質(zhì)土層”,設(shè)置其圖表搭配方式為“圖形表格嵌套”,后續(xù)程序會根據(jù)上述參數(shù)自動預(yù)覽生成相應(yīng)數(shù)據(jù)表和圖形并進(jìn)行填充。

(3)不同風(fēng)格的監(jiān)測報(bào)表在線輸出

基于上述雙向配置的設(shè)計(jì),針對不同的用戶的個性化需求,只需針對模板進(jìn)行簡要梳理配置,即可實(shí)現(xiàn)成果報(bào)告的快速在線生產(chǎn)輸出。其中最主要的差異之處體現(xiàn)在報(bào)告的組成結(jié)構(gòu)、圖表的配合方式和曲線輸出位置等。

3 結(jié)束語

本文對多源異構(gòu)數(shù)據(jù)的標(biāo)準(zhǔn)化入庫、數(shù)據(jù)自定義分類組織、報(bào)表模板的雙向配置三方面進(jìn)行研究,基本實(shí)現(xiàn)了滿足不同用戶的安全監(jiān)測數(shù)據(jù)報(bào)表的自動生成方法。實(shí)踐表明,通過將多源異構(gòu)的安全監(jiān)測數(shù)據(jù)標(biāo)準(zhǔn)化處理,采用監(jiān)測維度管理表實(shí)現(xiàn)數(shù)據(jù)靈活分類的機(jī)制,再針對不同的用戶單位的監(jiān)測報(bào)告模板進(jìn)行Word書簽和報(bào)表參數(shù)配置,就能實(shí)現(xiàn)報(bào)表的自動敏捷生成,兼容性好,效率較高,出錯概率低,為解決生產(chǎn)應(yīng)用中報(bào)表自動化批量輸出提供了新的技術(shù)思路,后期還將針對提升模板配置的精細(xì)化程度和大數(shù)據(jù)量項(xiàng)目報(bào)表的輸出效率做進(jìn)一步研究。