物聯(lián)網(wǎng)系統(tǒng)實(shí)時(shí)數(shù)據(jù)與關(guān)系數(shù)據(jù)交互的技術(shù)研究與應(yīng)用

吳軍 黃寅 王金和 邵妍婷 楊磊

[摘? ? 要] 實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)是截然不同的兩種數(shù)據(jù)庫(kù)，隨著信息化水平的不斷進(jìn)步，在實(shí)際的過(guò)程控制系統(tǒng)和信息管理系統(tǒng)中，往往將兩種數(shù)據(jù)庫(kù)結(jié)合使用。數(shù)據(jù)交換服務(wù)為不同數(shù)據(jù)庫(kù)之間的互聯(lián)互通提供加載、轉(zhuǎn)換、傳輸和存儲(chǔ)等功能。本文主要以采油二廠油氣生產(chǎn)物聯(lián)網(wǎng)系統(tǒng)數(shù)據(jù)建設(shè)為例，描述了2種數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)過(guò)程，介紹了實(shí)時(shí)數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)相互通訊時(shí)用到的數(shù)據(jù)轉(zhuǎn)換和存儲(chǔ)的方法。

[關(guān)鍵詞] 實(shí)時(shí)數(shù)據(jù)庫(kù);關(guān)系數(shù)據(jù)庫(kù);數(shù)據(jù)交換存儲(chǔ)

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2020. 01. 042

[中圖分類(lèi)號(hào)] F270.7;TP315? ? [文獻(xiàn)標(biāo)識(shí)碼]? A? ? ? [文章編號(hào)]? 1673 - 0194（2020）01- 0100- 03

1? ? ? 引? ? 言

物聯(lián)網(wǎng)時(shí)代下的現(xiàn)代工業(yè)，其特性是要求生產(chǎn)全過(guò)程的實(shí)時(shí)監(jiān)控，高速的實(shí)時(shí)數(shù)據(jù)處理，長(zhǎng)期的歷史數(shù)據(jù)存儲(chǔ)以及生產(chǎn)信息的集成與共享。在工業(yè)生產(chǎn)過(guò)程中，自控技術(shù)已經(jīng)普及，先進(jìn)控制和計(jì)算機(jī)技術(shù)的結(jié)合，更好地解決了生產(chǎn)工藝日益復(fù)雜，控制質(zhì)量要求越來(lái)越高的問(wèn)題。在實(shí)際工業(yè)生產(chǎn)自動(dòng)化控制過(guò)程中，大量數(shù)據(jù)處理，數(shù)據(jù)變化速度快，同時(shí)存在大量非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)在于不需人工干預(yù)，可實(shí)時(shí)處理大量并發(fā)數(shù)據(jù)信息;關(guān)系數(shù)據(jù)庫(kù)則非常簡(jiǎn)便地實(shí)現(xiàn)對(duì)象信息的定義和存儲(chǔ)?；谏a(chǎn)管理需求和兩種數(shù)據(jù)庫(kù)的各自優(yōu)勢(shì)，產(chǎn)生了實(shí)時(shí)數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的相互通訊、結(jié)合使用。

2? ? ? 數(shù)據(jù)交換服務(wù)基本框架

2.1? ?數(shù)據(jù)交換服務(wù)概念

實(shí)時(shí)數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)技術(shù)結(jié)合實(shí)時(shí)處理技術(shù)產(chǎn)生的，適用于處理快速變化的數(shù)據(jù)及具有時(shí)間限制的事務(wù);是開(kāi)發(fā)實(shí)時(shí)控制系統(tǒng)、數(shù)據(jù)采集系統(tǒng)等的重要核心，具有很高的I/O吞吐量、高效數(shù)據(jù)壓縮技術(shù)，可以實(shí)現(xiàn)實(shí)時(shí)、高效、可靠的數(shù)據(jù)存儲(chǔ)和查詢。實(shí)時(shí)數(shù)據(jù)庫(kù)主要應(yīng)用于工業(yè)自動(dòng)化監(jiān)控，存儲(chǔ)著生產(chǎn)工藝過(guò)程采集到的海量數(shù)據(jù)。

數(shù)據(jù)交換服務(wù)，用于管理不同來(lái)源、不同屬性的海量數(shù)據(jù)，提供快捷方便的服務(wù)。數(shù)據(jù)交換服務(wù)為不同數(shù)據(jù)庫(kù)之間的互聯(lián)互通提供了包含加載、轉(zhuǎn)換、傳輸和存儲(chǔ)等操作，有效解決數(shù)據(jù)及時(shí)、高效地上傳下達(dá)，在安全、快捷進(jìn)行數(shù)據(jù)交換的同時(shí)，保證數(shù)據(jù)的一致性和準(zhǔn)確性，實(shí)現(xiàn)數(shù)據(jù)的一次采集、多次分析使用，為各種應(yīng)用和決策支持提供良好的數(shù)據(jù)環(huán)境。

2.2? ?數(shù)據(jù)交換服務(wù)設(shè)計(jì)研究路線

基于采油二廠物聯(lián)網(wǎng)系統(tǒng)建設(shè)，研究實(shí)時(shí)數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的交換服務(wù)技術(shù)，研發(fā)了生產(chǎn)實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)日生產(chǎn)數(shù)據(jù)系統(tǒng)，主要采用實(shí)時(shí)庫(kù)數(shù)據(jù)接口訪問(wèn)、數(shù)據(jù)讀寫(xiě)、實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)存關(guān)系數(shù)據(jù)、數(shù)據(jù)入庫(kù)、發(fā)布的研發(fā)流程路線，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)提取、發(fā)布、與基于EPDM的油氣水井生產(chǎn)數(shù)據(jù)管理系統(tǒng)（A2）系統(tǒng)、單井問(wèn)題診斷、功圖分析系統(tǒng)等各類(lèi)生產(chǎn)應(yīng)用和管理系統(tǒng)的共享應(yīng)用。

系統(tǒng)采用Web Service與數(shù)據(jù)庫(kù)交互，建立多層次、功能全面的平臺(tái)。使用VS.NET中的C#作為主要開(kāi)發(fā)工具，提高開(kāi)發(fā)進(jìn)度，增強(qiáng)系統(tǒng)兼容性及穩(wěn)定性;充分利用數(shù)據(jù)庫(kù)中現(xiàn)有的數(shù)據(jù)，建立相應(yīng)的視圖或同義詞;對(duì)庫(kù)中不存在的數(shù)據(jù)采用編寫(xiě)存儲(chǔ)過(guò)程處理的方法，最大限度的提高系統(tǒng)的性能。采用B/S架構(gòu)開(kāi)發(fā)實(shí)現(xiàn)解決不同的問(wèn)題，方便使用、擴(kuò)展、定制各種模塊。而這些模塊可以不受任何開(kāi)發(fā)工具或者開(kāi)發(fā)模式限制，只要符合框架要求的接口定義就可以插入系統(tǒng)。

使用鏈表可以方便有層次地進(jìn)行管理和擴(kuò)展，鏈表中的每個(gè)結(jié)點(diǎn)包括數(shù)據(jù)域和指針域，其中數(shù)據(jù)域存儲(chǔ)數(shù)據(jù)元素的信息，指針域中存儲(chǔ)結(jié)點(diǎn)直接后繼的存儲(chǔ)位置。在數(shù)據(jù)交換服務(wù)中采用三層鏈表結(jié)構(gòu)如圖2所示，將連接connection作為第一級(jí)鏈表，每個(gè)連接下的表格table掛接到二級(jí)鏈表上，綁定bind則作為第三級(jí)鏈表。

3? ? ? 數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)

3.1? ?實(shí)時(shí)數(shù)據(jù)讀取存儲(chǔ)

實(shí)時(shí)數(shù)據(jù)采集主要通過(guò)編寫(xiě)實(shí)時(shí)數(shù)據(jù)庫(kù)中間件接口，同步數(shù)據(jù)標(biāo)簽和同步實(shí)時(shí)數(shù)據(jù)兩大功能，實(shí)現(xiàn)海量實(shí)時(shí)數(shù)據(jù)（200萬(wàn)+條/天，5 000萬(wàn)條左右/月），數(shù)據(jù)標(biāo)簽（10 881個(gè)）在10分鐘內(nèi)讀取。通過(guò)額外功能對(duì)收集數(shù)據(jù)進(jìn)行配置，可以方便地根據(jù)需求變化進(jìn)行數(shù)據(jù)收集的靈活調(diào)整，節(jié)約處理時(shí)間和存儲(chǔ)空間。系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)從實(shí)時(shí)庫(kù)寫(xiě)入關(guān)系庫(kù)，實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)（多條記錄形成1口井的完整信息）與結(jié)構(gòu)化數(shù)據(jù)（1條記錄為1口井完整信息）轉(zhuǎn)換處理及同步實(shí)時(shí)庫(kù)的數(shù)據(jù)標(biāo)簽列表和值到Oracle庫(kù)。

3.2? ?實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換關(guān)系數(shù)據(jù)

實(shí)時(shí)數(shù)據(jù)處理成關(guān)系數(shù)據(jù)，主要是將從實(shí)時(shí)數(shù)據(jù)庫(kù)讀出來(lái)數(shù)據(jù)，存入關(guān)系數(shù)據(jù)庫(kù)之前先把數(shù)據(jù)轉(zhuǎn)換成變體類(lèi)型，再將變體類(lèi)型存入關(guān)系數(shù)據(jù)庫(kù)。存入關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)類(lèi)型和從數(shù)據(jù)庫(kù)取出的變體類(lèi)型是有確定的對(duì)應(yīng)關(guān)系的。通過(guò)RealTimeExtractionData接口，按設(shè)計(jì)時(shí)間，同步完數(shù)據(jù)之后，添加處理邏輯調(diào)用處理過(guò)程，處理數(shù)據(jù)。通過(guò)代碼控制，更加靈活且實(shí)效性好，速度快;異?？刂聘鼜?qiáng)大。系統(tǒng)實(shí)現(xiàn)自動(dòng)和手動(dòng)生成關(guān)系數(shù)據(jù)日?qǐng)?bào)2種方式。

3.3? ?關(guān)系數(shù)據(jù)轉(zhuǎn)換實(shí)時(shí)數(shù)據(jù)

從關(guān)系數(shù)據(jù)庫(kù)取出變體類(lèi)型的數(shù)據(jù)，進(jìn)行數(shù)據(jù)類(lèi)型轉(zhuǎn)換，再存入實(shí)時(shí)數(shù)據(jù)庫(kù)。在類(lèi)型轉(zhuǎn)換時(shí)，同樣需要進(jìn)行嚴(yán)格的類(lèi)型匹配檢查以及合法轉(zhuǎn)換的數(shù)值范圍檢查。Int的數(shù)據(jù)范圍是-32 768～32 767，unsigned int的數(shù)據(jù)范圍是0～65 535。因此當(dāng)需要轉(zhuǎn)換的數(shù)值處于[-32 768，0）時(shí)，服務(wù)會(huì)報(bào)錯(cuò)提示轉(zhuǎn)換非法。

數(shù)據(jù)類(lèi)型轉(zhuǎn)換的分支很多，分支總個(gè)數(shù)是實(shí)時(shí)數(shù)據(jù)庫(kù)數(shù)據(jù)類(lèi)型的個(gè)數(shù)與關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)類(lèi)型個(gè)數(shù)的笛卡爾積，而在每個(gè)分支中的類(lèi)型匹配檢查個(gè)數(shù)以及合法轉(zhuǎn)換數(shù)值范圍檢查個(gè)數(shù)則更為龐大，十分復(fù)雜。

4? ? ? 結(jié)? ? 語(yǔ)

數(shù)據(jù)交換服務(wù)是物聯(lián)網(wǎng)系統(tǒng)技術(shù)發(fā)展的一個(gè)重要組成部分，它快速準(zhǔn)確地提供實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)之間數(shù)據(jù)的加載、轉(zhuǎn)換、傳輸和存儲(chǔ)服務(wù)，建立高效穩(wěn)定的實(shí)時(shí)庫(kù)數(shù)據(jù)提取和關(guān)系庫(kù)數(shù)據(jù)同步機(jī)制，在解決數(shù)據(jù)共享、數(shù)據(jù)資源整合、發(fā)掘數(shù)據(jù)資源的潛在價(jià)值上發(fā)揮著重要作用，滿足不同業(yè)務(wù)的協(xié)同需求。

主要參考文獻(xiàn)

[1]李亮舉，劉孟祎.實(shí)時(shí)數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)交換服務(wù)的設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化博覽，2013（4）.