基于智慧城市的網(wǎng)絡(luò)數(shù)據(jù)采集模型的數(shù)據(jù)入庫研究

趙勇+劉文光

（沈陽理工大學(xué) 遼寧 沈陽 110159）

摘 要：在面向智慧城的網(wǎng)絡(luò)數(shù)據(jù)采集中，數(shù)據(jù)格式化入庫是核心技術(shù)之一，本文首先介紹了普遍采用的入庫模式并分析了其缺點(diǎn)，其次給出了幾種簡化入庫操作及提高入庫程序效率及復(fù)用性的方式，最后介紹了在入庫過程中需要特殊處理的幾個方面的內(nèi)容。

關(guān)鍵詞：智慧城市；網(wǎng)絡(luò)數(shù)據(jù)采集；數(shù)據(jù)入庫

引言

智慧城市是運(yùn)用信息和通信技術(shù)手段感測、分析、整合城市運(yùn)行核心系統(tǒng)等關(guān)鍵信息，對民生、公共安全、城市服務(wù)、工商業(yè)活動等各種需求做出智能響應(yīng)，其實(shí)質(zhì)是利用先進(jìn)的信息技術(shù)，實(shí)現(xiàn)智慧式管理和運(yùn)行，進(jìn)而人們創(chuàng)造美好的生活，促進(jìn)城市和諧、可持續(xù)發(fā)展。網(wǎng)絡(luò)運(yùn)行商為其搭建了巨大的網(wǎng)絡(luò)，但仍然存在著對骨干網(wǎng)數(shù)據(jù)采集以及數(shù)據(jù)的分析入庫任務(wù)量龐大等問題，因此對海量網(wǎng)絡(luò)數(shù)據(jù)入庫的研究十分重要，現(xiàn)將其相關(guān)研究分析如下。

一、網(wǎng)絡(luò)采集數(shù)據(jù)入庫處理

數(shù)據(jù)入庫是網(wǎng)絡(luò)數(shù)據(jù)采集的基本功能之一，一般的操作方式就是按照入庫要求形成sql語句，執(zhí)行后插入到數(shù)據(jù)庫中。但實(shí)現(xiàn)過程有所不同，普遍采用的是單個表寫程序?qū)崿F(xiàn)數(shù)據(jù)插入的模式，存在的問題就是當(dāng)數(shù)據(jù)表名稱或字段發(fā)生變化或者是新增加一個入庫要求時，就要修改或者重寫一個程序，效率低，復(fù)用率低。因此，網(wǎng)絡(luò)數(shù)據(jù)采集模型的數(shù)據(jù)入庫功能需要擁有一個工具化的入庫程序，通過配置實(shí)現(xiàn)入庫數(shù)據(jù)與數(shù)據(jù)表之間的對應(yīng)，當(dāng)出現(xiàn)上述變化時，只需修改配置即可，另外在采用新的數(shù)據(jù)庫平臺時，只需要修改數(shù)據(jù)庫的連接串或邏輯處理即可。動態(tài)采集的數(shù)據(jù)在入庫時，自動匹配對應(yīng)的采集系統(tǒng)的配置字典表，如果發(fā)現(xiàn)有新的設(shè)備出現(xiàn)，則通知資源管理系統(tǒng)。

經(jīng)過文件格式化后，得到一個格式固定的標(biāo)準(zhǔn)文件。由于在文件格式化過程中，僅實(shí)現(xiàn)了數(shù)據(jù)抽取和標(biāo)準(zhǔn)化的輸出，并沒有針對個性化的數(shù)據(jù)處理，如日期格式、個別數(shù)據(jù)計算等。因此，入庫程序需要提供靈活化的配置，即支持對入庫標(biāo)準(zhǔn)文件中所含變量的四則運(yùn)算、函數(shù)處理，形成入庫字段所需的數(shù)值。入庫與分析一樣，都采用開閉原則的實(shí)現(xiàn)方式，即由主程序和配置信息來實(shí)現(xiàn)功能。數(shù)據(jù)在入庫的過程中一般采用如下結(jié)構(gòu)，如表1所示。

二、網(wǎng)絡(luò)采集數(shù)據(jù)入庫性能提升

在入庫的過程中，根據(jù)需求有3個方面需要特殊處理：

1、文件的處理效率

服務(wù)器處理能力較快，瓶頸一般出現(xiàn)在讀寫的I/O上，所以少量的處理文件是提高效率的關(guān)鍵；另外盡量避免重復(fù)的打開一個文件進(jìn)行操作。采用的方法主要有：

1）、少處理文件個數(shù)：從配置信息中提取需要處理的文件的關(guān)鍵字，以該關(guān)鍵字為條件查找符合條件的文件，確保打開的文件就是需要被處理入庫的文件（文件名中的業(yè)務(wù)名稱就是配置信息中的業(yè)務(wù)塊名稱，即blockname）；

2）、少打開文件次數(shù)：預(yù)先把配置信息讀入到內(nèi)存中，打開文件后依次執(zhí)行與該文件相關(guān)的入庫要求。

2、配置的靈活性

文件格式化僅實(shí)現(xiàn)了從各種格式的文件到標(biāo)準(zhǔn)格式文件的轉(zhuǎn)換，特殊的個性化操作需要在入庫的配置中實(shí)現(xiàn)，所以要求配置具有較高的靈活性支持。按照要求，需要以下功能：

1）、支持四則混合運(yùn)算：支持某個表的某個字段所需要的值是經(jīng)過很多變量使用四則運(yùn)算表達(dá)式計算后得出的值，這樣的方式提高了可入庫內(nèi)容的匹配性。在分析階段無法逐個實(shí)現(xiàn)的個性化，可以根據(jù)入庫的要求，提供對應(yīng)的計算；

2）、字典表查詢數(shù)據(jù)補(bǔ)充：待入庫的表中可能存在某些字段使用了現(xiàn)表中已經(jīng)存儲的字典表，即以待入庫某個變量為條件查詢字典表獲取更多的數(shù)據(jù)，常用的有通過編碼查詢名稱、以及查詢其歸屬的邏輯關(guān)系（屬于哪個容器、城市等）。并且在查詢的過程中，能夠發(fā)現(xiàn)哪個設(shè)備是新增的，可以及時向外通知；

3）、自定義函數(shù)支持特殊的個性化需求：為了最大限度的支持個性化，入庫模型需要提供自定義函數(shù)滿足特殊數(shù)據(jù)的處理，比如在比例計算時，先判斷分母是否為0，避免計算過程中報錯；比如三元計算符，ifaorb（條件表達(dá)式，a，b），條件表達(dá)式為真時，取a，否則取b等。自定義函數(shù)可以隨時按照特殊需求擴(kuò)充。

3、多廠家支持

處理數(shù)據(jù)可能會遇到數(shù)據(jù)表的數(shù)據(jù)來自于不同的廠家，這些廠家的公式不同，對應(yīng)的表達(dá)式也不同。為了實(shí)現(xiàn)不同廠家的不同公式能夠錄入到同一個表內(nèi)，使用ruleset來區(qū)分。即關(guān)系對應(yīng)的loadmap通過ruleset區(qū)分為不同的配置，啟動入庫程序指定入庫路徑及使用的ruleset。另外的方法是通過業(yè)務(wù)名稱blockname實(shí)現(xiàn)區(qū)分，即為不同廠家的數(shù)據(jù)命名不同的blockname。這兩種方法可以結(jié)合使用，根據(jù)運(yùn)行服務(wù)器的資源情況，增加進(jìn)程或者使用不同的blockname。增加進(jìn)程，增加了系統(tǒng)資源的開銷，但是可以提高每秒處理的文件個數(shù)。

入庫采用主程序加配置信息的方式，主程序相當(dāng)于一個驅(qū)動的引擎，實(shí)現(xiàn)對配置涉及到的相關(guān)文件進(jìn)行入庫操作處理。配置信息稱之為loadmap，在loadmap中包含變量、變量的四則混合運(yùn)算、函數(shù)計算、字典表查值四大類計算字段對應(yīng)值的方法。

結(jié)束

本文主要從3個方面介紹了面向智慧城市的網(wǎng)絡(luò)數(shù)據(jù)采集模型的數(shù)據(jù)入庫處理，第一通過配置實(shí)現(xiàn)入庫數(shù)據(jù)與數(shù)據(jù)表之間的對應(yīng)，提高效率及復(fù)用。第二支持對入庫標(biāo)準(zhǔn)文件中所包含變量的四則運(yùn)算、函數(shù)處理。第三自動匹配對應(yīng)的配置字典表。在入庫的過程中，通過少處理文件個數(shù)和少打開文件次數(shù)方法來提高對文件的處理效率。通過支持四則混合運(yùn)算、支持字典表查詢數(shù)據(jù)補(bǔ)充、支持自定義函數(shù)來提高配置靈活性以及對多廠家支持，來提高面向智慧城市的網(wǎng)絡(luò)數(shù)據(jù)入庫的效率。因此，充分發(fā)揮數(shù)據(jù)入庫靈活高效的優(yōu)勢，并對網(wǎng)絡(luò)采集數(shù)據(jù)入庫進(jìn)行模式化，智能化地管理與利用，對網(wǎng)絡(luò)性能進(jìn)行監(jiān)視與控制，不僅能夠有效緩解智慧城市建設(shè)的巨大資金壓力，更可以有效的服務(wù)大眾。

參考文獻(xiàn)

[1] Prakash， Vishal，Casey， Robert. SNMP Is Becoming The New Framework For SCADA[J]. Pipeline &； Gas Journal，2009，2362.

[2] Kao， Ken. How Ethernet networks can add health， visibility to industria l applications[J]. Control Engineering，2015，：.

[3] Ahmad Kamil Abdul Hamid，Yoshihiro Kawahara，Tohru Asami. Web Cache Design and Implementation for Efficient SNMP Monitoring towards Internet-Scale Network Management.[J]. IEICE Transactions，2011，94-B.