一種基于大數(shù)據(jù)的動態(tài)建模技術

胡輝，劉宇芳，蔡昭權，盛杰，劉江林，雷莉

（1.惠州學院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學技術職業(yè)學院，珠海519090）

一種基于大數(shù)據(jù)的動態(tài)建模技術

胡輝1，劉宇芳1，蔡昭權1，盛杰2，劉江林2，雷莉3

（1.惠州學院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學技術職業(yè)學院，珠海519090）

在如今大數(shù)據(jù)時代，企業(yè)由單一的小系統(tǒng)變成復雜的多系統(tǒng)并存的現(xiàn)狀以及大規(guī)模數(shù)據(jù)的產(chǎn)生和應用，使得企業(yè)迫切需要解決不同數(shù)據(jù)源之間的結構性差異和數(shù)據(jù)指數(shù)增長所帶來的瓶頸。提出一種基于大數(shù)據(jù)的動態(tài)建模技術，有效地解決了不同數(shù)據(jù)源之間整合和重構的障礙和面向大數(shù)據(jù)的拓展性問題。

大數(shù)據(jù)；數(shù)據(jù)重構；動態(tài)建模

0　引言

在過去，許多企業(yè)通過開發(fā)各種業(yè)務系統(tǒng)來提升自身的能動性、工作效率和業(yè)務水平，然而這些業(yè)務系統(tǒng)缺少前瞻性的設計，未能考慮到系統(tǒng)功能的拓展性和大規(guī)模數(shù)據(jù)增長帶來的存儲瓶頸，使得它們急需優(yōu)化升級［1］。而不同業(yè)務系統(tǒng)之間數(shù)據(jù)的結構性差異給數(shù)據(jù)的整合和重構帶來了極大的障礙［2］。如何解決數(shù)據(jù)整合和重構以及海量數(shù)據(jù)的增長性存儲這兩大難題成為了討論的熱點。

本文提出了一種基于大數(shù)據(jù)的動態(tài)建模技術，通過采用彈性的存儲結構，將傳統(tǒng)數(shù)據(jù)庫中橫向的字段轉換為縱向的彈性增長，解決了數(shù)據(jù)結構的水平擴展問題。

1　建模技術研究

一般而言，數(shù)據(jù)庫的數(shù)據(jù)建模主要可以劃分為三個步驟，從概念數(shù)據(jù)模型到邏輯數(shù)據(jù)模型再到物理數(shù)據(jù)模型，反映的是設計過程中從抽象數(shù)據(jù)到確定數(shù)據(jù)結構之間的關系再到編碼數(shù)據(jù)結構的流程［3］。

概念數(shù)據(jù)模型是指用戶對數(shù)據(jù)的看法，是一種綜合性的信息需求，反映具體項目中的數(shù)據(jù)需求，包含了實體與實體之間的關系，目標是統(tǒng)一業(yè)務概念，作為業(yè)務人員和技術人員之間溝通的橋梁，確立不同實體之間的層次關系。邏輯數(shù)據(jù)模型是指系統(tǒng)分析設計人員對數(shù)據(jù)的看法，是對概念數(shù)據(jù)模型的進一步分解和細化，是對業(yè)務與對象之間關系的規(guī)劃，包含了實體的關系和屬性，進行范式處理，詳細的描述數(shù)據(jù)，力求數(shù)據(jù)集的構建更為規(guī)范、合理和高效。物理數(shù)據(jù)模型是在邏輯數(shù)據(jù)模型的基礎上進行的數(shù)據(jù)庫結構化設計，包含了表和列的設計，根據(jù)實際情況定義實體之間的鍵位關聯(lián)，用以保存真實數(shù)據(jù)［4］。

人們在這三個步驟的基礎上，總結出了不少規(guī)范性的方法和工具，如E/R圖建模［5］、UML建模［6］等。

2　節(jié)點容器原理

在概念數(shù)據(jù)模型和邏輯數(shù)據(jù)模型設計的階段，可以通過用抽象節(jié)點容器的方式定義數(shù)據(jù)結構，即若將系統(tǒng)中的一個子集看做是一個節(jié)點容器，而一個數(shù)據(jù)環(huán)境擁有多個子集，那么系統(tǒng)中的子集庫就可以看做是一座由一個個節(jié)點容器構成的森林。

每個子集以節(jié)點容器的方式存儲在系統(tǒng)數(shù)據(jù)庫中，我們稱之為原始節(jié)點容器。每個節(jié)點容器在使用時，一般是部分使用，不過會使用多次，且每次的使用內(nèi)容都不一樣。因此，要為原始節(jié)點容器定義對應的用途節(jié)點容器或顯示節(jié)點容器。由于不同的情況下，同一個原始節(jié)點容器有不同的使用內(nèi)容，因此一個原始節(jié)點容器需要對應定義多個用途節(jié)點容器。而這些用途節(jié)點需要根據(jù)時間、進程、大小或維度進行分類，當用途節(jié)點容器已經(jīng)為實際使用情景完成了所有的分類定義，即可以將這些零散的使用通過建模方式串聯(lián)起來，變成一個完整連續(xù)的使用過程，并在過程中通過對使用進程、內(nèi)容的判斷，決定在當前建模節(jié)點需要使用哪個用途節(jié)點容器。至于具體指向哪個用途節(jié)點容器，是由建模中的具體多重輸入條件交叉定位決定的。

3　動態(tài)建模

多態(tài)系統(tǒng)中，所有的對象、組件、交互行為，都抽象為一個子節(jié)點容器，每個子節(jié)點容器都通過其根節(jié)點進行驅動。原型節(jié)點容器，是對所有實體對象、實體組件、實際交互行為的一種原型定義，主要是定義這些對象、組件、交互行為的維度、參數(shù)。所有實體對象都從原型對象節(jié)點容器繼承而來，所有實體組件都從原型組件節(jié)點容器繼承而來，所有實際交互行為都從原型交互行為節(jié)點容器繼承而來。通過對原型節(jié)點容器的驅動，進行所有對象、組件、行為的定義驅動，然后通過對節(jié)點容器節(jié)點的各類操作，實現(xiàn)所有系統(tǒng)的實現(xiàn)驅動。

單通道建模鏈設計，是一種將實際數(shù)據(jù)進程邏輯轉換為系統(tǒng)最簡易驅動的系統(tǒng)建模邏輯的方法。該方法中是將一個復雜的數(shù)據(jù)進程邏輯，轉換為多個單一的、固定方向的數(shù)據(jù)進程邏輯，通過節(jié)點的任意增加、刪除，以及提交與駁回的自定義，實現(xiàn)數(shù)據(jù)的動態(tài)建模。

我們假設一個實際的數(shù)據(jù)進程圖，這個數(shù)據(jù)進程圖有兩次判斷，每次判斷后，都會有多個分支，如下圖1所示。

圖1　數(shù)據(jù)進程圖

第一步，將所有操作框從1開始順序編號，開始框、結束框、判斷框都不能編號，如圖2所示。

圖2　數(shù)據(jù)進程序號圖

第二步，從開始框出發(fā)，按序號最小且可連接的操作框經(jīng)過，直到結束框，將此路徑經(jīng)過的操作框順序記錄，即成為一個建模通道。第一個通道為0-1-3-5-Z，每個通道的標記為，從0開始，從Z結束，如圖3所示。

第三步，去掉原建模圖中獨立的操作框，本步中為第2、第5框，如圖4所示：

圖3　建模分解圖一

圖4　建模分解圖二

第四步，按第二步的方法，從開始框出發(fā)，沿著序號最小，且達連接的操作框前進，直到結束框，將此路徑經(jīng)過的操作框順序記錄，即為下一個建模通道，第二個建模通道標記為0-1-3-Z，如圖5所示。

圖5　建模分解圖三

第五步：依此類推，如圖6所示。

圖6　建模分解圖四

第六步：按操作框的序號順序，自上而下排列到不同行道，對于相同編號的操作框，從0.1開始順序標記子序號，如圖7所示：

圖7　建模分解圖五

單通道建模鏈的優(yōu)點，是將建模中需要判斷、分支的邏輯去掉，單通鏈建模鏈中任何一個節(jié)點，要么提交前進到下一個節(jié)點，要么駁回到上一個節(jié)點，簡化了程序的判斷邏輯，也就簡化了用戶在配置建模時的邏輯。現(xiàn)有的工作流引擎，都為了滿足建模與判斷的靈活性，給每個節(jié)點都設置了條件參數(shù)的組合輸入，但條件參數(shù)的組合，已經(jīng)比較靠近IT程序員的思考邏輯，對于普遍的建模驅動用戶來說，會難于理解且容易配置錯誤。而現(xiàn)有的工作流引擎在配置這種復雜的判斷邏輯時，還沒有一個真正成熟的子集與算法，導致實現(xiàn)自定義的同時，存在較多的程序漏洞與風險。因此，將工作流引擎邏輯簡化為單通道建模鏈，一方面可以提升系統(tǒng)的穩(wěn)定性，另一方面也能讓普通的建模驅動員（沒有IT背景）能直接理解與配置建模。

4　結語

通過對數(shù)據(jù)庫設計原理的研究和節(jié)點容器的設計，提出了一種基于大數(shù)據(jù)的動態(tài)建模技術思路。本文提出了一種基于大數(shù)據(jù)的動態(tài)建模技術，通過采用彈性的存儲結構，將傳統(tǒng)數(shù)據(jù)庫中橫向的字段轉換為縱向的彈性增長，解決了數(shù)據(jù)結構的水平擴展問題以及不同數(shù)據(jù)庫數(shù)據(jù)在融合過程中出現(xiàn)的結構性差異帶來的障礙性問題，從而實現(xiàn)了不同數(shù)據(jù)集成結構的數(shù)據(jù)整合和重構。

［1］涂炎欽.海南省國土資源業(yè)務系統(tǒng)統(tǒng)一組織架構研究［J］.國土資源信息化，2015，05:15-17+9.

［2］孟浩華，匡堯.電力企業(yè)信息系統(tǒng)數(shù)據(jù)庫優(yōu)化整合研究與實踐［J］.電力信息化，2013，04:74-77.

［3］郝進義.數(shù)據(jù)庫設計規(guī)范及設計技巧研究［J］.計算機光盤軟件與應用，2012，12:176-177.

［4］李長海，郭穎，董廣輝.淺析數(shù)據(jù)庫設計［J］.數(shù)字技術與應用，2010，08:176.

［5］劉禹鋒，朱云，曾曉勤.圖文法EGG在ER圖設計中的應用［J］.計算機工程與設計，2014，03:1071-1075.

［6］郭婧，吳軍華.面向方面的UML建模［J］.計算機工程與設計，2011，32（12）:4260-4264.

Dynamic Modeling Technology Based on Big Data

HU Hui1，LIU Yu-fang1，CAI Zhao-quan1，SHENG Jie2，LIU Jiang-lin2，LEI Li3

（1.Huizhou University，Huizhou 516007；2.Huizhou Diewei Technology Ltd.，Huizhou 516001；3.Guangdong Institute of Science and Technology，Zhuhai 519090）

Generation and application of the status quo in today era of big data，enterprise from a single small system become more complex system coexist and large-scale data so that enterprises urgently need to address the structural differences between the data source and the data carried by the exponential growth to bottlenecks.Presents a technology based on dynamic modeling of big data，effective solution integration between different data sources and reconstruction of the obstacles and problems facing the expansion of big data.

Big Data；Data Reconstruction；Dynamic Modeling

廣東省教科規(guī)劃項目（No.11JXZ012、No.14JXN065）、廣東省自然科學基金項目（No.S2013010013432、No.S201301001 5940）、廣東省教育廳項目（No.2013LYM00874）、廣東省高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計劃資助項目（No.2013 LYM_0087）、惠州市科技計劃項目（No.2013B020015008、No.2014B020004026、No.2014B050013016、No.2014B02 0004023）、肇慶市科技計劃目（No.2015B010902009）

1007-1423（2016）25-0008-04DOI：10.3969/j.issn.1007-1423.2016.25.002

胡輝（1979-），女，江蘇鹽城人，碩士，講師，研究方向為計算機軟件

2016-06-21

2016-08-26