面向農(nóng)業(yè)企業(yè)畫(huà)像系統(tǒng)的大數(shù)據(jù)存儲(chǔ)模型研究

竇旭蒙 梁毅 蘇航

摘 要：為克服面向農(nóng)業(yè)企業(yè)畫(huà)像系統(tǒng)在數(shù)據(jù)存儲(chǔ)方面存在的弊端，使數(shù)據(jù)存儲(chǔ)工作達(dá)到更加精簡(jiǎn)、高效、可擴(kuò)展目的，對(duì)農(nóng)企畫(huà)像系統(tǒng)的業(yè)務(wù)場(chǎng)景和數(shù)據(jù)源進(jìn)行分析，提出一套通用存儲(chǔ)模型。該模型由通用操作算子表達(dá)式、解析映射器、操作算子實(shí)現(xiàn)集和存儲(chǔ)介質(zhì)組成，以服務(wù)的形式對(duì)外開(kāi)放，對(duì)上屏蔽掉底層復(fù)雜的存儲(chǔ)工作，對(duì)下屏蔽掉上層復(fù)雜的業(yè)務(wù)場(chǎng)景，達(dá)到降低系統(tǒng)開(kāi)發(fā)維護(hù)成本，提高系統(tǒng)工作效率的目的。為農(nóng)企畫(huà)像系統(tǒng)數(shù)據(jù)存儲(chǔ)工作提供了一套通用的解決方案，對(duì)該領(lǐng)域同類型系統(tǒng)存儲(chǔ)工作具有一定的指導(dǎo)意義。

關(guān)鍵詞：農(nóng)業(yè)企業(yè);畫(huà)像系統(tǒng);存儲(chǔ)模型;操作算子;異構(gòu)數(shù)據(jù);服務(wù)化

DOI：10. 11907/rjdk. 182810 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP306 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）008-0036-06

Research on Big Data Storage Model for Portrait System of

Agricultural Enterprises

DOU Xu-meng，LIANG Yi，SU Hang

（Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China）

Abstract： In order to improve the disadvantages of the portrait system for agricultural enterprises in data storage， and make the data storage work more concise， efficient and extensible， this paper analyzes the business scenarios and data sources of the agribusiness portrait system and proposes a general storage model. The model is composed of general operator expression， analytic mapper， operator implementation set and storage medium， and is open to the public as a service. The model can be done to block out the underlying complex storage work and on the upper block complex business scenarios， reduce the system development and maintenance costs， improve the work efficiency of the system to work on agribusiness portrait system data storage provides a general solution， the storage of the same kind of system about the field work has a certain guiding significance.

Key Words： agricultural enterprise; portrait system; storage model; operation primitives; heterogeneous data; servicing

基金項(xiàng)目：國(guó)家自然科學(xué)基金青年項(xiàng)目（61202074）;農(nóng)業(yè)部農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室開(kāi)放基金項(xiàng)目（2017，2018）

作者簡(jiǎn)介：竇旭蒙（1994-），男，北京工業(yè)大學(xué)信息學(xué)部計(jì)算機(jī)學(xué)院碩士研究生，研究方向?yàn)檐浖こ膛c理論;蘇航（1978-），男，北京工業(yè)大學(xué)信息學(xué)部計(jì)算機(jī)學(xué)院講師、碩士生導(dǎo)師，研究方向?yàn)檐浖詣?dòng)化、程序分析與變換;梁毅（1975-），女，北京工業(yè)大學(xué)信息學(xué)部計(jì)算機(jī)學(xué)院副教授、碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)體系結(jié)構(gòu)、海量數(shù)據(jù)處理、云計(jì)算、高性能計(jì)算。本文通訊作者：竇旭蒙。

0 引言

大數(shù)據(jù)應(yīng)用的主要目的是通過(guò)對(duì)日志數(shù)據(jù)的分析得到精確的指標(biāo)結(jié)果[1]，基于此需求，畫(huà)像概念應(yīng)運(yùn)而生。畫(huà)像即信息標(biāo)簽化，是對(duì)研究個(gè)體進(jìn)行特征標(biāo)簽化描述，從而得到精準(zhǔn)的信息反饋[2]。畫(huà)像系統(tǒng)研究已有不少成果：Chen[3]通過(guò)分析網(wǎng)站上用戶的行為數(shù)據(jù)，得到不同用戶對(duì)于環(huán)境問(wèn)題的關(guān)心程度;劉廣東[4]通過(guò)分析用戶的購(gòu)買行為，實(shí)現(xiàn)對(duì)用戶的商品推送;王雪[5]通過(guò)分析各企業(yè)的公示數(shù)據(jù)，對(duì)企業(yè)運(yùn)營(yíng)狀況、資產(chǎn)、經(jīng)營(yíng)規(guī)模等方面進(jìn)行歸類，為政府、銀行等提供參考。

農(nóng)業(yè)信息化發(fā)展帶動(dòng)了農(nóng)業(yè)企業(yè)對(duì)信息的需求，因此，以農(nóng)業(yè)企業(yè)為研究主體的畫(huà)像系統(tǒng)（以下簡(jiǎn)稱“農(nóng)企畫(huà)像系統(tǒng)”）也隨之誕生[6]。農(nóng)企畫(huà)像系統(tǒng)有助于對(duì)農(nóng)業(yè)企業(yè)屬性特征、行為趨勢(shì)進(jìn)行精準(zhǔn)評(píng)估和分類，確保農(nóng)業(yè)企業(yè)管理的公平性和要素配置的高效性，對(duì)農(nóng)業(yè)企業(yè)發(fā)展具有指導(dǎo)意義。本文以中國(guó)農(nóng)業(yè)科學(xué)院信息所提出的農(nóng)企畫(huà)像系統(tǒng)為依托，進(jìn)行數(shù)據(jù)存儲(chǔ)相關(guān)技術(shù)的研究。

數(shù)據(jù)存儲(chǔ)在農(nóng)企畫(huà)像系統(tǒng)中起著舉足輕重的作用，整個(gè)系統(tǒng)生命周期內(nèi)數(shù)據(jù)輪轉(zhuǎn)都要依賴存儲(chǔ)服務(wù)，而存儲(chǔ)服務(wù)的架構(gòu)設(shè)計(jì)和性能指標(biāo)直接影響整個(gè)系統(tǒng)性能和結(jié)果精準(zhǔn)度[7]。目前的畫(huà)像系統(tǒng)由于各功能模塊都涉及到數(shù)據(jù)的存儲(chǔ)操作，數(shù)據(jù)存儲(chǔ)服務(wù)大多散落在各功能模塊中并由其獨(dú)自維護(hù)[8]，不但增加了業(yè)務(wù)模塊與存儲(chǔ)模塊的耦合度，沒(méi)有做到上層業(yè)務(wù)模塊與底層存儲(chǔ)模塊分離，而且不利于系統(tǒng)擴(kuò)展。系統(tǒng)后期維護(hù)和功能迭代無(wú)形增加了更多開(kāi)支[9]。

針對(duì)上述弊端，田野[10]提出了異構(gòu)數(shù)據(jù)存儲(chǔ)統(tǒng)一管理思想;譚振強(qiáng)[11]等為解決關(guān)系型數(shù)據(jù)庫(kù)只能滿足二維關(guān)系問(wèn)題，提出了一種存儲(chǔ)中間處理模塊，實(shí)現(xiàn)二維關(guān)系與多維關(guān)系間的靈活轉(zhuǎn)變;李林[12]提出了一種基于海量圖片數(shù)據(jù)的存儲(chǔ)模型。以上研究只是針對(duì)某種類型的數(shù)據(jù)進(jìn)行存儲(chǔ)模型上的優(yōu)化，不適應(yīng)本文多源異構(gòu)數(shù)據(jù)的研究背景。劉基陽(yáng)[13]在汽車行業(yè)背景下，對(duì)異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一管理，提出了通用訪問(wèn)中間件。但該研究的數(shù)據(jù)源和業(yè)務(wù)場(chǎng)景全部基于汽車行業(yè)下，對(duì)農(nóng)業(yè)領(lǐng)域無(wú)法起到直接的指導(dǎo)作用?；趯?duì)數(shù)據(jù)存儲(chǔ)相關(guān)工作的研究發(fā)現(xiàn)，在農(nóng)企畫(huà)像領(lǐng)域目前尚無(wú)學(xué)者根據(jù)該領(lǐng)域產(chǎn)生的異構(gòu)數(shù)據(jù)特點(diǎn)進(jìn)行研究，實(shí)現(xiàn)對(duì)該領(lǐng)域異構(gòu)數(shù)據(jù)的統(tǒng)一管理和通用訪問(wèn)，使得農(nóng)企畫(huà)像系統(tǒng)對(duì)異構(gòu)數(shù)據(jù)的存儲(chǔ)仍使用獨(dú)立維護(hù)的做法，不利于系統(tǒng)的擴(kuò)展和穩(wěn)定。而且農(nóng)企畫(huà)像系統(tǒng)還需考慮數(shù)據(jù)存儲(chǔ)服務(wù)以何種形式對(duì)外提供[14]，以及存儲(chǔ)服務(wù)與存儲(chǔ)工具如何尋址映射[15]，存儲(chǔ)服務(wù)與其它模塊如何做到高度解耦等問(wèn)題[16]。

本文提出一種通用存儲(chǔ)模型，該模型與狹義的存儲(chǔ)模型不同[17]，可以理解為一套存儲(chǔ)架構(gòu)，由通用操作算子表達(dá)式、解析映射器、操作算子實(shí)現(xiàn)集和底層存儲(chǔ)介質(zhì)4部分組成，以服務(wù)的形式對(duì)外開(kāi)放。存儲(chǔ)模型對(duì)外服務(wù)的實(shí)現(xiàn)依賴于通用操作算子表達(dá)式，通用操作算子表達(dá)式依賴于底層的操作算子實(shí)現(xiàn)，集和存儲(chǔ)介質(zhì)兩者之間通過(guò)解析映射器進(jìn)行尋址映射。該模型可對(duì)上屏蔽掉底層復(fù)雜的存儲(chǔ)工作，對(duì)下屏蔽掉上層復(fù)雜的業(yè)務(wù)場(chǎng)景，降低系統(tǒng)耦合程度和開(kāi)發(fā)維護(hù)成本，提高系統(tǒng)工作效率和擴(kuò)展性[18]，為農(nóng)企畫(huà)像系統(tǒng)的數(shù)據(jù)存儲(chǔ)提供了一套通用解決方案，對(duì)該領(lǐng)域同類型系統(tǒng)存儲(chǔ)工作具有一定的指導(dǎo)意義。

1 數(shù)據(jù)源分析

畫(huà)像系統(tǒng)數(shù)據(jù)來(lái)源廣泛、類型復(fù)雜、結(jié)構(gòu)多樣。王藝霖[19]研究的電信用戶畫(huà)像系統(tǒng)數(shù)據(jù)主要來(lái)源于網(wǎng)絡(luò)文本、系統(tǒng)日志以及終端數(shù)據(jù)，以結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化結(jié)合的形式存在。數(shù)據(jù)處理流程分為數(shù)據(jù)獲取、數(shù)據(jù)加工、數(shù)據(jù)分析、畫(huà)像結(jié)果應(yīng)用等步驟。本文研究的農(nóng)企畫(huà)像系統(tǒng)，在數(shù)據(jù)處理過(guò)程方面與王藝霖所研究的畫(huà)像系統(tǒng)大致相同，如圖1所示。

[行為日志][網(wǎng)絡(luò)爬蟲(chóng)][企業(yè)報(bào)表][數(shù)據(jù)采集層][數(shù)據(jù)獲取][爬蟲(chóng)程序][報(bào)表解析][日志收集][數(shù)據(jù)加工][缺失值處理][合法性檢驗(yàn)][數(shù)據(jù)變換][冗余去除][文本過(guò)濾][數(shù)據(jù)分析層][標(biāo)簽提取][機(jī)器學(xué)習(xí)庫(kù)][深度學(xué)習(xí)庫(kù)][畫(huà)像展示]

圖1 農(nóng)企畫(huà)像系統(tǒng)數(shù)據(jù)處理流程

基于對(duì)已有畫(huà)像系統(tǒng)和農(nóng)企畫(huà)像系統(tǒng)相關(guān)工作調(diào)研，可對(duì)農(nóng)企畫(huà)像系統(tǒng)數(shù)據(jù)源從4個(gè)維度進(jìn)行分析。數(shù)據(jù)分為網(wǎng)絡(luò)原始文本、企業(yè)原始報(bào)表、企業(yè)行為日志、圖片數(shù)據(jù)、清洗加工后中間數(shù)據(jù)、特征項(xiàng)、標(biāo)簽項(xiàng)、系統(tǒng)配置等類型。數(shù)據(jù)來(lái)源分為網(wǎng)絡(luò)爬蟲(chóng)、批量上傳、清洗加工、分析處理、用戶輸入等。數(shù)據(jù)結(jié)構(gòu)分為結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化。從數(shù)據(jù)操作特點(diǎn)分為定時(shí)批量讀寫、實(shí)時(shí)少量讀寫。表1是對(duì)系統(tǒng)中各種數(shù)據(jù)源特點(diǎn)的歸納總結(jié)。

表1 農(nóng)企畫(huà)像系統(tǒng)數(shù)據(jù)分析

2 通用存儲(chǔ)模型設(shè)計(jì)

農(nóng)企畫(huà)像系統(tǒng)存儲(chǔ)模型架構(gòu)如圖2所示，存儲(chǔ)模型由上到下分為3部分。

（1）中間件：由通用操作算子集和解析映射器組成。通用操作算子集由多個(gè)基礎(chǔ)操作算子表達(dá)式組成，算子表達(dá)式代表了數(shù)據(jù)操作的最細(xì)粒度，具有標(biāo)準(zhǔn)性、通用性、穩(wěn)定性特點(diǎn)。例如算子表達(dá)式可以表示數(shù)據(jù)的增加操作，任何存儲(chǔ)系統(tǒng)都不可能缺少增加數(shù)據(jù)的操作，且該操作不會(huì)因?yàn)樯蠈訕I(yè)務(wù)邏輯和場(chǎng)景的變化而變化。因此，整套操作算子表達(dá)式可以達(dá)到通用的效果。算子表達(dá)式中會(huì)帶有各種操作維度的參數(shù)，解析映射器會(huì)根據(jù)這些參數(shù)將算子表達(dá)式對(duì)數(shù)據(jù)的操作準(zhǔn)確映射到目標(biāo)算子上。即使上層業(yè)務(wù)或底層存儲(chǔ)工具動(dòng)態(tài)增減，只要通過(guò)算子表達(dá)式中的參數(shù)配合解析映射器，即可實(shí)現(xiàn)相應(yīng)的數(shù)據(jù)存儲(chǔ)操作。因此該模型具有通用性、用戶低感知性、高可擴(kuò)展性和高容錯(cuò)性等特點(diǎn)。

（2）操作算子實(shí)現(xiàn)集：由多個(gè)操作算子實(shí)現(xiàn)組成。操作算子表達(dá)式依賴于操作算子實(shí)現(xiàn)，而操作算子實(shí)現(xiàn)又依賴于底層異構(gòu)數(shù)據(jù)庫(kù)提供的操作接口，完成數(shù)據(jù)與存儲(chǔ)工具之間的交互。操作算子實(shí)現(xiàn)集應(yīng)提供對(duì)底層所有存儲(chǔ)工具的操作支持，通過(guò)算子實(shí)現(xiàn)數(shù)據(jù)的傳輸或相互組合，完成算子表達(dá)式功能。

（3）存儲(chǔ)介質(zhì)：由多種異構(gòu)數(shù)據(jù)庫(kù)和文件系統(tǒng)組成，可實(shí)現(xiàn)存儲(chǔ)介質(zhì)的動(dòng)態(tài)增減，能夠?qū)r(nóng)企畫(huà)像系統(tǒng)產(chǎn)生的多源、異構(gòu)、海量數(shù)據(jù)進(jìn)行有效存儲(chǔ)。

3 操作算子定義

由于農(nóng)企畫(huà)像系統(tǒng)中異構(gòu)數(shù)據(jù)復(fù)雜、業(yè)務(wù)場(chǎng)景多樣，導(dǎo)致數(shù)據(jù)操作類型多種多樣。本文從數(shù)據(jù)源特點(diǎn)與系統(tǒng)應(yīng)用場(chǎng)景出發(fā)，提出一套具有高度通用性的操作算子表達(dá)式[20]。操作算子表達(dá)式的目的是制定一套標(biāo)準(zhǔn)、通用、穩(wěn)定的數(shù)據(jù)操作規(guī)范。算子表達(dá)式格式如下：

算子表達(dá)式定義規(guī)則：operationType：returnValue→operationCondition;其中operationCondition=（data，specialCondition）。

operationType代表算子表達(dá)式操作類型，returnValue代表算子表達(dá)式操作結(jié)果，operationCondition代表算子表達(dá)式操作條件值，operationCondition由data和specialCondition組成，其中data代表操作數(shù)據(jù)，specialCondition代表具體的操作條件。用戶在使用算子表達(dá)式時(shí)，如果operationCondition包含的兩項(xiàng)參數(shù)有具體值則可作為操作條件傳入;若某項(xiàng)為空，直接采用置空處理即可。算子表達(dá)式中各項(xiàng)指標(biāo)的值如表2-表5所示。

例如，對(duì)于網(wǎng)頁(yè)文本數(shù)據(jù)，若獲取某一時(shí)間段內(nèi)某個(gè)網(wǎng)頁(yè)的文本數(shù)據(jù)，算子表達(dá)式可以定義為：select：collection→operationCondition;在operationCondition中，data值為text，specialCondition值為webCrawlerName和time。用戶在使用算子表達(dá)式時(shí)只需傳入操作類型、期望返回值、操作條件，即可完成對(duì)數(shù)據(jù)的操作。算子表達(dá)式具有一定的通用性，即使將本例更換數(shù)據(jù)類型、操作類型，只要遵循定義規(guī)范，依然可以定義出符合要求的算子表達(dá)式，這充分體現(xiàn)了算子表達(dá)式的通用性、穩(wěn)定性特點(diǎn)。

表2 operationType值及含義

表3 returnValue值及含義

表4 data值及含義

表5 specialCondition值及含義

算子表達(dá)式的操作請(qǐng)求最終是依靠算子實(shí)現(xiàn)集完成的?？梢园阉阕颖磉_(dá)式看作是任務(wù)策劃者，把算子實(shí)現(xiàn)集看作任務(wù)的實(shí)施者。算子實(shí)現(xiàn)集提供了多源異構(gòu)數(shù)據(jù)最細(xì)粒度的操作實(shí)現(xiàn)，是整套存儲(chǔ)模型的中流砥柱。算子表達(dá)式和算子實(shí)現(xiàn)之間可以是一對(duì)多、一對(duì)一、多對(duì)一、多對(duì)多的邏輯關(guān)系。

為使存儲(chǔ)模型達(dá)到上下屏蔽、動(dòng)態(tài)可擴(kuò)展，在算子表達(dá)式和算子實(shí)現(xiàn)集之間引入解析映射器。解析映射器可將算子表達(dá)式的傳入?yún)?shù)進(jìn)行解析，然后通過(guò)映射將請(qǐng)求轉(zhuǎn)交給對(duì)應(yīng)的算子實(shí)現(xiàn)。即使上層算子表達(dá)式或下層算子實(shí)現(xiàn)發(fā)生變化，只要解析映射器始終保有一份最新的映射關(guān)系，即可完成數(shù)據(jù)存儲(chǔ)工作，同時(shí)也屏蔽了上下層的互相感知。三者關(guān)系如圖3所示。

圖3 通用存儲(chǔ)模型架構(gòu)

以上3種組件協(xié)助工作，首先完成多源異構(gòu)數(shù)據(jù)的存儲(chǔ);其次做到上層業(yè)務(wù)與下層存儲(chǔ)互相屏蔽的解耦效果;最后使整個(gè)存儲(chǔ)模型具有通用化、標(biāo)準(zhǔn)化、穩(wěn)定化、可擴(kuò)展特點(diǎn)。

4 操作算子實(shí)現(xiàn)

本文以農(nóng)企畫(huà)像系統(tǒng)中的特征值處理為例，對(duì)存儲(chǔ)模型實(shí)現(xiàn)過(guò)程進(jìn)行描述。特征值的分析依賴多種數(shù)據(jù)源，其中包含網(wǎng)頁(yè)文本、企業(yè)報(bào)表、操作日志等，這些數(shù)據(jù)結(jié)構(gòu)多樣，讀寫場(chǎng)景也各不相同，需要使用不同的存儲(chǔ)工具，例如不同類型的數(shù)據(jù)庫(kù)。如果不使用本文提出的存儲(chǔ)模型進(jìn)行數(shù)據(jù)處理，則需要在業(yè)務(wù)代碼中嵌入不同數(shù)據(jù)庫(kù)的操作代碼，使得開(kāi)發(fā)人員不能將精力完全集中于業(yè)務(wù)層面，需要兼顧數(shù)據(jù)存儲(chǔ)相關(guān)功能的代碼開(kāi)發(fā)。使用本文存儲(chǔ)模型時(shí)，只需按照算子表達(dá)式的規(guī)范定義好算子表達(dá)式，傳入對(duì)應(yīng)的查詢條件，即可得到多種查詢結(jié)果。整個(gè)處理流程分為調(diào)用存儲(chǔ)模型及數(shù)據(jù)處理兩部分。

業(yè)務(wù)層面調(diào)用存儲(chǔ)模型偽代碼如下：

Input：compantName公司名稱，startTime查詢起始時(shí)間，endTime查詢結(jié)束時(shí)間，webCrawlerName爬蟲(chóng)名稱，reportName報(bào)表名稱

Output：combineData含有網(wǎng)頁(yè)文本，企業(yè)報(bào)表，操作日志的數(shù)據(jù)組合

Initialization：combineData， list

1：function dataSelect（webCrawlerName，reportName，compantName，startTime，endTime）

2：list.get（0）.data ← text

3：list.get（0）.operationCondition ← webCrawlerName[×]time

4：list.get（1）.data ← report

5：list.get（1）.operationCondition ← compantName[×]reportName

6：list.get（2）.data ← log

7：list.get（2）.operationCondition ← compantName[×]time

8：combineData.text ← select×collection×list.get（0）

9：combineData.report ← select×collection×list.get（1）

10：combineData.log ← select×collection×list.get（2）

11：return combineData

12：end function

如上偽代碼表示業(yè)務(wù)邏輯層只需組織好操作所需的條件，按照操作規(guī)范對(duì)算子表達(dá)式進(jìn)行調(diào)用即可得到操作結(jié)果。存儲(chǔ)模型內(nèi)部在接收到用戶的調(diào)用請(qǐng)求后，將算子表達(dá)式進(jìn)行拆分解析，按照解析條件調(diào)用映射器，得到對(duì)應(yīng)的映射地址，然后調(diào)用算子完成目標(biāo)地址的數(shù)據(jù)操作，流程如圖4所示。

解析映射器是用動(dòng)態(tài)可配置方式實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)庫(kù)、目標(biāo)表、目標(biāo)字段的記錄和修改，確保算子表達(dá)式請(qǐng)求能準(zhǔn)確對(duì)應(yīng)到某個(gè)算子實(shí)現(xiàn)上，并且算子實(shí)現(xiàn)能夠準(zhǔn)確操作對(duì)應(yīng)地址的數(shù)據(jù)庫(kù)、表名以及字段。本文解析映射器實(shí)現(xiàn)主要通過(guò)幾張記錄關(guān)鍵維度信息的表，具體關(guān)聯(lián)關(guān)系如圖5所示。

存儲(chǔ)模型內(nèi)部處理偽代碼如下（以操作日志查詢?yōu)槔瑹o(wú)論數(shù)據(jù)類型數(shù)據(jù)結(jié)構(gòu)如何變化，存儲(chǔ)模型內(nèi)部的工作原理都是相同的）：

Input：operationType操作類型，operationCondition操作算子條件

Output：combineData.log日志數(shù)據(jù)（可能為空）

Initialization：combineData

1：function select（operationType，operationCondition）

2：desTableId ← tableMapping（operationCondition.compantName）

3：desDatabase ← databaseMapping（desTableId）

4：combineData.log← databaseMapping（desTableId）

5：log← databaseMapping（desTableId）

6：if log.isEmpty（），goto step 7，else goto step 8

7：combineData.log ← text

8：combineData.log ← null

9：return combineData.log

10：end function

5 結(jié)語(yǔ)

本文以中國(guó)農(nóng)業(yè)科學(xué)院信息所農(nóng)企畫(huà)像系統(tǒng)為基礎(chǔ)，提出農(nóng)企領(lǐng)域的通用存儲(chǔ)模型，將數(shù)據(jù)存儲(chǔ)工作從業(yè)務(wù)邏輯中拆分出來(lái)，實(shí)現(xiàn)模塊間的松耦合，增強(qiáng)系統(tǒng)的可迭代和可維護(hù)性。提出的操作算子表達(dá)式具有標(biāo)準(zhǔn)性、通用性、穩(wěn)定性特點(diǎn)，可為該領(lǐng)域同類系統(tǒng)提供一種數(shù)據(jù)存儲(chǔ)的通用解決方案和操作規(guī)范;使用者只需按規(guī)范對(duì)算子表達(dá)式進(jìn)行調(diào)用，即可實(shí)現(xiàn)特定業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)存儲(chǔ)工作。算子表達(dá)式底層依賴算子實(shí)現(xiàn)集支持，算子實(shí)現(xiàn)集從農(nóng)業(yè)領(lǐng)域的數(shù)據(jù)源和操作場(chǎng)景出發(fā)，完成對(duì)多源異構(gòu)數(shù)據(jù)的各類型存儲(chǔ)操作。有了算子表達(dá)式和算子實(shí)現(xiàn)集的共同協(xié)作，整個(gè)存儲(chǔ)模型就可做到對(duì)上屏蔽底層數(shù)據(jù)源，對(duì)下屏蔽上層業(yè)務(wù)邏輯的效果，實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)的統(tǒng)一存儲(chǔ)、統(tǒng)一管理。進(jìn)一步提出解析映射器概念，將解析映射器作為算子表達(dá)式與算子實(shí)現(xiàn)集溝通的橋梁，滿足用戶數(shù)據(jù)源的尋址映射、底層數(shù)據(jù)源的地址切換、存儲(chǔ)工具的動(dòng)態(tài)擴(kuò)增等需求;提升了通用存儲(chǔ)模型的靈活性、低感知度，增強(qiáng)了存儲(chǔ)模型的通用性。

本文研究還可延伸，未來(lái)可在通用存儲(chǔ)模型響應(yīng)性能方面實(shí)現(xiàn)優(yōu)化，加入多級(jí)緩存手段，同時(shí)對(duì)緩存命中率進(jìn)一步優(yōu)化，實(shí)現(xiàn)性能和數(shù)據(jù)訪問(wèn)準(zhǔn)確性方面的提升和突破。

參考文獻(xiàn)：

[1] H G， J W， Z W， et al. Modeling of user portrait through social media[C]. 2018 IEEE International Conference on Multimedia and Expo （ICME）， 2018： 1-6.

[2] NIE J， HUANG L， CUI P， et al. Social media profiler： inferring your social media personality from visual attributes in portrait[M]. China： Springer Verlag， 2016.

[3] CHEN Z M， HU Z Y. User portrait study on UGC website[J]. Computer Systems & Applications，2017，26（1）：24-30.

[4] 劉廣東. 基于“用戶畫(huà)像”的商品推送系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 西安：西安電子科技大學(xué)， 2017.

[5] 王雪. 基于企業(yè)畫(huà)像的公示數(shù)據(jù)查詢系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 大連：大連海事大學(xué)， 2017.

[6] 趙恒. “互聯(lián)網(wǎng)+稅務(wù)”：用大數(shù)據(jù)為企業(yè)“畫(huà)像”[N]. 中國(guó)稅務(wù)報(bào)，2015-08-28 （A2）.

[7] KHAN F A，REHMAN M U，KHALID A，et al. An intelligent data service framework for heterogeneous data sources[J]. Journal of Grid Computing，2018（2）： 1-13.

[8] KIM H S， RAVINDRA P， ANYANWU K. A semantics-aware storage framework for scalable processing of knowledge graphs on Hadoop[C]. Boston， MA：2017 IEEE International Conference on Big Data， 2017：193-202.

[9] 張銳，趙瑞鋒，王海柱，等. 基于統(tǒng)一模型的電網(wǎng)大數(shù)據(jù)存儲(chǔ)與分析服務(wù)平臺(tái)的實(shí)現(xiàn)[J]. 電子技術(shù)與軟件工程，2018（21）： 153-154.

[10] 田野，袁博，李廷力. 物聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)存儲(chǔ)與共享策略研究[J]. 電子學(xué)報(bào)，2016， 44（2）： 247-257.

[11] 譚振強(qiáng)，陳莘萌，馮舸. 基于關(guān)系數(shù)據(jù)庫(kù)的多維數(shù)據(jù)存儲(chǔ)模型[J]. 小型微型計(jì)算機(jī)系統(tǒng)， 2001， 22（7）： 885-888.

[12] 李林. 基于hadoop的海量圖片存儲(chǔ)模型的分析和設(shè)計(jì)[D]. 杭州： 杭州電子科技大學(xué)， 2011.

[13] 劉基陽(yáng). 面向多源異構(gòu)數(shù)據(jù)的數(shù)據(jù)集成中間件的設(shè)計(jì)與開(kāi)發(fā)[D]. 成都： 電子科技大學(xué)， 2018.

[14] M C N， H? S W. Data storage adapter in big data platform[C]. 2015 8th International Conference on Database Theory and Application （DTA），2015：6-9.

[15] J R， S V. A study on storage mechanism for heterogeneous sensor data on big data paradigm[C]. 2017 International Conference on Electrical， Electronics， Communication， Computer， and Optimization Techniques （ICEECCOT），2017： 342-345.

[16] ALKHELAIWI A， DAN G. Smart city data storage optimization in the cloud[C]. 2018 IEEE Fourth International Conference on Big Data Computing Service and Applications，2018：153-160.

[17] N N，M N，M K. Application sensitive energy management framework for storage systems[J]. IEEE Transactions on Knowledge and Data Engineering，2015， 27（9）： 2335-2348.

[18] JIANG L， XU L D， CAI H， et al. An iot-oriented data storage framework in cloud computing platform[J]. IEEE Transactions on Industrial Informatics， 2014， 10（2）： 1443-1451.

[19] 王藝霖. 基于大數(shù)據(jù)技術(shù)的電信用戶畫(huà)像系統(tǒng)的實(shí)現(xiàn)與應(yīng)用[D]. 北京：北京郵電大學(xué)， 2018.

[20] COWEN C C， GALLARDO-GUTIéRREZ E A. A new class of operators and a description of adjoints of composition operators[J]. Journal of Functional Analysis，2006， 238（2）： 447-462.

（責(zé)任編輯：杜能鋼）