基于大數(shù)據(jù)的油品交易營銷與服務(wù)體系創(chuàng)新關(guān)鍵技術(shù)研究與應(yīng)用

朱海洋 江濤 汪如朗 楊軍杰 王寅宇 李政澤

摘要

本文針對(duì)油品全產(chǎn)業(yè)鏈建設(shè)過程中的現(xiàn)貨貿(mào)易交易營銷與服務(wù)體系創(chuàng)新進(jìn)行了深入研究，提出了基于標(biāo)準(zhǔn)化BMP流程配置管理框架技術(shù)、Velocity模板引擎技術(shù)、大數(shù)據(jù)（Big Data）技術(shù)和Redis緩存技術(shù)的關(guān)鍵技術(shù)解決方案，并詳細(xì)介紹了關(guān)鍵技術(shù)具體實(shí)現(xiàn)過程。經(jīng)實(shí)踐應(yīng)用檢驗(yàn)，采用新一代信息技術(shù)開展油品化工等大宗商品現(xiàn)貨交易的營銷與服務(wù)體系創(chuàng)新研究與應(yīng)用，推進(jìn)油品貿(mào)易交易數(shù)據(jù)中心建設(shè)，分析和挖掘會(huì)員企業(yè)的經(jīng)營數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為可供創(chuàng)新決策目標(biāo)支持的有效知識(shí)或信息，實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)信息的自動(dòng)生成和移動(dòng)端推送，提升交易中心的核心競爭能力，具有重要的應(yīng)用價(jià)值。

【關(guān)鍵詞】大數(shù)據(jù) Big Data 油品全產(chǎn)業(yè)鏈服務(wù)創(chuàng)新 營銷創(chuàng)新 現(xiàn)貨交易

1 引言

中國（浙江）自由貿(mào)易試驗(yàn)區(qū)（以下簡稱浙江自貿(mào)區(qū)）自2017年4月掛牌成立以來，一直致力于以制度創(chuàng)新為核心，推動(dòng)油品全產(chǎn)業(yè)鏈投資便利化和貿(mào)易自由化，提升以油品為核心的大宗商品全球配置能力。

世界500強(qiáng)浙江省屬國企物產(chǎn)中大集團(tuán)旗下浙江石油化工交易中心有限公司（以下簡稱浙油中心）是省政府批準(zhǔn)設(shè)立的全省唯——家專業(yè)從事石油化工類大宗商品現(xiàn)貨交易的高技術(shù)服務(wù)平臺(tái)。成立三年來，始終爭當(dāng)浙江自貿(mào)區(qū)建設(shè)系列國家戰(zhàn)略實(shí)施推進(jìn)排頭兵，通過采用大數(shù)據(jù)等新一代信息技術(shù)，開展油品化工等大宗商品現(xiàn)貨交易的營銷與服務(wù)體系創(chuàng)新研究與應(yīng)用，推進(jìn)油品貿(mào)易交易數(shù)據(jù)中心建設(shè)，推動(dòng)油品企業(yè)貿(mào)易交易集聚，為打造浙江自貿(mào)區(qū)油品價(jià)格指數(shù)奠定基礎(chǔ)，取得了良好的成效。

2 關(guān)鍵技術(shù)研究與應(yīng)用

2.1 應(yīng)用功能簡介

大數(shù)據(jù)（Big Data）技術(shù)是繼云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)后出現(xiàn)的新一次信息技術(shù)浪潮，在各類管理創(chuàng)新中得到了廣泛的應(yīng)用。浙油中心堅(jiān)持立足現(xiàn)貨貿(mào)易、服務(wù)實(shí)體經(jīng)濟(jì)，深入挖掘市場各類需求，準(zhǔn)確把握油品貿(mào)易交易市場的痛點(diǎn)與難點(diǎn)，依托工商、稅務(wù)、安監(jiān)、商務(wù)、統(tǒng)計(jì)等政府職能主管部門及銀行金融機(jī)構(gòu)，調(diào)研梳理油品企業(yè)注冊(cè)、監(jiān)管、數(shù)據(jù)等流程及需求，推進(jìn)基于大數(shù)據(jù)的油品化工等大宗商品現(xiàn)貨交易的營銷與服務(wù)體系創(chuàng)新，研發(fā)具有市場營銷創(chuàng)新、企業(yè)注冊(cè)創(chuàng)新、會(huì)員服務(wù)創(chuàng)新、分析決策創(chuàng)新等主要功能模塊的“會(huì)員客戶全生命周期智慧管理系統(tǒng)”，打造油品貿(mào)易交易數(shù)據(jù)中心，構(gòu)建能為政府主管部門加強(qiáng)油品行業(yè)監(jiān)管、踐行“最多跑一次”改革數(shù)字化、打造油品價(jià)格指數(shù)奠定基礎(chǔ)的管理信息系統(tǒng)。系統(tǒng)應(yīng)用功能設(shè)計(jì)如圖1所示。

通過系統(tǒng)的產(chǎn)品報(bào)價(jià)功能，以報(bào)價(jià)和成交兩項(xiàng)數(shù)據(jù)作為參考，將中石油、中石化等主營企業(yè)的當(dāng)日價(jià)格作為補(bǔ)充，并通過采用大數(shù)據(jù)技術(shù)來提升創(chuàng)新方法、思維體系與管理模式，建立大數(shù)據(jù)模型，可形成該產(chǎn)品的當(dāng)日價(jià)格。同時(shí)，通過深入分析和挖掘會(huì)員企業(yè)的經(jīng)營數(shù)據(jù)、信息，及時(shí)掌握會(huì)員企業(yè)的整體運(yùn)營狀況，實(shí)現(xiàn)關(guān)鍵數(shù)據(jù)信息的自動(dòng)生成和移動(dòng)端推送，將數(shù)據(jù)轉(zhuǎn)化為可供創(chuàng)新決策目標(biāo)支持的有效知識(shí)或信息，幫助企業(yè)實(shí)現(xiàn)精準(zhǔn)營銷與提高服務(wù)管理水平，最大程度地降低創(chuàng)新過程中的不確定性，提升企業(yè)參與細(xì)分市場競爭的核心能力。

2.2 關(guān)鍵技術(shù)特點(diǎn)與方案設(shè)計(jì)

在關(guān)鍵技術(shù)特點(diǎn)方面，采用了標(biāo)準(zhǔn)化BMP流程配置管理框架技術(shù)，用戶UI界面方面采用Velocity模板引擎技術(shù)，在此基礎(chǔ)上大量使用Ajax技術(shù)來提高用戶的體驗(yàn)度;在大數(shù)據(jù)技術(shù)環(huán)境下，通過采用數(shù)據(jù)挖掘方法和數(shù)據(jù)可視化技術(shù)，對(duì)海量數(shù)據(jù)進(jìn)行采集、處理和分析，形成可提供技術(shù)創(chuàng)新目標(biāo)決策支持的有效信息或數(shù)據(jù);通過分布式處理和集群，利用Redis二級(jí)緩存技術(shù)，系統(tǒng)優(yōu)先查詢緩存數(shù)據(jù)，大大提高了服務(wù)器處理海量數(shù)據(jù)的能力，為系統(tǒng)提供大數(shù)據(jù)服務(wù)的技術(shù)支撐。

2.2.1 標(biāo)準(zhǔn)化BMP流程配置管理框架技術(shù)

系統(tǒng)以SpringMvc多層架構(gòu)為基礎(chǔ)，設(shè)計(jì)開發(fā)了標(biāo)準(zhǔn)化的BMP流程配置管理模塊，可實(shí)現(xiàn)業(yè)務(wù)流程配置化開發(fā)管理，配置范圍涵蓋業(yè)務(wù)流程所需使用到的數(shù)據(jù)庫表、頁面表單、流程節(jié)點(diǎn)、節(jié)點(diǎn)權(quán)限等。通過可視化的界面，將必要參數(shù)進(jìn)行采集和管理，后臺(tái)程序通過一定規(guī)則的解析，生成對(duì)應(yīng)SQL，Velocity模板、權(quán)限記錄等。配置業(yè)務(wù)數(shù)據(jù)表時(shí)可通過解析數(shù)據(jù)表生成頁面布局需要的字段控件;配置布局控件時(shí)既支持拖拽操作，同時(shí)也支持手動(dòng)編寫;配置流程時(shí)可通過拖拽流程節(jié)點(diǎn)控件、條件控件完成，并對(duì)其進(jìn)行權(quán)限設(shè)置，每個(gè)節(jié)點(diǎn)都支持根據(jù)不同權(quán)限選擇不同布局。部分核心轉(zhuǎn)化代碼如下：

localSteplnfol.setWorkflowid（paramWorkflow.getId（））;

local Steplnfo1.setName（（（MxCell）localObject2）.getValuc（））;

if（（Ioca1JSONObject ！= null）&&（！localJSONObject.isEmptyo））

{localObject3=localJSONObject.getJSONObject（（（MxCell）localObject2）.getId（））;

if（（localObject3卜null）&&（?。ǎ↗SONObject）localObject3）.isNullObject（））&&（?。ǎ↗SONObject）localObject3）.isEmptyU））

{local StepInfol.setActionText（（（JSONObject）localObject3）.getString（"actionText"））;

localSteplnfol.setCounterSign（Integer.value0f（StrUtils.object2int（（（JS ONObject）localObject3）.get（"counterSign"），0）））;

localSteplnfol.setLayoutView（StrUtils.nu112string（（（JSONObject）localObject3）.get（"layoutView"）））：localSteplnfol.setLayoutEdit（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutEdit"）））;

localSteplnfol.setLayoutPrint（StrUtils.nu112string（（（JSONObject）localObject3）.get（"IayoutPrint"）））;

{local StepInfol.setPreConnect（（（JSONObject）IocalObject3）.getString（"preConnect"））;

{local StepInfol.setPostConnect（（（JSONObject）localObject3）.getString（"postConnect"））;

IocalStepInfol.setStepType（Integer.value0f（StrUtils.object2int（（（JSONObject）localObject3）.get（"stepType"），0）））;}}

this.wf saveOrUpdate（localStepInfol）;

2.2.2 Velocity模板引擎技術(shù)

Velocity是一個(gè)基于Java的模板引擎，通過使用功能豐富的模板語言，引用后臺(tái)Java代碼中定義的對(duì)象，實(shí)現(xiàn)Java代碼與網(wǎng)頁分離。由于SpringMVC不限定模板框架，所以Velocity與系統(tǒng)完美兼容。SpringMvc的前端控制器（DispatcherServlet）收到頁面提交的請(qǐng)求，交給處理器映射器（HandlerMapping），可以根據(jù)請(qǐng)求路徑找到相應(yīng)的處理器適配器 （HandlerAdapter），處理器適配器處理完業(yè)務(wù)后再返回ModelAndView對(duì)象，最后由視圖解析器（ViewResolver）解析返回的對(duì)象，將對(duì)象數(shù)據(jù)渲染到頁面上。通過配置spring-servlet.xml的VelocityViewResolvervia標(biāo)簽集成velocity。部分配置代碼如下：

UTF-8

UTF-8

<！--VelocityViewResolver視圖配置-->

<property name-suffix"value=".vm">

2.2.3 大數(shù)據(jù)（Big Data）技術(shù)

大數(shù)據(jù)技術(shù)是從各種類型的數(shù)據(jù)中快速獲得有價(jià)值信息的新一代信息技術(shù)，能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息挖掘出來，為企業(yè)的經(jīng)營管理提供決策依據(jù)，從而提升企業(yè)的核心競爭能力。大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括：大數(shù)據(jù)采集、大數(shù)據(jù)預(yù)處理、大數(shù)據(jù)存儲(chǔ)及管理、大數(shù)據(jù)分析及挖掘、大數(shù)據(jù)展現(xiàn)和應(yīng)用。其中，數(shù)據(jù)挖掘是大數(shù)據(jù)應(yīng)用的重要技術(shù)手段。通過數(shù)據(jù)挖掘，可以從系統(tǒng)沉淀、積累的大量數(shù)據(jù)中挖掘、分析出未知的、隱含的、對(duì)決策有潛在應(yīng)用價(jià)值的模式、關(guān)系和趨勢(shì)。同時(shí)，通過利用這些挖掘出來的知識(shí)、關(guān)系和規(guī)則，構(gòu)建用于數(shù)據(jù)分析、提供預(yù)測(cè)性決策支持的數(shù)據(jù)模型。一般來說，先要確定挖掘目標(biāo)，然后再進(jìn)行數(shù)據(jù)預(yù)處理，最后是通過分類法、回歸分析、特征分析等進(jìn)行數(shù)據(jù)挖掘。系統(tǒng)的日常運(yùn)行過程中記錄、沉淀了用戶大量的行為數(shù)據(jù)，這些數(shù)據(jù)可能存在一些質(zhì)量問題，比如說，數(shù)據(jù)中可能包含了不正確的值，必須在數(shù)據(jù)清理后才能為模型所用。技術(shù)上，Oracle Data Mining組件可以高效的從海量數(shù)據(jù)中提取信息，供應(yīng)用程序開發(fā)員快速提取、分析數(shù)據(jù)。ODM數(shù)據(jù)挖掘組件對(duì)分類、預(yù)測(cè)、回歸、聚類等方法提供了數(shù)據(jù)支持。部分核心實(shí)現(xiàn)代碼如下：

public void clipData（OraClippingTypeclippingType，String xformResult）throwsJDMException

{String schema=（m_dmeConn.getConnectionSpec（）.getName（））.toUpperCase（）;

OraClippingTransform oct=m_xformFactory.createClippingTransform（）;

oct.setTransformInputData（schema+"."+"MINING_DATA_BUILD_V"）;

oct.setTransformOutputData（schema+"."+，xformResult）;

String[] excludedList=new String[]{"CUST_ID"，"CUST_GENDER"};

oct.setExcludeColumnList（excludedList）;

oct.setClippingType（clippingType）;

oct.setTailFraction（0.03）;

ArrayList xformList=newArrayListn;

xfonnList.add（oct）;

OraTransformationSequencexformSeq=m_xformFactory.createTransfonnationSequence（

schema+"."+"MININGDATA_BUILD_V"，

xformList，schema+"."+xformResult）;

String xfonnSeqName="clp_"+clippingType.name（）+"_xfSeq";

m_dmeConn.saveObject（xfonnSeqName，xformSeq，true）;

OraTransfonnationTask xfonnTask=m_xformTaskFactory.create（xfonnSeqName，false）;

executeTask（xformTask，"xfromClip_jdm"）;

displayClippingResults（schema，xfonnResult，"AGE"，clippingType）;}

2.2.4 Redis緩存技術(shù)

采用分布式集群的技術(shù)，可以實(shí)現(xiàn)多節(jié)點(diǎn)完成一個(gè)任務(wù)，并且每個(gè)節(jié)點(diǎn)都具備擴(kuò)展性，保證了系統(tǒng)的高效、穩(wěn)定、易維護(hù)。同時(shí)，采用高性能的Redis緩存技術(shù)，為系統(tǒng)服務(wù)提供大數(shù)據(jù)的技術(shù)支撐。Redis是一種高性能的Key-Value存儲(chǔ)系統(tǒng)，其遵守BSD協(xié)議、支持網(wǎng)絡(luò)、可基于內(nèi)存，也可以持久化。為了保證效率，數(shù)據(jù)都緩存在內(nèi)存中，Redis會(huì)周期性的把更新的數(shù)據(jù)寫入磁盤中或把修改操作寫入文件，并且在此基礎(chǔ)上實(shí)現(xiàn)了Master-slave同步。Redis常與數(shù)據(jù)庫結(jié)合使用，當(dāng)用戶訪問系統(tǒng)時(shí)優(yōu)先到Redis中查詢，如有結(jié)果就迅速返回。若Redis中查無結(jié)果，再到數(shù)據(jù)庫中查詢，在返回的同時(shí)也在Redis中存放一份，以便下次查詢。調(diào)用Redis的部分配置文件代碼如下：

刀獲取數(shù)據(jù)源

private Jedis getJedisResource（Stringkey）{

Jedis myjedis=null;

try {lock.lock（）;

JedisPoolsinglePool=getpool（）;

myjedis=singlePool.getResource（）;

myjedis=getRedisDB（key，myjedis）;}

catch（Exception e）{

logger.error（"獲取jedis resource異常"）：}

finally{lock.unlock（）;）

return myjedis;}

//從redis獲得數(shù)據(jù)

public String getValue（String key）{

String value=null;Jedismyjedis=null;

try{myjedis=getJedisResource（key）;

value=myjedis.get（key）;}

catch（Exceptione）{retumBrokenResource（myjedis）;

logger.error（"操作redis getValue異常"）;

return"0";）

finally{//返還連接池

returnResource（pool，myjedis）;}

return value;}

3 取得成效和未來展望

3.1 經(jīng)濟(jì)效益和社會(huì)效益顯著

系統(tǒng)自2017年上線運(yùn)行以來，截止目前已集聚油品化工貿(mào)易交易類會(huì)員企業(yè)950余家，2018年1-10月會(huì)員企業(yè)累計(jì)實(shí)現(xiàn)貿(mào)易交易額1001.54億元，同比增長187.15%;實(shí)現(xiàn)貿(mào)易交易量1740.75萬噸，同比增長138.34%;為地方政府稅收貢獻(xiàn)1.53億元，同比增長169.34%，經(jīng)濟(jì)效益和社會(huì)效益顯著。被中國石油流通協(xié)會(huì)評(píng)價(jià)為油品化工交易核心平臺(tái)，處于國內(nèi)石油化工交易行業(yè)領(lǐng)先地位。

3.2 有望在全國其他自貿(mào)試驗(yàn)區(qū)復(fù)制推廣

經(jīng)第三方國際知名權(quán)威評(píng)估機(jī)構(gòu)評(píng)價(jià)認(rèn)為，該創(chuàng)新成果圍繞市場主體實(shí)際需求，集合了流程手續(xù)簡化、監(jiān)管模式創(chuàng)新、大數(shù)據(jù)應(yīng)用等多重舉措，打造資源統(tǒng)籌優(yōu)化配置的綜合服務(wù)平臺(tái)，是推進(jìn)油品全產(chǎn)業(yè)鏈打造的有力舉措，適合在全國其它自貿(mào)試驗(yàn)區(qū)進(jìn)行推廣，被列入浙江自貿(mào)區(qū)向國家商務(wù)部報(bào)送推薦的第二批創(chuàng)新成果之一。

3.3 探索與政府主管部門管理系統(tǒng)進(jìn)行數(shù)二艇集成

探索推動(dòng)工商、稅務(wù)、安監(jiān)、商務(wù)、統(tǒng)計(jì)等政府主管部門向“會(huì)員客戶全生命周期智慧管理系統(tǒng)”開放部分?jǐn)?shù)據(jù)接口，探索與金稅三期系統(tǒng)進(jìn)行數(shù)據(jù)的高度集成，打破“信息孤島”，實(shí)現(xiàn)各項(xiàng)數(shù)據(jù)、信息互聯(lián)互通，以及業(yè)務(wù)流與信息流的實(shí)時(shí)同步，進(jìn)一步提升數(shù)據(jù)信息的實(shí)時(shí)性、準(zhǔn)確性、權(quán)威性。

3.4 為打造油品價(jià)格指數(shù)莫定大數(shù)據(jù)基礎(chǔ)

通過建立大數(shù)據(jù)中心，可以形成浙江自貿(mào)區(qū)任意時(shí)段所有油品化工類貿(mào)易企業(yè)貿(mào)易交易品種的最高價(jià)、最低價(jià)、加權(quán)平均價(jià)以及價(jià)格趨勢(shì)曲線圖，探索形成若干油品品種貿(mào)易交易價(jià)格指數(shù)為主的市場價(jià)格標(biāo)桿，逐步建成全國性、全球性的石油化工產(chǎn)品定價(jià)中心，為打造浙江自貿(mào)區(qū)“油品價(jià)格指數(shù)”奠定大數(shù)據(jù)基礎(chǔ)，為企業(yè)經(jīng)營和決策提供支持。

3.5 構(gòu)建與新一代信息技術(shù)結(jié)合應(yīng)用的智能化交易生態(tài)系統(tǒng)

省政府已批示同意以浙油中心為基礎(chǔ)打造浙江自貿(mào)試驗(yàn)區(qū)國際油品交易中心。未來，計(jì)劃采用大數(shù)據(jù)、云計(jì)算、人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈、量子信息、虛擬現(xiàn)實(shí)等新一代信息技術(shù)推進(jìn)科技創(chuàng)新，搭建供應(yīng)鏈金融、智能倉儲(chǔ)物流等數(shù)字化集成服務(wù)體系，推進(jìn)浙江自貿(mào)區(qū)油品全產(chǎn)業(yè)鏈大數(shù)據(jù)中心建設(shè)，構(gòu)建與新一代信息技術(shù)結(jié)合應(yīng)用的數(shù)字化、智能化交易生態(tài)系統(tǒng)。

4 結(jié)束語

采用大數(shù)據(jù)等關(guān)鍵技術(shù)，推動(dòng)油品化工等大宗商品現(xiàn)貨交易的營銷與服務(wù)體系創(chuàng)新研究與應(yīng)用，推進(jìn)會(huì)員客戶全生命周期智慧管理系統(tǒng)建設(shè)，打造國際化油品貿(mào)易交易企業(yè)服務(wù)平臺(tái)，對(duì)于落實(shí)浙江自貿(mào)區(qū)系列國家戰(zhàn)略、保障國家能源安全，爭取我國在國際油品市場的話語權(quán)、定價(jià)權(quán)，推進(jìn)人民幣國際化，具有重大戰(zhàn)略意義

參考文獻(xiàn)

[1]國務(wù)院關(guān)于印發(fā)中國（浙江）自由貿(mào)易試驗(yàn)區(qū)總體方案的通知[R].國務(wù)院文件國發(fā)[2017]16號(hào)，2017-3-15.

[2]朱海洋.基+Spring MVC的石油化工現(xiàn)貨交易結(jié)算倉儲(chǔ)一體化系統(tǒng)構(gòu)建[J].電腦編程技巧與維護(hù)，2017（12）：6-11.

[3]曹志雷，教穎輝，馮力.基于大數(shù)據(jù)的智能化城市管理技術(shù)的研究與應(yīng)用[J].中國安防，2018（03）：55-57.

[4]朱東華，張嶷，汪雪鋒.大數(shù)據(jù)環(huán)境下技術(shù)創(chuàng)新管理方法研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2013，34（04）：172-180.

[5]李鵬鵬，鄭揚(yáng)飛，劉玉龍.Redis在即時(shí)通訊系統(tǒng)中的應(yīng)用[J].軟件，2017，38（01）：115-119.

[6]中國（浙江）自由貿(mào)易試驗(yàn)區(qū)一周年制度創(chuàng)新成果第三方評(píng)估報(bào)告[R].畢馬威企業(yè)咨詢（中國）有限公司，2018-4.

[7]浙江省人民政府金融工作辦公室關(guān)于上報(bào)浙江自貿(mào)區(qū)國際油品交易中心建設(shè)實(shí)施方案（送審稿）的請(qǐng)示[R].浙金融辦[2018]59號(hào)，2018-8-20.