摘要:煙草行業(yè)在生產(chǎn)、運(yùn)轉(zhuǎn)階段會產(chǎn)生大量數(shù)據(jù)資產(chǎn),而數(shù)據(jù)資產(chǎn)作為企業(yè)發(fā)展的核心,應(yīng)進(jìn)一步加強(qiáng)數(shù)據(jù)中臺建設(shè),整合多元化數(shù)據(jù),實(shí)現(xiàn)資產(chǎn)具化。該研究以數(shù)據(jù)為驅(qū)動,根據(jù)煙草行業(yè)實(shí)際需求,從數(shù)據(jù)集成、分析以及服務(wù)的視角,探究大數(shù)據(jù)、人工智能等先進(jìn)技術(shù)在數(shù)據(jù)中臺建設(shè)項(xiàng)目中的具體應(yīng)用,以此提高數(shù)據(jù)處理質(zhì)量和數(shù)據(jù)成果效能,推動產(chǎn)業(yè)高效、可持續(xù)化發(fā)展。
關(guān)鍵詞:煙草行業(yè);數(shù)據(jù)中臺建設(shè);智能化
中圖分類號:TP311 "文獻(xiàn)標(biāo)志碼:A
0 引言
當(dāng)前,煙草行業(yè)在生產(chǎn)和運(yùn)營過程中積累了大量的數(shù)據(jù)信息,針對數(shù)據(jù)資產(chǎn),傳統(tǒng)管理方式難以滿足現(xiàn)代化生產(chǎn)和運(yùn)營需求,存在資源浪費(fèi)與信息孤島現(xiàn)象。為解決這一問題,加強(qiáng)數(shù)據(jù)中臺的建設(shè)尤為迫切。數(shù)據(jù)中臺通過整合多源異構(gòu)數(shù)據(jù),優(yōu)化框架設(shè)計(jì)實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的集中管理和高效利用,提升企業(yè)數(shù)據(jù)處理能力和分析決策水平,解決當(dāng)前數(shù)據(jù)管理局限性問題。
1 煙草行業(yè)數(shù)據(jù)中臺建設(shè)項(xiàng)目具體規(guī)劃
1.1 框架設(shè)計(jì)
在現(xiàn)代煙草行業(yè),生產(chǎn)運(yùn)行所產(chǎn)生的數(shù)據(jù)量激增,如何高效管理與利用數(shù)據(jù)資產(chǎn)成為提高企業(yè)競爭力的關(guān)鍵。數(shù)據(jù)中臺建設(shè)旨在盤點(diǎn)數(shù)據(jù)資源,突破各業(yè)務(wù)系統(tǒng)局限,為相關(guān)決策提供有力參考。通過數(shù)據(jù)中臺,不僅能提升數(shù)據(jù)處理效率,還能打造數(shù)據(jù)驅(qū)動格局,優(yōu)化生產(chǎn)流程,并加強(qiáng)供應(yīng)鏈管理,落實(shí)更加精細(xì)化的市場營銷策略,促進(jìn)企業(yè)可持續(xù)發(fā)展。對現(xiàn)有數(shù)據(jù)中臺系統(tǒng)框架進(jìn)行優(yōu)化,框架設(shè)計(jì)結(jié)構(gòu)如圖1所示。下面對框架設(shè)計(jì)進(jìn)行具體介紹。
1.1.1 應(yīng)用層
應(yīng)用層包括用戶交互界面和業(yè)務(wù)應(yīng)用程序,通過前端技術(shù)棧(如React、Angular、Vue.js)構(gòu)建用戶交互界面,確保用戶能夠便捷地獲取和利用數(shù)據(jù)資產(chǎn)。后端使用Spring Boot、Django、Node.js等框架開發(fā)業(yè)務(wù)應(yīng)用程序,確保應(yīng)用層的靈活性和擴(kuò)展性。該層還開發(fā)移動應(yīng)用、Web應(yīng)用以及桌面應(yīng)用,使不同層級和崗位的工作人員根據(jù)需求訪問數(shù)據(jù),完成相關(guān)業(yè)務(wù)操作。例如,生產(chǎn)管理人員可通過應(yīng)用層實(shí)時(shí)監(jiān)控生產(chǎn)數(shù)據(jù),調(diào)整生產(chǎn)策略。
1.1.2 服務(wù)層
服務(wù)層負(fù)責(zé)構(gòu)建一系列微服務(wù)架構(gòu),利用RESTful API、GraphQL等技術(shù)確保各項(xiàng)服務(wù)能夠快速響應(yīng),并搭配Docker進(jìn)行容器化,使用Kubernetes技術(shù)進(jìn)行容器編排與管理,確保服務(wù)的可擴(kuò)展性和高可用性。在煙草數(shù)據(jù)資產(chǎn)運(yùn)維中,服務(wù)層可提供生產(chǎn)監(jiān)控、供應(yīng)鏈管理、銷售數(shù)據(jù)分析等服務(wù),通過標(biāo)準(zhǔn)化API向外部系統(tǒng)提供數(shù)據(jù)信息。
1.1.3 數(shù)據(jù)層
數(shù)據(jù)層是數(shù)據(jù)中臺的核心部分,包括緩沖數(shù)據(jù)層、公共數(shù)據(jù)層和萃取數(shù)據(jù)層。緩沖數(shù)據(jù)層用于臨時(shí)存儲實(shí)時(shí)采集的數(shù)據(jù),使用Kafka、RabbitMQ等技術(shù)進(jìn)行實(shí)時(shí)數(shù)據(jù)采集和傳輸。公共數(shù)據(jù)層采用Hadoop、HBase等技術(shù)進(jìn)行大規(guī)模數(shù)據(jù)存儲,提供統(tǒng)一視圖。該層數(shù)據(jù)可用于支持企業(yè)日常運(yùn)營,例如市場銷售數(shù)據(jù)、庫存數(shù)據(jù)等。萃取數(shù)據(jù)層則利用Spark進(jìn)行大數(shù)據(jù)處理與分析,通過TensorFlow、PyTorch等技術(shù)進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練與預(yù)測,針對特定業(yè)務(wù)需求還可深度挖掘數(shù)據(jù)并分析,例如通過對銷售數(shù)據(jù)和市場趨勢的深度分析,生成銷售預(yù)測與市場需求預(yù)測報(bào)告,幫助企業(yè)制定戰(zhàn)略決策。
1.1.4 業(yè)務(wù)邏輯層
業(yè)務(wù)邏輯層通過引入業(yè)務(wù)規(guī)則引擎和工作流管理系統(tǒng),進(jìn)行復(fù)雜業(yè)務(wù)邏輯的建模與執(zhí)行。其中,業(yè)務(wù)規(guī)則引擎的設(shè)計(jì)主要基于Java的BRMS系統(tǒng),直接通過規(guī)則語法定義業(yè)務(wù);工作流管理系統(tǒng)部分可選擇Apache Airflow和Camunda輕量級自動化決策平臺,支持決策建模標(biāo)記(Design Modification Note,DMN)與業(yè)務(wù)流程建模標(biāo)記(Business Process Modeling Notation,BPMN)。在煙草行業(yè),業(yè)務(wù)邏輯層能夠?qū)崿F(xiàn)生產(chǎn)計(jì)劃優(yōu)化、庫存管理自動化、銷售策略調(diào)整等復(fù)雜業(yè)務(wù)操作,確保企業(yè)運(yùn)營的高效性和靈活性。
1.1.5 基礎(chǔ)設(shè)施層
基礎(chǔ)設(shè)施層作為數(shù)據(jù)中臺的技術(shù)底座,應(yīng)構(gòu)建高性能計(jì)算集群、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備等硬件設(shè)施,并通過容器化技術(shù)和云計(jì)算平臺實(shí)現(xiàn)資源的動態(tài)分配和彈性擴(kuò)展。采用Kubernetes進(jìn)行容器編排和管理,以保障系統(tǒng)的高可靠性和靈活性[1]。同時(shí),通過防火墻、入侵檢測系統(tǒng)和數(shù)據(jù)加密等技術(shù),可確保數(shù)據(jù)在傳輸和存儲過程中的安全性。在煙草行業(yè)中,基礎(chǔ)設(shè)施層保障數(shù)據(jù)中臺穩(wěn)定運(yùn)行,支持各類數(shù)據(jù)處理和分析任務(wù)的高效執(zhí)行。
1.2 關(guān)鍵技術(shù)應(yīng)用
1.2.1 元數(shù)據(jù)管理技術(shù)
元數(shù)據(jù)管理技術(shù)通過元數(shù)據(jù)維護(hù)、注冊、檢索分析實(shí)現(xiàn)對數(shù)據(jù)資產(chǎn)的管理與應(yīng)用。元數(shù)據(jù)注冊負(fù)責(zé)將各類數(shù)據(jù)源、數(shù)據(jù)處理流程和數(shù)據(jù)結(jié)果登記在元數(shù)據(jù)管理系統(tǒng)中,以便后續(xù)的查詢和管理。注冊過程通過統(tǒng)一接口和描述語言(JSON、XML),將數(shù)據(jù)源、數(shù)據(jù)處理過程和結(jié)果的元數(shù)據(jù)注冊到元數(shù)據(jù)倉庫,確保信息的唯一性和規(guī)范性[2]。
元數(shù)據(jù)檢索分析過程通過信息的自主查詢與系統(tǒng)分析,為管理決策提供參考。主要涉及數(shù)據(jù)模型SQL腳本生成與導(dǎo)出、數(shù)據(jù)模型ER圖等技術(shù)。其中,數(shù)據(jù)模型SQL腳本生成與導(dǎo)出技術(shù)通過解析數(shù)據(jù)模型的元數(shù)據(jù),自動生成相應(yīng)的SQL腳本并對數(shù)據(jù)表進(jìn)行創(chuàng)建、實(shí)時(shí)更新及查詢。數(shù)據(jù)模型ER圖技術(shù)則作為一種圖形化工具,展示實(shí)體、屬性之間的關(guān)系。ER圖通過元數(shù)據(jù)解析,生成具體關(guān)系圖形,函數(shù)如下:
ER=ER_Diagram(E,A,R)(1)
1.2.2 多源異構(gòu)數(shù)據(jù)整合技術(shù)
多源異構(gòu)數(shù)據(jù)整合技術(shù)主要應(yīng)用于數(shù)據(jù)層,負(fù)責(zé)將來自生產(chǎn)設(shè)備、供應(yīng)鏈系統(tǒng)、銷售終端等不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行統(tǒng)一處理與系統(tǒng)化管理。該技術(shù)通過ETL(抽取、轉(zhuǎn)換、加載)過程實(shí)現(xiàn)對數(shù)據(jù)的清洗、轉(zhuǎn)換與整合,形成統(tǒng)一、規(guī)范化的數(shù)據(jù)集。該技術(shù)將數(shù)據(jù)源按照對應(yīng)類型分類,如結(jié)構(gòu)化數(shù)據(jù)(關(guān)系數(shù)據(jù)庫)、半結(jié)構(gòu)化數(shù)據(jù)(JSON、XML文件)、非結(jié)構(gòu)化數(shù)據(jù)(文本、圖像)等。在數(shù)據(jù)中臺實(shí)際運(yùn)行中,該技術(shù)配合元數(shù)據(jù)管理技術(shù),應(yīng)用Apache Nifi等集成工具,處理各類交易數(shù)據(jù),將不同格式的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的內(nèi)部數(shù)據(jù)格式,以便后續(xù)分析和利用[3]。
1.2.3 信息分類與編碼技術(shù)
數(shù)據(jù)分類體系的構(gòu)建包括確定分類標(biāo)準(zhǔn)和分類層級。采用層次化分類方法對數(shù)據(jù)進(jìn)行多維度、多層級的細(xì)化分類。根據(jù)層次化分類,在系統(tǒng)中采用數(shù)字集合形式進(jìn)行表述,如一級分類集合A={a1,a2,…},其中元素a1表示原材料數(shù)據(jù),a2表示生產(chǎn)過程數(shù)據(jù)等。二級分類集合為BA,如Ba2={b21,b22,b23,…},其中,元素b21表示設(shè)備運(yùn)行數(shù)據(jù),b22表示環(huán)境監(jiān)測數(shù)據(jù),b23表示工藝參數(shù)數(shù)據(jù)。編碼標(biāo)準(zhǔn)應(yīng)具有唯一性、規(guī)范性和擴(kuò)展性,以保證編碼的唯一識別和規(guī)范使用。該技術(shù)的實(shí)現(xiàn)主要得益于數(shù)據(jù)分析與編碼模型的設(shè)計(jì),基于機(jī)器學(xué)習(xí)和自然語言處理技術(shù),自動識別數(shù)據(jù)特征,進(jìn)行分類標(biāo)注和編碼生成[4]。本文使用支持向量機(jī)(Support Vector Machine,SVM)或隨機(jī)森林(Random Forest,RF)算法進(jìn)行分類訓(xùn)練和預(yù)測,公式如下:
y=f(x)(2)
其中,y表示分類標(biāo)簽,x表示數(shù)據(jù)特征,f表示分類模型。結(jié)合詞嵌入(Word Embedding,WE)和命名實(shí)體識別(Named Entity Recognition,NER)技術(shù),提取數(shù)據(jù)中的關(guān)鍵信息,生成相應(yīng)的編碼。
2 場景應(yīng)用
2.1 消費(fèi)群體畫像
通過數(shù)據(jù)中臺的建設(shè),本文利用城市網(wǎng)格設(shè)計(jì)與聚類分析算法,對消費(fèi)群體進(jìn)行精細(xì)化畫像。該方法不僅能幫助企業(yè)識別高價(jià)值客戶,還能為個(gè)性化營銷策略的制定提供數(shù)據(jù)支持;選用K-means聚類,將相似的消費(fèi)行為數(shù)據(jù)聚集在一起,形成不同的消費(fèi)群體畫像。K-means聚類算法過程為:數(shù)據(jù)收集與預(yù)處理→特征提取→聚類。其中,聚類部分設(shè)定中心數(shù)k,初始化聚類中心為μ1,μ2,…,μk,迭代執(zhí)行式(3)—(5)所示步驟,直至聚類中心收斂。
d(xi,μj)=‖xi-μj‖(3)
Cj=xi:argminjd(xi,μj)(4)
μj=1Cj∑xi∈Cjxi(5)
其中,xi表示第i個(gè)消費(fèi)者的特征向量,μj表示第j個(gè)聚類中心的特征向量,d(xi,μj)表示第i個(gè)消費(fèi)者與第j個(gè)聚類中心之間的距離,Cj表示第j個(gè)聚類包含的消費(fèi)者集合。
在實(shí)際應(yīng)用中,企業(yè)可以從多種渠道收集消費(fèi)者數(shù)據(jù),包括銷售終端(Point of Sale,POS)系統(tǒng)、線上銷售平臺、會員管理系統(tǒng)和市場調(diào)研問卷等。收集的數(shù)據(jù)包括購買頻次、消費(fèi)金額、偏好品牌、購買時(shí)間和地理位置等。通過對消費(fèi)群體的精準(zhǔn)畫像,企業(yè)實(shí)現(xiàn)精準(zhǔn)營銷,加強(qiáng)客戶管理。例如:通過聚類分析,煙草企業(yè)可以識別出購買頻次高、消費(fèi)金額大的高價(jià)值客戶。這些客戶對企業(yè)的利潤貢獻(xiàn)大,企業(yè)可以為他們提供專屬優(yōu)惠、會員特權(quán)和定制化服務(wù),提升客戶滿意度和忠誠度。同時(shí),企業(yè)還可將客戶劃分為不同的消費(fèi)群體,根據(jù)群體特征制定針對性的營銷策略。例如,對高頻次購買群體推送新品信息和促銷活動,對低頻次購買群體進(jìn)行激勵(lì)消費(fèi)的優(yōu)惠活動,從而提高營銷的精準(zhǔn)度和效果。根據(jù)群體需求進(jìn)行更新,優(yōu)化產(chǎn)品線開發(fā)新產(chǎn)品,更好地滿足客戶需求提高市場競爭力。此外,企業(yè)還可對異常消費(fèi)模式進(jìn)行識別,及時(shí)預(yù)警潛在的客戶流失或市場變化。例如,當(dāng)某一群體的購買頻次明顯下降時(shí),企業(yè)可以及時(shí)采取措施,如開展回訪活動或推出特定優(yōu)惠,挽回客戶。
2.2 核心業(yè)務(wù)可視化
為滿足煙草企業(yè)管理和決策的需求,核心業(yè)務(wù)可視化設(shè)計(jì)采用大屏展示的方式,為不同業(yè)務(wù)需求的部門提供全方位數(shù)據(jù)支持。借助可視化工具,多維度展示生產(chǎn)、銷售、庫存等關(guān)鍵業(yè)務(wù)數(shù)據(jù),實(shí)現(xiàn)實(shí)時(shí)監(jiān)控與動態(tài)分析,幫助企業(yè)管理者快速、準(zhǔn)確地做出決策。核心業(yè)務(wù)可視化旨在為企業(yè)用戶提供一站式、全方位的數(shù)據(jù)支持,能夠展示多維度數(shù)據(jù)的可視化情況,滿足管理與決策數(shù)據(jù)看板分析、業(yè)務(wù)專題分析和員工自助分析等需求[5];集成多種可視化工具,實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)展示和動態(tài)更新;使用Tableau構(gòu)建交互式儀表板,展示生產(chǎn)效率、銷售業(yè)績、庫存狀態(tài)等多維度數(shù)據(jù)信息。通過拖拽操作,用戶可自由選擇數(shù)據(jù)維度和展示方式,實(shí)現(xiàn)數(shù)據(jù)的深入分析和挖掘;采用Power BI構(gòu)建管理與決策數(shù)據(jù)看板,整合各業(yè)務(wù)部門的數(shù)據(jù),提供綜合性分析報(bào)告和決策支持;利用ECharts等工具進(jìn)行業(yè)務(wù)專題分析,通過熱力圖、折線圖、柱狀圖等多種圖表形式,直觀展示業(yè)務(wù)數(shù)據(jù)。核心業(yè)務(wù)可視化設(shè)計(jì)支持用戶自定義分析維度和展示樣式,實(shí)現(xiàn)個(gè)性化數(shù)據(jù)分析。
2.3 供應(yīng)鏈優(yōu)化
數(shù)據(jù)中臺能夠整合供應(yīng)鏈各環(huán)節(jié)的數(shù)據(jù),包括原材料采購、庫存管理、物流運(yùn)輸?shù)?。利用多源異?gòu)數(shù)據(jù)整合技術(shù),數(shù)據(jù)中臺能夠識別并分類數(shù)據(jù)源,如企業(yè)資源計(jì)劃(Enterprise Resource Planning,ERP)系統(tǒng)、倉庫管理系統(tǒng)(Warehouse Management System,WMS)和運(yùn)輸管理系統(tǒng)(Transportation Management System,TMS);使用ETL工具從各數(shù)據(jù)源中抽取數(shù)據(jù),并進(jìn)行清洗和轉(zhuǎn)換,確保數(shù)據(jù)一致性;將數(shù)據(jù)加載到統(tǒng)一存儲系統(tǒng)(如Hadoop HDFS、Ceph)后,進(jìn)行整合與分析,形成供應(yīng)鏈全景視圖。
數(shù)據(jù)中臺通過可視化工具(如Tableau、Power BI)構(gòu)建供應(yīng)鏈管理儀表盤,實(shí)時(shí)展示采購進(jìn)度、庫存狀態(tài)、運(yùn)輸路線等,實(shí)現(xiàn)供應(yīng)鏈的可視化管理,提升效率,降低成本;通過數(shù)據(jù)中臺實(shí)時(shí)監(jiān)控庫存數(shù)據(jù),結(jié)合銷售預(yù)測和生產(chǎn)計(jì)劃,優(yōu)化庫存水平,避免庫存過多或短缺;利用元數(shù)據(jù)管理技術(shù),定義并維護(hù)庫存數(shù)據(jù)的元數(shù)據(jù),包括產(chǎn)品ID、數(shù)量、存儲位置等;將數(shù)據(jù)注冊到元數(shù)據(jù)倉庫,確保數(shù)據(jù)的一致性和可追溯性;提供數(shù)據(jù)檢索接口,實(shí)現(xiàn)對庫存數(shù)據(jù)的高效查詢;通過分析工具進(jìn)行深度分析,預(yù)測未來需求,優(yōu)化庫存水平;基于分析結(jié)果,自動生成補(bǔ)貨計(jì)劃,設(shè)定庫存預(yù)警機(jī)制,及時(shí)處理庫存異常,實(shí)現(xiàn)庫存管理的自動化和智能化,提高庫存周轉(zhuǎn)率和資金利用率。
3 結(jié)語
在現(xiàn)代煙草行業(yè)中,生產(chǎn)和運(yùn)營過程會生成大量數(shù)據(jù)資產(chǎn),這類資產(chǎn)是企業(yè)發(fā)展的關(guān)鍵驅(qū)動力。隨著信息技術(shù)的迅猛發(fā)展,傳統(tǒng)數(shù)據(jù)管理模式難以滿足高效、精細(xì)化管理的需求,企業(yè)應(yīng)對現(xiàn)有技術(shù)進(jìn)行優(yōu)化,通過構(gòu)建數(shù)據(jù)中臺實(shí)現(xiàn)資產(chǎn)的統(tǒng)一管理。以數(shù)據(jù)驅(qū)動為基礎(chǔ),該研究結(jié)合實(shí)際需求提高企業(yè)運(yùn)營效率,優(yōu)化資源配置,推動產(chǎn)業(yè)的高效、可持續(xù)化發(fā)展。
參考文獻(xiàn)
[1]林旻潔,周曉明.運(yùn)用數(shù)字化技術(shù)提升煙草企業(yè)財(cái)會監(jiān)督效能的研究[J].財(cái)會學(xué)習(xí),2023(30):40-42.
[2]趙建翊,吳光哲,郁磊彬.中臺理念賦能煙草商業(yè)企業(yè)數(shù)字化轉(zhuǎn)型[J].中國集體經(jīng)濟(jì),2022(31):65-68.
[3]張曉博,元棟.低代碼平臺對煙草企業(yè)信息化建設(shè)的啟發(fā)[J].合作經(jīng)濟(jì)與科技,2022(21):112-114.
[4]余仁聰,王波,何珣,等.武漢煙草物流中心智慧物流建設(shè)規(guī)劃[J].物流技術(shù),2022(9):124-128.
[5]章凱.雙中臺物流管理系統(tǒng)的協(xié)同設(shè)計(jì)方案分析[J].集成電路應(yīng)用,2022(7):286-288.
(編輯 沈 強(qiáng)編輯)
Research on construction project of tobacco industry data platform
YUAN" Zhimin
(Jiangxi China Tobacco Industry Co., Ltd., Nanchang 330096, China)
Abstract: The tobacco industry generates a large amount of data assets during the production and operation stages. As the core of enterprise development, the data assets should further strengthen the construction of data platforms, integrate diversified data, and achieve asset concretization. Based on the actual needs of the tobacco industry, the study is data-driven and explores the specific applications of advanced technologies such as big data and artificial intelligence in data center construction projects from the perspectives of data integration, analysis, and services. This study aims to improve the quality of data processing and the efficiency of data results, and promote the efficient and sustainable development of the industry.
Key words: tobacco industry; construction of data platform; intelligence