煙草行業(yè)基于多源數(shù)據(jù)融合建模與應用研究

杜炳濤 李寧麗

摘要：數(shù)據(jù)要素已成為驅動經濟實現(xiàn)高質量增長與培育新型動能的關鍵引擎。本文旨在探究如何利用煙草行業(yè)的內部數(shù)據(jù)，并將其與宏觀經濟指標、人口統(tǒng)計學數(shù)據(jù)、社會輿情等多種外部數(shù)據(jù)源相結合，在嚴格遵守數(shù)據(jù)隱私保護及法律法規(guī)的前提下，應用多模型融合技術構建煙草市場信心指數(shù)。這一指數(shù)旨在服務于對煙草和茶飲市場的運行狀態(tài)評估、銷售趨勢預測、智能投放決策、貨源精準配置、品牌建設以及金融信貸等多個應用場景，從而有力支撐數(shù)據(jù)交易流通場景的構建與發(fā)展。

關鍵詞：數(shù)據(jù)交易；多源數(shù)據(jù)融合；數(shù)據(jù)建模；市場信心指數(shù)；煙草行業(yè)；茶飲市場；智能決策支持

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）11-0060-03

0 引言

近年來，中共中央、國務院發(fā)布了《關于構建更加完善的要素市場化配置體制機制的意見》，正式將“數(shù)據(jù)”列為生產要素，并提出了促進數(shù)據(jù)要素市場化配置的改革方向。隨后，又陸續(xù)在《國務院辦公廳關于印發(fā)要素市場化配置綜合改革試點總體方案的通知》《“十四五”數(shù)字經濟發(fā)展規(guī)劃》《國務院辦公廳關于印發(fā)全國一體化政務大數(shù)據(jù)體系建設指南的通知》等政策文件以及中央深改委第二十六次會議上，進一步提出要促進數(shù)據(jù)要素資源在更大范圍內暢通流動，加快構建數(shù)據(jù)基礎制度體系，旨在促進國家數(shù)據(jù)要素市場化配置的健康發(fā)展，并構建以數(shù)據(jù)要素為核心的數(shù)字經濟發(fā)展新模式。2023年，國家數(shù)據(jù)局發(fā)布了《“數(shù)據(jù)要素×”三年行動計劃（2024—2026 年）（征求意見稿）》，簡稱《行動計劃》，并向公眾征求意見。該計劃鼓勵各方積極參與數(shù)據(jù)要素的開發(fā)和利用，專注于重要行業(yè)和領域，挖掘高價值數(shù)據(jù)要素的應用場景。本文擬以煙草行業(yè)為例，探索運用煙草內部數(shù)據(jù)、宏觀經濟數(shù)據(jù)等多源數(shù)據(jù)，基于多模型融合的技術，在保證數(shù)據(jù)隱私安全及合法合規(guī)的基礎上，構建煙草市場信息指數(shù)數(shù)據(jù)產品，服務于煙草和茶飲市場狀態(tài)評價、銷售預測、智能投放、貨源精準投放、品牌培育、金融貸款等場景。

1 研究綜述

在煙草行業(yè)數(shù)據(jù)研究方面，嚴正（2003） [1]指出，煙草零售終端數(shù)據(jù)的收集和分析方法對市場狀態(tài)判斷至關重要。中國卷煙銷售公司通過深入監(jiān)測和分析卷煙市場，特別是通過全國卷煙市場直測網絡的提質擴容，不僅擴大了監(jiān)測覆蓋范圍，還在監(jiān)測分價位段卷煙、細化區(qū)域和品牌維度上取得了顯著進展，從而積累了豐富的行業(yè)零售客戶訂購行為數(shù)據(jù)。在多源數(shù)據(jù)研究方面，黃飛杰、張衛(wèi)東、侯石鵬等（2022） [2]指出，卷煙行業(yè)通?；跉v年消費和人口數(shù)據(jù)進行次年投放需求的預測。然而，由于缺乏反映消費者意愿和偏好的數(shù)據(jù)，特別是在卷煙價位段和品類等結構性需求預測方面存在困難，導致預測精度無法滿足實際應用需求。通過引入搜索指數(shù)的預測模型，有望提高預測的準確性，彌補了目前模型的不足。在多源數(shù)據(jù)的融合建模研究方面，國內學者和卷煙行業(yè)從業(yè)人員在卷煙需求預測方面進行了深入的研究，涉及預測模型、數(shù)據(jù)源處理等多個方面，并取得了令人滿意的研究成果[3-6]。在數(shù)據(jù)產品的應用研究方面，紀婷婷、甘似禹、劉春花（2018） [7]總結了數(shù)據(jù)資產的三種增值路徑，包括數(shù)據(jù)資產應用、數(shù)據(jù)資產流通以及金融衍生服務。從需求角度看，許建平（2023） [8]從銀行的視角，提出了結合煙草專賣的特許特征，可以開發(fā)出煙草數(shù)據(jù)的貸款產品，為相關的小微企業(yè)提供更便捷的信貸支持。

由此可見，煙草行業(yè)是典型的壟斷性企業(yè)，但是優(yōu)勢數(shù)據(jù)密集型企業(yè)，尤其是在營銷方面，積累了大量的數(shù)據(jù)資產，可以細分維度非常高。而從產業(yè)鏈的視角看，零售戶的數(shù)據(jù)資產對煙草工業(yè)企業(yè)、金融企業(yè)皆有較大的價值，有數(shù)據(jù)流通交易的需求。但是，煙草行業(yè)的特殊性，也需要進行脫敏的輸出，因此，有必要基于算法模型構建可見不可用的市場信心指數(shù)。

2 總體框架

本研究主要技術框架如下：在數(shù)據(jù)層面，通過多類數(shù)據(jù)源，通過自動化對接、人工定時處理等方式，在數(shù)據(jù)融合層處理為可以為建模應用的結構化數(shù)據(jù)。在模型服務層，由多類市場信心指數(shù)模型進行運算，得到多種指數(shù)結果。在應用層，將多類型指數(shù)結果，建議以統(tǒng)計月報應用頁面方式進行呈現(xiàn)。

如圖1所示，在數(shù)據(jù)源層面，綜合考慮多源的數(shù)據(jù)輸入，包括政務中心提供的政府數(shù)據(jù)、人口數(shù)據(jù)、百度輿情數(shù)據(jù)和煙草內部的數(shù)據(jù)庫?；谏鲜龅臄?shù)據(jù)大類，在數(shù)據(jù)融合層進行融合。結合對應的算法，在模型和服務層形成相關方面的指標，在應用層實現(xiàn)查詢展示。以上構成了主要的技術框架。

3 多源數(shù)據(jù)指標選取

基于煙草內部數(shù)據(jù)相對整齊規(guī)范，煙草銷售受到人口流動、季節(jié)變化、產業(yè)變遷、城市發(fā)展、天氣變化等一系列因素影響。但僅基于煙草內部數(shù)據(jù)構建市場信心指數(shù)并不夠全面。因此，本研究將外部數(shù)據(jù)源納入煙草消費信心指數(shù)的構建中，將人口數(shù)據(jù)、消費數(shù)據(jù)、宏觀經濟數(shù)據(jù)等維度，以一定的權重納入模型。在實踐中，卷煙行業(yè)市場的信心預測主要依據(jù)歷年消費數(shù)據(jù)和人口數(shù)據(jù)。結合業(yè)界學者的相關研究，認為互聯(lián)網輿情數(shù)據(jù)和宏觀經濟對卷煙市場也有一定的影響。因此，本文擬通過納入煙草內部數(shù)據(jù)、人口數(shù)據(jù)、消費數(shù)據(jù)、宏觀經濟數(shù)據(jù)、輿情數(shù)據(jù)等多源數(shù)據(jù)，構建基于多源數(shù)據(jù)融合的市場信心指數(shù)。

1） 煙草內部數(shù)據(jù)。煙草零售市場的預測主要依據(jù)歷年銷售量，結合零售終端情況進行修正。在數(shù)據(jù)源選擇上，內部生產系統(tǒng)的數(shù)據(jù)是構建數(shù)據(jù)產品中最重要的一部分。中國卷煙銷售公司長期致力于深入監(jiān)測和分析卷煙市場，目前在數(shù)據(jù)保障方面已具備了深入評估卷煙市場狀態(tài)的能力。其系統(tǒng)已能夠支持卷煙進貨計劃、按工業(yè)進貨計劃、按價類進貨計劃，以及輸出卷煙訂購量、卷煙訂購均價、按價類訂貨量等數(shù)據(jù)。

2） 人口數(shù)據(jù)。卷煙作為快消品，其銷售量與當?shù)厝丝诘脑鲩L變化相關，也與人口的年齡結構、性別和地域特點相關。首先，在人口增長變化方面，若某地區(qū)流入人口增加，則對卷煙有正向作用。從微觀的視角看，每個地域的人員有其特定的偏好，因此對不同工業(yè)企業(yè)卷煙的投放有不同的選擇。因此，在市場信心指數(shù)的構建中，需要引入人口數(shù)據(jù)。人口數(shù)據(jù)往往需要來源于政府，統(tǒng)計年鑒中有宏觀的人口數(shù)據(jù)，但由于其顆粒度較大，實時性較低，因此需要設法獲得政府的支持，獲取更高精度、更細顆粒度和更實時的人口數(shù)據(jù)。

3） 互聯(lián)網輿情數(shù)據(jù)?？煜蜂N售量受當?shù)厝丝谠鲩L變化的影響，也與商品消費者的關注度等因素相關。卷煙相關的搜索詞能夠反映卷煙消費者的消費意愿。通過網絡爬蟲收集所有與卷煙相關的關鍵詞，考慮地域和時間特征，對關鍵詞搜索數(shù)據(jù)與卷煙銷售數(shù)據(jù)（如價位段、品類等）進行相關性分析，篩選出與銷售相關性大的關鍵詞，并采集近年來的搜索數(shù)據(jù)作為模型的輸入，作為構建市場信心指數(shù)的指標之一。

4） 宏觀經濟數(shù)據(jù)。卷煙銷售量及卷煙價格與多個經濟指標相關。每個經濟指標在不同程度上反映了卷煙市場的某些信息，例如該地區(qū)的人均可支配收入可能與該區(qū)域投放卷煙的價位相關。因此，經濟類的數(shù)據(jù)需作為構建市場信心指數(shù)的指標之一。

4 數(shù)據(jù)建模

本研究建議通過多模型融合建模方式構建市場信心指數(shù)，主要技術實現(xiàn)方式包括有監(jiān)督的機器學習算法和主成分分析構造法。

4.1 方案一：有監(jiān)督的機器學習算法

參照其他品味數(shù)據(jù)產品的建設，如菠蘿指數(shù)、對蝦指數(shù)，主要是通過框定信心指數(shù)和價格與供銷的經濟學邏輯，通過滯后關系和協(xié)同性來確定市場信心指數(shù)構造的合理性。模型上通過機器學習方式學習煙草內部特征、手機信令數(shù)據(jù)、宏觀數(shù)據(jù)和輿情數(shù)據(jù)特征，來構建市場信心指數(shù)，對市場的消費情況變動做出預警和指導。

本方法基于價格/供銷等參照系，通過去除通脹系數(shù)的條均價格p（t+1）+Δ作為y 值，構建Y 值以Y（t）作為信心指數(shù)，或者通過供銷比（t+1）+Δ作為y 值，構建Y值以Y（t）作為信心指數(shù)。

擬用數(shù)據(jù)維度，煙草內部數(shù)據(jù)：卷煙進貨計劃、卷煙按工業(yè)進貨計劃、卷煙按價類進貨計劃、卷煙訂購量、卷煙訂購均價、卷煙按價類訂貨量等；宏觀數(shù)據(jù)：CPI、工業(yè)增加值、社會消費品零售總額、居民存款、居民貸款等；手機信令大數(shù)據(jù)：人口年齡、人口戶籍、全量人口環(huán)境數(shù)據(jù)：名勝景區(qū)、餐飲、住宿等；輿情數(shù)據(jù)：煙草（工業(yè)、規(guī)格）搜索量、失業(yè)搜索量等。

擬用的驗證值：指數(shù)的相關性Y值和y值的相關性，需要信心指數(shù)提前反映價格，或者供銷狀況的幅度。

在這一方案中，涉及的核心算法為隨機森林，AdaBoost模型等。

實施思路和構建主要流程如圖3所示。

4.2 方案二：主成分分析構造法

參照統(tǒng)計局的消費者信心指數(shù)方案，該方案來源于傳統(tǒng)消費者信心指數(shù)構建，分為消費者現(xiàn)狀滿意度和消費者預期兩類。由于采用的數(shù)據(jù)源和傳統(tǒng)構建方式不同，因此對數(shù)據(jù)進行歸一化處理，通過主成分分析的方式得到各特征權重，搭建市場信心指數(shù)。

該方法基于消費者現(xiàn)狀/預期滿意度構建，消費現(xiàn)狀滿意度擬合消費者預期滿意度擬合。驗證值Y 和價格的滯后關系，相關系數(shù)。

算法過程擬用到的數(shù)據(jù)維度包括煙草內部數(shù)據(jù)：卷煙訂購量、卷煙訂購價、卷煙按工業(yè)訂貨量、卷煙按價類訂貨量；宏觀數(shù)據(jù)：CPI、工業(yè)增加值、社會消費品零售總額、居民存款、居民貸款、規(guī)模工業(yè)企業(yè)平均從業(yè)人數(shù)；手機信令大數(shù)據(jù)：人口年齡、人口戶籍、全量人口；輿情數(shù)據(jù)：煙草（工業(yè)、規(guī)格）搜索量、失業(yè)搜索量等。

實施思路和構建主要流程如圖4所示。

4.3 模型計算的結果呈現(xiàn)

以上一年半年平均值為基數(shù)100，表示市場對零售品的信心。數(shù)值上升表示市場對零售品（如卷煙）的消費信心增加，該值大于100則表示市場信心相較于2023 年上半年平均信心上升；反之，則表示市場信心較為低迷?；谑袌鲂判闹笖?shù)，可以根據(jù)品類、工業(yè)企業(yè)、區(qū)域、價位等多個方面對市場狀況進行描述和預警。

5 信心指數(shù)應用研究

基于市場信心指數(shù)模型，全方位對市場狀況進行描述和預警。通過市場信心指數(shù)模型對空間維度下的各地煙草狀況進行評估，為重點區(qū)域投放策略提供決策依據(jù)。通過價類的市場信心指數(shù)模型，對不同價類的煙草市場狀況進行評估，為各價類煙草的價格指導和投放策略提供參考依據(jù)。根據(jù)不同煙草工業(yè)的市場信心指數(shù)模型，研判不同工業(yè)煙草市場狀況，為品牌培育和品牌聯(lián)合投放提供數(shù)據(jù)支撐。基于多類型市場信心指數(shù)數(shù)據(jù)，開發(fā)市場信心指數(shù)的綜合查詢、展示和應用平臺，方便本公司、煙草工業(yè)、社會單位隨時獲取信心指數(shù)數(shù)據(jù)，研判分析趨勢，輔助商業(yè)決策、政策規(guī)劃的制定和實施、金融信貸等。

5.1 場景一：生產計劃制定場景

卷煙銷售具有特殊性，既有商品屬性，又受到調控計劃的影響，且具有地域銷售特征。一般是在本年度對次年的市場預測，根據(jù)預測的情況進行工廠的下單，進行按計劃生產。其對次年的市場主要根據(jù)零售商戶的問卷、本年的銷售情況、歷史經驗等方面進行預測，并結合宏觀的經濟發(fā)展趨勢。該預測存在較大的主觀性。在這個背景下，可以通過建立市場信心指數(shù)，通過整合卷煙相關數(shù)據(jù)、公共數(shù)據(jù)、社會數(shù)據(jù)等，進行大數(shù)據(jù)分析，達到更科學預測次年的市場空間、區(qū)域市場不同產品的精準投放、農村市場精準開發(fā)等預期目標。

5.2 場景二：產品精準投放場景

市場信心指數(shù)的建設有利于促進煙草零售戶卷煙品類投放的精準性。依托區(qū)域消費能力和終端會員數(shù)據(jù)，精準勾勒消費者畫像，多維度、多角度夯實品牌培育基礎；依托全地區(qū)客流、商圈類型等開發(fā)貨源投放等級評定模型，提升貨源投放精準度、匹配度；構建分類別要素特征模型，分析人口特征、消費特征、區(qū)域特征等關鍵要素，挖掘真實市場需求，持續(xù)提升渠道掌控力和綜合服務力。

5.3 場景三：普惠金融場景

市場信心指數(shù)的建設有利于促進煙草零售戶金融信貸的便利性。煙草行業(yè)目前有500多萬零售商戶[9]，煙草行業(yè)具有利潤豐厚且市場規(guī)模龐大的特點。一方面，煙草的成本較低，另一方面，煙民數(shù)量龐大。然而，目前煙草市場存在明顯的分割現(xiàn)象，不同的煙草企業(yè)各自為戰(zhàn)，競爭各自的市場份額。同時，各個地區(qū)的煙草商戶數(shù)據(jù)并未實現(xiàn)有效打通，導致煙草行業(yè)內部的割裂問題日益突出，給金融機構在貸款額度判定和放款方面帶來了巨大挑戰(zhàn)，同時也影響了轉款專用。因此，通過建立信心指數(shù)，加強對煙草行業(yè)數(shù)據(jù)的整合，創(chuàng)建專門的煙草服務平臺，打通不同區(qū)域間的數(shù)據(jù)壁壘，實現(xiàn)資金托收、結算、補貼和貸款等工作的統(tǒng)一管理。建立專門的煙草指數(shù)，統(tǒng)計全國煙葉消費情況，并結合大數(shù)據(jù)風控平臺，構建種植戶和零售商的畫像，輸出不含敏感信息的指數(shù)化評級產品，以支持線上貸款業(yè)務，加速供需對接過程。

6 結束語

2023年8月21日，財政部制定印發(fā)了《企業(yè)數(shù)據(jù)資源相關會計處理暫行規(guī)定》。隨著國家數(shù)據(jù)局就《“數(shù)據(jù)要素×”三年行動計劃（2024—2026年）（征求意見稿）》發(fā)布推動，各地也在陸續(xù)成立數(shù)據(jù)交易所，未來數(shù)據(jù)產品的構建將會層出不窮。本文研究煙草行業(yè)的數(shù)據(jù)融合和利用，作為壟斷行業(yè)的一個試點場景，希望能為產業(yè)鏈上下游企業(yè)、金融企業(yè)和零售商戶的業(yè)務發(fā)展有積極的促進作用。

參考文獻：

[1] 嚴正. 基于終端動態(tài)指標的卷煙市場狀態(tài)指數(shù)設計[J]. 全國流通經濟，2023（3）：84-87.

[2]?黃飛杰，張衛(wèi)東，侯石鵬，等. 融合搜索指數(shù)的卷煙需求預測研究[J]. 福建電腦，2022，38（10）：17-20.

[3]?趙旻，張丹楓，曾中良，等. 基于組合模型的云南省卷煙需求預測與結果評價研究[J]. 中國煙草學報，2019，25（1）：93-98.

[4]?王詩豪，張曉妮，張云，等. 銅川市卷煙需求集成預測[J]. 中國煙草學報，2019，25（6）：105-109.

[5]?齊志成. 基于BP神經網絡模型的商洛市卷煙需求預測[J]. 湖南農業(yè)科學，2017（1）：86-89.

[6]?朱峰，高林. 基于組合模型的卷煙市場需求預測研究[J]. 合作經濟與科技，2017（1）：62-64.

[7]?紀婷婷，甘似禹，劉春花，等. 數(shù)據(jù)資產化與數(shù)據(jù)資產增值路徑研究[J]. 管理觀察，2018（18）：157-160.

[8]?許建平. 提升普惠金融供給質效 助力地方經濟高質量發(fā)展

[9]?鐘木.中國銀行談“煙商貸”的發(fā)展路徑[J]. 營銷界，2020（51）：81- 82.

【通聯(lián)編輯：唐一東】