煙草地市局的大數(shù)據(jù)可視化研究及應(yīng)用

劉頌 王俊峰 李懷立 矯大鵬 高明

關(guān)鍵詞 煙草 大數(shù)據(jù) 可視化

1引言

可視化（visualization）是研究數(shù)據(jù)處理、數(shù)據(jù)表達(dá)、決策分析等一系列問題的綜合性技術(shù)，也是利用圖像處理技術(shù)和計(jì)算機(jī)圖形學(xué)把數(shù)據(jù)轉(zhuǎn)換成圖像或圖形顯示在屏幕上，再進(jìn)行交互處理的方法、理論和技術(shù)。

近年來，隨著人工智能的興起，以數(shù)據(jù)為工具、以可視化為手段描述的真實(shí)數(shù)據(jù)內(nèi)涵在各類報(bào)表和說明性文件中被大量應(yīng)用。設(shè)計(jì)制作科學(xué)、操作便捷的可視化數(shù)據(jù)可以把繁雜無序的數(shù)據(jù)從冰冷的數(shù)字轉(zhuǎn)換成直白簡(jiǎn)潔的圖形，帶給使用者的不僅僅是視覺上的沖擊，還能夠揭示蘊(yùn)含在數(shù)據(jù)中的發(fā)展變化規(guī)律和現(xiàn)狀，包括發(fā)現(xiàn)、探索、分析、解釋、學(xué)習(xí)和決策等諸多含義。數(shù)據(jù)可視化的最終目標(biāo)是促進(jìn)行動(dòng)，用直觀的圖表展現(xiàn)數(shù)據(jù)，讓制定政策和行動(dòng)的決策者看懂?dāng)?shù)據(jù)、使用數(shù)據(jù)[1] 。

2建設(shè)目的

為使煙草地市局信息化的發(fā)展目標(biāo)與企業(yè)發(fā)展戰(zhàn)略緊密配合，本項(xiàng)目以“數(shù)為理”“術(shù)促管”為理念，通過搭建“數(shù)據(jù)可視化、分析智能化、過程管控化”的經(jīng)濟(jì)運(yùn)行綜合管控平臺(tái)，以解決煙草企業(yè)目前存在的相關(guān)問題。

當(dāng)前，已完成建設(shè)的各個(gè)信息化獨(dú)立子系統(tǒng)并非相互依存，開發(fā)環(huán)境與數(shù)據(jù)標(biāo)準(zhǔn)沒有統(tǒng)一。因此，每一個(gè)子系統(tǒng)都保存了大量的行業(yè)數(shù)據(jù)，多個(gè)子系統(tǒng)無法互通互聯(lián)，海量的數(shù)據(jù)更無法整合，無法實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)分析和處理，從而大大限制了這些數(shù)據(jù)的使用范圍，造成了嚴(yán)重的數(shù)據(jù)資源和硬件資源浪費(fèi)。

缺少一個(gè)有效的可視化平臺(tái)，各個(gè)子系統(tǒng)僅僅提供了原始數(shù)據(jù)界面，使管理層不易快速理解數(shù)據(jù)的規(guī)律和含義。當(dāng)前，迫切需要將數(shù)據(jù)以可視化和最自然的方式對(duì)數(shù)據(jù)的深層次含義和變化規(guī)律進(jìn)行展現(xiàn)。

由于面向市公司領(lǐng)導(dǎo)層、管理層、計(jì)劃部門的過程決策分析系統(tǒng)缺失，因此決策統(tǒng)計(jì)分析沒有系統(tǒng)支撐。目前，主要依靠人工從各個(gè)系統(tǒng)進(jìn)行匯集分析，一方面使得數(shù)據(jù)采集工作量較大、數(shù)據(jù)質(zhì)量不高、分析結(jié)果滯后。另一方面使得數(shù)據(jù)價(jià)值不高，數(shù)據(jù)利用手段單一，以定制化報(bào)表為主，影響了決策層和領(lǐng)導(dǎo)層對(duì)業(yè)務(wù)運(yùn)營(yíng)的把控，不利于針對(duì)市場(chǎng)變化快速?zèng)Q策。

3技術(shù)手段

3.1主要框架

根據(jù)需求建設(shè)的大屏展示（首頁大屏、卷煙營(yíng)銷、專賣管理、物流配送、煙葉經(jīng)營(yíng)、創(chuàng)新管理、資產(chǎn)數(shù)據(jù)管理六類業(yè)務(wù)主題屏）參考了各個(gè)科室提出的展示指標(biāo)，初步擬定大屏展示模板呈現(xiàn)可視化內(nèi)容的頁面布局結(jié)構(gòu)。

使用Vue 單頁面框架根據(jù)頁面的布局和美工繪制的詳細(xì)頁面精確編寫網(wǎng)頁代碼，以生成可供用戶訪問的HTML 網(wǎng)頁。同時(shí)，協(xié)同CSS3 層疊樣式表以及jQuery 等JavaScript 框架和插件對(duì)HTML 頁面內(nèi)的元素進(jìn)行格式化，形成基本網(wǎng)頁布局和近似V6 系統(tǒng)的主體風(fēng)格。在Vue 框架中調(diào)用Echart 數(shù)據(jù)可視化圖表庫、Element UI 前端圖形框架、百度地圖和地市地圖的JavaScript 腳本文件，將可視化圖表及地圖呈現(xiàn)在HTML 頁面中，從而構(gòu)建煙草地市局經(jīng)濟(jì)運(yùn)行管控平臺(tái)。

3.2前后端分離模式

采用前后端分離的開發(fā)模式可以使代碼結(jié)構(gòu)更加清晰、代碼管理更加方便;采用前端頁面和后臺(tái)服務(wù)端相分離的低耦合設(shè)計(jì)原則，根據(jù)頁面數(shù)據(jù)展現(xiàn)需求，在規(guī)定好數(shù)據(jù)接口之后，不同的終端只需按照規(guī)定的數(shù)據(jù)接口編寫程序解析接口數(shù)據(jù)，后端也按照同樣的接口進(jìn)行設(shè)計(jì)，從而提高接口的復(fù)用率和開發(fā)人員的工作效率。

3.3組件化和模塊化

本平臺(tái)采用了主流的組件化和模塊化設(shè)計(jì)理念。模塊是指包含多個(gè)組件的集合，獨(dú)立使用組件可以完善業(yè)務(wù)功能。業(yè)務(wù)平臺(tái)根據(jù)業(yè)務(wù)需求和業(yè)務(wù)領(lǐng)域的不同，將代碼分為不同的業(yè)務(wù)模塊與業(yè)務(wù)組件，主要包括儲(chǔ)存公共樣式的模塊和各個(gè)業(yè)務(wù)功能模塊以及對(duì)特定業(yè)務(wù)邏輯進(jìn)行查詢的組件。

根據(jù)業(yè)務(wù)需求的不同而靈活使用不同模塊的組合，可以簡(jiǎn)化的代碼、提高代碼的編寫和運(yùn)行效率，從而提高使用性能。由于不同模塊間的代碼相互獨(dú)立，有利于及時(shí)發(fā)現(xiàn)和修改代碼問題，解除各個(gè)模塊間的耦合性，從而提高平臺(tái)的整體質(zhì)量。此外，采用模塊化編程可以提高系統(tǒng)的復(fù)用性和可植入性，方便系統(tǒng)的升級(jí)和維護(hù)，減小了系統(tǒng)升級(jí)的代價(jià);方便業(yè)務(wù)拆分與組合，使系統(tǒng)更加靈活、高效、可靠。

3.4Lamboo Rest后端組件

按照業(yè)務(wù)和組件的不同以及模塊間的耦合性將系統(tǒng)劃分為如下模塊：大屏首頁、公共服務(wù)、營(yíng)銷、專賣、煙葉、物流、數(shù)據(jù)資產(chǎn)。將復(fù)雜計(jì)算功能放在前端可以增加SQL 的查詢效率。從系統(tǒng)方面來看，去代碼化設(shè)計(jì)可以提高前后端的工程化水平、代碼質(zhì)量、平臺(tái)的規(guī)范性，為平臺(tái)開發(fā)帶來了良好的可擴(kuò)展性、重用性以及穩(wěn)定性。

3.5集成帆軟報(bào)表和單點(diǎn)登錄系統(tǒng)

集成帆軟報(bào)表系統(tǒng)、智能生成業(yè)務(wù)報(bào)表，可以為開發(fā)和客戶閱讀提供便利，也給后續(xù)修改降低了難度;通過部署全新的BSP 登錄組件，實(shí)現(xiàn)了煙草地市局經(jīng)濟(jì)運(yùn)行管控中心的單點(diǎn)登錄目標(biāo);在不脫離V6系統(tǒng)的前提下，實(shí)現(xiàn)了使用V6 賬號(hào)的全新的單點(diǎn)登錄。

3.6煙草地市局的數(shù)據(jù)中心

在煙草地市局部署本地關(guān)系型分布式數(shù)據(jù)庫GreenPlum，它在開源的POStgreSQL 的基礎(chǔ)上采用MPP 架構(gòu)，具有強(qiáng)大的大規(guī)模數(shù)據(jù)分析任務(wù)處理能力。通過開源的Kettle 工具對(duì)各個(gè)系統(tǒng)中濰煙草地市局地區(qū)的數(shù)據(jù)進(jìn)行捕獲抽取以及在本地的GreenPlum數(shù)據(jù)庫進(jìn)行本體化存儲(chǔ)，不僅方便集中統(tǒng)一管理，也為大數(shù)據(jù)的本地分析提供了基礎(chǔ)。

4大數(shù)據(jù)可視化研究及應(yīng)用

4.1可視化轉(zhuǎn)換

圖形圖像承載的信息量相比于語言文字有著天然的優(yōu)勢(shì)，人類從外界獲得的信息約有80%以上來自視覺系統(tǒng)?？梢暬柚搜劭焖俚囊曈X感知和人腦的智能認(rèn)知能力，可以起到清晰有效地傳達(dá)、溝通并輔助數(shù)據(jù)分析的作用?，F(xiàn)代的數(shù)據(jù)可視化技術(shù)綜合運(yùn)用計(jì)算機(jī)圖形學(xué)、圖像處理、人機(jī)交互等技術(shù)，將采集或模擬的數(shù)據(jù)轉(zhuǎn)換為可識(shí)別的圖形符號(hào)、圖像、視頻或動(dòng)畫，并以此向用戶呈現(xiàn)有價(jià)值的信息。用戶通過對(duì)可視化的感知，使用可視化交互工具進(jìn)行數(shù)據(jù)分析、獲取知識(shí)，并進(jìn)一步提升為智慧口[2] 。

煙草地市局經(jīng)濟(jì)運(yùn)行綜合管控中心對(duì)數(shù)據(jù)倉庫中海量的數(shù)據(jù)進(jìn)行針對(duì)性篩選和處理后，通過大屏形式將結(jié)果展示給用戶，幫助用戶挖掘數(shù)據(jù)價(jià)值，且圖形化的界面使用戶可以方便地進(jìn)行操作。用戶根據(jù)自己的業(yè)務(wù)需求查看相關(guān)內(nèi)容，可以通過二級(jí)菜單逐步縮小業(yè)務(wù)范圍。通過后端Rest 服務(wù)從數(shù)據(jù)倉庫中獲取數(shù)據(jù)，完成數(shù)據(jù)的預(yù)計(jì)算。

營(yíng)銷首頁對(duì)煙草地市局所轄各個(gè)區(qū)縣的銷量排名以及單箱值是否高于平均值，以煙草地市局地圖可視化形式直觀地展示出來，用戶可以自由選擇不同的區(qū)縣進(jìn)行查詢、對(duì)比、分析。各個(gè)區(qū)縣的銷量水平一目了然，不同分值的城市以深淺不同的藍(lán)色表示，分值越高則顏色越淺，分值越低則顏色越深。將鼠標(biāo)移動(dòng)到地圖的不同區(qū)縣上，地圖會(huì)以黃色高亮突出顯示該城市，并展示區(qū)縣銷量排名的具體值。同時(shí)，對(duì)營(yíng)銷部門提出的主要指標(biāo)進(jìn)行展示，主要以年為時(shí)間維度展示以下模塊。

4.1.1銷售指標(biāo)模塊

銷量、銷額、單箱值以及同比增幅、同比增量、全年計(jì)劃值和年計(jì)劃完成百分比;魯產(chǎn)煙銷量、單箱值及其同比增量、同比增幅，同期與本期的可視化圖形對(duì)比;一二類煙的銷量、同期銷量、同比增幅和一二類煙在總銷量中所占的比重;人均條數(shù)、同比增量、同比增幅，同期與本期的可視化圖形對(duì)比;各價(jià)類卷煙的銷量占比。

4.1.2終端建設(shè)模塊

以3D 餅圖的形式對(duì)終端建設(shè)進(jìn)行展示，明確了精品店、普通店、標(biāo)準(zhǔn)店、品牌店的占比關(guān)系以及每種終端類型所包含的戶數(shù)。其中，包括農(nóng)村戶數(shù)和城鎮(zhèn)戶數(shù)的數(shù)量以及云POS 客戶數(shù)及其占比。

4.1.3誠(chéng)信互助小組模塊

以圖表形式展示小組個(gè)數(shù);小組戶數(shù);小組覆蓋率;有效戶數(shù);城鎮(zhèn)、鄉(xiāng)村戶數(shù)及其占比。

4.1.4文明吸煙環(huán)境建設(shè)、客戶經(jīng)理拜訪情況模塊

文明吸煙環(huán)境展示了本市的吸煙室和吸煙區(qū)建設(shè)情況;客戶拜訪數(shù)展示了客戶經(jīng)理的拜訪情況;以客戶檔位為維度展示了本市所有零售戶所在檔位的數(shù)量及占比，鼠標(biāo)懸浮時(shí)可以展示具體的檔位數(shù)和占比信息。

4.2基于時(shí)間和空間維度的數(shù)據(jù)分析

卷煙消費(fèi)行為分析將通過模型計(jì)算得到的卷煙消費(fèi)結(jié)構(gòu)以熱力地圖及圖表的形式為用戶進(jìn)行展示，使用者可以根據(jù)日期、營(yíng)銷部、零售戶來查看該零售戶的消費(fèi)者的消費(fèi)行為習(xí)慣、消費(fèi)結(jié)構(gòu)。若填寫空間維度信息，增大輻射半徑數(shù)據(jù)，則可以查看以該店鋪為中心，以用戶填寫的數(shù)值為半徑的輻射范圍內(nèi)所有零售戶的銷量、銷額、單箱值以及客戶行為習(xí)慣、消費(fèi)結(jié)構(gòu)。

熱力地圖可以層次分明、清晰地將零售戶的銷量結(jié)構(gòu)根據(jù)不同維度進(jìn)行可視化展示，以空間區(qū)域進(jìn)行繪制，將零售戶的銷量、銷額、單箱值轉(zhuǎn)換為熱力點(diǎn)繪制在地圖上。結(jié)合柱狀、折線組合圖以時(shí)間為維度，展示了不同日期零售戶的銷售情況及變化幅度，點(diǎn)擊相應(yīng)的時(shí)期可以查看當(dāng)天各個(gè)時(shí)段的銷售情況，清楚揭示該零售戶不同日期、不同時(shí)間段的銷售高峰;同時(shí)，使用表格根據(jù)公司對(duì)銷量和銷額進(jìn)行區(qū)分，展示了該區(qū)域內(nèi)零售戶對(duì)各個(gè)中煙公司旗下卷煙的銷售及占比情況。使用柱、折線組合圖展示了當(dāng)前區(qū)域的消費(fèi)結(jié)構(gòu)，根據(jù)卷煙價(jià)位段的不同進(jìn)行區(qū)分，展現(xiàn)此區(qū)域消費(fèi)者的消費(fèi)結(jié)構(gòu)，從而對(duì)后續(xù)貨源投放的決策提供幫助。

4.3地理空間與對(duì)象的可視化結(jié)合

基于圖標(biāo)的多維可視化技術(shù)，其基本思想是用具有多個(gè)可視特征的圖標(biāo)來表達(dá)多個(gè)維度信息，圖標(biāo)的每一個(gè)可視特征都可表示多維信息當(dāng)中的一個(gè)維度，適用于為數(shù)不多但是某些具有特別含義維度的數(shù)據(jù)集，用戶可以根據(jù)多維信息的顯示更準(zhǔn)確、更形象地理解這些維度的意義[3] 。

為了便于識(shí)別，客戶分析模塊利用查詢對(duì)象的經(jīng)緯度信息在地圖上通過百度地圖API 使用二維圖形實(shí)現(xiàn)標(biāo)識(shí)。當(dāng)只有一類查詢對(duì)象時(shí)，可以使用顏色區(qū)分其內(nèi)在屬性。顏色和屬性值的關(guān)系通過映射函數(shù)來定義，并在一旁提供形象的圖例進(jìn)行說明。為了提高頁面的加載及響應(yīng)速度并優(yōu)化用戶使用體驗(yàn)，當(dāng)查詢對(duì)象的數(shù)量較多時(shí)，平臺(tái)使用海量數(shù)據(jù)點(diǎn)的模式進(jìn)行展示。當(dāng)用戶使用鼠標(biāo)點(diǎn)擊某個(gè)點(diǎn)時(shí)，以下鉆窗口或是聯(lián)動(dòng)其他模塊的方式列出所有屬性值。顏色映射直觀地反映了不同屬性的查詢對(duì)象在地理空間中的分布，信息窗口的交互方式適合詳細(xì)了解具體對(duì)象位置的詳細(xì)信息。

客戶分析功能可以將零售戶的位置信息和地圖相結(jié)合，對(duì)全市零售戶的分布情況進(jìn)行集中統(tǒng)一展示。將零售戶根據(jù)終端類型的不同，劃分為橙、綠、藍(lán)、紅四種不同顏色，便于用戶區(qū)分。根據(jù)零售戶的基礎(chǔ)信息、屬地信息、訂貨信息作為查詢條件進(jìn)行篩選。點(diǎn)擊地圖零售戶的點(diǎn)位可以彈出下鉆頁面，以查詢零售戶的具體信息，包括零售戶的基本信息、卷煙訂購信息、檔位變動(dòng)信息、零售戶圖片、客戶經(jīng)理拜訪情況及規(guī)范經(jīng)營(yíng)情況。與地理空間的可視化相結(jié)合，方便決策層對(duì)某一區(qū)域的零售戶情況進(jìn)行整體把握，從而進(jìn)行決策部署。

4.4基于現(xiàn)代終端大數(shù)據(jù)的終端分析可視化

卷煙零售終端作為連接煙草商業(yè)和消費(fèi)者的紐帶，是煙草產(chǎn)業(yè)鏈的重要組成部分，是“煙草行業(yè)未來良性發(fā)展的重要戰(zhàn)略性資源”，是煙草行業(yè)銷售的終端環(huán)節(jié)，是構(gòu)建現(xiàn)代卷煙營(yíng)銷網(wǎng)絡(luò)的關(guān)鍵環(huán)節(jié)?；跓煵莸厥芯衷芇OS 終端運(yùn)行數(shù)據(jù)，將零消數(shù)據(jù)進(jìn)行匯總處理，借助云計(jì)算強(qiáng)大的算力和先進(jìn)的算法模型，對(duì)這些數(shù)據(jù)進(jìn)行挖掘分析，可以全面提高市場(chǎng)感知能力和運(yùn)營(yíng)決策能力。

現(xiàn)代終端大數(shù)據(jù)分析將云POS 戶地理位置與地圖相結(jié)合，以熱力地圖的方式展示了云POS 戶的分布情況，以柱狀圖、折線圖、氣泡圖等形式對(duì)云POS 的掃碼情況、掃碼趨勢(shì)、會(huì)員發(fā)展趨勢(shì)、掃碼頻次分布等進(jìn)行全面分析，可以了解現(xiàn)代終端的發(fā)展、運(yùn)行情況。

現(xiàn)代終端畫像基于現(xiàn)代終端的運(yùn)行數(shù)據(jù)，對(duì)終端的會(huì)員情況、銷售情況、周邊銷售情況、周邊人群的特征及周邊人群的卷煙喜好進(jìn)行分析，為終端戶提供針對(duì)性指導(dǎo)，增強(qiáng)客戶服務(wù)水平。

消費(fèi)者畫像采用聚類分析算法，將消費(fèi)群體分為大客戶、高端客戶、中端客戶及普通客戶，從而分析各類消費(fèi)群體的年齡結(jié)構(gòu)、性別結(jié)構(gòu)、消費(fèi)結(jié)構(gòu)、消費(fèi)結(jié)構(gòu)趨勢(shì)及消費(fèi)偏好。

5結(jié)束語

煙草地市局經(jīng)濟(jì)運(yùn)行管控中心從海量的煙草行業(yè)數(shù)據(jù)中，經(jīng)過數(shù)據(jù)分析、主題建模，有效提取出了需要的特征，并通過可視化方法將結(jié)果進(jìn)行清晰展示。為公司決策層、管理層、計(jì)劃部門的過程決策提供了系統(tǒng)支撐，對(duì)決策結(jié)果的分析和研究提供了幫助。

為了實(shí)現(xiàn)煙草行業(yè)數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)、預(yù)警和智能化貨源投放決策，需要充分利用煙草行業(yè)大數(shù)據(jù)，基于煙草地市局經(jīng)濟(jì)運(yùn)行管控中心大屏可視化，實(shí)現(xiàn)減少用戶工作量、提高數(shù)據(jù)分析質(zhì)量、提高分析效率、提升數(shù)據(jù)價(jià)值的目標(biāo);滿足常態(tài)下市公司決策層和管理層的決策需要;實(shí)現(xiàn)煙草信息從靜態(tài)、二維平面、孤立數(shù)據(jù)的展示方式到動(dòng)態(tài)、三維立體、連續(xù)圖形的展示方式的轉(zhuǎn)變，從而全面提高決策層和領(lǐng)導(dǎo)層對(duì)業(yè)務(wù)運(yùn)營(yíng)的把控，進(jìn)而更好地實(shí)現(xiàn)煙草地市局的安全、可靠、經(jīng)濟(jì)、高效運(yùn)行。