一種基于自動校驗(yàn)的異構(gòu)卷煙市場信息數(shù)據(jù)處理方案

高潔 張璐

摘 要：卷煙零售市場信息采集和分析應(yīng)用是煙草行業(yè)提升市場化水平和整體營銷水平的重要基礎(chǔ)。煙草客戶經(jīng)理在完成市場信息數(shù)據(jù)采集后，需要在數(shù)據(jù)結(jié)構(gòu)規(guī)范不同的系統(tǒng)中分別進(jìn)行錄入、上傳的操作，耗時耗力，容易出錯。文章提出了以節(jié)省異構(gòu)系統(tǒng)間數(shù)據(jù)處理耗時、提高數(shù)據(jù)處理準(zhǔn)確率、實(shí)現(xiàn)數(shù)據(jù)自動校驗(yàn)為目標(biāo)的解決方案，通過研發(fā)市場信息采集數(shù)據(jù)自動校驗(yàn)軟件，實(shí)現(xiàn)為企業(yè)提質(zhì)增效、為基層人員減負(fù)的目的。

關(guān)鍵詞：卷煙市場;信息采集;異構(gòu);自動校驗(yàn)

中圖分類號：F721 ????文獻(xiàn)標(biāo)識碼：A 文章編號：1005-6432（2022）01-0190-02

DOI：10.13939/j.cnki.zgsc.2022.01.190

1 引言

市場信息采集（又叫市場信息收集）是指運(yùn)用科學(xué)的方法和合適的手段，有目的有計(jì)劃地收集有關(guān)營銷信息，用于幫助企業(yè)[1]。

卷煙市場信息的采集，能夠?yàn)榫頍熶N售預(yù)測提供有力支撐[2]。卷煙零售市場信息采集和分析應(yīng)用是煙草行業(yè)提升市場化水平和整體營銷水平的重要基礎(chǔ)，煙草行業(yè)希望通過建立以地市級卷煙商業(yè)公司為主體的卷煙零售市場信息采集和分析應(yīng)用的長效機(jī)制，動態(tài)掌握全國卷煙零售市場情況，為行業(yè)生產(chǎn)經(jīng)營決策提供科學(xué)依據(jù)，做到有數(shù)據(jù)支撐、用數(shù)據(jù)說話、靠數(shù)據(jù)決策，加快從經(jīng)驗(yàn)營銷向數(shù)據(jù)營銷轉(zhuǎn)變。

目前，煙草客戶經(jīng)理每周完成市場信息數(shù)據(jù)采集后，需要在卷煙營銷信息系統(tǒng)（以下簡稱系統(tǒng)A）及經(jīng)營決策數(shù)據(jù)中心（以下簡稱系統(tǒng)B）中分別進(jìn)行錄入、上傳的操作。由于兩個系統(tǒng)軟件結(jié)構(gòu)不同，對相同業(yè)務(wù)流程采集的數(shù)據(jù)錄入時格式要求不一致，業(yè)務(wù)操作人員在實(shí)際工作中，需要對同樣的數(shù)據(jù)按照不同的格式要求先在系統(tǒng)A操作，再將生成的數(shù)據(jù)與系統(tǒng)B輸出的模板文件內(nèi)的數(shù)據(jù)進(jìn)行人工比對、調(diào)整等處理后上傳，每個客戶經(jīng)理一次性處理記錄數(shù)平均在200條以上，單客戶信息采集數(shù)據(jù)處理所需時間超過半小時，耗時耗力，容易出錯。

2 需求的確定

煙草客戶經(jīng)理進(jìn)行市場信息采集數(shù)據(jù)錄入時，需要進(jìn)行定制系統(tǒng)A數(shù)據(jù)模板、系統(tǒng)B導(dǎo)出模板、模板間規(guī)格核對、數(shù)據(jù)核對、數(shù)據(jù)填入系統(tǒng)B模板、校驗(yàn)上傳系統(tǒng)B等多個環(huán)節(jié)的工作。隨機(jī)選取10名客戶經(jīng)理，統(tǒng)計(jì)各環(huán)節(jié)工作用時，發(fā)現(xiàn)市場信息采集數(shù)據(jù)處理消耗時間較長，平均達(dá)到47.2分鐘。

客戶經(jīng)理在將市場信息采集數(shù)據(jù)錄入系統(tǒng)B時，需要在兩個系統(tǒng)的數(shù)據(jù)模板Excel表格中進(jìn)行數(shù)據(jù)的比對、校驗(yàn)和刪減調(diào)整等操作，由于數(shù)據(jù)量較大，處理準(zhǔn)確率不高，不準(zhǔn)確的數(shù)據(jù)在導(dǎo)入系統(tǒng)B時會提示錯誤，無法上傳。通過統(tǒng)計(jì)分析，每位客戶經(jīng)理的人工數(shù)據(jù)處理準(zhǔn)確率平均為93.5%。

由于系統(tǒng)A和系統(tǒng)B由不同廠商開發(fā)，經(jīng)與開發(fā)商溝通，在沒有額外費(fèi)用投入的情況下無法制作數(shù)據(jù)自動處理的接口。實(shí)現(xiàn)系統(tǒng)間市場信息采集數(shù)據(jù)的自動校驗(yàn)，節(jié)省數(shù)據(jù)處理耗時和提高數(shù)據(jù)統(tǒng)計(jì)準(zhǔn)確率是提高市場信息采集工作效率和水平的迫切需要。

3 方案的選擇

如能把系統(tǒng)間市場信息采集數(shù)據(jù)處理中的定制模板、核對規(guī)格、核對數(shù)據(jù)、填報(bào)數(shù)據(jù)等環(huán)節(jié)實(shí)現(xiàn)軟件自動處理，將大大節(jié)省時間、降低出錯率。軟件設(shè)計(jì)方案如圖1所示。

經(jīng)過對比分析，確定采用開發(fā)難度小、耗時短，系統(tǒng)資源需求較少，運(yùn)行效率高、穩(wěn)定性好的單機(jī)部署方式;采用更適合單機(jī)程序開發(fā)、與Windows應(yīng)用兼容性更好、中小級別應(yīng)用效率更高的Visual Studio平臺;采用可用性強(qiáng)、具有一定開發(fā)基礎(chǔ)、重用率高的C#作為主要開發(fā)語言;采用簡單易用、開源、占用系統(tǒng)資源較少、自適應(yīng)能力較強(qiáng)的ACCESS數(shù)據(jù)庫作為數(shù)據(jù)庫開發(fā)平臺;經(jīng)過模擬試驗(yàn)對比，選擇核對準(zhǔn)確率100%、核對耗時更短的自動核對模式。軟件實(shí)施方案如圖2所示。

通過對客戶經(jīng)理工作流程及需求的深入調(diào)研，確定軟件應(yīng)由如下部分組成：

（1）原始數(shù)據(jù)導(dǎo)入模塊。提供從不同業(yè)務(wù)信息系統(tǒng)中獲取數(shù)據(jù)源文件的功能。

（2）數(shù)據(jù)處理模塊。按照關(guān)聯(lián)要素，通過特定算法，對輸入系統(tǒng)的數(shù)據(jù)源文件內(nèi)的數(shù)據(jù)進(jìn)行識別、比對、匹配更新的功能。

（3）數(shù)據(jù)生成與導(dǎo)出模塊。提供對識別、比對、匹配更新完畢的文件進(jìn)行生成的功能，在輸出的文件中以顏色區(qū)分匹配、未更新、新增三類行記錄數(shù)據(jù)，提高操作者對數(shù)據(jù)變化狀態(tài)識別度。

軟件運(yùn)行流程如圖3所示，對于輸入的源文件，系統(tǒng)會根據(jù)指定規(guī)則進(jìn)行校驗(yàn)，以提高輸入數(shù)據(jù)的可用性以及數(shù)據(jù)匹配的準(zhǔn)確性。

當(dāng)輸入源數(shù)據(jù)文件中數(shù)據(jù)類型以及文件格式異常時，系統(tǒng)提示源數(shù)據(jù)獲取失敗，程序運(yùn)行結(jié)束。格式校驗(yàn)依據(jù)來源于其他業(yè)務(wù)系統(tǒng)導(dǎo)出的文件格式和數(shù)據(jù)類型規(guī)范，即操作者不能修改從其他業(yè)務(wù)系統(tǒng)中導(dǎo)出的文件的任何格式以及規(guī)范，包括標(biāo)簽頁的名稱以及有效列數(shù)、有效列名、數(shù)據(jù)類型等信息。

當(dāng)輸入源數(shù)據(jù)文件中數(shù)據(jù)類型以及文件格式校驗(yàn)正常時，系統(tǒng)開始自動抽取數(shù)據(jù)并緩存，當(dāng)操作者進(jìn)行數(shù)據(jù)合并處理時，系統(tǒng)會根據(jù)關(guān)鍵要素首先關(guān)聯(lián)有效行記錄，完成識別。然后根據(jù)設(shè)定的算法對源文件數(shù)據(jù)進(jìn)行比對、匹配更新，按照更新、新增、未更新三種類型生成最終結(jié)果文件。

4 實(shí)施效果

軟件開發(fā)完成后，用客戶經(jīng)理市場信息采集的真實(shí)數(shù)據(jù)進(jìn)行測試，原始數(shù)據(jù)導(dǎo)入、數(shù)據(jù)識別、比對、匹配更新及數(shù)據(jù)生成與導(dǎo)出功能均正常運(yùn)行。

再次選擇客戶經(jīng)理進(jìn)行軟件應(yīng)用效果統(tǒng)計(jì)，市場信息采集數(shù)據(jù)處理工作耗時從原來的47.2分鐘下降到1.2分鐘，數(shù)據(jù)處理準(zhǔn)確率達(dá)到100%，效率提升幅度：（47.2-1.2）/1.2×100%=3833.33%。

軟件研發(fā)完畢后，研發(fā)小組還編寫了軟件操作指南，通過網(wǎng)絡(luò)直播形式進(jìn)行操作培訓(xùn)，并錄制視頻微課，在系統(tǒng)內(nèi)推廣運(yùn)用。

5 總結(jié)及未來目標(biāo)

目前，系統(tǒng)A和系統(tǒng)B在全國30余家煙草商業(yè)企業(yè)均有應(yīng)用，大部分仍采用人工校驗(yàn)的模式。利用自主研發(fā)軟件實(shí)現(xiàn)市場信息采集數(shù)據(jù)的自動校驗(yàn)，提升市場信息采集數(shù)據(jù)處理的工作效率，屬于行業(yè)首創(chuàng)，在行業(yè)內(nèi)具有創(chuàng)新性、先進(jìn)性和普適性。

將市場信息采集數(shù)據(jù)處理工作中的人工數(shù)據(jù)校驗(yàn)?zāi)Ｊ?，轉(zhuǎn)變?yōu)樽詣踊ｒ?yàn)，通過減少人工工作量、節(jié)約勞動時間實(shí)現(xiàn)了改變管理方式、提高工作效率、降低社會總成本的效果，推動了基層單位業(yè)務(wù)工作向智能化、綠色發(fā)展的方向邁進(jìn)。

軟件的應(yīng)用顯著提升了基層單位客戶經(jīng)理的工作效率，減輕了工作壓力，是貫徹落實(shí)雙基建設(shè)要求的重要措施，實(shí)現(xiàn)了為企業(yè)提質(zhì)增效、為基層人員減負(fù)的目的。

下一步，筆者將繼續(xù)深入探索研究，研究系統(tǒng)A數(shù)據(jù)模板下載和系統(tǒng)B數(shù)據(jù)上傳的自動處理，最終實(shí)現(xiàn)多系統(tǒng)市場信息采集數(shù)據(jù)處理全流程的自動化，運(yùn)用信息化手段切實(shí)提升市場信息采集數(shù)據(jù)處理工作的質(zhì)量和效率。

參考文獻(xiàn)：

[1]MBA智庫百科.市場信息收集[EB/OL].[2015-01-20].https：//wiki.mbalib.com/wiki/市場信息收集.

[2]百度文庫.如何實(shí)現(xiàn)卷煙市場信息的有效采集[EB/OL].[2016-11-09].https：//wenku.baidu.com/view/52b114f64793daef5ef7ba0d4a7302768e996f70.html.

1454501705358