AI技術(shù)在運營數(shù)據(jù)低代碼分析方面的應(yīng)用研究

一、引言

隨著信息技術(shù)特別是互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，社交網(wǎng)絡(luò)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等相繼進(jìn)入人們的日常工作和生活中，用戶、企業(yè)和政府等個人和組織都在產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)信息量正呈指數(shù)式爆炸增長。為了更好地理解用戶需求，提高服務(wù)質(zhì)量，以及洞悉用戶的潛在價值，研究AI技術(shù)在運營數(shù)據(jù)低代碼分析方面的應(yīng)用，對幫助業(yè)務(wù)進(jìn)行深入的數(shù)據(jù)挖掘和解決方案顯得格外重要。

二、相關(guān)工作

機器學(xué)習(xí)算法的應(yīng)用日益廣泛，相關(guān)的開源平臺和工具也如雨后春筍般涌現(xiàn)，其中不乏一些非常優(yōu)秀的產(chǎn)品，如Powerbi、Stata、Orange3等，在實踐處理業(yè)務(wù)需求時所面臨的關(guān)鍵痛點有：

數(shù)據(jù)的多樣性與復(fù)雜性：隨著數(shù)據(jù)類型的多樣性增加和算法復(fù)雜性的提升，開源的算法在計算性能、穩(wěn)定性和可擴展性方面面臨著巨大挑戰(zhàn)。特別是在運營領(lǐng)域，對于復(fù)雜多變的業(yè)務(wù)環(huán)境，需要更靈活、高效的解決方案。

安全與隱私的重要性：在實際業(yè)務(wù)場景中，數(shù)據(jù)分析涉及大量敏感數(shù)據(jù)。因此，確保數(shù)據(jù)操作的安全性和隱私性顯得尤為重要，尤其是在運營領(lǐng)域，對于客戶隱私的保護(hù)至關(guān)重要。

研發(fā)效率與專業(yè)門檻：傳統(tǒng)的編譯代碼建模開發(fā)周期較長，對于人才的專業(yè)技術(shù)要求也較高。一些數(shù)據(jù)分析產(chǎn)品在擴展能力上存在不足，無法快速擴展算子并共享使用。同時，缺乏統(tǒng)一的模型管理和模型服務(wù)平臺，導(dǎo)致業(yè)務(wù)部門在應(yīng)用模型服務(wù)時時效性不佳。在運營中，迅速響應(yīng)變化、快速優(yōu)化模型以適應(yīng)新的業(yè)務(wù)場景是至關(guān)重要的。

瞄準(zhǔn)上述痛點，研究專業(yè)易用、深度定制的機器學(xué)習(xí)開放平臺，以快捷低代碼方式幫助業(yè)務(wù)進(jìn)行深入的數(shù)據(jù)挖掘和解決方案顯得格外重要。

三、企業(yè)級數(shù)據(jù)分析低代碼平臺

（一） 平臺特點

低代碼數(shù)據(jù)分析平臺，其獨特之處在于提供了全生命周期、自助式的大數(shù)據(jù)挖掘平臺，為用戶提供了高度靈活和易用的數(shù)據(jù)分析工具。通過低代碼數(shù)據(jù)分析平臺，用戶能夠在整個數(shù)據(jù)處理生命周期中進(jìn)行自助式操作，從數(shù)據(jù)的收集和清洗，到模型的構(gòu)建和結(jié)果的可視化，實現(xiàn)了一體化的數(shù)據(jù)分析體驗。

1.海量數(shù)據(jù)處理

低代碼數(shù)據(jù)分析平臺構(gòu)建于分布式計算的基礎(chǔ)之上，匯集分布式算法和數(shù)據(jù)分析方法，包括數(shù)據(jù)預(yù)處理、特征工程、機器學(xué)習(xí)算法等，可高效的完成海量、高維度數(shù)據(jù)的復(fù)雜計算，滿足企業(yè)級數(shù)據(jù)挖掘需求，幫助客戶從海量數(shù)據(jù)中挖掘出業(yè)務(wù)價值。

2.自動化模型構(gòu)建

（1）自助機器學(xué)習(xí)，支持將與特征、模型、優(yōu)化、評價有關(guān)的重要步驟進(jìn)行自動化地學(xué)習(xí)，使得機器學(xué)習(xí)模型無需人工干預(yù)即可被應(yīng)用。（2）模型自動學(xué)習(xí)，支持對已保存的模型，自動根據(jù)最新的數(shù)據(jù)進(jìn)行訓(xùn)練，并能自動將符合一定要求的模型發(fā)布或者部署到生產(chǎn)中。（3）模型自動調(diào)參，支持對模型參數(shù)進(jìn)行自動搜索，選擇最優(yōu)的模型參數(shù)。

3.完善的生態(tài)體系

工具支持從數(shù)據(jù)上傳、數(shù)據(jù)預(yù)處理、特征工程、模型訓(xùn)練、模型評估到模型發(fā)布、模型和服務(wù)管理的機器學(xué)習(xí)全流程。并且擁有銀行級別的數(shù)據(jù)安全權(quán)限管理。

4.拖拽式可視化建模

封裝經(jīng)典的機器學(xué)習(xí)算法， （1）支持在WEB 界面，通過拖、拉、拽等方式即可完成復(fù)雜數(shù)據(jù)挖掘流程。（2）支持使用內(nèi)置的自助機器學(xué)習(xí)功能進(jìn)行自動建模，實現(xiàn)模型自動選擇、參數(shù)自動探索、模型效果自動評估、模型自動向下傳導(dǎo)及模型自動優(yōu)化。

5.可視化的無縫集成

能夠與BI工具的可視化功能無縫集成，將挖掘結(jié)果通過多樣豐富的BI報表可視化手段進(jìn)行分析展現(xiàn)。

6.一鍵式模型部署服務(wù)

將挖掘流程以服務(wù)的方式進(jìn)行發(fā)布，用戶直接調(diào)用服務(wù)鏈接訪問，實現(xiàn)模型到業(yè)務(wù)的無縫銜接，支持Restful API數(shù)據(jù)接入到實驗中，支持WEB服務(wù)。

（二）技術(shù)架構(gòu)

低代碼數(shù)據(jù)分析平臺的總體可分為五層：

數(shù)據(jù)源層：包括關(guān)系型數(shù)據(jù)庫，HDFS、流式數(shù)據(jù)kafka、MPP數(shù)據(jù)庫以及本地文件CSV、TXT等。

調(diào)度技術(shù)框架層：大數(shù)據(jù)計算平臺Spark集群、高可用平臺ZooKeeper、擴展開發(fā)平臺Anaconda（Python）、DAG調(diào)度引擎集群、服務(wù)引擎集群。

分布式算法模型庫：分類、聚類、回歸、推薦、特征工程、統(tǒng)計、文本挖掘等。

數(shù)據(jù)分析管理層：DAG操作框架、實驗管理、服務(wù)管理、數(shù)據(jù)可視化、資源監(jiān)控、自定義管理。

應(yīng)用層：流失預(yù)警、客戶細(xì)分、異常值檢測、價值分析、產(chǎn)品推薦、流量分析等。

其中，作為低代碼數(shù)據(jù)分析平臺的核心智能驅(qū)動內(nèi)核，其計算引擎構(gòu)件主要包含實驗引擎、服務(wù)引擎、Python計算代理、Spark圖計算代理等。其中，實驗引擎負(fù)責(zé)接收實驗執(zhí)行請求，通過解析實驗定義，生成Spark計算任務(wù)或Python計算任務(wù)，并分別發(fā)送給代理到相對應(yīng)的計算集群。

服務(wù)引擎可以將訓(xùn)練好的模型發(fā)布成Restful接口，便于提供模型預(yù)測服務(wù)給第三方系統(tǒng)調(diào)用。平臺特有的大部分組件則由Spark分布式計算代理完成，承擔(dān)著平臺的核心計算任務(wù)。而對于Python計算任務(wù)，則發(fā)送到Python計算代理中完成，主要彌補平臺組件的不足，增加擴展算法的能力。

（三） 技術(shù)應(yīng)用場景

在數(shù)據(jù)分析低代碼平臺中，常見的技術(shù)場景是相對有限的，如分類、回歸、聚類、異常檢測等，但落實到實際項目的業(yè)務(wù)層出現(xiàn)的場景卻各一。例如，分類這個技術(shù)場景，在電力行業(yè)是竊漏電檢測，在工業(yè)設(shè)備檢測為是否故障，在客戶運營方面則為流失用戶預(yù)測。因此，掌握常見的技術(shù)場景，是進(jìn)行下一步業(yè)務(wù)場景建模的核心關(guān)鍵。

在金融領(lǐng)域，通過對海量的交易數(shù)據(jù)進(jìn)行分析，實現(xiàn)更精準(zhǔn)的風(fēng)險評估和預(yù)測，同時利用其強大的可視化功能，更直觀地了解業(yè)務(wù)狀況，做出更明智的決策。在電力行業(yè)，通過對能源生產(chǎn)和消耗數(shù)據(jù)的深度挖掘，幫助企業(yè)實現(xiàn)對電力系統(tǒng)的全面監(jiān)控與管理。從發(fā)電設(shè)備的狀態(tài)監(jiān)測到電網(wǎng)運行的實時分析，為電力企業(yè)提供了全方位的數(shù)據(jù)支持，優(yōu)化能源利用效率，提升系統(tǒng)的可靠性。在制造業(yè)方面，通過對生產(chǎn)數(shù)據(jù)的實時監(jiān)控和分析，制造企業(yè)能夠?qū)崿F(xiàn)生產(chǎn)過程的精細(xì)化管理，提高生產(chǎn)效率，減少資源浪費，并優(yōu)化供應(yīng)鏈的運作。在政府行業(yè)，可以對各種社會經(jīng)濟數(shù)據(jù)的整合和分析，更好地了解社會發(fā)展趨勢，為政策制定提供科學(xué)依據(jù)，推動社會治理的智能化升級。

1.聚類分群

“物以類聚，人以群分”即充分解釋了特征分群，它是指將具有相似特征的群體或者對象聚合在一起成為一個類，在該類中的對象都是彼此相似的。因此，可根據(jù)不同群體的特征利用數(shù)據(jù)挖掘給客戶、地區(qū)、品種等進(jìn)行特征分群，然后依據(jù)不同分群的特點制定相應(yīng)的策略。例如：對客戶進(jìn)行科學(xué)的分群，可為客戶提供適配的產(chǎn)品、制定針對性的營銷活動和管理用戶，最終提升產(chǎn)品的客戶滿意度，實現(xiàn)商業(yè)價值。

聚類算法常用于無監(jiān)督學(xué)習(xí)問題，對大量未知標(biāo)注的數(shù)據(jù)集，按數(shù)據(jù)的內(nèi)在聯(lián)系將數(shù)據(jù)集劃分為多個類別，使類別內(nèi)的數(shù)據(jù)相似度較大，而類別間的數(shù)據(jù)相似度較小。常見算法：K均值、高斯混合模型。

應(yīng)用場景：對客戶進(jìn)行分層營銷、學(xué)生消費水平分群、電網(wǎng)用戶增加畫像維度、航空公司客戶價值分析。

2.分類預(yù)測

類別預(yù)測指的是根據(jù)對象已知的類別及特征進(jìn)行建模訓(xùn)練，再使用模型對其它未知的對象進(jìn)行類別劃分預(yù)測。例如：根據(jù)客戶本身屬性和歷史行為特征等（年齡、性別、工作類型、婚姻狀況、文化程度、個人貸款、收入情況）結(jié)合歷史劃分的類別進(jìn)行建模，預(yù)測其他或?qū)淼目蛻羰欠裨敢廪k理相關(guān)業(yè)務(wù)，也可預(yù)測辦理業(yè)務(wù)的意愿程度。

分類算法是根據(jù)已經(jīng)分好類的一些數(shù)據(jù)，分析每一類的潛在特征并建立分類模型，用于識別未知數(shù)據(jù)的類別。常見算法：邏輯回歸、樸素貝葉斯、決策樹、隨機森林、支持向量機、梯度提升決策樹、多層感知機。

應(yīng)用場景：銀行客戶流失預(yù)測、個人貸款違約預(yù)測、銀行理財產(chǎn)品預(yù)定預(yù)測、用戶竊漏電預(yù)測，山體滑坡預(yù)測等。

3.回歸預(yù)測

7RB1F2tf+eIvIYg360JS5w==回歸預(yù)測指的是根據(jù)某事件以往的歷史數(shù)據(jù)記錄（營銷數(shù)據(jù)、交易數(shù)據(jù)、市場供需等），對未來該事件的目標(biāo)走勢（如價格等指標(biāo)）進(jìn)行預(yù)測，從而指導(dǎo)相關(guān)單位提前做出應(yīng)對方案（規(guī)劃資源調(diào)度或者價格調(diào)整等）。例如：根據(jù)某個區(qū)域以往的電力或供水系統(tǒng)的負(fù)荷消耗能源的情況，對未來一段時間某個區(qū)域的電力或供水系統(tǒng)的負(fù)荷消耗能源總量做預(yù)測。以此指導(dǎo)相關(guān)單位提前規(guī)劃產(chǎn)能投入和相關(guān)基礎(chǔ)設(shè)施建設(shè)，從而降低企業(yè)運營成本提高客戶滿意度。常見算法：線性回歸、梯度提升回歸樹。

應(yīng)用場景：服裝門店銷售額預(yù)測、用電需求預(yù)測、二手車交易價格預(yù)測、房子價格預(yù)測、超市商品銷量預(yù)測。

4.關(guān)聯(lián)推薦

關(guān)聯(lián)規(guī)則是反映一個事物與其他事物之間的相互依存性和關(guān)聯(lián)性，用于從大量數(shù)據(jù)中挖掘出有價值的數(shù)據(jù)項之間的相關(guān)關(guān)系，可從數(shù)據(jù)中關(guān)聯(lián)分析出“由于某些事件的發(fā)生而引起另外一些事件的發(fā)生”之類的規(guī)則。如平時在超市購買洗發(fā)水大多數(shù)也會購買沐浴露的情況，關(guān)聯(lián)規(guī)則常用于做推薦問題分析。常見算法：FP-Growth。

應(yīng)用場景：商品零售購物籃關(guān)聯(lián)分析、客戶理財產(chǎn)品關(guān)聯(lián)分析、客戶書籍喜好關(guān)聯(lián)分析。

四、結(jié)語

本文先是介紹了企業(yè)級數(shù)據(jù)分析低代碼平臺的特點和技術(shù)架構(gòu)，以此作為介紹逐步引入機器學(xué)習(xí)技術(shù)在低代碼數(shù)據(jù)分析中的體現(xiàn)。而后，針對一些行業(yè)的典型應(yīng)用場景展開舉例，試圖通過一些簡單的案例介紹，能讓讀者對技術(shù)在工程上的應(yīng)用有個清晰的認(rèn)識。最后，結(jié)合我所情況做了一些探索性的分析介紹。隨著增強分析與AI技術(shù)不斷的更替，未來必然能引領(lǐng)數(shù)據(jù)分析走向智能化的道路，幫助我所提升各方面的能力，響應(yīng)國家數(shù)字化改革的號召。

作者單位： 南京電子技術(shù)研究所