基于數(shù)據(jù)挖掘的退庫信息異常告警方法

作者簡介：趙夏（1984— ），女，工程師，碩士；研究方向：網(wǎng)絡(luò)安全。

*通信作者：劉睿（1992— ），男，工程師，本科；研究方向：網(wǎng)絡(luò)安全，信息運(yùn)行。

摘要：鑒于目前退庫信息異常告警方法存在的誤警率較高問題，文章提出一種基于數(shù)據(jù)挖掘的退庫信息異常告警方法。首先，利用網(wǎng)絡(luò)爬蟲技術(shù)爬取退庫信息，并對(duì)無效信息進(jìn)行識(shí)別和清除。其次，對(duì)退庫信息進(jìn)行標(biāo)準(zhǔn)化處理，將需要變化的數(shù)據(jù)項(xiàng)從原有空間轉(zhuǎn)換至統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)空間。再次，運(yùn)用數(shù)據(jù)挖掘技術(shù)提取退庫信息的異常特征，并運(yùn)用賦權(quán)法對(duì)這些異常特征進(jìn)行融合，以量化退庫信息的異常程度及告警等級(jí)。最后，根據(jù)量化結(jié)果作出相應(yīng)的告警行為，從而實(shí)現(xiàn)基于數(shù)據(jù)挖掘的退庫信息異常告警。實(shí)驗(yàn)結(jié)果表明，該方法的設(shè)計(jì)誤警率不超過1%，在退庫信息異常告警領(lǐng)域具有廣闊的應(yīng)用前景。

關(guān)鍵詞：數(shù)據(jù)挖掘；退庫信息；異常；告警；網(wǎng)絡(luò)爬蟲技術(shù)；賦權(quán)法

中圖分類號(hào)：TP391" 文獻(xiàn)標(biāo)志碼：A

0" 引言

隨著信息技術(shù)的日新月異，數(shù)據(jù)挖掘技術(shù)在商業(yè)分析和決策支持等領(lǐng)域中的地位愈發(fā)重要。在企業(yè)運(yùn)營中，退庫信息作為一個(gè)重要的數(shù)據(jù)來源，能夠反映產(chǎn)品質(zhì)量、客戶需求和供應(yīng)鏈管理等方面的問題，對(duì)于及時(shí)發(fā)現(xiàn)和解決潛在問題、提高整體運(yùn)營效率具有至關(guān)重要的作用。近年來，信息異常識(shí)別與告警方法已引起了研究領(lǐng)域的廣泛關(guān)注和重視，眾多學(xué)者和專家對(duì)此進(jìn)行了深入研究，提出了一系列的方法和思路。

黃賜豪等［1］介紹了一種基于人工智能的信息異常檢測及預(yù)警方法。該方法利用人工智能技術(shù)提取信息時(shí)序特征，進(jìn)而識(shí)別異常信息并發(fā)出告警。顧亞文［2］則提出了一種基于卡爾曼濾波的信息異常監(jiān)測思路。該方法通過卡爾曼濾波識(shí)別信息異常特征，并量化信息異常預(yù)警等級(jí)。然而，傳統(tǒng)方法在處理效率和準(zhǔn)確性方面存在局限，難以滿足現(xiàn)代企業(yè)對(duì)快速響應(yīng)和精確決策的需求。因此，對(duì)退庫信息異常告警方法進(jìn)行優(yōu)化與創(chuàng)新變得尤為重要。

1" 退庫信息獲取及預(yù)處理

在進(jìn)行退庫信息異常告警分析之前，首要步驟是獲取原始退庫信息。為此，本文采用網(wǎng)絡(luò)爬蟲技術(shù)實(shí)現(xiàn)自動(dòng)化數(shù)據(jù)抓取。將退庫信息源IP地址，如網(wǎng)站、數(shù)據(jù)庫等，納入爬蟲的目標(biāo)列表。在執(zhí)行爬蟲操作之前，必須確保目標(biāo)網(wǎng)站允許對(duì)其內(nèi)容進(jìn)行爬?。?］。部分網(wǎng)站可能會(huì)設(shè)置爬取限制，例如通過robots.txt文件的規(guī)定或?qū)嵤┚W(wǎng)站訪問限制。為實(shí)現(xiàn)數(shù)據(jù)抓取功能，使用編程語言編寫爬蟲代碼，通常包括使用網(wǎng)絡(luò)請(qǐng)求庫（如Python中的requests庫）發(fā)送HTTP請(qǐng)求以獲取網(wǎng)頁內(nèi)容［4］。隨后，利用解析庫（如BeautifulSoup）對(duì)網(wǎng)頁進(jìn)行解析，從中提取所需數(shù)據(jù)。通過發(fā)送HTTP請(qǐng)求至目標(biāo)網(wǎng)站并等待服務(wù)器響應(yīng)，可以獲取網(wǎng)頁內(nèi)容。這些內(nèi)容可以是HTML、json字符串、二進(jìn)制數(shù)據(jù)（如照片或視頻）等多種形式。針對(duì)獲取的內(nèi)容，采用相應(yīng)的分析方式進(jìn)行處理。例如，若內(nèi)容為HTML，使用網(wǎng)頁分析庫進(jìn)行分析；若為json格式，則將其直接轉(zhuǎn)換為json對(duì)象以便分析。最后，將取得的資料存儲(chǔ)至本地文件或數(shù)據(jù)庫中，以便后續(xù)處理與分析。存儲(chǔ)形式可以是文本、特定格式的文件或直接存儲(chǔ)到數(shù)據(jù)庫。這一流程確保了數(shù)據(jù)的完整性和可用性，為后續(xù)分析工作提供了堅(jiān)實(shí)基礎(chǔ)。

為提升信息異常告警的精確度，必須對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。針對(duì)爬取過程中可能存在的錯(cuò)誤、缺失或不實(shí)信息對(duì)象，需進(jìn)行必要的清理工作［5］。退庫信息的屬性項(xiàng)之間，正常情況下均遵循一定的邏輯關(guān)系。這些邏輯關(guān)系可劃分為數(shù)據(jù)項(xiàng)間的控制關(guān)系與量化關(guān)系?？刂脐P(guān)系體現(xiàn)在某一數(shù)據(jù)項(xiàng)的值對(duì)其他數(shù)據(jù)項(xiàng)具有影響作用，而量化關(guān)系則主要展現(xiàn)數(shù)據(jù)項(xiàng)間的大小對(duì)比關(guān)系［6］。若爬取的退庫信息違反這些邏輯規(guī)則，則表明這些數(shù)據(jù)項(xiàng)可能存在錯(cuò)誤，或退庫信息存在不完整的情況。為此，采用以下公式來識(shí)別并剔除這些無效信息。

P=0，x∈E

1，xE（1）

式中，P表示退庫信息中無效信息識(shí)別結(jié)果；0表示有效信息；1表示無效信息；x表示退庫信息數(shù)據(jù)項(xiàng)；E表示退庫信息數(shù)據(jù)項(xiàng)邏輯關(guān)系集［7］。對(duì)識(shí)別到的無效信息進(jìn)行清除。此外原始退庫信息中數(shù)據(jù)項(xiàng)可能存在多個(gè)屬性，無法對(duì)這類信息直接進(jìn)行數(shù)據(jù)挖掘，因此對(duì)其標(biāo)準(zhǔn)化處理，可用公式表示為：

Cij=‖Xij-K‖z（2）

式中，Cij表示標(biāo)準(zhǔn)化處理后的退庫信息；Xij表示退庫信息文本中第i個(gè)信息的第j個(gè)屬性值；K表示退庫信息第j個(gè)屬性平均值；z表示退庫信息數(shù)據(jù)第j個(gè)屬性平均絕對(duì)偏移［8］。通過以上標(biāo)準(zhǔn)化處理將需要變化的數(shù)據(jù)項(xiàng)從原有空間轉(zhuǎn)換到統(tǒng)一的標(biāo)準(zhǔn)數(shù)據(jù)空間，確保退庫信息文本中所有數(shù)據(jù)項(xiàng)屬性統(tǒng)一。

2" 基于數(shù)據(jù)挖掘的信息異常特征提取

在上述內(nèi)容的基礎(chǔ)上，進(jìn)一步運(yùn)用數(shù)據(jù)挖掘技術(shù)，對(duì)已預(yù)先處理過的退庫信息進(jìn)行系統(tǒng)性的聚類分析，旨在精確識(shí)別退庫信息中的異常特征。相較于其他指標(biāo)參數(shù)，這些異常退庫信息特征能夠更為直觀地反映退庫信息數(shù)據(jù)的變動(dòng)特性，

假設(shè)，經(jīng)過預(yù)處理后的退庫信息集為M，這個(gè)信息集由2部分構(gòu)成：一是異常信息樣本集合，二是正常信息樣本集合。異常信息樣本集合匯聚了所有表現(xiàn)出異常特征的退庫信息，而正常信息樣本集合則囊括了符合常規(guī)模式的退庫信息。通過對(duì)這2類樣本的細(xì)致比較和深入分析，能夠更精確地把握異常退庫信息的獨(dú)特特征，從而為后續(xù)的決策和預(yù)警提供堅(jiān)實(shí)的支撐。

在處理異常退庫信息樣本時(shí)，必須意識(shí)到不同樣本之間的特征分布可能呈現(xiàn)顯著的差異。這種差異由多種因素造成，包括但不限于信息采集環(huán)境、設(shè)備狀態(tài)、操作方式等。為了更準(zhǔn)確地捕捉這種差異，為不同的樣本設(shè)定了相應(yīng)的權(quán)值參數(shù)［9］。這些權(quán)值參數(shù)不僅體現(xiàn)了不同信息樣本在數(shù)據(jù)集中的重要性，還影響著后續(xù)的數(shù)據(jù)挖掘結(jié)果。為了確保獲得更精確的聚類效果，對(duì)權(quán)值參數(shù)進(jìn)行了差異化設(shè)置。

除了權(quán)值參數(shù)的設(shè)置，聚類中心數(shù)量的選擇也直接關(guān)系到退庫信息異常特征提取的完整性和準(zhǔn)確性。為了確保特征提取結(jié)果的完整性，結(jié)合了參與特征提取的異常退庫信息樣本數(shù)量，并設(shè)置了與樣本數(shù)量相匹配的聚類中心數(shù)量。這樣做可以避免因聚類中心數(shù)量不足而導(dǎo)致特征提取結(jié)果不完整的情況，以異常退庫信息聚類中心為基礎(chǔ)的數(shù)據(jù)挖掘結(jié)果c為：

c=Cij→v（3）

式中，表示退庫信息樣本差異化權(quán)值參數(shù)；v表示異常退庫信息的聚類中心［10］。根據(jù)同一聚類中心下異常退庫信息與聚類中心之間距離相等，計(jì)算出異常退庫信息聚類中心的模糊隸屬度：

μ=‖c-v‖/2α（4）

式中，μ表示異常退庫信息聚類中心的模糊隸屬度；α表示退庫信息到聚類中心距離消減系數(shù)。由以上公式可知，退庫信息到聚類中心距離越近，則距離中心模糊隸屬度參數(shù)值越大，因此可以將以異常信息聚類心中為導(dǎo)向的退庫信息異常特征：

ρ=∏Mi=1μ×c×v（5）

式中，ρ表示退庫信息異常特征。按照以上流程提取到退庫信息所有異常特征，為后續(xù)退庫信息異常告警提供依據(jù)。

3" 信息異常告警

采用賦權(quán)法對(duì)退庫信息異常特征綜合分析，得到退庫信息異常指數(shù)：

τ=∫expωρ2b2（6）

式中，τ表示退庫信息異常指數(shù)；ω表示異常特征權(quán)重系數(shù)；b表示退庫信息異常特征的聚類區(qū)間半徑。根據(jù)對(duì)退庫信息異常指數(shù)的評(píng)估，設(shè)定了5個(gè)級(jí)別的告警等級(jí)。當(dāng)異常指數(shù)處于0～0.2，告警等級(jí)被定為一級(jí)，系統(tǒng)不會(huì)發(fā)出告警，因?yàn)橥藥煨畔H存在輕微異常，不會(huì)對(duì)整體退庫信息產(chǎn)生不良影響。當(dāng)異常指數(shù)落在0.2～0.4，告警等級(jí)提升為二級(jí)，系統(tǒng)將觸發(fā)告警機(jī)制，向用戶提示信息存在異常。隨著異常指數(shù)增加到0.4～0.6，告警等級(jí)升級(jí)為三級(jí)，意味著退庫信息的異常程度已有所上升，可能對(duì)退庫信息應(yīng)用產(chǎn)生不良影響，系統(tǒng)將發(fā)出相應(yīng)告警，以提醒用戶注意。當(dāng)異常指數(shù)進(jìn)一步上升至0.6～0.8，告警等級(jí)達(dá)到四級(jí)，退庫信息的異常程度較為嚴(yán)重，將對(duì)退庫信息應(yīng)用產(chǎn)生較明顯的不良影響。系統(tǒng)會(huì)發(fā)出強(qiáng)烈告警，以引起用戶的重視。最后，當(dāng)異常指數(shù)達(dá)到0.8～1，告警等級(jí)達(dá)到最高的五級(jí)，表明退庫信息存在非常嚴(yán)重的異常，將對(duì)退庫信息應(yīng)用造成重大不良影響。系統(tǒng)會(huì)發(fā)出緊急告警，以便用戶能夠迅速采取應(yīng)對(duì)措施。

根據(jù)以上規(guī)則，本系統(tǒng)能夠準(zhǔn)確地判斷預(yù)警等級(jí)，并采取相應(yīng)的告警行為。這種基于數(shù)據(jù)挖掘的退庫信息異常告警機(jī)制，有助于及時(shí)發(fā)現(xiàn)并處理異常情況，確保退庫信息的精確性與可信度。

4" 實(shí)驗(yàn)論證

4.1" 實(shí)驗(yàn)準(zhǔn)備與設(shè)計(jì)

為了驗(yàn)證本文提出的基于數(shù)據(jù)挖掘的退庫信息異常告警方法的性能，本文采用了KAHFAAFG數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。該數(shù)據(jù)集源自某企業(yè)的退庫數(shù)據(jù)庫，包含了總計(jì)2.16 GB的退庫信息，其中異常信息占比高達(dá)80%。運(yùn)用本文所提方法對(duì)這些退庫信息進(jìn)行異常告警處理，實(shí)驗(yàn)過程遵循了既定的流程對(duì)退庫信息進(jìn)行處理和數(shù)據(jù)挖掘，成功提取了信息異常特征，并對(duì)退庫信息的異常程度進(jìn)行了量化，最終實(shí)現(xiàn)了異常告警。

實(shí)驗(yàn)環(huán)境配置如下：采用了Inter Core i8 CPU，配備了8G硬盤，并運(yùn)行在Windows2010XP操作系統(tǒng)上。為了評(píng)估方法的性能，采用了退庫信息異常誤警比例作為評(píng)價(jià)指標(biāo)。異常誤警比例指的是錯(cuò)誤告警樣本與總異常樣本數(shù)量之比，該比例越高，說明告警的精度越低。通過這一指標(biāo)，對(duì)本文提出的方法進(jìn)行了精度評(píng)價(jià)。

4.2" 實(shí)驗(yàn)結(jié)果與討論

為了使實(shí)驗(yàn)數(shù)據(jù)具有一定的說明性，實(shí)驗(yàn)首先隨機(jī)選取8個(gè)異常信息樣本，統(tǒng)計(jì)告警與實(shí)際對(duì)比，如表1所示。其次將本文方法與2種現(xiàn)行方法對(duì)比，對(duì)比不同異常信息樣本數(shù)量下3種方法誤警比例，如表2所示。

對(duì)表1—2中的數(shù)據(jù)進(jìn)行對(duì)比分析，可以得出以下實(shí)驗(yàn)結(jié)論：本文提出的方法在退庫信息異常告警值的計(jì)算上，與實(shí)際值的誤差較小，顯示出與實(shí)際情況的高度一致性。相較于2種目前常用的方法，本文方法的誤警比例不超過1%，遠(yuǎn)低于這2種方法的誤警率。因此，實(shí)驗(yàn)充分證明了本文設(shè)計(jì)的告警方法具有極高的精度，在退庫信息異常告警方面展現(xiàn)出了明顯的優(yōu)勢，能夠?qū)崿F(xiàn)對(duì)退庫信息異常的精準(zhǔn)告警。

5" 結(jié)語

本文詳細(xì)闡述了基于數(shù)據(jù)挖掘的退庫信息異常告警方法的關(guān)鍵性、實(shí)施步驟以及所面臨的潛在挑戰(zhàn)。借助此種方法，企業(yè)能夠?qū)崿F(xiàn)退庫數(shù)據(jù)的自動(dòng)化處理與分析，從而迅速識(shí)別異常狀況，為決策層提供堅(jiān)實(shí)的數(shù)據(jù)支撐。隨著數(shù)據(jù)挖掘技術(shù)的持續(xù)革新與應(yīng)用領(lǐng)域的不斷擴(kuò)展，這一方法在未來的重要性將愈加凸顯。然而，值得注意的是，基于數(shù)據(jù)挖掘的退庫信息異常告警方法并非萬全之策。在實(shí)際運(yùn)用中，模型需要不斷地進(jìn)行更新與優(yōu)化。隨著業(yè)務(wù)的發(fā)展與市場的變遷，退庫數(shù)據(jù)的特征與規(guī)律亦可能發(fā)生改變。因此，為確保告警機(jī)制的有效性，需定期對(duì)模型性能進(jìn)行評(píng)估，并根據(jù)實(shí)際情況進(jìn)行相應(yīng)的調(diào)整與改進(jìn)。

參考文獻(xiàn)

［1］黃賜豪，張建寧，張永炘，等.基于人工智能的工程監(jiān)理信息異常檢測仿真技術(shù)研究［J］.粘接，2024（2）：171-174.

［2］顧亞文.基于卡爾曼濾波的電子信息數(shù)據(jù)異常檢測系統(tǒng)［J］.自動(dòng)化技術(shù)與應(yīng)用，2023（12）：95-98.

［3］田唯熙，張永仙，琚長輝，等.基于改進(jìn)圖像信息方法的地震電離層異常信息提取［J］.地震地磁觀測與研究，2023（增刊1）：102-105.

［4］衡紅軍，周文華.基于VAE與局部上下文信息自提取的異常檢測模型［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2023（11）：3513-3521.

［5］李金花.基于關(guān)聯(lián)規(guī)則的醫(yī)院內(nèi)部審計(jì)異常信息挖掘方法［J］.信息與電腦（理論版），2023（21）：211-213.

［6］王定發(fā).基于線纜狀態(tài)數(shù)據(jù)的特征集成及異常信息自動(dòng)檢測技術(shù)［J］.粘接，2023（5）：188-192.

［7］安世俊.基于深度學(xué)習(xí)的化工企業(yè)財(cái)務(wù)數(shù)據(jù)信息異常分析方法［J］.中國新技術(shù)新產(chǎn)品，2023（8）：34-36.

［8］楊艷芳，梁中豪，張美玲，等.數(shù)字化電能表信息采樣中的反向電量異常識(shí)別方法［J］.電氣傳動(dòng)，2023（4）：78-83.

［9］劉艷鵬，朱立新，馬生明，等.成分?jǐn)?shù)據(jù)理論和無監(jiān)督聚類K-means方法提取背景和異常信息：以安徽省兆吉口鉛鋅礦床為例［J］.地質(zhì)學(xué)報(bào)，2022（11）：4038-4055.

［10］李一鵬，王亞軍，栗維勛，等.基于極限學(xué)習(xí)機(jī)的變電站監(jiān)控系統(tǒng)負(fù)荷異常信息的辨識(shí)方法［J］.電子器件，2022（5）：1219-1224.

（編輯" 沈" 強(qiáng)）

Normal alarm method of database database information based on data mining

ZHAO" Xia， YIN" Daxin， LIU" Rui*

（State Grid Jiuquan Power Supply Company， Jiuquan 735000， China）

Abstract： In view of the high 1 alarm rate of the current abnormal alarm method， this paper proposes a new abnormal alarm method based on data mining. First， the web crawler technology is used to crawl the database information， and the invalid information is identified and cleared. Then， the database return information is standardized， and the data items that need to be changed from the original space to the unified standard data space. Then， the data mining technology is used to extract the abnormal characteristics of the database information， and the empowerment method is used to integrate these abnormal characteristics to quantify the abnormal degree and alarm level of the database information. Finally， according to the quantitative results of the corresponding alarm behavior， so as to realize the abnormal alarm based on data mining. The experimental results show that the design 1 alarm rate of this method does not exceed 1%， and it has a broad application prospect in the field of abnormal alarm of database return information.

Key words： data mining; database return information; abnormal; alarm; web crawler technology; empowerment method