基于聚類和關(guān)鍵詞抽取的采購需求識別方法研究

摘要：準(zhǔn)確識別采購需求是基于網(wǎng)絡(luò)的智能采購平臺精準(zhǔn)匹配供應(yīng)商資源的關(guān)鍵環(huán)節(jié)，能有效助推企業(yè)降低采購成本，優(yōu)化資源配置，提高市場響應(yīng)速度。本文通過文本挖掘技術(shù)，利用K-Means聚類算法提取歷史采購數(shù)據(jù)的需求主題，采用短語抽取方法和詞頻統(tǒng)計(jì)方法識別采購需求關(guān)鍵詞，形成采購需求關(guān)鍵詞特征向量，有效支撐智能采購平臺供應(yīng)方案自動匹配和推薦，提升企業(yè)供應(yīng)鏈效率和經(jīng)濟(jì)管理水平。

關(guān)鍵詞：采購需求識別；關(guān)鍵詞抽??；TF-IDF模型

引言

在企業(yè)的經(jīng)濟(jì)活動中，供應(yīng)鏈扮演著連接企業(yè)內(nèi)外部經(jīng)濟(jì)活動的關(guān)鍵角色，是企業(yè)經(jīng)濟(jì)管理不可或缺的一環(huán)。采購需求構(gòu)成了供應(yīng)鏈管理的起始點(diǎn)，是招標(biāo)人制定采購需求文件、確定投標(biāo)者資格以及匹配供應(yīng)方案的關(guān)鍵參考。精確地識別采購需求有助于企業(yè)有效控制采購成本，迅速響應(yīng)市場需求，優(yōu)化資源配置，并提高企業(yè)運(yùn)營效率。

借助網(wǎng)絡(luò)采購平臺和大數(shù)據(jù)技術(shù)的優(yōu)勢，通過標(biāo)準(zhǔn)化采購數(shù)據(jù)，可以對采購數(shù)據(jù)進(jìn)行深入的分析和挖掘。依托大數(shù)據(jù)與人工智能等先進(jìn)數(shù)字手段，實(shí)現(xiàn)采購需求在線自動編制與智能決策，促進(jìn)采購流程的線上自動化管控與云端協(xié)作，這對彰顯集團(tuán)化采購的協(xié)同效應(yīng)，提高大型集團(tuán)的經(jīng)濟(jì)管理效能，具有不可忽視的價(jià)值。

一、采購需求識別的基本思路

識別用戶采購需求是智能采購平臺設(shè)計(jì)中不可分割的組成部分，與智能推薦、自動匹配、AI評審等功能的實(shí)現(xiàn)密不可分。用戶采購需求的識別構(gòu)成了采購需求研究的核心環(huán)節(jié)。關(guān)鍵在于從采購文件的特征出發(fā)，運(yùn)用特定的手段和方法，將潛藏于采購需求文件中的關(guān)鍵要素揭示出來，并轉(zhuǎn)化為明確的需求表達(dá)。在技術(shù)日新月異的背景下，大數(shù)據(jù)與機(jī)器學(xué)習(xí)的融合推動了需求識別方式的變革，由演繹法轉(zhuǎn)向以“數(shù)據(jù)+模型+分析”為核心理念的歸納法。在當(dāng)前情境下，無須直接與采購用戶接觸，僅需深入挖掘需求文件中的關(guān)鍵信息，即可精確捕捉到用戶的具體需求[1]。

無監(jiān)督文本主題生成模型旨在將多維詞集映射至低維主題分布，以實(shí)現(xiàn)需求識別的降維，助力智能采購平臺迅速捕捉需求文檔的核心要義。采用文本挖掘模型對需求文檔進(jìn)行主題分析，由此提煉出“主題詞”的概率分布，進(jìn)而識別出蘊(yùn)含在其中的關(guān)鍵特征詞，最終完成對用戶需求核心信息的精準(zhǔn)界定。

二、結(jié)構(gòu)化采購需求編制

（一）智能采購平臺采購需求匹配流程

以結(jié)構(gòu)化采購文件編制工具為心臟的智能采購平臺，在供應(yīng)商關(guān)系管理（SRM）標(biāo)包編制階段嵌入開發(fā)，作為結(jié)構(gòu)化采購文件編制的起點(diǎn)。需求側(cè)數(shù)據(jù)標(biāo)準(zhǔn)庫體系的建設(shè)主要基于規(guī)則要素庫和業(yè)務(wù)組件庫，通過特征要素的提取，生成范本模型庫和范本，以支持用戶完成采購文件的編制；供應(yīng)側(cè)則通過資質(zhì)樣本庫、資質(zhì)業(yè)績庫和業(yè)績標(biāo)準(zhǔn)庫，為用戶提供報(bào)價(jià)文件編制的支持[2]。評審中心通過識別采購需求的特征，并與報(bào)價(jià)文件進(jìn)行特征匹配，通過匹配度的計(jì)算，形成智能評審的結(jié)果（圖1所示）。

（二）采購需求編制

依托智能匹配技術(shù)，該采購文件編制平臺集成了采購文件范本與經(jīng)典實(shí)例，旨在助力采購人員高效地完成采購文件編制流程。所采用的核心技術(shù)依托于采購流程，通過深入分析歷史采購文件的樣本特征，構(gòu)建采購文件樣本框架，并借助商務(wù)與技術(shù)樣本模型，構(gòu)建了結(jié)構(gòu)化的樣本文件庫，為自動化采購文件的編制提供了有力支撐。

采購文件編制平臺主要功能包括：功能包括支持對采購文件進(jìn)行導(dǎo)入、解析、導(dǎo)出、下載以及查看等操作；實(shí)施采購文件范本的匹配與切換操作，并智能引用范本要素；在采購需求數(shù)據(jù)領(lǐng)域，對經(jīng)典實(shí)例及其要素進(jìn)行智能化的推薦與引用，旨在實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)的規(guī)范化和標(biāo)準(zhǔn)化處理。

三、基于聚類算法和TF-IDF模型的采購需求主題識別

在采購需求數(shù)據(jù)結(jié)構(gòu)化和標(biāo)準(zhǔn)化的基礎(chǔ)上，以用戶采購需求文件為研究對象，項(xiàng)目提出了一種基于關(guān)鍵詞抽取的采購主題識別方法，以實(shí)現(xiàn)對采購需求的識別和分類。其主要流程包括采購數(shù)據(jù)獲取、采購數(shù)據(jù)預(yù)處理、采購主題聚類、采購需求關(guān)鍵詞抽取四個(gè)步驟，以實(shí)現(xiàn)采購需求主題的識別（圖2所示）。

（一）需求數(shù)據(jù)收集

在真實(shí)的采購場合搜集樣本數(shù)據(jù)，涉及采購文件及所需采購信息。通過文本分析技術(shù)，辨識企業(yè)常規(guī)采購需求，依托物資采購合同數(shù)據(jù)，運(yùn)用統(tǒng)計(jì)手段剖析核心數(shù)據(jù)，同時(shí)針對需求文本所采用的采購查詢系統(tǒng)，對每份合同進(jìn)行細(xì)致梳理，包括合同名稱、簽署日期、合同金額、供應(yīng)商及采購方信息、地域歸屬等關(guān)鍵要素，并借助文本分析手段，從整體采購流程中提煉出企業(yè)采購類別，為系統(tǒng)在運(yùn)行過程中精準(zhǔn)推薦采購要素奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)[3]。

（二）數(shù)據(jù)預(yù)處理

良好的數(shù)據(jù)條件是開展采購流程數(shù)據(jù)化的先決條件。對收集到的樣本數(shù)據(jù)進(jìn)行預(yù)處理，包括分詞、詞性標(biāo)注等步驟，以便于后續(xù)的特征提取和模型訓(xùn)練。

分詞是一項(xiàng)基礎(chǔ)任務(wù)，正確的分詞可以提升主題聚類的效果。項(xiàng)目的文本分析基于Python（“蟒蛇”是一種計(jì)算機(jī)程序編程語言）的Jieba（結(jié)巴庫）分詞實(shí)現(xiàn)。為提升分詞結(jié)果的可靠性，本文構(gòu)建了行業(yè)詞庫和標(biāo)準(zhǔn)詞庫，以形成對分詞自帶詞庫的有益補(bǔ)充?；谝陨显~庫，對收集的各部門產(chǎn)品目錄進(jìn)行分詞，并對分詞結(jié)果進(jìn)行精細(xì)化的人工篩選，最終得到能源企業(yè)采購關(guān)鍵詞庫[4]。

在經(jīng)過字符型分詞與停用詞的過濾之后，用戶需求的文檔數(shù)據(jù)得以轉(zhuǎn)換成數(shù)值型數(shù)據(jù)，以便機(jī)器解析。在開展需求文本的主題建模作業(yè)之前，首要任務(wù)是完成對分詞文本的數(shù)字化處理，即實(shí)現(xiàn)文本向量化轉(zhuǎn)換。文本向量化過程中，自然語言處理領(lǐng)域廣泛采用詞袋模型作為常用模型。

通過對文本進(jìn)行分詞處理，可以計(jì)算出每個(gè)詞在樣本中的出現(xiàn)頻率。這些頻率值為每個(gè)樣本提供了基于詞匯的特征。當(dāng)將這些特征與相應(yīng)的詞匯一起整理時(shí)，就可以形成所謂的“向量化”表示。這種方法使得文本信息可以通過數(shù)值化的形式進(jìn)行處理，從而便于后續(xù)的分析和應(yīng)用。

（三）采購數(shù)據(jù)的聚類分析

為了進(jìn)行采購需求關(guān)鍵詞的聚類分析，首先需要將每個(gè)需求描述轉(zhuǎn)化為語義向量。Doc2Vec是一種深度學(xué)習(xí)模型，用于生成段落或文檔的向量表示，它通過無監(jiān)督學(xué)習(xí)方法，將采購需求文檔（包括句子、段落等）的內(nèi)容轉(zhuǎn)化為固定長度的向量。這些向量捕捉了文檔的語義信息，使得后續(xù)的文本處理工作可以轉(zhuǎn)化為向量空間中的數(shù)學(xué)運(yùn)算，極大簡化了分析流程。Doc2Vec模型包含兩種主要算法：RAKE算法和SkipGram模型。通過在歷史采購數(shù)據(jù)中的所有需求文檔上應(yīng)用這些算法進(jìn)行訓(xùn)練，可以生成每個(gè)文檔的語義向量表示。這些向量能夠有效地反映文檔的語義特征，為后續(xù)的需求分析和聚類提供基礎(chǔ)支持。在Doc2Vec模型中，每個(gè)句子都會被轉(zhuǎn)換成一個(gè)獨(dú)特的向量。經(jīng)過該處理后，每個(gè)需求文件可以表示為一個(gè)n維的向量，其中n表示向量的維度，向量中的每個(gè)元素wi表示需求關(guān)鍵詞在相應(yīng)維度上的權(quán)重。這種表示方式使得文本能夠在高維語義空間中被有效地捕捉和表示。

在應(yīng)用Doc2Vec方法后，可以得到每個(gè)需求文件的向量表示。為了進(jìn)一步提取需求文本的核心主題，接下來需要對需求中的關(guān)鍵詞進(jìn)行聚類分析。通過這種方式，可以識別出文本中潛在的重要主題信息。為了對采購需求文檔進(jìn)行主題分析，采用了K-Means聚類算法，這是一種既簡單又高效的聚類技術(shù)。通過設(shè)定目標(biāo)聚類數(shù)k，該算法可以有效地將需求文件中的關(guān)鍵詞進(jìn)行分組，從而揭示出每個(gè)文檔中的主要主題。在聚類過程中，依據(jù)每個(gè)采購需求文件的語義向量，K-Means算法對所有文本關(guān)鍵詞進(jìn)行分析并進(jìn)行分類。

通過對文本數(shù)據(jù)進(jìn)行分析，系統(tǒng)平臺能夠根據(jù)不同采購類別，自動為采購人員推薦相關(guān)的關(guān)鍵詞。此功能助力采購人員迅速構(gòu)建需求文檔，并顯著提高編制需求的精確性與規(guī)范化程度?；趯v史數(shù)據(jù)的深入剖析，該系統(tǒng)得以依托實(shí)時(shí)數(shù)據(jù)及市場動態(tài)，實(shí)施靈活且迅速的調(diào)整策略，進(jìn)而顯著提升采購環(huán)節(jié)的適應(yīng)性與反應(yīng)效率。

（四）采購需求的關(guān)鍵詞抽取

主題關(guān)鍵詞的提取是需求識別過程中的核心步驟。本文采用RAKE（快速自動關(guān)鍵字提?。┧惴?，從需求文件的描述中提取出與采購需求相關(guān)的主題關(guān)鍵詞，從而構(gòu)建出用戶需求的主題向量[5]。RAKE方法是一種高效的關(guān)鍵技術(shù)短語提取算法，專注于從文本中識別并抽取具有較長結(jié)構(gòu)的短語。在提取關(guān)鍵詞的過程中，該方法優(yōu)先考慮那些能夠準(zhǔn)確反映主題的多詞短語，從而提高了關(guān)鍵詞提取的質(zhì)量和精度。RAKE算法的基本原理包括以下步驟：首先，通過標(biāo)點(diǎn)符號和停用詞對文本進(jìn)行分句處理；然后，利用詞語在短語中的共現(xiàn)頻率構(gòu)建共現(xiàn)矩陣，其中矩陣的列表示詞匯的度數(shù)。接著，根據(jù)詞頻、度數(shù)以及度頻比來提取特征，最后，通過計(jì)算詞匯的度數(shù)和詞頻來評估關(guān)鍵短語的得分（Score）。

最終，通過按得分（Score）降序排列，選擇得分最高的三分之一詞匯作為關(guān)鍵詞?；谶@些候選短語，進(jìn)一步采用TF-IDF（詞頻－逆文檔頻率）方法，從各個(gè)采購文件中提取出關(guān)鍵需求信息。隨后，采用停用詞過濾和詞性過濾兩種方法，對候選關(guān)鍵詞進(jìn)行精篩，去除其中包含停用詞的短語，從而確保短語集合中只保留有效的關(guān)鍵詞。

（五）采購需求的主題識別方法

根據(jù)前述的候選技術(shù)短語集合，利用詞頻統(tǒng)計(jì)方法來識別每個(gè)采購類別中的關(guān)鍵特征詞。通過定義TF-IDF權(quán)重，衡量特征關(guān)鍵詞在文檔中的重要性，并依據(jù)這些權(quán)重對每個(gè)聚類中的短語進(jìn)行排序，從而構(gòu)建出用戶需求的特征向量。TF-IDF是一種廣泛應(yīng)用于信息檢索和數(shù)據(jù)挖掘的加權(quán)方法，用于衡量詞項(xiàng)在文檔中的相對重要性。它通過評估詞項(xiàng)在特定文檔中的頻率以及該詞項(xiàng)在所有文檔中的分布，來判斷該詞的權(quán)重。TF-IDF由兩個(gè)部分組成：在文本分析領(lǐng)域，“詞頻”與“逆文檔頻率”扮演著至關(guān)重要的角色，所謂“詞頻”，即TermFrequency，它揭示了單個(gè)詞語在特定文檔中出現(xiàn)的次數(shù)；而“逆文檔頻率”，即InverseDocumentFrequency，則衡量了詞語在所有文檔中的分布情況。這兩個(gè)概念在信息檢索和文本挖掘中具有重要應(yīng)用價(jià)值，它們共同構(gòu)成了衡量詞語重要性的重要指標(biāo)。在計(jì)算過程中，首要任務(wù)是求取每個(gè)詞匯的TF（詞頻）和IDF（逆文檔頻率）數(shù)值，隨后將這兩個(gè)數(shù)值相乘，以此獲得該詞匯的TF-IDF（詞頻－逆文檔頻率）得分，進(jìn)而評估其在文檔中的關(guān)鍵程度。在文檔中，一個(gè)詞語的TF-IDF值越高，通常預(yù)示著該詞語在文檔中的地位愈發(fā)顯著，重要性亦隨之提升。對文檔內(nèi)各詞匯進(jìn)行TF-IDF值評估，并按降序排列，從而篩選出位列前茅的詞匯，這些詞匯即構(gòu)成文檔的核心。

任意詞項(xiàng)t，它在一個(gè)文檔d中的重要性（即TF-IDF權(quán)重）的計(jì)算公式為：

在TF-IDF計(jì)算中，TF（t，d）表示詞項(xiàng)t在采購需求文檔d中的出現(xiàn)頻率；df（t）則是詞項(xiàng)t在所有歷史需求文檔中出現(xiàn)的文檔數(shù)量；N代表總的文檔數(shù)量。通過這些指標(biāo)，可以量化詞項(xiàng)的重要性。該公式的含義是，當(dāng)一個(gè)采購需求關(guān)鍵詞在某個(gè)文檔中頻繁出現(xiàn)，而在其他文檔中較少出現(xiàn)時(shí)，說明該關(guān)鍵詞對當(dāng)前文檔的重要性較高?；赥F-IDF權(quán)重，項(xiàng)目研究中度量了需求關(guān)鍵詞在各個(gè)需求文檔中的重要性，并對需求關(guān)鍵詞在各個(gè)需求文檔中的權(quán)重進(jìn)行排序，最后將每個(gè)需求文檔中重要性最高的k個(gè)關(guān)鍵詞作為采購需求文檔的主題向量，用于標(biāo)示該需求文檔的特征。

四、總結(jié)

本文提出了一種通過文本挖掘技術(shù)，進(jìn)行關(guān)鍵詞提取識別采購需求的方法，基于歷史采購數(shù)據(jù)構(gòu)建采購需求的數(shù)據(jù)樣本，通過數(shù)據(jù)組件和文件范本以結(jié)構(gòu)化數(shù)據(jù)方式輔助采購人員編制采購文件；采用K-Means聚類算法得到不同采購需求類別下的采購需求的主題關(guān)鍵詞，利用短語抽取方法和詞頻統(tǒng)計(jì)方法識別各個(gè)采購類別中的關(guān)鍵詞短語，形成按重要性排序的采購需求主題向量，實(shí)現(xiàn)采購需求的識別，有效縮短企業(yè)供應(yīng)鏈響應(yīng)時(shí)間，提升企業(yè)經(jīng)濟(jì)管理水平和市場競爭力。

參考文獻(xiàn)：

[1]孔艷芳，劉建旭，趙忠秀．?dāng)?shù)據(jù)要素市場化配置研究：內(nèi)涵解構(gòu)、運(yùn)行機(jī)理與實(shí)踐路徑[J]．經(jīng)濟(jì)學(xué)家，2021（11）：24-32．

[2]趙玲，黃昊．企業(yè)數(shù)字化轉(zhuǎn)型、供應(yīng)鏈協(xié)同與成本粘性[J]．當(dāng)代財(cái)經(jīng)，2022（5）：124-136．

[3]馬斌，周楊，馮嶺．基于CPC專利分類系統(tǒng)的新興技術(shù)主題識別方法[J]．中國發(fā)明與專利，2023，20（09）：13-21．

[4]侯鳳成，劉士偉，李國威，等．采購需求標(biāo)準(zhǔn)數(shù)字化工作探析[J]．中國機(jī)關(guān)后勤，2023，20（06）：13-21．

[5]胡蕓，傅立云，范尋．基于讀者決策采購的多元輔助決策采購模式研究[J]．內(nèi)蒙古科技與經(jīng)濟(jì)，2020（2）：3．

（作者簡介：陳濤，國家能源集團(tuán)物資有限公司數(shù)據(jù)科技分公司智能評審部主管）