試析智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)設(shè)計(jì)

石雅茹

（中車青島四方機(jī)車車輛股份有限公司，山東青島 266111）

0 引言

運(yùn)維管理系統(tǒng)（OMS）是針對(duì)電信運(yùn)營商的網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)中心、機(jī)房等基礎(chǔ)設(shè)施，提供從監(jiān)測、運(yùn)維到故障處理的端到端管理平臺(tái)。OMS 可以為電信運(yùn)營商提供一個(gè)集中的、面向用戶的自動(dòng)化管理平臺(tái)，從而使其能夠?qū)W(wǎng)絡(luò)設(shè)備、數(shù)據(jù)中心、機(jī)房等基礎(chǔ)設(shè)施進(jìn)行高效管理。

1 智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)的優(yōu)勢

傳統(tǒng)的故障處理是在機(jī)房內(nèi)，由網(wǎng)絡(luò)工程師進(jìn)行故障判斷，由于運(yùn)維人員和網(wǎng)絡(luò)工程師在經(jīng)驗(yàn)、技術(shù)上存在較大差異，難以保證故障處理的準(zhǔn)確性。智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)利用云計(jì)算、大數(shù)據(jù)技術(shù)，將故障處理的流程數(shù)字化，使故障處理更具可預(yù)測性、可預(yù)見性。智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)通過對(duì)各專業(yè)運(yùn)維數(shù)據(jù)的采集分析，將電信運(yùn)營商的基礎(chǔ)設(shè)施和網(wǎng)絡(luò)設(shè)備狀態(tài)全面、準(zhǔn)確、及時(shí)地呈現(xiàn)出來。在故障發(fā)生后，系統(tǒng)自動(dòng)將故障告警發(fā)送給相關(guān)專業(yè)人員，由專業(yè)人員對(duì)問題進(jìn)行分析，并制定相應(yīng)的解決方案。此外，系統(tǒng)還可以自動(dòng)生成相關(guān)工單，由人工進(jìn)行審核和處理。智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)可幫助電信運(yùn)營商實(shí)現(xiàn)網(wǎng)絡(luò)的全面監(jiān)測和全流程自動(dòng)化管理，提高故障處理效率和質(zhì)量，有效降低網(wǎng)絡(luò)維護(hù)成本。

2 智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)設(shè)計(jì)存在的問題

2.1 數(shù)據(jù)源不夠豐富

傳統(tǒng)的運(yùn)維管理主要是針對(duì)設(shè)備的性能、業(yè)務(wù)系統(tǒng)、安全等方面進(jìn)行管理，缺少對(duì)運(yùn)維人員的管理和支持。隨著企業(yè)信息化建設(shè)的推進(jìn)，企業(yè)內(nèi)部的IT 系統(tǒng)越來越多，導(dǎo)致數(shù)據(jù)量日益增大。對(duì)于傳統(tǒng)運(yùn)維管理方式而言，IT系統(tǒng)架構(gòu)復(fù)雜、種類繁多，為運(yùn)維管理帶來了極大的挑戰(zhàn)。因此，企業(yè)在構(gòu)建智能運(yùn)維平臺(tái)時(shí)，要建立統(tǒng)一的數(shù)據(jù)采集、存儲(chǔ)和分析體系，基于不同IT 系統(tǒng)的特點(diǎn)，將采集到的數(shù)據(jù)進(jìn)行統(tǒng)一處理和管理。利用智能運(yùn)維平臺(tái)對(duì)所有IT 系統(tǒng)進(jìn)行統(tǒng)一采集和管理，形成統(tǒng)一的數(shù)據(jù)格式、數(shù)據(jù)存儲(chǔ)和分析體系。此外，還要建立完善的運(yùn)維人員管理機(jī)制和培訓(xùn)機(jī)制，提升運(yùn)維人員對(duì)系統(tǒng)架構(gòu)、應(yīng)用架構(gòu)、網(wǎng)絡(luò)架構(gòu)等方面的了解。同時(shí)，還可以借助數(shù)據(jù)挖掘技術(shù)、機(jī)器學(xué)習(xí)技術(shù)等，對(duì)數(shù)據(jù)進(jìn)行深度分析和挖掘，為信息推薦系統(tǒng)設(shè)計(jì)提供依據(jù)。

2.2 推薦算法不精確

智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)中的推薦算法主要是利用用戶和項(xiàng)目的歷史評(píng)分?jǐn)?shù)據(jù)，通過相關(guān)系數(shù)計(jì)算，得出兩者之間的相似度，從而為用戶推薦與其歷史評(píng)分相似度較高的項(xiàng)目。然而，由于智能運(yùn)維平臺(tái)中數(shù)據(jù)量龐大，采用的相似度計(jì)算方法并不準(zhǔn)確，會(huì)導(dǎo)致推薦結(jié)果出現(xiàn)較大誤差。例如，在用戶評(píng)分?jǐn)?shù)據(jù)中，有很多項(xiàng)目都是相同類型的，但是由于不同用戶使用不同類型的設(shè)備，導(dǎo)致每個(gè)用戶使用的設(shè)備類型不一致，就會(huì)出現(xiàn)大量相似度較高的項(xiàng)目被推薦出來。此外，智能運(yùn)維平臺(tái)中大量相似度較高的項(xiàng)目也會(huì)導(dǎo)致推薦結(jié)果過于樂觀，從而影響其他用戶對(duì)該項(xiàng)目的評(píng)分。因此，為了提高推薦結(jié)果的準(zhǔn)確性，必須對(duì)推薦算法進(jìn)行改進(jìn)。

3 智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)的設(shè)計(jì)要點(diǎn)

3.1 數(shù)據(jù)處理

在智能運(yùn)維平臺(tái)中，運(yùn)維數(shù)據(jù)分為兩部分，一部分是智能監(jiān)控系統(tǒng)采集到的基礎(chǔ)數(shù)據(jù)，包括設(shè)備名稱、物理位置、網(wǎng)絡(luò)拓?fù)?、IP 地址等；另一部分是系統(tǒng)采集到的運(yùn)維數(shù)據(jù)，包括CPU、內(nèi)存、硬盤等物理設(shè)備的配置信息和服務(wù)日志信息。這些數(shù)據(jù)都是通過系統(tǒng)收集和分析得到的，往往具有一定的噪聲和缺失，需要進(jìn)行初步清洗才能滿足后續(xù)推薦算法的要求。

首先，對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理。對(duì)采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行清洗，去除噪聲和缺失數(shù)據(jù)，按照一定標(biāo)準(zhǔn)轉(zhuǎn)換為標(biāo)準(zhǔn)格式，進(jìn)行標(biāo)準(zhǔn)化處理，并按照一定的規(guī)則對(duì)標(biāo)準(zhǔn)化后的基礎(chǔ)數(shù)據(jù)進(jìn)行歸一化處理，歸一化后的基礎(chǔ)數(shù)據(jù)能夠保證不同設(shè)備之間具有可比性。其次，對(duì)系統(tǒng)采集到的運(yùn)維數(shù)據(jù)進(jìn)行初步清洗。如果采用統(tǒng)一格式的采集方法，會(huì)產(chǎn)生大量相同或相似的運(yùn)維信息，難以滿足推薦算法對(duì)于異構(gòu)信息處理的要求。如果采用不同的處理方法，可能會(huì)產(chǎn)生大量冗余信息，降低推薦算法的效率。因此，在系統(tǒng)設(shè)計(jì)之初就要考慮如何將不同設(shè)備上采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行整合和規(guī)范。

3.2 算法設(shè)計(jì)

協(xié)同過濾推薦算法是目前應(yīng)用最廣泛的一種信息推薦算法，根據(jù)用戶之間的歷史交互記錄，分析用戶對(duì)某一類或多類物品的偏好，從而為用戶推薦類似的物品。協(xié)同過濾算法可以分為兩大類，即基于物品協(xié)同過濾算法和用戶協(xié)同過濾算法。首先輸入用戶對(duì)某一類或多類物品的偏好信息，然后利用該用戶對(duì)該類或多類物品的歷史交互信息計(jì)算用戶對(duì)該類或多類物品的偏好信息，最終根據(jù)用戶與該類或多類物品之間的相似度，為其推薦類似商品?；谟脩魠f(xié)同過濾推薦系統(tǒng)是一種針對(duì)用戶特征進(jìn)行個(gè)性化推薦的系統(tǒng)。利用用戶對(duì)某一類或多類物品的偏好信息計(jì)算用戶對(duì)該類或多類物品的偏好信息，根據(jù)這些偏好信息對(duì)目標(biāo)用戶進(jìn)行個(gè)性化推薦。與物品協(xié)同過濾相比，用戶協(xié)同過濾不需要考慮如何提取歷史交互記錄中的特征信息，因?yàn)檫@些特征信息在歷史交互記錄中已經(jīng)存在[1]，可以直接使用。與物品協(xié)同過濾不同的是，用戶協(xié)同過濾需要考慮如何將目標(biāo)用戶和目標(biāo)產(chǎn)品之間進(jìn)行匹配，具體實(shí)現(xiàn)過程中涉及多個(gè)關(guān)鍵算法，如相似性度量算法、推薦算法、排序算法等。

3.3 推薦策略設(shè)計(jì)

協(xié)同過濾信息推薦系統(tǒng)主要解決的是用戶之間的協(xié)同問題，而不是給用戶推薦商品。在推薦策略中，通常需要根據(jù)用戶的歷史行為數(shù)據(jù)預(yù)測用戶對(duì)商品的偏好，這種方法在一定程度上能滿足用戶需求，但在實(shí)際使用中往往存在一定的問題。

首先，用戶歷史行為數(shù)據(jù)的獲取比較困難。用戶在使用智能運(yùn)維平臺(tái)時(shí)，會(huì)產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)對(duì)于協(xié)同過濾信息推薦系統(tǒng)來說是一種潛在的“冷啟動(dòng)”資源。由于這些數(shù)據(jù)都是由運(yùn)維人員手動(dòng)記錄下來的，其中包含大量的無效或不完整數(shù)據(jù)，因此在處理這些數(shù)據(jù)時(shí)，需要投入大量的人力和時(shí)間成本。其次，用戶歷史行為數(shù)據(jù)可能并不能真正地反映用戶真正喜歡的商品。雖然推薦系統(tǒng)應(yīng)該盡量貼近真實(shí)情況，但由于智能運(yùn)維平臺(tái)上存在著大量相似或者相同的商品，可能會(huì)出現(xiàn)“推薦不準(zhǔn)確”或“推薦與實(shí)際情況不符”等情況。最后，推薦系統(tǒng)中推薦算法和模型太多。例如，常見的協(xié)同過濾算法主要包括基于內(nèi)容、基于項(xiàng)目、基于內(nèi)容與協(xié)同過濾相結(jié)合、基于內(nèi)容與項(xiàng)目相結(jié)合4 種方法。其中，基于項(xiàng)目算法是最基本，也是最常用的一種方法，可以直接應(yīng)用于各種推薦系統(tǒng)，而基于內(nèi)容與協(xié)同過濾相結(jié)合則是近年來研究較多的一種算法，因?yàn)槠渌惴ň哂幸欢ǖ木窒扌?，所以很少單?dú)使用。用戶歷史行為數(shù)據(jù)不足導(dǎo)致的數(shù)據(jù)稀疏性問題，可以考慮使用基于內(nèi)容與協(xié)同過濾相結(jié)合的算法，但是這種方法存在冷啟動(dòng)問題。在該方法中，由于用戶歷史行為數(shù)據(jù)不足導(dǎo)致用戶無法找到自己喜歡或感興趣的商品，因此很難確定用戶到底喜歡什么商品。針對(duì)這一問題，可以考慮在該算法中引入?yún)f(xié)同過濾推薦模塊或混合推薦模塊。

根據(jù)上述分析可知，協(xié)同過濾推薦系統(tǒng)在設(shè)計(jì)時(shí)，要充分考慮智能運(yùn)維平臺(tái)上存在的大量相同、相似商品或服務(wù)。在具體設(shè)計(jì)時(shí)，需要根據(jù)實(shí)際情況進(jìn)行適當(dāng)調(diào)整。例如，在推薦策略中引入?yún)f(xié)同過濾算法，并不意味著可以完全不考慮其他推薦算法。具體來說，可根據(jù)實(shí)際情況對(duì)推薦系統(tǒng)進(jìn)行相應(yīng)的調(diào)整，以滿足用戶需求。一些特別小眾或者個(gè)性化較強(qiáng)的商品或服務(wù)不適合直接引入?yún)f(xié)同過濾算法，這類商品或服務(wù)可以考慮采用混合推薦策略提高推薦效率[2]。為達(dá)到更好推薦效果，可以針對(duì)不同情況對(duì)推薦系統(tǒng)進(jìn)行適當(dāng)調(diào)整，以滿足不同用戶的需求。

3.4 協(xié)同過濾算法的選擇和優(yōu)化

協(xié)同過濾算法的選擇主要有3 個(gè)方面，分別是計(jì)算成本、數(shù)據(jù)稀疏性、算法復(fù)雜度。計(jì)算成本是指算法的計(jì)算開銷，通常推薦系統(tǒng)的推薦策略分為在線和離線兩種，在線推薦需要保證算法的可擴(kuò)展性，所以算法的選擇也是系統(tǒng)設(shè)計(jì)中需要考慮的因素之一。離線情況下，協(xié)同過濾算法一般是基于項(xiàng)目本身的信息進(jìn)行推薦，計(jì)算量較小，且易于實(shí)現(xiàn)。在選擇協(xié)同過濾算法時(shí)，需要充分考慮其可擴(kuò)展性。數(shù)據(jù)稀疏性是指系統(tǒng)中存在大量未標(biāo)記的數(shù)據(jù)，由于數(shù)據(jù)稀疏性問題，傳統(tǒng)協(xié)同過濾算法中使用的矩陣分解技術(shù)很難達(dá)到預(yù)期效果。近年來，深度學(xué)習(xí)技術(shù)在推薦領(lǐng)域得到了廣泛應(yīng)用，使基于深度學(xué)習(xí)的推薦技術(shù)成為一種重要的選擇。因此，在智能運(yùn)維平臺(tái)中設(shè)計(jì)協(xié)同過濾信息推薦系統(tǒng)時(shí)，應(yīng)充分考慮自身實(shí)際情況和應(yīng)用場景的特點(diǎn)和需求。協(xié)同過濾算法是一種基于用戶/項(xiàng)目評(píng)分?jǐn)?shù)據(jù)進(jìn)行預(yù)測推薦的方法[3]。對(duì)于傳統(tǒng)協(xié)同過濾算法而言，由于用戶/項(xiàng)目評(píng)分?jǐn)?shù)據(jù)較少且維度較低，其推薦效果往往不能滿足實(shí)際需要，所以在進(jìn)行協(xié)同過濾算法選擇時(shí)應(yīng)充分考慮這一因素。

3.5 系統(tǒng)架構(gòu)

協(xié)同過濾信息推薦系統(tǒng)主要由3 部分組成，分別是用戶畫像、信息推薦引擎以及基于內(nèi)容的推薦引擎。用戶畫像部分用于描述用戶的基本信息，例如姓名、性別、年齡、工作崗位等；信息推薦引擎主要用于推薦系統(tǒng)中使用的各種故障信息，包括應(yīng)用服務(wù)的異常報(bào)警、應(yīng)用系統(tǒng)告警、應(yīng)用服務(wù)性能指標(biāo)等。用戶畫像部分是整個(gè)系統(tǒng)的核心部分，為整個(gè)系統(tǒng)提供了豐富的數(shù)據(jù)來源。例如，可以根據(jù)用戶以往的故障報(bào)告、日志等數(shù)據(jù)生成用戶畫像，根據(jù)用戶在使用應(yīng)用服務(wù)過程中產(chǎn)生的行為數(shù)據(jù)，如日志記錄中產(chǎn)生的網(wǎng)絡(luò)連接數(shù)、CPU 使用率等，生成用戶畫像；還可以根據(jù)用戶使用應(yīng)用服務(wù)的行為特征，如網(wǎng)絡(luò)請(qǐng)求頻率、網(wǎng)絡(luò)流量大小等，生成用戶畫像。協(xié)同過濾信息推薦引擎是整個(gè)系統(tǒng)的核心部分，可以根據(jù)系統(tǒng)中存在的數(shù)據(jù)和算法模型，生成推薦結(jié)果，推薦結(jié)果可以分為3 類。第一，由系統(tǒng)推薦給用戶的結(jié)果，即推薦給用戶的推薦信息。第二，由系統(tǒng)推薦給其他相關(guān)人員（運(yùn)維人員、開發(fā)人員）的結(jié)果，即協(xié)同過濾算法生成的推薦信息。第三，由其他運(yùn)維人員（系統(tǒng)運(yùn)維人員）直接生成的結(jié)果?；趦?nèi)容的推薦引擎可以提供更加豐富的數(shù)據(jù)來源，在協(xié)同過濾算法生成的推薦信息中還可以添加一些額外特征和屬性[4]。例如，根據(jù)應(yīng)用服務(wù)的網(wǎng)絡(luò)連接數(shù)、CPU 使用率等描述應(yīng)用服務(wù)發(fā)生的異常情況；根據(jù)應(yīng)用服務(wù)時(shí)間描述應(yīng)用服務(wù)發(fā)生的異常情況；根據(jù)應(yīng)用服務(wù)負(fù)載描述應(yīng)用服務(wù)發(fā)生的異常情況等。

3.6 功能設(shè)計(jì)

系統(tǒng)主要由數(shù)據(jù)管理、協(xié)同過濾、信息推薦和用戶管理模塊構(gòu)成。數(shù)據(jù)管理模塊提供了用戶基本信息管理、性能信息管理等功能，為用戶提供基礎(chǔ)的運(yùn)維數(shù)據(jù)支持，協(xié)同過濾模塊提供了故障信息推薦功能，通過建立用戶－故障關(guān)系，為用戶推薦可能感興趣的故障信息，信息推薦模塊提供了用戶偏好信息的推薦，包括對(duì)故障處理結(jié)果和處理時(shí)間的推薦、對(duì)故障處理結(jié)果的排序推薦，用戶管理模塊主要實(shí)現(xiàn)了系統(tǒng)管理員對(duì)系統(tǒng)的配置、修改、刪除、監(jiān)控等功能。協(xié)同過濾是基于用戶歷史行為數(shù)據(jù)的個(gè)性化推薦。數(shù)據(jù)預(yù)處理是通過數(shù)據(jù)清洗模塊對(duì)用戶歷史行為數(shù)據(jù)進(jìn)行清洗和過濾，去除噪聲[5]。此外，系統(tǒng)還支持將清洗后的數(shù)據(jù)進(jìn)行聚類處理，以提高算法精度。改進(jìn)的協(xié)同過濾算法是將經(jīng)典協(xié)同過濾算法和新的改進(jìn)算法相結(jié)合。

4 結(jié)語

在當(dāng)前時(shí)代背景下，合理設(shè)計(jì)智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)有重要的意義。因此，需要結(jié)合當(dāng)前實(shí)際情況，了解智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)的優(yōu)勢和問題，并掌握系統(tǒng)架構(gòu)、功能設(shè)計(jì)、算法設(shè)計(jì)等一系列設(shè)計(jì)要點(diǎn)，保證智能運(yùn)維平臺(tái)協(xié)同過濾信息推薦系統(tǒng)設(shè)計(jì)的有效進(jìn)行，推動(dòng)系統(tǒng)的可持續(xù)發(fā)展和進(jìn)步。