基于機(jī)器學(xué)習(xí)的服務(wù)組合技術(shù)研究進(jìn)展

張 曄，鮑 亮

(1.中國(guó)電子科技集團(tuán)公司第三十研究所，四川 成都 610041；2.西安電子科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710071)

互聯(lián)網(wǎng)的應(yīng)用開(kāi)發(fā)中已經(jīng)出現(xiàn)了大量的Web服務(wù)，每個(gè)服務(wù)提供特定的功能。單獨(dú)的個(gè)體服務(wù)已經(jīng)無(wú)法滿(mǎn)足日益復(fù)雜的用戶(hù)需求，越來(lái)越多的實(shí)際項(xiàng)目需要將Web服務(wù)組合進(jìn)行集成，以便提供更優(yōu)的功能。服務(wù)組合技術(shù)可將現(xiàn)有的多個(gè)服務(wù)以特定的方式組合成一個(gè)高質(zhì)量、高性能的邏輯整體，來(lái)滿(mǎn)足用戶(hù)的功能需求。服務(wù)組合技術(shù)在原有服務(wù)的基礎(chǔ)上生成新的增值服務(wù)，使得系統(tǒng)功能可以靈活地?cái)U(kuò)展。不同服務(wù)提供商提供的功能相似的服務(wù)一般具有不同的服務(wù)質(zhì)量(Quality of Service，QoS)，包括價(jià)格、吞吐量、傳輸延遲、錯(cuò)誤率等。服務(wù)組合需要生成既滿(mǎn)足相應(yīng)QoS約束，又能實(shí)現(xiàn)用戶(hù)需求功能的最優(yōu)或者接近最優(yōu)的組合服務(wù)[1]。

計(jì)算機(jī)技術(shù)與人工智能的飛速發(fā)展間接性帶動(dòng)了服務(wù)組合領(lǐng)域的進(jìn)步。研究人員將人工智能領(lǐng)域的知識(shí)與傳統(tǒng)服務(wù)組合技術(shù)結(jié)合起來(lái)，將智能化的思想引入服務(wù)組合中，推動(dòng)服務(wù)組合的發(fā)展。機(jī)器學(xué)習(xí)使得服務(wù)組合算法擁有了一定的自主學(xué)習(xí)能力，從而使其能夠更好地適應(yīng)愈加復(fù)雜的環(huán)境。

互聯(lián)網(wǎng)的高速發(fā)展使得服務(wù)的數(shù)量規(guī)模日益增大，服務(wù)組合的方法也需要與時(shí)俱進(jìn)來(lái)適應(yīng)不斷變化的復(fù)雜環(huán)境。本文將對(duì)服務(wù)組合問(wèn)題進(jìn)行系統(tǒng)性的介紹：首先，介紹服務(wù)組合的分類(lèi)、服務(wù)組合問(wèn)題所面臨的挑戰(zhàn)以及最新的人工智能在服務(wù)組合上的應(yīng)用；然后，對(duì)服務(wù)組合的問(wèn)題進(jìn)行總結(jié)；最后，對(duì)今后的發(fā)展方向進(jìn)行展望。

1 服務(wù)組合問(wèn)題的分類(lèi)

服務(wù)組合問(wèn)題是服務(wù)計(jì)算領(lǐng)域中的經(jīng)典問(wèn)題，其經(jīng)過(guò)數(shù)十年的發(fā)展，已產(chǎn)生了多種分支。根據(jù)不同的劃分標(biāo)準(zhǔn)，可將現(xiàn)有的服務(wù)組合問(wèn)題劃分為不同種類(lèi)。本章節(jié)簡(jiǎn)要介紹了3種常見(jiàn)的劃分標(biāo)準(zhǔn)：(1)是否已知業(yè)務(wù)的工作流；(2)優(yōu)化目標(biāo)的種類(lèi)；(3)多目標(biāo)優(yōu)化方式。

1.1 是否已知組合服務(wù)的工作流

組合服務(wù)的工作流是指多個(gè)子功能按照它們之間的數(shù)據(jù)流構(gòu)成的工作流程，此工作流程滿(mǎn)足用戶(hù)提供的輸入輸出需求。目前已有多種方法可用于生成組合服務(wù)的抽象工作流，例如路徑查找策略[2]。已知用戶(hù)所需組合服務(wù)的工作流，目的是在子功能對(duì)應(yīng)的候選服務(wù)集內(nèi)挑選出具體服務(wù)以?xún)?yōu)化其組合目標(biāo)的問(wèn)題，被稱(chēng)為半自動(dòng)服務(wù)組合問(wèn)題[3]。目前，針對(duì)半自動(dòng)服務(wù)組合問(wèn)題已有大量研究[4-6]。然而，在實(shí)踐中通常難以提供這樣的工作流程，這也限制了半自動(dòng)服務(wù)組合方法的適用性。服務(wù)組合問(wèn)題的另一分支，即全自動(dòng)服務(wù)組合問(wèn)題[3]，逐漸受到了關(guān)注。全自動(dòng)服務(wù)組合問(wèn)題根據(jù)用戶(hù)提供的輸入輸出參數(shù)挑選具體服務(wù)進(jìn)行連接，并在此過(guò)程中同時(shí)進(jìn)行目標(biāo)的優(yōu)化[7-9]。

1.2 優(yōu)化目標(biāo)的種類(lèi)

服務(wù)組合問(wèn)題具有不同的應(yīng)用背景，例如云上服務(wù)組合、物聯(lián)網(wǎng)中的服務(wù)組合等，因此也具有不同的優(yōu)化目標(biāo)。本文將優(yōu)化目標(biāo)分為兩類(lèi)：(1)基于QoS的服務(wù)組合問(wèn)題。QoS是對(duì)服務(wù)非功能質(zhì)量的定性或定量通用評(píng)價(jià)標(biāo)準(zhǔn)，包括服務(wù)響應(yīng)時(shí)間、成本、可用性、成功執(zhí)行率、吞吐率等。基于QoS的服務(wù)組合問(wèn)題旨在得出一個(gè)整體QoS較好的服務(wù)組合方案[10]；(2)基于其它優(yōu)化目標(biāo)的服務(wù)組合問(wèn)題。除了QoS之外，基于不同的應(yīng)用背景，還需考慮額外的優(yōu)化目標(biāo)，例如組合服務(wù)的子服務(wù)數(shù)量[11]、組合服務(wù)的網(wǎng)絡(luò)QoS[12]、服務(wù)運(yùn)行資源[13]等。

1.3 目標(biāo)優(yōu)化方式

服務(wù)組合問(wèn)題往往需要同時(shí)優(yōu)化多個(gè)目標(biāo)?；诓煌目剂?，不同研究使用了不同方式進(jìn)行目標(biāo)優(yōu)化：(1)多目標(biāo)優(yōu)化[14]。最直觀的方式是將服務(wù)組合問(wèn)題直接建模為多目標(biāo)優(yōu)化問(wèn)題，并利用多目標(biāo)優(yōu)化算法尋找帕累托最優(yōu)解集；(2)轉(zhuǎn)化為單目標(biāo)進(jìn)行優(yōu)化[15]。多目標(biāo)算法的求解難度往往較大，因此有許多研究為每個(gè)優(yōu)化目標(biāo)賦予不同權(quán)重，并將多個(gè)目標(biāo)根據(jù)權(quán)重加權(quán)形成一個(gè)單一指標(biāo)，從而將多目標(biāo)優(yōu)化問(wèn)題簡(jiǎn)化為單目標(biāo)優(yōu)化問(wèn)題。但是，這種做法在簡(jiǎn)化問(wèn)題求解難度的同時(shí)，也帶來(lái)了局限性。在實(shí)際應(yīng)用中，使用該方法無(wú)法給出相應(yīng)權(quán)重。

2 服務(wù)組合問(wèn)題面臨的挑戰(zhàn)

隨著人工智能、互聯(lián)網(wǎng)等領(lǐng)域的飛速發(fā)展，“服務(wù)組合智能化”成為了研究人員新的目標(biāo)方向。服務(wù)組合雖然在過(guò)去的數(shù)十年間取得了一定的成果，但受制于傳統(tǒng)思想方法的局限性，有關(guān)服務(wù)組合的理論體系、工程方法、應(yīng)用技術(shù)等方面還不夠成熟，服務(wù)組合智能化道路仍有較多的問(wèn)題需要解決，其中的主要問(wèn)題為：

(1)動(dòng)態(tài)的Web環(huán)境。服務(wù)是應(yīng)用于網(wǎng)絡(luò)層面的，而網(wǎng)絡(luò)是不穩(wěn)定的，因此網(wǎng)絡(luò)的波動(dòng)會(huì)導(dǎo)致QoS產(chǎn)生一定的變化，有些服務(wù)會(huì)因?yàn)榄h(huán)境的變化而失效，同時(shí)又會(huì)有新的服務(wù)出現(xiàn)。因此，需使服務(wù)組合算法具有動(dòng)態(tài)性和可擴(kuò)展性，以便適應(yīng)復(fù)雜的環(huán)境；

(2)大規(guī)模的服務(wù)組合問(wèn)題。隨著互聯(lián)網(wǎng)行業(yè)的飛速發(fā)展，服務(wù)的數(shù)目也在迅速增多，從過(guò)去的數(shù)十個(gè)擴(kuò)增到如今的數(shù)萬(wàn)規(guī)模。從海量的候選服務(wù)中挑選出滿(mǎn)足用戶(hù)需求的組合服務(wù)，不僅需要提高算法的準(zhǔn)確性，更要降低計(jì)算時(shí)間，減少服務(wù)成本；

(3)QoS約束。服務(wù)組合問(wèn)題不僅要求構(gòu)建出功能滿(mǎn)足用戶(hù)需求的增值服務(wù)，還需要滿(mǎn)足用戶(hù)的QoS需求，例如用戶(hù)若對(duì)服務(wù)的實(shí)時(shí)性需求較高，則其可能會(huì)要求整體響應(yīng)時(shí)間小于某一閾值；

(4)QoS依賴(lài)。在許多情況下，服務(wù)的 QoS 與其他服務(wù)相關(guān)。當(dāng)可以從多個(gè)系統(tǒng)調(diào)用服務(wù)時(shí)，選擇來(lái)自同一個(gè)系統(tǒng)的服務(wù)進(jìn)行調(diào)用，能夠在一定程度上降低工作成本。當(dāng)調(diào)用了某一個(gè)系統(tǒng)的服務(wù)時(shí)，再次調(diào)用其系統(tǒng)的其它服務(wù)則會(huì)降低操作難度；

(5)QoS的數(shù)目?，F(xiàn)有的研究考慮QoS較少，大多數(shù)的研究?jī)H挑選少數(shù)QoS進(jìn)行實(shí)驗(yàn)比較，目前缺少考慮了大量QoS的實(shí)驗(yàn)；

(6)現(xiàn)實(shí)物理環(huán)境。服務(wù)組合除了要考慮動(dòng)態(tài)的虛擬環(huán)境，某些情況下也受到現(xiàn)實(shí)物理環(huán)境的限制。在物聯(lián)網(wǎng)中，實(shí)際的物理環(huán)境、物理地址也會(huì)影響到服務(wù)的QoS。在處理這種服務(wù)組合問(wèn)題時(shí)，將現(xiàn)實(shí)環(huán)境的影響因素結(jié)合起來(lái)也是一個(gè)難點(diǎn)。

3 機(jī)器學(xué)習(xí)在服務(wù)組合問(wèn)題中的應(yīng)用

伴隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，Web服務(wù)組合的環(huán)境也越來(lái)越復(fù)雜。人工智能的飛速發(fā)展使得智能化的思想被越來(lái)越多地應(yīng)用于服務(wù)組合，機(jī)器學(xué)習(xí)與服務(wù)組合的結(jié)合已成為該領(lǐng)域的發(fā)展潮流。機(jī)器學(xué)習(xí)就是讓計(jì)算機(jī)擁有像人類(lèi)一樣的學(xué)習(xí)能力，能夠從過(guò)往的經(jīng)驗(yàn)中總結(jié)規(guī)律形成某種認(rèn)知，從而對(duì)未來(lái)的新事物進(jìn)行判斷。計(jì)算機(jī)通過(guò)機(jī)器學(xué)習(xí)算法對(duì)大量原始數(shù)據(jù)訓(xùn)練總結(jié)出模型，用模型來(lái)對(duì)新的情景進(jìn)行判斷處理。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，不需要預(yù)先的指導(dǎo)，能夠在無(wú)標(biāo)記的數(shù)據(jù)中展現(xiàn)有效的學(xué)習(xí)能力，通過(guò)接收環(huán)境狀態(tài)對(duì)動(dòng)作的反饋從而獲得學(xué)習(xí)信息，更加接近于人的學(xué)習(xí)行為。對(duì)比某些傳統(tǒng)的算法，強(qiáng)化學(xué)習(xí)可以實(shí)現(xiàn)無(wú)模型的、端對(duì)端的、狀態(tài)到動(dòng)作的高維映射關(guān)系的自學(xué)習(xí)，它的自學(xué)習(xí)能力可以泛化到各種各樣的情況中。深度學(xué)習(xí)是用于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，并模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)的一種機(jī)器學(xué)習(xí)技術(shù)，對(duì)比與傳統(tǒng)方法，其具有效率高、可塑性強(qiáng)、普適性好的特點(diǎn)。將強(qiáng)化學(xué)習(xí)、深度學(xué)習(xí)等機(jī)器學(xué)習(xí)算法與服務(wù)組合結(jié)合起來(lái)，已經(jīng)成為了當(dāng)下研究的主流方向。

根據(jù)機(jī)器學(xué)習(xí)算法在服務(wù)組合問(wèn)題中起到的作用，可以將其劃分為兩類(lèi)：(1)求解組合方案的算法。這些算法中，機(jī)器學(xué)習(xí)是算法的主體部分，為用戶(hù)提供最終的組合方案；(2)起到輔助增強(qiáng)作用的算法。這些算法中，機(jī)器學(xué)習(xí)是服務(wù)組合算法的子步驟，為主體算法提供前置條件或輔助增強(qiáng)主體算法。

3.1 求解組合方案的算法

強(qiáng)化學(xué)習(xí)算法是最常被用于解決服務(wù)組合問(wèn)題的機(jī)器學(xué)習(xí)算法。該算法中，代理通過(guò)不斷地與環(huán)境交互，試圖找到累計(jì)回報(bào)最大的策略，進(jìn)而得出最優(yōu)組合方案。近年來(lái)，基于強(qiáng)化學(xué)習(xí)的服務(wù)組合方向不斷有新的研究出現(xiàn)，是一個(gè)重要的研究方向。

文獻(xiàn)[16]為提升強(qiáng)化學(xué)習(xí)算法的效率，并使其適用于大規(guī)模服務(wù)環(huán)境，提出了一種在動(dòng)態(tài)和大規(guī)模環(huán)境中自適應(yīng)服務(wù)組合的方法。該方法采用基于平鋪卷積濾波器的Double Q-Learning網(wǎng)絡(luò)，逐步建立了大規(guī)模服務(wù)環(huán)境的準(zhǔn)確抽象。文獻(xiàn)[17]將離散哈密頓力學(xué)、分布式多智能體控制、最優(yōu)控制理論和博弈論結(jié)合起來(lái)，提出了一種多主體強(qiáng)化學(xué)習(xí)算法。文獻(xiàn)[18]設(shè)計(jì)了基于馬爾可夫決策過(guò)程的Web服務(wù)組合優(yōu)化模型(Web Service Composition Markov Decision Processes，WSC-MDP)，提出了多目標(biāo)智能體強(qiáng)化學(xué)習(xí)的分布式Q-learning算法。文獻(xiàn)[19]提出了一種多代理的分布式Q-learning算法，將服務(wù)組合任務(wù)分解為多個(gè)子任務(wù)，使每個(gè)代理專(zhuān)注于自己的子任務(wù)，以加快收斂速度，此外該算法還引入了經(jīng)驗(yàn)分享策略以提高效率，從而增加對(duì)不斷變化環(huán)境的適應(yīng)能力。文獻(xiàn)[20]記錄了服務(wù)每一次實(shí)際運(yùn)行的QoS，利用歷史Q(chēng)oS模擬動(dòng)態(tài)環(huán)境，針對(duì)QoS的不確定性提出了一種具有自適應(yīng)性的Q-Learning算法，滿(mǎn)足了用戶(hù)的QoS約束。文獻(xiàn)[21]提出了一種利用長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)改進(jìn)Deep Q-Learning的服務(wù)組合優(yōu)化方法。相對(duì)于傳統(tǒng)方法，該方法在大規(guī)模服務(wù)環(huán)境下計(jì)算速度更快，服務(wù)組合成功率更高，具有更強(qiáng)的處理能力和處理效率。文獻(xiàn)[22]將循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)與強(qiáng)化學(xué)習(xí)結(jié)合起來(lái)，提出了基于LSTM的自適應(yīng)深度Q-Learning框架，用深度學(xué)習(xí)模擬服務(wù)組合狀態(tài)問(wèn)題，以形成擬合的Q值曲面，用作在線啟發(fā)式函數(shù)以啟發(fā)后續(xù)的強(qiáng)化學(xué)習(xí)。文獻(xiàn)[23]也將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合，用深度強(qiáng)化學(xué)習(xí)來(lái)解決大規(guī)模服務(wù)組合問(wèn)題。文獻(xiàn)[24]將服務(wù)組合問(wèn)題建模為部分可觀察的馬爾可夫決策過(guò)程，提出了一狀態(tài)一網(wǎng)絡(luò)(One State One Network，OSON-WSC)框架，通過(guò)啟發(fā)式方式將狀態(tài)分為隱藏狀態(tài)和完全可觀測(cè)狀態(tài)，為兩種狀態(tài)分別訓(xùn)練不同的策略。為了能夠在用戶(hù)無(wú)需太多手動(dòng)說(shuō)明的情況下組合個(gè)性化服務(wù)，文獻(xiàn)[25]使用排名學(xué)習(xí)算法RankBoost，根據(jù)用戶(hù)的歷史數(shù)據(jù)自動(dòng)學(xué)習(xí)用戶(hù)偏好并確定偏好的優(yōu)先級(jí)。隨后，該研究使用多目標(biāo)強(qiáng)化學(xué)習(xí)(Multi-Objective Reinforcement Learning，MORL)算法在用戶(hù)偏好之間進(jìn)行權(quán)衡，并推薦一組服務(wù)以實(shí)現(xiàn)最高目標(biāo)。文獻(xiàn)[1]將天際線技術(shù)與強(qiáng)化學(xué)習(xí)相結(jié)合，通過(guò)從候選服務(wù)中提前選用高質(zhì)量的服務(wù)，減少了搜索空間，降低了時(shí)間復(fù)雜度，并使用Q-Learning來(lái)進(jìn)行服務(wù)選擇。這種方法提高了搜索效率，使得服務(wù)組合在面對(duì)大規(guī)模問(wèn)題時(shí)有了更好的解決效果。

求解組合方案的機(jī)器學(xué)習(xí)算法的相關(guān)應(yīng)用如表1所示。

表1 求解組合方案的算法總結(jié)

由表1可以看出，近年來(lái)，強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)算法中最常被用于服務(wù)組合問(wèn)題的算法。無(wú)模型的強(qiáng)化學(xué)習(xí)算法中，代理與環(huán)境不斷交互得到立即回報(bào)并發(fā)生狀態(tài)的轉(zhuǎn)移。通過(guò)這種交互信息，代理能夠捕捉到環(huán)境的變化，并通過(guò)調(diào)整模型參數(shù)自動(dòng)適應(yīng)環(huán)境的動(dòng)態(tài)性。因此，強(qiáng)化學(xué)習(xí)適用于解決服務(wù)組合問(wèn)題所面臨的服務(wù)及QoS不穩(wěn)定的問(wèn)題。

3.2 起到輔助增強(qiáng)作用的算法

除了直接將機(jī)器學(xué)習(xí)算法用于求解組合方案外，研究人員還將機(jī)器學(xué)習(xí)算法與其他算法結(jié)合起來(lái)。在這種聯(lián)合算法中，機(jī)器學(xué)習(xí)算法不直接承擔(dān)求解組合方案的功能，而是作為一個(gè)輔助增強(qiáng)環(huán)節(jié)，或是作為主算法的預(yù)處理步驟，來(lái)幫助減小主算法的求解難度，提升求解效果。

聚類(lèi)算法是服務(wù)組合中常用的算法，主要用于對(duì)服務(wù)進(jìn)行聚簇，從而在服務(wù)組合算法開(kāi)始前過(guò)濾出無(wú)需考慮的服務(wù)，減小搜索空間，降低求解難度，提高求解速度；該算法還可根據(jù)服務(wù)的功能屬性對(duì)服務(wù)進(jìn)行聚簇，形成候選服務(wù)集，進(jìn)而構(gòu)建出組合服務(wù)的工作流等。文獻(xiàn)[26]使用基于信任的k均值聚類(lèi)算法(k-means)集群化搜索空間，并使用蜜蜂交配優(yōu)化算法實(shí)現(xiàn)全局優(yōu)化，不僅改善了算法的響應(yīng)時(shí)間，還能夠選擇出更多受信任的服務(wù)。文獻(xiàn)[27]使用基于概念的相似度對(duì)服務(wù)進(jìn)行聚類(lèi)，隨后根據(jù)每個(gè)聚類(lèi)簇的輸入輸出參數(shù)，構(gòu)建抽象服務(wù)網(wǎng)絡(luò)；然后，針對(duì)用戶(hù)請(qǐng)求從后往前查詢(xún)合適的路徑，并在尋找的過(guò)程中，進(jìn)一步過(guò)濾候選服務(wù)集；最終，得出候選服務(wù)集及工作流。文獻(xiàn)[28]用聚類(lèi)的方法來(lái)考慮全局QoS約束，通過(guò)k-means聚類(lèi)的方法將各個(gè)候選服務(wù)分組到各個(gè)集群當(dāng)中，不同集群代表不同QoS級(jí)別。該研究提出了一種基于所得群集特征的效用函數(shù)公式來(lái)消除不滿(mǎn)足用戶(hù)需求的候選服務(wù)方法，通過(guò)減少候選服務(wù)的數(shù)量來(lái)縮短組合服務(wù)的合成時(shí)間。文獻(xiàn)[29]提出了一種集群指導(dǎo)遺傳算法(Genetic Algorithm，GA)的算法，解決了數(shù)據(jù)密集型服務(wù)組合問(wèn)題。該方法根據(jù)Web服務(wù)的成對(duì)距離，采用k-means聚類(lèi)將其分組到集群中獲得初始群落，減少了局部最優(yōu)的影響；然后，對(duì)每個(gè)集群計(jì)算平均適應(yīng)度值，根據(jù)平均適應(yīng)度值對(duì)集群重新排序，進(jìn)而迭代后代，生成更優(yōu)服務(wù)集[30]。文獻(xiàn)[4]借鑒了聚類(lèi)的思路，使用孿生支撐向量機(jī)(Twin Support Vector Machine，TWSVM)來(lái)劃分候選服務(wù)，用大腦風(fēng)暴優(yōu)化作為搜索方案，并采用自適應(yīng)對(duì)偶策略來(lái)生成高質(zhì)量的組合服務(wù)。

由于服務(wù)組合是一種長(zhǎng)期的經(jīng)濟(jì)策略，而服務(wù)QoS又具有不穩(wěn)定性，因此很多研究試圖預(yù)測(cè)出服務(wù)的未來(lái)QoS變化趨勢(shì)，從而構(gòu)建出長(zhǎng)期有效的服務(wù)組合方案。文獻(xiàn)[31]提出了一種基于深度學(xué)習(xí)的服務(wù)組合(Deep Learning Service Composition，DLSC)框架，應(yīng)用LSTM網(wǎng)絡(luò)來(lái)預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)的服務(wù)QoS，并使用粒子群優(yōu)化算法組成最佳的組合服務(wù)，以便最大程度地降低消費(fèi)者成本。文獻(xiàn)[32]同樣使用LSTM網(wǎng)絡(luò)預(yù)測(cè)服務(wù)未來(lái)的QoS，并使用預(yù)測(cè)的QoS值和用戶(hù)對(duì)QoS的可接受及偏好范圍，在長(zhǎng)期服務(wù)組合中準(zhǔn)確推薦服務(wù)和替換服務(wù)，增強(qiáng)了任何現(xiàn)有的組合和替換技術(shù)。文獻(xiàn)[33]在馬爾可夫決策的基礎(chǔ)上新定義了動(dòng)態(tài)Web服務(wù)組合模型，并使用LSTM通過(guò)過(guò)去的數(shù)據(jù)預(yù)測(cè)出未來(lái)的QoS，繼而采用Q學(xué)習(xí)進(jìn)行服務(wù)選擇。

除了直接使用強(qiáng)化學(xué)習(xí)進(jìn)行服務(wù)組合外，強(qiáng)化學(xué)習(xí)也常用于作為元啟發(fā)式方法的增強(qiáng)步驟。文獻(xiàn)[34]認(rèn)為GA的性能很大程度上取決于初始種群，因此研究人員利用Q-Learning算法生成初始種群以提升GA的效率。

本文將起到輔助增強(qiáng)作用的機(jī)器學(xué)習(xí)算法的應(yīng)用進(jìn)行了總結(jié)。由表 2可以看出，機(jī)器學(xué)習(xí)中聚類(lèi)和序列預(yù)測(cè)算法是最常被用于解決服務(wù)組合問(wèn)題的方法。

表2 起到輔助增強(qiáng)作用的算法總結(jié)

4 結(jié)束語(yǔ)

本文首先介紹了服務(wù)組合問(wèn)題的幾種分類(lèi)標(biāo)準(zhǔn)和目前服務(wù)組合問(wèn)題主要面臨的挑戰(zhàn)，隨后總結(jié)了機(jī)器學(xué)習(xí)算法在服務(wù)組合問(wèn)題中的兩種應(yīng)用方向。由上述介紹可以看出，機(jī)器學(xué)習(xí)算法在服務(wù)組合領(lǐng)域中具有良好的應(yīng)用前景，同時(shí)也面臨著一些問(wèn)題：(1)缺乏高質(zhì)量的數(shù)據(jù)集。許多研究在解決環(huán)境的動(dòng)態(tài)性問(wèn)題時(shí)，由于缺乏真實(shí)的歷史記錄數(shù)據(jù)，只能人工假設(shè)數(shù)據(jù)的分布，進(jìn)而模擬環(huán)境的變化。但這種操作缺乏真實(shí)性，且收集數(shù)據(jù)集也增加了工作量；(2)對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性不強(qiáng)?，F(xiàn)有基于強(qiáng)化學(xué)習(xí)的服務(wù)組合算法中，許多算法通過(guò)實(shí)際執(zhí)行服務(wù)獲取立即回報(bào)，從而調(diào)整參數(shù)。但該操作會(huì)降低算法的實(shí)時(shí)性和實(shí)用性；(3)算法運(yùn)行效率較低。在現(xiàn)有基于強(qiáng)化學(xué)習(xí)的服務(wù)組合算法中，許多算法無(wú)法學(xué)習(xí)組合的經(jīng)驗(yàn)，對(duì)于新的組合需求，總需要重新進(jìn)行訓(xùn)練，與傳統(tǒng)方法相比，效率并沒(méi)有顯著提高。

基于以上問(wèn)題，機(jī)器學(xué)習(xí)算法在服務(wù)組合領(lǐng)域上的發(fā)展方向主要為：(1)收集數(shù)據(jù)，在服務(wù)組合領(lǐng)域內(nèi)形成公認(rèn)的有效數(shù)據(jù)集；(2)利用服務(wù)的歷史Q(chēng)oS信息構(gòu)造長(zhǎng)期可用的服務(wù)組合，或改進(jìn)強(qiáng)化學(xué)習(xí)模型，使其通過(guò)與模擬環(huán)境進(jìn)行離線訓(xùn)練，學(xué)習(xí)針對(duì)部分執(zhí)行完畢的服務(wù)組合做下一步行動(dòng)；(3)設(shè)計(jì)強(qiáng)化學(xué)習(xí)中代理的狀態(tài)表示，使?fàn)顟B(tài)中包含盡量多的服務(wù)組合全局信息，從而使強(qiáng)化學(xué)習(xí)學(xué)到服務(wù)組合問(wèn)題的通用策略。

機(jī)器學(xué)習(xí)算法在服務(wù)組合領(lǐng)域中仍然具有較大的發(fā)展空間與潛力，在服務(wù)組合領(lǐng)域中也將出現(xiàn)更多實(shí)用性與創(chuàng)新性并存的研究。