基于混合博弈模型的合作演化研究

辛 琦，周 曉

福建江夏學(xué)院經(jīng)濟(jì)貿(mào)易學(xué)院，福州，350108

?

基于混合博弈模型的合作演化研究

辛 琦，周 曉

福建江夏學(xué)院經(jīng)濟(jì)貿(mào)易學(xué)院，福州，350108

為了研究不同的個(gè)體在面對相同的社會困境時(shí)會有不同的感知此類場景下的合作演化，通過構(gòu)建混合博弈模型對結(jié)構(gòu)化群體的合作演化進(jìn)行研究。模型不僅考慮了博弈規(guī)則的多樣化，而且增加了相同博弈規(guī)則下個(gè)體收益矩陣的多樣化，由此形成群體的異質(zhì)性。仿真結(jié)果表明，多博弈規(guī)則下，不同子群體內(nèi)個(gè)體收益矩陣的多樣化可以進(jìn)一步提高整個(gè)群體的合作水平，尤其是在背叛誘惑處于中等水平時(shí)，這種異質(zhì)性對合作涌現(xiàn)的促進(jìn)作用更為顯著。

混合博弈；合作演化；囚徒困境；雪堆博弈

1 問題提出

社會困境是個(gè)體在自己利益和社會利益之間進(jìn)行選擇的一種情景。如果自私盛行，追求短期的個(gè)人利益會迅速導(dǎo)致相互有益的合作行為的消失，并最終造成公共的悲劇。囚徒困境是受到最廣泛關(guān)注的社會困境[1-7]。在每次囚徒困境博弈中，兩個(gè)博弈者需同時(shí)做出合作或背叛的決定，產(chǎn)生的困境是：盡管相互合作能使集體的收益最高，但是當(dāng)博弈對手為合作者時(shí)，個(gè)體選擇背叛會有更高收益，并使得其選擇合作的對手收益最低。與囚徒困境一樣受到廣泛關(guān)注的還有雪堆博弈[8-10]，在雪堆博弈中，合作者的處境較囚徒困境略好些，在遇到背叛者時(shí)，個(gè)體選擇合作會比選擇背叛會獲得更高收益。

自然界和人類社會廣泛存在的合作行為與達(dá)爾文的進(jìn)化論和自然選擇相違背，因此，有大量的研究致力于找出產(chǎn)生合作的機(jī)制，以解決社會困境中的合作問題。演化博弈理論是研究社會困境所采用的通用理論框架[11]。可以用網(wǎng)絡(luò)來表示處于同一社會困境的某個(gè)群體，其中，網(wǎng)絡(luò)節(jié)點(diǎn)代表群體中的不同個(gè)體，節(jié)點(diǎn)之間的連邊代表個(gè)體之間的交往關(guān)系。事實(shí)上，不同個(gè)體在面對同一社會困境時(shí)會有不同的感知，在演化博弈過程中表現(xiàn)為群體內(nèi)有不同的博弈模型或收益矩陣并存。一個(gè)簡單地例子可以說明這個(gè)觀點(diǎn)：兩個(gè)司機(jī)開著車在一條狹窄的街道相遇，他們需要避免碰撞，第一個(gè)司機(jī)開的是便宜的舊汽車，第二個(gè)司機(jī)開的是昂貴的新汽車，一般情況下，第二個(gè)司機(jī)會更愿意避免出現(xiàn)碰撞。由此可見，當(dāng)面臨沖突時(shí)，不同個(gè)體因博弈對手選擇背叛而帶來的損失感知不同，進(jìn)而導(dǎo)致個(gè)體有不同的收益矩陣，那么這種情況的出現(xiàn)將會如何影響整個(gè)群體的合作水平呢？

上述問題適合用多模型博弈/混合博弈模型[12-14]對其進(jìn)行建模。多模型博弈/混合博弈模型已在均勻混合系統(tǒng)中得以研究，而事實(shí)上，自然界和人類社會的幾乎任何群體都不會是均勻混合的，每個(gè)個(gè)體都與不同的其他個(gè)體發(fā)生聯(lián)系?；诖耍琖ang等在方格網(wǎng)絡(luò)和無標(biāo)度網(wǎng)絡(luò)上研究了以弱囚徒困境為核心，弱囚徒困境、強(qiáng)囚徒困境和雪堆困境并存時(shí)博弈規(guī)則的多樣性對合作率的影響，研究結(jié)果表明群體中采用強(qiáng)囚徒困境和雪堆博弈的個(gè)體越多，就越能促進(jìn)合作的涌現(xiàn)[15]。但是，該文采用同樣博弈規(guī)則的所有個(gè)體所感受到的社會困境程度(即收益矩陣)都是相同的，這顯然與實(shí)際情況不符。因此，在文獻(xiàn)[15]的基礎(chǔ)上，本文增加了相同博弈模型中收益矩陣的多樣性，并通過仿真與文獻(xiàn)[15]的結(jié)果進(jìn)行對比，仿真結(jié)果表明，在博弈規(guī)則多樣性之上考慮收益矩陣的多樣性，以此形成的群體異質(zhì)性能進(jìn)一步促進(jìn)群體合作演化水平的提高。

2 混合博弈模型

考慮囚徒困境博弈模型和雪堆博弈模型并存的混合博弈模型，并且同一博弈模型中存在收益矩陣的多樣性。

囚徒困境博弈模型是研究社會困境演化最常用的一種模型，參與囚徒困境博弈的個(gè)體可以選擇合作(C)與背叛(D)兩種策略。合作者碰到背叛者時(shí)，合作者收益為S，背叛者收益為T；合作者碰到合作者時(shí)，兩者都可獲得收益R；背叛者碰到背叛者時(shí)，兩者的收益都為P。當(dāng)囚徒困境博弈中的這四種收益滿足T>R>P>S，這類囚徒困境被稱為強(qiáng)囚徒困境。由于在強(qiáng)囚徒困境博弈中選擇合作總是比選擇背叛吃虧，所以它是一種最難產(chǎn)生合作行為的兩個(gè)體博弈模型。如果T>R>P=S，則為弱囚徒困境博弈，它是對強(qiáng)囚徒困境博弈的簡化，具有等價(jià)的研究效果[16]。不失一般性，設(shè)置弱囚徒困境的收益矩陣為T>1，R=1，P=S=0；強(qiáng)囚徒困境的收益矩陣為T>1，R=1，P=0，S<0。

雪堆博弈模型是另外一個(gè)常被研究的兩個(gè)體博弈模型，它是由司機(jī)回家的道路被積雪堵住后所面臨的困境而得名。在此模型中，合作(C)就是下車鏟開積雪，背叛(D)就是不下車鏟雪呆在車上坐等別人鏟雪。如果下車鏟雪的話，雖然會付出一定的代價(jià)，但自己多少還是會有回報(bào)，因此對應(yīng)于兩個(gè)體博弈的收益矩陣元素而言，存在T>R>S>P的數(shù)量關(guān)系，即當(dāng)面對背叛者時(shí)，個(gè)體選擇合作能獲得一定的收益，會好于選擇背叛策略。設(shè)置雪堆博弈的收益矩陣為T>1，R=1，P=0，S>0。

網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)采用L×L周期性邊界條件的方格網(wǎng)絡(luò)，初始時(shí)等量的合作者與背叛者在該網(wǎng)絡(luò)上隨機(jī)分布，每個(gè)個(gè)體與四個(gè)鄰居互作用(馮·諾依曼鄰域)。博弈以弱囚徒困境為核心，即T=b>1，R=1，P=S=0。群體中ρ比率的個(gè)體使用不同的S值來表征他們在面對相同社會困境時(shí)的不同認(rèn)知，其中，一半的個(gè)體使用S=+Δ(雪堆博弈)，另一半使用S=-Δ(強(qiáng)囚徒困境)，Δ取位于區(qū)間(0,1)的隨機(jī)數(shù)，用以模擬網(wǎng)絡(luò)中雪堆子群體和囚徒困境子群體所面臨同類型社會困境的多樣性。

在每個(gè)時(shí)間步的博弈中，個(gè)體與所有鄰居互作用并累計(jì)收益，并采用費(fèi)米動力學(xué)進(jìn)行策略更新，即隨機(jī)選擇個(gè)體的一個(gè)鄰居，記個(gè)體與該鄰居的策略和收益分別為sx、sy和fx、fy，值得注意的是，個(gè)體的收益是根據(jù)自己所采取的收益矩陣進(jìn)行計(jì)算的。將fx、fy代入費(fèi)米函數(shù)(如式(1)所示)可以得到個(gè)體由策略sx更新為策略sy的概率。

(1)

上式中，κ是環(huán)境噪聲因子，用來量化個(gè)體學(xué)習(xí)鄰居策略過程中的不確定性，這種不確定性可能是由于信息不完全、對博弈對手的錯(cuò)誤估計(jì)以及類似的不可預(yù)測的因素帶來的。κ=0，代表個(gè)體不受環(huán)境噪聲影響，完全理性；κ=+∞，則代表個(gè)體完全不理性，其策略學(xué)習(xí)完全隨機(jī)。本文采取與文獻(xiàn)[17]相同的設(shè)置，即κ=0.1，可以使得收益高個(gè)體的策略更容易被鄰居所學(xué)習(xí)，同時(shí)，收益低個(gè)體的策略也有小概率被鄰居學(xué)習(xí)的機(jī)會。

3 仿真結(jié)果與分析

仿真在具有周期邊界條件的100×100方格網(wǎng)絡(luò)上進(jìn)行，仿真數(shù)據(jù)均為50次獨(dú)立實(shí)驗(yàn)結(jié)果取平均得到，其中，每次獨(dú)立實(shí)驗(yàn)結(jié)果是博弈演化10 000個(gè)時(shí)間步中最后1 000步的數(shù)據(jù)平均值。

圖1所示為(ρ,b)二維參數(shù)空間所對應(yīng)的合作率map圖，ρ為群體中強(qiáng)囚徒困境和雪堆困境個(gè)體所占的比率，b為背叛誘惑。圖1(a)中所有個(gè)體的Δ值均為0.5(以下用Δ0.5表示固定取值為0.5)，圖1(b)中個(gè)體的Δ值為區(qū)間(0,1)內(nèi)的隨機(jī)數(shù)(以下用Δ(0.1)表示Δ在區(qū)間(0,1)內(nèi)隨機(jī)取值)。

圖1 (ρ,b)二維參數(shù)空間所對應(yīng)的演化穩(wěn)定合作率map圖

由圖1可見，增加ρ值能促進(jìn)合作率的提高，說明群體博弈規(guī)則的多樣化能有效促進(jìn)合作的演化；進(jìn)一步對比兩圖可知，圖1(b)參數(shù)點(diǎn)的合作率都高于所對應(yīng)的圖1(a)參數(shù)點(diǎn)的合作率，表明Δ=Δ(0.1)時(shí)高合作率參數(shù)范圍比Δ=Δ0.5時(shí)更大，相比Δ固定，Δ取值的多樣性意味著群體中異質(zhì)性進(jìn)一步增強(qiáng)，當(dāng)異質(zhì)性增強(qiáng)時(shí)，在絕大部分(ρ,b)參數(shù)空間都能夠在文獻(xiàn)[15]基礎(chǔ)上進(jìn)一步促進(jìn)合作的涌現(xiàn)。

圖2為ρ=1，Δ=Δ0.5與Δ=Δ(0.1)兩種情況下，合作率fC隨背叛誘惑b變化的曲線。圖2(a)為整個(gè)群體的合作率變化曲線，圖2(b)為強(qiáng)囚徒困境和雪堆博弈子群體的合作率變化曲線。從圖2可以看出:(1)所有合作率曲線均隨著背叛誘惑的逐漸增大而不斷下降。(2)Δ隨機(jī)取值時(shí)的合作率曲線都比固定取值時(shí)的曲線下降更緩慢，說明個(gè)體困境程度的多樣性能有效抑制由背叛誘惑引發(fā)的合作率的迅速下降。(3)存在分界點(diǎn)b1≈1.15，當(dāng)bb1時(shí)，Δ隨機(jī)取值的合作率較高，尤其在b≈1.5時(shí)，Δ隨機(jī)取值對合作涌現(xiàn)的促進(jìn)作用最為顯著。(4)相同背叛誘惑條件下，雪堆博弈子群體的fC>整個(gè)群體的fC>強(qiáng)囚徒困境子群體的fC，說明在博弈規(guī)則的多樣性方面，雪堆博弈子群體對整個(gè)群體合作率的貢獻(xiàn)比強(qiáng)囚徒困境子群體更為顯著。(5)對比Δ固定和隨機(jī)取值兩種情況，兩者合作率曲線上的差異在雪堆博弈子群體中最為明顯，說明在個(gè)體困境程度的多樣性方面，雪堆博弈子群體對整個(gè)群體合作率的提高比強(qiáng)囚徒困境子群體發(fā)揮的作用更大。

由此可見，一般情況下，通過增強(qiáng)群體中個(gè)體困境程度的多樣性而帶來的群體異質(zhì)性，能有效提高群體的合作演化水平，特別是背叛誘惑居于中等水平時(shí)。其中，雪堆博弈群體的異質(zhì)性對合作率的提升作用更為有效。但是，在較低的背叛誘惑環(huán)境中，上述異質(zhì)性反而會降低整個(gè)群體的合作水平。

圖2 Δ=Δ0.5與Δ=Δ(0.1)兩種情況下，合作率隨背叛誘惑b變化的曲線(ρ=1)

為了進(jìn)一步探索是什么微觀機(jī)制導(dǎo)致Δ=Δ(0.1)時(shí)群體合作水平比Δ=Δ0.5時(shí)更高，把Δ隨機(jī)取值的(0,1)區(qū)間以0.1寬度進(jìn)行劃分，考慮到同時(shí)存在強(qiáng)囚徒困境和雪堆困境兩種困境，就相當(dāng)于是把(-1,1)區(qū)間以0.1間隔分為20個(gè)子區(qū)間，然后統(tǒng)計(jì)在不同的背叛誘惑下S落入各個(gè)子區(qū)間的個(gè)體中合作者所占的比例(以下簡稱區(qū)間合作率)，如圖3所示。從圖3可以看出:(1)強(qiáng)囚徒困境(S∈(-1,0))下在(-1,0)內(nèi)的各個(gè)子區(qū)間的區(qū)間合作率都比較小，并且分布比較均勻；雪堆困境(S∈(0,1))下區(qū)間合作率明顯要高于強(qiáng)囚徒困境的區(qū)間合作率，并且隨著S的增大，區(qū)間合作率迅速增加。(2)當(dāng)S≤0.2時(shí)，區(qū)間合作率與b反相關(guān);但當(dāng)S>0.2之后，這種反相關(guān)關(guān)系被破壞，高背叛誘惑下的合作率曲線開始迅速上升；當(dāng)S≥0.8時(shí)，二者變成正相關(guān)的關(guān)系，即背叛誘惑越大，區(qū)間合作率越高。

圖3 不同背叛誘惑b下的S區(qū)間合作率

由此可知，高背叛誘惑情況下，較大的S取值能引發(fā)相應(yīng)區(qū)間合作率的快速上升，從而使整個(gè)群體的合作率隨著背叛誘惑的增大而迅速下降的趨勢得到緩解，這也是圖2所示Δ隨機(jī)取值時(shí)合作率曲線下降緩慢的原因。但是，在背叛誘惑較低時(shí)，S的隨機(jī)取值對合作率的影響不太大(由圖3中b=1.1曲線可見)，甚至整個(gè)(-1,1)區(qū)間(即整個(gè)群體)的合作率低于Δ=0.5時(shí)的合作率，這也揭示了圖2所示的低背叛誘惑下Δ隨機(jī)取值較Δ固定時(shí)合作率更低的原因。

4 結(jié) 語

不同個(gè)體在面對相同的社會困境時(shí)有著各自不同的感知，基于此，本文研究了結(jié)構(gòu)化群體的混合博弈對合作演化的影響。在文獻(xiàn)[15]的基礎(chǔ)上，博弈模型不僅考慮了弱囚徒困境、強(qiáng)囚徒困境和雪堆困境的并存以體現(xiàn)博弈規(guī)則的多樣性，而且通過對收益矩陣參數(shù)S進(jìn)行隨機(jī)取值來模擬個(gè)體感知到的困境程度的多樣性。仿真結(jié)果表明：(1)在博弈規(guī)則多樣性的基礎(chǔ)上，增加同類型困境中子群體困境程度的多樣性能進(jìn)一步促進(jìn)整個(gè)群體的合作水平，即子群體中異質(zhì)性越大，就越能促進(jìn)整個(gè)群體的合作演化。(2)當(dāng)背叛誘惑居于中等水平時(shí)，混合博弈模型對合作的促進(jìn)作用最為明顯；而較低背叛誘惑時(shí)，該模型反而不利于合作的演化。(3)一般情況下，合作率與背叛誘惑反相關(guān)，但是，當(dāng)S較大時(shí)，在高背叛誘惑下合作率更高。這意味著雪堆博弈的異質(zhì)性較囚徒困境而言更有利于合作的演化。

由此可見，博弈個(gè)體在進(jìn)行博弈時(shí)具有不同的收益矩陣使群體的異質(zhì)性進(jìn)一步增強(qiáng)，進(jìn)而使結(jié)構(gòu)化群體的合作水平超出僅考慮博弈模型多樣化所達(dá)到的水平，甚至能在不利的環(huán)境中維持合作行為。希望本文可以促進(jìn)當(dāng)前結(jié)構(gòu)化群體中混合博弈的研究，因?yàn)檫@是一個(gè)值得進(jìn)一步探索的新領(lǐng)域。

[1]Fu F,Wu T,Wang L.Partner switching stabilizes cooperation in coevolutionary prisoner's dilemma[J].Phys Rev E,2009,79(3):036101

[2]Fu F,Nowak M A,Hauert C.Invasion and expansion of cooperators in lattice populations:Prisoner's dilemma vs.snowdrift games [J].J Theor Biol,2010,266(3):358-366

[3]Antonioni A,Tomassini M.Network fluctuations hinder cooperation in evolutionary games[J].PLoS ONE,2011,6(10):e25555

[4]Tanimoto J,Brede M,Yamauchi A.Network reciprocity by coexisting learning and teaching strategies[J].Phys Rev E,2012,85(3):032101

[5]Hilbe C,Nowak M A,Sigmund K.Evolution of extortion in Iterated prisoner's dilemma games[J].Proc Natl Acad Sci USA，2013,110(17):6913-6918

[6]Szolnoki A,Perc M.Evolution of extortion in structured populations[J].Phys Rev E,2014,89(2):022804

[7]Liu J,Li Y,Xu C,et al.Evolutionary behavior of generalized zero-determinant strategies in iterated prisoner's dilemma[J].Phys A,2015,430(15):81-92

[8]Qin T,Fu C F,Chen G.Herding effect for the evolution of cooperation in the snowdrift game[J].International Journal of Modern Physics B,2008,22(27):4909-4916

[9]Laird R A.Evolutionary strategy dynamics for tag-based cooperation and defection in the spatial and a spatial snowdrift game [J].International Journal of Bifurcation and Chaos,2012,22(11):1230039

[10]Rocha A,Laruelle A.Evolution of cooperation in the snowdrift game with heterogeneous population[J].Advances in Complex Systems,2013,16(8):1350036

[11]Nowak M A.Evolutionary Dynamics[M].Cambridge,MA:Harvard University Press,2006

[12]Hashimoto K.Unpredictability induced by unfocused games in evolutionary game dynamics[J].J Theor Biol,2006,241(3):669-675

[13]Hashimoto K.Multigame effect in finite populations induces strategy linkage between two games[J].2014,345(11):70-77

[14]Wardil L,Silva J.The evolution of cooperation in mixed games [J].Chaos,Solitons & Fractals,2013,56:160-165

[15]Wang Z,Szolnoki A,Perc M.Different perceptions of social dilemmas:evolutionary multigames in structured populations[J].Physical Review E,2014,90(3-1):185-198

[16]Nowak M A,May R M.Evolutionary games and spatial chaos[J].Nature,1992,359:826-829

[17]Perc M,Szolnoki A,Szabo G.Restricted connections among distinguished players support cooperation[J].Phys Rev E,2008,78(2):066101

(責(zé)任編輯：劉小陽)

10.3969/j.issn.1673-2006.2017.04.028

2017-01-22

福建省中青年教師教育科研項(xiàng)目(社科)“基于博弈論的便利跨境電子商務(wù)貿(mào)易監(jiān)管研究”(JAS160610)。

辛琦(1975-)，江西萬載人，博士，講師，研究方向：網(wǎng)絡(luò)演化博弈、計(jì)算機(jī)仿真。

TP273

A

1673-2006(2017)04-0100-04