對互聯(lián)網(wǎng)統(tǒng)計(jì)中冪律分布的分析

在中關(guān)村3w咖啡與王煜全、KESO等聊《爆發(fā)》，其中一個(gè)主題談的就是冪律。我總的感覺在巴拉巴西建立的SCale尺度(degree-rank function)之外，還需要一個(gè)以Scope為尺度的計(jì)量標(biāo)準(zhǔn)，在因大而美之外，把握因小而美的世界。這樣的冪律分布，才會(huì)讓世界更美好。

冪律分布(Power law distribution)是一種常見的統(tǒng)計(jì)現(xiàn)象。具有冪律分布的數(shù)據(jù)，表現(xiàn)為一條斜率為冪指數(shù)的負(fù)數(shù)的線。在這里，冪的含義是指乘方，例如x的n次方，其中n就為冪的指數(shù)。具體到冪律分布，出現(xiàn)連接數(shù)為k的概率p(k)，反比于k的n次方。其中，n稱為冪數(shù)。

對互聯(lián)網(wǎng)來說，冪律分布具有特殊的意義。因?yàn)榛ヂ?lián)網(wǎng)中一些核心的現(xiàn)象，都與它有關(guān)。冪律分布不僅在技術(shù)現(xiàn)象中體現(xiàn)出來，而且在經(jīng)濟(jì)現(xiàn)象中體現(xiàn)出來。因此理解冪律分布，對于深入把握互聯(lián)網(wǎng)特征，具有技術(shù)與經(jīng)濟(jì)、理論和實(shí)踐雙重意義。

冪律分布在互聯(lián)網(wǎng)技術(shù)和經(jīng)濟(jì)現(xiàn)象上的表現(xiàn)

1、冪律分布揭示了互聯(lián)網(wǎng)典型的技術(shù)結(jié)構(gòu)特征。

無尺度網(wǎng)絡(luò)(scale-free networks)理論首先對此進(jìn)行了深入研究。無尺度網(wǎng)絡(luò)理論是復(fù)雜網(wǎng)絡(luò)權(quán)威巴拉巴西對互聯(lián)網(wǎng)研究做出的一個(gè)重要貢獻(xiàn)。冪律分布是無尺度網(wǎng)絡(luò)最核心的現(xiàn)象。冪律分布告訴人們，網(wǎng)絡(luò)兼具“大世界”與“小世界”兩種屬性。后來的六度空間理論，就是在小世界網(wǎng)絡(luò)理論基礎(chǔ)上發(fā)展起來的。這和人們在SNS實(shí)踐中的發(fā)現(xiàn)十分吻合。象《六度分隔》作者瓦茨就說，“不是由人群中的個(gè)人直接相互選擇，面是他們簡單地選擇加入數(shù)個(gè)群組”?，F(xiàn)在，這種小世界網(wǎng)絡(luò)思想，已成為SNS、微信等算法的重要基礎(chǔ)。

在發(fā)現(xiàn)冪律分布之前，人們對互聯(lián)網(wǎng)有一種典型的誤解，認(rèn)為網(wǎng)絡(luò)是扁平化的，把扁平化與無結(jié)構(gòu)等同起來。隨著實(shí)踐和理論的發(fā)展，人們認(rèn)識(shí)到這是一種錯(cuò)誤的看法，網(wǎng)絡(luò)相當(dāng)于是介于扁平化(如市場組織)與結(jié)構(gòu)化(如分層組織)之間的一種結(jié)構(gòu)，兼具二者特征，但又不同于二者。

這種不以金字塔方式進(jìn)行組織的結(jié)構(gòu)，到底是以什么結(jié)構(gòu)來運(yùn)作的呢?與工業(yè)組織結(jié)構(gòu)存在于管理幅度與管理層級的關(guān)系中不同，互聯(lián)網(wǎng)的結(jié)構(gòu)存在于聯(lián)結(jié)與節(jié)點(diǎn)的關(guān)系之中，其中映射著圖論中頂點(diǎn)與邊的關(guān)系的隱含范式。冪律分布?xì)w納的正是頂點(diǎn)與邊的關(guān)系。

無尺度網(wǎng)絡(luò)的典型特征是，在網(wǎng)絡(luò)中的大部分節(jié)點(diǎn)只和很少節(jié)點(diǎn)連接，而有極少的節(jié)點(diǎn)與非常多的節(jié)點(diǎn)連接。在統(tǒng)計(jì)上，這種技術(shù)現(xiàn)象特征就表現(xiàn)為冪律分布。

冪律分布在互聯(lián)網(wǎng)結(jié)構(gòu)認(rèn)識(shí)上的意義在于，人們終于找到了機(jī)械組織與生態(tài)組織的區(qū)別所在。互聯(lián)網(wǎng)是有結(jié)構(gòu)的，只不過這種結(jié)構(gòu)不是工業(yè)組織那種機(jī)械結(jié)構(gòu)，而是生態(tài)結(jié)構(gòu)。生態(tài)結(jié)構(gòu)具有自組織、自協(xié)調(diào)的性質(zhì)。節(jié)點(diǎn)與節(jié)點(diǎn)雖然只是隨機(jī)鏈接，表面上是無組織的，但放在大世界尺度看，卻呈現(xiàn)出冪律分布特征。有人提出，“凡有生命的地方，有進(jìn)化、有競爭的地方都會(huì)出現(xiàn)不同程度的無標(biāo)度現(xiàn)象”。抓住了背后的規(guī)律，人類對可進(jìn)化的結(jié)構(gòu)才開始入門。人們在哲學(xué)上常說的涌現(xiàn)和生成，終于落到了地面上，從空想變?yōu)楝F(xiàn)實(shí)。

2、冪律分布揭示了互聯(lián)網(wǎng)典型的經(jīng)濟(jì)結(jié)構(gòu)特征。

令人稱奇的是，冪律分布在互聯(lián)網(wǎng)經(jīng)濟(jì)現(xiàn)象中同樣呈現(xiàn)出來。著名的長尾理論，就建立在冪律分布的統(tǒng)計(jì)發(fā)現(xiàn)的基礎(chǔ)之上。長尾曲線就是冪律分布的另一種說法。

此前，帕累托在19世紀(jì)已經(jīng)發(fā)現(xiàn)，美國財(cái)富的分布服從冪律分布，這被稱為帕累托分布。隨后的數(shù)據(jù)表明，歐洲各國的財(cái)富分布同樣服從冪律分布。而且諾貝爾獎(jiǎng)獲得者西蒙提出的齊普夫(Zipf)法則已相當(dāng)接近巴拉巴西的發(fā)現(xiàn)。錢德勒則從規(guī)模(SCALE)與范圍(SCOPE)的對比中，首先從商業(yè)上捕捉到冪律的實(shí)質(zhì)性的經(jīng)濟(jì)含義。

在整個(gè)工業(yè)化時(shí)代，冪律分布與信息革命深層次的聯(lián)系，并沒有被發(fā)現(xiàn)。到了互聯(lián)網(wǎng)時(shí)代，情況終于產(chǎn)生轉(zhuǎn)機(jī)，以太網(wǎng)的發(fā)明人梅特卡夫開始產(chǎn)生了冪律的感覺。他提出網(wǎng)絡(luò)價(jià)值等于節(jié)點(diǎn)平方的法則(Metcalfe’sLaw)。第一次用乘方來表示網(wǎng)絡(luò)的經(jīng)濟(jì)性。冪的本質(zhì)就是乘方，這里的平方就是冪的指數(shù)，而指數(shù)是直線的斜率。安德森《長尾理論》則直接發(fā)現(xiàn)了冪律分布的商業(yè)模式含義。

長尾理論揭示的冪律分布是，少數(shù)大熱門產(chǎn)品構(gòu)成短頭，而大量小批量產(chǎn)品構(gòu)成長尾，互聯(lián)網(wǎng)將推動(dòng)經(jīng)濟(jì)重心從前者轉(zhuǎn)向后者。安德森實(shí)際上把冪律分布解釋為托夫勒所說的從單一品種大規(guī)模生產(chǎn)轉(zhuǎn)向小批量多品種的生產(chǎn)方式轉(zhuǎn)變。這比巴拉巴西的發(fā)現(xiàn)要深刻了許多。

冪律分布的技術(shù)經(jīng)濟(jì)本質(zhì)及觀測尺度

1、冪律分布還可以從更深層次理解，首先要看它把握的對象到底是什么。

無尺度這個(gè)詞比較特別。它的原文是scale free。Scale固然有度和尺度的意思，但應(yīng)該譯為度的是degrees，比如六度空間中的六度(Six Degrees)。我個(gè)人認(rèn)為Scale還是應(yīng)譯為它的本義“規(guī)?！薄cale free實(shí)際是“規(guī)模無限”的意思。

在冪律分布中，立軸應(yīng)該是scale，即節(jié)點(diǎn)的連接數(shù)，表示連接規(guī)模。橫軸應(yīng)該是節(jié)點(diǎn)數(shù)。所謂冪律分布在這里是指有少數(shù)“爆發(fā)”性的節(jié)點(diǎn)，獲得很大規(guī)模的連接；而大多數(shù)節(jié)點(diǎn)，只有很小規(guī)模的連接。所謂scalefree，指少數(shù)熱門節(jié)點(diǎn)規(guī)模大得超過了——相對于正態(tài)分布和泊松分布而言的——限制。

有人不是這么理解的，而認(rèn)為是指冪律分布不斷延伸，沒有盡頭，所以叫無尺度?！安粩嘌由?，沒有盡頭”，在安德森對冪律分布的解釋中，是對曲線的長尾部分的描述。與這里節(jié)點(diǎn)對應(yīng)的，是品種數(shù)，是異質(zhì)性程度的刻度而非規(guī)?？潭龋瑩Q成錢德勒的語言，應(yīng)是對SCOPE(范圍)而非sCALE(規(guī)模)的計(jì)量。所以無尺度如果要指向橫軸而非豎軸，應(yīng)該叫Scope Free，而不應(yīng)叫scale free。

2、這就涉及對冪律分布更深層次理解的問題，即尺度本身的問題。

無尺度網(wǎng)絡(luò)(實(shí)際是規(guī)模無限網(wǎng)絡(luò))雖然測出了冪律分布，也發(fā)現(xiàn)了小世界網(wǎng)絡(luò)向大世界網(wǎng)絡(luò)自然進(jìn)化的模式，其中對路由在互聯(lián)網(wǎng)中的特殊作用(短連接)有深刻認(rèn)識(shí)，并對P2P網(wǎng)絡(luò)發(fā)展有直接指導(dǎo)作用，但巴拉巴西同安德森不同，他思維還比較傳統(tǒng)，看重的主要還是冪律分布中的短頭，而不是長尾。因此觀察節(jié)點(diǎn)的尺度，還主要是scale，而非Scope。事實(shí)上，冪律分布本身是客觀的，它可以顯示出對它的主觀解釋之外的內(nèi)容。巴拉巴西所描述的冪律分布本身已顯示，其長尾部分面積(相當(dāng)于節(jié)點(diǎn)數(shù)乘以規(guī)模數(shù))的總和，并不亞于短頭部分面積的總和，這個(gè)面積實(shí)際上可視為利潤的積分，表現(xiàn)的是冪律分布的流量價(jià)值。

以技術(shù)為例，WEB的分布式技術(shù)特點(diǎn)一旦發(fā)揮，將來可能導(dǎo)致P2P、WEB APP等小微網(wǎng)絡(luò)的興起，它們未必非依靠爆發(fā)形成的權(quán)力管控中心而活。再以大數(shù)據(jù)為例，巴拉巴西認(rèn)為可以通過大數(shù)據(jù)，把握用戶93％的行為，特別是爆發(fā)性的行為。這看起來把用戶的短頭需求把握住了，但是如果通過技術(shù)和機(jī)器就可以自動(dòng)做到這一切，在十年以后大數(shù)據(jù)成熟階段，會(huì)造成93％的部分服務(wù)的價(jià)格競爭，導(dǎo)致利潤下降；而剩下的7％——可以歸于用戶自由意志支配的部分——會(huì)具有極高的附加值和升值空間。我把這歸結(jié)為宿命論與自由意志之間的博弈。

這讓我們把注意力又投回到安德森方法的優(yōu)點(diǎn)上。安德森利用冪律分布關(guān)注的焦點(diǎn)和得出的結(jié)論，與巴拉巴西幾乎是反的。如果換算成巴拉巴西的語言，安德森長尾理論相當(dāng)于認(rèn)為，所謂7％，只是scale軸上的刻度，是規(guī)模經(jīng)濟(jì)的尺度；但如果把這個(gè)7％對應(yīng)的scope軸上的節(jié)點(diǎn)數(shù)計(jì)量進(jìn)來，這里還有另外一個(gè)93％(只是比喻)沿橫軸展開的空間，是scale非常不Free，但Scope非常Free的空間。這一方向，隨著時(shí)間的進(jìn)展，將具有越來越重大的意義。