從串糖葫蘆游戲到線性回歸

陳凱

用梯度下降的方法來(lái)實(shí)現(xiàn)線性回歸，是一種很經(jīng)典的機(jī)器學(xué)習(xí)算法。然而，在基礎(chǔ)教育階段，由于受學(xué)生自身數(shù)學(xué)水平和信息技術(shù)水平的限制，他們對(duì)這種算法的基本原理以及實(shí)現(xiàn)回歸過(guò)程的程序代碼的學(xué)習(xí)和理解，難度還是比較大的。筆者曾經(jīng)瀏覽過(guò)不少線性回歸方面的資料，發(fā)現(xiàn)學(xué)習(xí)路徑頗為陡峭。本篇文章試著從一個(gè)小游戲入手，一邊玩一邊想，逐層鋪墊，緩慢進(jìn)階，希望能讓學(xué)習(xí)者避免迷失在諸多概念名詞和繁雜程序代碼之中，真正體驗(yàn)到線性回歸算法的精髓。

● 冰糖葫蘆手工串

先來(lái)看游戲的玩法。有幾個(gè)糖葫蘆散落在桌面上，要求不改變糖葫蘆的位置，用一根竹簽將它們串起來(lái)，游戲一開(kāi)始，竹簽只是平放在桌面邊緣，并沒(méi)有串起任何一個(gè)糖葫蘆，如圖1所示。

所謂的桌面，實(shí)際上是一個(gè)坐標(biāo)軸，X軸和Y軸的范圍都是0到10;所謂的糖葫蘆，是四個(gè)面積比較大的點(diǎn)。實(shí)現(xiàn)串糖葫蘆游戲的Python代碼非常簡(jiǎn)單，如圖2所示。

坐標(biāo)軸上的這四個(gè)點(diǎn)的markersize參數(shù)是40，所以看上去就相當(dāng)大，可以想見(jiàn)，這個(gè)參數(shù)越大，糖葫蘆也越大，游戲也越簡(jiǎn)單。糖葫蘆所在的坐標(biāo)直接寫(xiě)在了plot函數(shù)的參數(shù)里，為代碼簡(jiǎn)單清晰起見(jiàn)，這里并沒(méi)有引入隨機(jī)數(shù)。

所謂的竹簽，是通過(guò)y=t1+t2*x這個(gè)一元一次方程產(chǎn)生的直線，其中t1是方程的常數(shù)，t2是一次項(xiàng)系數(shù)。如果輸入t1為0.9，輸入t2為0.6，那么竹簽就串到了兩個(gè)糖葫蘆，如上頁(yè)圖3所示。

試過(guò)幾次就可以發(fā)現(xiàn)，t1和t2兩個(gè)數(shù)字的作用大不相同：前者決定了竹簽的位置，“靠上還是靠下”與“靠左還是靠右”其實(shí)是一回事;后者決定了竹簽的傾斜度。如果想讓竹簽往上擺一些，則t1要增加;如果想讓竹簽擺得平一些，則t2要減少。不妨再試一下，輸入t1為3，輸入t2為0.2，竹簽成功地串起了三個(gè)糖葫蘆，如上頁(yè)圖4所示。

多次嘗試之后，就能體會(huì)到t1和t2兩個(gè)數(shù)字的變化與最終直線形態(tài)之間的微妙關(guān)系。

● 竹簽離得有多遠(yuǎn)

剛才是用人腦來(lái)判斷竹簽的位置t1和傾角t2，那么，怎么讓機(jī)器判斷位置和傾角呢？方法就是“看了再試，試了再看”。

例如，一開(kāi)始，竹簽是平躺著的，竹簽到每個(gè)點(diǎn)的縱向的距離（為簡(jiǎn)單起見(jiàn)，這里暫不考慮橫向的距離）是可以計(jì)算出來(lái)的，如圖5所示，其中左圖顯然離開(kāi)理想結(jié)果還很遙遠(yuǎn)，右圖已經(jīng)比較接近目標(biāo)了。

為了能夠計(jì)算出竹簽到糖葫蘆的距離，以評(píng)估竹簽與理想目標(biāo)之間的差距，可以將代碼稍微修改一下。由于糖葫蘆可能在竹簽上面，也可能在竹簽下面，在計(jì)算距離時(shí)，數(shù)值可能是正，也可能是負(fù)，所以縱向距離統(tǒng)一進(jìn)行二次方的運(yùn)算（其實(shí)取絕對(duì)值也是一樣的）。又因?yàn)榭偣灿兴膫€(gè)糖葫蘆，所以要除以4，得到一個(gè)縱向距離的平均數(shù)。修改后的程序代碼如圖6所示。

e = （e1+e2+e3+e4）/4/2這段代碼，就是將糖葫蘆中心點(diǎn)和竹簽的縱向距離的平均值賦值給變量e，其中唯一難理解的是，為什么除以4取得平均值后又要除以2，其實(shí)這是為了讓后續(xù)的求導(dǎo)公式更加便捷，若是學(xué)習(xí)者學(xué)習(xí)過(guò)隱藏在線性回歸算法之后的數(shù)學(xué)原理，那么就能更清楚地知道這里為何要除以2。實(shí)際上，因?yàn)樽兞縠的值只是用于在運(yùn)算過(guò)程中指示竹簽位置和傾角離開(kāi)理想值的差距，所以是否除以2，其實(shí)是無(wú)所謂的。假如說(shuō)任務(wù)是要讓竹簽盡可能靠近糖葫蘆的中心，那么就需要觀察e值是否能收斂于某個(gè)值，然而，本文任務(wù)只要求把糖葫蘆串起來(lái)即可，因此后續(xù)的程序代碼中并不需要用到e變量。

上述代碼中，t1和t2的初始值都是0，運(yùn)行后，發(fā)現(xiàn)得到的e的值是9.15227，這個(gè)數(shù)字顯然太大了，計(jì)算結(jié)果和人眼的直觀感受是符合的，所以需要改變t1和t2的值使得竹簽距離糖葫蘆更近一些。

● 竹簽需要重新擺

為了讓竹簽有可能串起更多糖葫蘆，就要重新調(diào)整竹簽的位置和傾角，其實(shí)就是更改t1和t2的值。但計(jì)算機(jī)怎么知道應(yīng)該如何調(diào)整呢？

首先來(lái)看竹簽的位置，竹簽究竟是往上放還是往下放？應(yīng)該需要調(diào)整多少距離？想象一下，如果大部分糖葫蘆都在竹簽上方，那么就要往上挪，反之就是往下挪，離開(kāi)越遠(yuǎn)，挪的距離就越多，程序中涉及的公式如上頁(yè)圖7所示。

這個(gè)公式是用微積分的方法推演出來(lái)的，然而就算是直觀上也是可以理解的，當(dāng)竹簽平躺著的時(shí)候，得到的d1的值是4.18，這表示竹簽要往上方移動(dòng)4.18個(gè)單位，如果d1的數(shù)值是負(fù)數(shù)，則表示要將竹簽往下方移動(dòng)。

傾角的調(diào)整要復(fù)雜一些，因?yàn)檫@和每個(gè)糖葫蘆的橫向位置有關(guān)，涉及的公式如上頁(yè)圖8所示。

這同樣是用微積分求導(dǎo)的方法推演出來(lái)的，如果不想深入了解相關(guān)數(shù)學(xué)推導(dǎo)過(guò)程，那只需要驗(yàn)證公式的合理性就可以了。當(dāng)竹簽平躺著的時(shí)候，得到的值是23.65975。如果是正數(shù)，表示要把竹簽傾角增大，如果是負(fù)數(shù)，則表示將傾角變小。不過(guò)即便是直觀看圖9，也是能感受到公式的意義的，因?yàn)殡x開(kāi)坐標(biāo)軸原點(diǎn)越遠(yuǎn)，點(diǎn)的坐標(biāo)值本身的權(quán)重也就越大。

然而，按公式計(jì)算后，d1和d2這兩個(gè)數(shù)值都太大了，實(shí)際操作時(shí)矯枉過(guò)正，于是還要對(duì)這兩個(gè)值再乘上步長(zhǎng)系數(shù)0.05，此數(shù)可大可小，要根據(jù)實(shí)際運(yùn)行情況來(lái)調(diào)整。系數(shù)太小，則需要很多次調(diào)整才能達(dá)成目標(biāo);系數(shù)太大，則會(huì)在理想結(jié)果周圍來(lái)回跳躍。

最后，將d1和d2的修正值疊加到原先的t1和t2值上，將循環(huán)次數(shù)增加到200次，每一次循環(huán)中，做的都是同樣的事：用當(dāng)前的t1和t2計(jì)算出直線擺放姿態(tài)，然后將運(yùn)行效果比對(duì)預(yù)期效果后得到調(diào)整值d1和d2，再用d1和d2修正t1和t2值，這種方法稱為迭代法。圖10、圖11是完整的代碼和運(yùn)行結(jié)果。

這個(gè)例子本身形象直觀，而代碼也比較簡(jiǎn)單，若去掉繪圖相關(guān)的代碼，核心代碼僅有十多行，其中隱藏了超出學(xué)生當(dāng)前水平的知識(shí)點(diǎn)，尤其是數(shù)學(xué)微積分和線性代數(shù)有關(guān)的知識(shí)技能，但同時(shí)又留下了繼續(xù)深入學(xué)習(xí)的路徑指引，為學(xué)習(xí)者提供了真切的機(jī)器學(xué)習(xí)算法的實(shí)踐體驗(yàn)。