信息論在深度學(xué)習(xí)中的應(yīng)用概論

摘要：信息論發(fā)展的80多年中在通信、計(jì)算機(jī)、統(tǒng)計(jì)等諸多領(lǐng)域取得了廣泛應(yīng)用;深度學(xué)習(xí)興起的10多年間在圖像識(shí)別、醫(yī)學(xué)診斷、路線規(guī)劃、語(yǔ)音識(shí)別等領(lǐng)域取得了巨大成功。最近幾年，深度學(xué)習(xí)和信息論發(fā)展出了新的交叉學(xué)科，采用信息論的觀點(diǎn)度量深度學(xué)習(xí)引發(fā)了學(xué)術(shù)界廣泛關(guān)注。本文在總結(jié)深度學(xué)習(xí)和信息論領(lǐng)域之后分析了簡(jiǎn)單網(wǎng)絡(luò)的互信息，提出星座圖對(duì)互信息壓縮的影響。

關(guān)鍵詞： 深度學(xué)習(xí);信息論;人工智能

中圖分類號(hào)：TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）11-0082-02

能夠思考的機(jī)器長(zhǎng)久以來都是人類的夢(mèng)想。在中國(guó)，相傳遠(yuǎn)古時(shí)期就有高度智能的七香車可以不要操控自動(dòng)駕駛，“此車乃軒轅黃帝破蚩尤于北海，遺下此車，若人坐上面，不用推引，欲東則東，欲西則西——乃傳世之寶也。”在國(guó)外，希臘神話中記載，皮革馬利翁在雕刻人像時(shí)，精力和熱情感動(dòng)了神靈，人像獲得了生命，能夠思考和認(rèn)知。

人類一直渴望用信息論[1]來度量機(jī)器學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)[2]） ，1988年，Linsker首次提出“最大化信息量”的原則，并且用幾個(gè)簡(jiǎn)單的例子進(jìn)行證明。此后Van der Oord和Hjelm都在無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域進(jìn)行了嘗試。Shwartz-Ziv & Tishby，Saxe，Achille & Soatto對(duì)于深度學(xué)習(xí)進(jìn)行了信息論分析。互信息在可逆映射下光滑不變，具有實(shí)際的物理意義和單位--比特，所以學(xué)術(shù)界一直渴望用互信息來度量機(jī)器學(xué)習(xí)。

1 深度學(xué)習(xí)發(fā)展歷程

最近150年來，機(jī)器學(xué)習(xí)在圖像識(shí)別、語(yǔ)音識(shí)別、醫(yī)學(xué)診斷、路線規(guī)劃等領(lǐng)域得到了廣泛的應(yīng)用，尤其是在抽象思維領(lǐng)域，機(jī)器學(xué)習(xí)取得了巨大的成功。最著名的案例當(dāng)數(shù)1997年“深藍(lán)”擊敗國(guó)際象棋世界冠軍卡斯帕羅夫，然而抽象思維恰恰是計(jì)算機(jī)的特長(zhǎng)，國(guó)際象棋具有明確的規(guī)則，棋盤共有64個(gè)深色與淺色相間的格子，每方十六枚棋子共計(jì)三十二枚，而且棋子的走法十分有限。設(shè)計(jì)國(guó)際象棋的算法是基于簡(jiǎn)潔的規(guī)則描述，非常適合計(jì)算機(jī)運(yùn)算。這也是人工智能最大的挑戰(zhàn)，很多問題無(wú)法正式描述。

2016年，阿爾法圍棋機(jī)器人擊敗多位世界冠軍，圍棋界公認(rèn)阿爾法機(jī)器人已經(jīng)超過人類的最高水平。圍棋同樣高度抽象，棋盤有361個(gè)點(diǎn)位，只有黑色白色兩種棋子，可以簡(jiǎn)潔地向計(jì)算機(jī)描述。圍棋比國(guó)際象棋復(fù)雜，于是也較晚才獲得成功。阿爾法機(jī)器人的工作原理采用深度學(xué)習(xí)算法，最終版的埃爾法機(jī)器人已經(jīng)徹底放棄了人類棋譜，通過自我博弈逐漸提高。深度學(xué)習(xí)大約有三個(gè)發(fā)展階段：第一階段，1940―1960年深度學(xué)習(xí)被稱作cybernetics，1980―1990年深度學(xué)習(xí)被稱作connectionism，2006年以來正式命名深度學(xué)習(xí)。

對(duì)于人類來說最為困難的，抽象、嚴(yán)格描述的問題對(duì)于機(jī)器卻極為簡(jiǎn)單，計(jì)算機(jī)雖然早就在棋類上徹底擊敗人類，但是近年才在圖像識(shí)別、語(yǔ)音識(shí)別上達(dá)到人類的一般水平。日常生活中人類形成了大量的主觀和直覺的知識(shí)，無(wú)法嚴(yán)格描述。所以人工智能面臨的巨大挑戰(zhàn)就是如何向機(jī)器傳遞主觀、直覺、不嚴(yán)格的知識(shí)。

然而早期的人工智能并沒有廣泛應(yīng)用，面臨的最大問題是特征選擇的困難。比如一輛白色的馬在黑夜中看起來是黑色的馬，而且馬的形狀非常依賴于觀察角度。再比如口音會(huì)非常影響語(yǔ)音，從原始素材中提取適當(dāng)?shù)奶卣鞣浅＠щy。

深度學(xué)習(xí)[3]可以很好地解決上述問題。典型的深度學(xué)習(xí)模型僅僅是輸入映射到輸出的數(shù)學(xué)函數(shù)，看起來無(wú)解的問題，比如圖像識(shí)別需要處理大量像素。深度學(xué)習(xí)通過把目標(biāo)映射分解成多層的簡(jiǎn)單映射，引發(fā)了學(xué)術(shù)界高度的關(guān)注。深度學(xué)習(xí)把輸入，比如像素，作為可見層，然后連接了大量的隱藏層，深度學(xué)習(xí)算法會(huì)從可見層中提取有用的信息到隱藏層。比如假設(shè)可見層是輸入像素，第一個(gè)隱藏層可以對(duì)比相鄰的像素來搜索圖像中的“邊”，第二個(gè)隱藏層可以搜索“角”，第三個(gè)隱藏層可以搜索物體的“部分”，以此類推，可以逐漸識(shí)別出物體。

簡(jiǎn)單概括，人工智能中一種方法是機(jī)器學(xué)習(xí)，其中近年發(fā)展的部分是深度學(xué)習(xí)。深度學(xué)習(xí)用層次化的網(wǎng)絡(luò)連接起不同的概念，抽象的概念建立在簡(jiǎn)單的概念之上，人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)之間的關(guān)系如圖1所示。

2 信息論發(fā)展歷程

信息論主要解決兩類問題，第一類是數(shù)據(jù)壓縮速率，第二類是數(shù)據(jù)傳輸速率，所以很多人認(rèn)為信息論是通信的分支，其實(shí)信息論的范圍很廣，對(duì)于熱力學(xué)、計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、概率論都有貢獻(xiàn)。典型的量值中，熵是描述隨機(jī)變量的最低復(fù)雜度，互信息是噪聲通信的最大速率。

1940年左右，人們對(duì)蘇通信中的誤碼率存在著較多誤解，當(dāng)時(shí)人們普遍認(rèn)為增加傳輸速率必然提高誤碼率，降低誤碼率的唯一方式是增大信噪比。Shannon首次提出了信道容量的概念，信道容量只和信道的物理特性有關(guān)，通過編碼可以實(shí)現(xiàn)信道容量?jī)?nèi)的任何速率。Shannon進(jìn)一步提出任何隨機(jī)過程，比如語(yǔ)音，都有熵作為本質(zhì)屬性，也是壓縮的下限。只要熵不超過信道容量，幾乎無(wú)差錯(cuò)的可靠通信可以實(shí)現(xiàn)。

隨后擁有理論基礎(chǔ)的信息論得到飛速發(fā)展，1950年發(fā)現(xiàn)漢明碼，隨后發(fā)現(xiàn)Fano碼，Huffman碼。1963年發(fā)現(xiàn)卷積的viterbi碼。1973年發(fā)現(xiàn)Lempel-Ziv編碼。1982年發(fā)現(xiàn)調(diào)制編碼技術(shù)TCM。1993年發(fā)現(xiàn)turbo碼，1998年發(fā)現(xiàn)時(shí)空編碼。21世紀(jì)人們開始重新審視LDPC編碼。隨著人類計(jì)算能力的提高，LDPC碼在實(shí)際中取得重大應(yīng)用，接近信息論極值。信息論和多個(gè)領(lǐng)域都有交叉。信息論最初就是從電子工程的通信中誕生，通信中廣泛地應(yīng)用信息論。信息論又進(jìn)而發(fā)展到網(wǎng)絡(luò)信息論階段，試圖分析多點(diǎn)通信間的理論問題，雖然仍然缺乏完善的理論。

3 信息論在深度學(xué)習(xí)中的應(yīng)用

學(xué)術(shù)界很早就開始嘗試信息論在深度學(xué)習(xí)中的應(yīng)用?；バ畔⒕哂袃?yōu)越的特性：可逆映射下光滑不變，具有實(shí)際的物理意義和單位--比特。但是同時(shí)也有巨大的缺陷：解析的計(jì)算互信息是幾乎不可能，而從樣本中估計(jì)互信息也很困難。

所以學(xué)術(shù)界普遍采用了分集的方法來簡(jiǎn)化計(jì)算，尤其在分集較少的情況下，計(jì)算效率很高。本文采用的方法是熵估計(jì)，用其他分布來逼近目標(biāo)分布再用蒙特卡洛法數(shù)值計(jì)算。在2017年Shwartz-Ziv & Tishby提出了信息瓶頸的觀點(diǎn)，認(rèn)為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練會(huì)引起互信息的壓縮降低。然而，確定性神經(jīng)網(wǎng)絡(luò)中，采用常用函數(shù)比如tanh和sigmoid，互信息是常數(shù)或者無(wú)窮，所以Shwartz-Ziv&Tishby觀察到的波動(dòng)很有可能是測(cè)量誤差。

面對(duì)如此嚴(yán)峻的困難，可以選擇最簡(jiǎn)單的例子進(jìn)行探索。假設(shè)只有一個(gè)神經(jīng)元，輸入為[X=X-?X+={-3，-1，1，3}，X-={-3}，X+={-1，1，3}]，輸出為Y，噪聲為Z。噪聲Z如從高斯分布[Z～N（0，β2）]，采用tanh（）函數(shù)則Y=tanh（wkX+b）+Z，那么網(wǎng)絡(luò)中的信息量[I（X，Y）=I（X，tanh（wkX+b）+Z）=I（tanh（wkX+b），tanh（wkX+b）+Z）]正是高斯信道下的傳輸速率，星座點(diǎn)分別為[X-，X+]對(duì)應(yīng)的[tanh（wkX+b）]。星座點(diǎn)之間距離越大則高斯噪聲產(chǎn)生的干擾越小，星座點(diǎn)之間距離越小則高斯噪聲產(chǎn)生的干擾越大。起始狀態(tài)w=0，四個(gè)星座點(diǎn)完全重疊，然后采用均方誤差和0.02的梯度進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，隨著訓(xùn)練次數(shù)的增加，星座逐漸分開，互信息逐漸增加，在兩千次訓(xùn)練后互信息達(dá)到峰值隨后開始下降，因?yàn)樾亲c(diǎn)開始重合。因而星座圖會(huì)影響互信息的壓縮。

4 結(jié)論

深度學(xué)習(xí)和信息論領(lǐng)域發(fā)展多年后產(chǎn)生了學(xué)科交叉，采用信息論的觀點(diǎn)度量深度學(xué)習(xí)引發(fā)了學(xué)術(shù)界廣泛關(guān)注。本文在總結(jié)深度學(xué)習(xí)和信息論領(lǐng)域之后分析了簡(jiǎn)單網(wǎng)絡(luò)的互信息，提出星座圖對(duì)互信息壓縮的影響。

參考文獻(xiàn)：

[1] （美）ThomasM.Cover，（美）JoyA.Thomas.信息論基礎(chǔ)[M].阮吉壽，張華譯.北京：機(jī)械工業(yè)出版社，2008.

[2] 邱錫鵬.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京：機(jī)械工業(yè)出版社，2020.

[3] 焦李成，楊淑媛，劉芳，等.神經(jīng)網(wǎng)絡(luò)七十年：回顧與展望[J].計(jì)算機(jī)學(xué)報(bào)，2016，39（8）：1697-1716.

收稿日期：2021-05-30

作者簡(jiǎn)介：郭揚(yáng)（1988—） ，男，江蘇徐州人，講師，碩士，主要研究方向?yàn)槿斯ぶ悄堋⒔逃龑W(xué)。