語義信息論的回顧與展望

辛港濤/XIN Gangtao，樊平毅/FAN Pingyi

（清華大學，中國 北京 100084）

近年來，隨著規(guī)?；療o線通信的快速發(fā)展與智能處理需求的快速增多，各種基于無線通信技術的新興智能業(yè)務得到迅速發(fā)展，這給通信技術帶來了新的挑戰(zhàn)。一方面，這些新興業(yè)務（如工業(yè)互聯(lián)網(wǎng)、虛擬/增強/混合現(xiàn)實、元宇宙、全息通信）的成功高度依賴于在海量數(shù)據(jù)集上對大型學習模型的訓練。此類應用承載的大量流量可能會使現(xiàn)存的網(wǎng)絡容量趨于飽和。因此，通信基礎設施需要融入智能，確保在必要的時間，以合理的速率，傳輸所需的流量。另一方面，這些新興業(yè)務需要極低的端到端時延，因此通信技術需要考慮流量的相關性和緊迫性，以最快、最可靠的方式提取和交付與任務相關的信息。這將導致通信網(wǎng)絡架構從單純追求高速率傳輸向追求智能化過渡[1]。

語義通信是一種全新的通信架構，它將用戶對信息的需求及任務語義融入通信過程，有望大幅度提高通信實施效率，提升用戶的體驗，并從根本上解決基于數(shù)據(jù)的傳統(tǒng)通信協(xié)議中存在的跨系統(tǒng)、跨協(xié)議、跨網(wǎng)絡等技術難題[2]。C. E.SHANNON 和W. WEAVER 在1949 年發(fā)表的論文中提出了廣義通信的3個層次的問題[3]，分別為：

1）技術層：傳輸?shù)姆柺欠駵蚀_？

2）語義層：傳輸?shù)姆柺欠駵蚀_表達了任務預期含義？

3）有效層：接收的信息含義能否按照預期方式影響用戶的行為？

從技術層到語義層，通信的目標從符號的準確傳輸轉變?yōu)檎Z義的有效交換。經典的香農信息論建立在概率與統(tǒng)計的基礎上，忽略了具體任務的語義表示方式，從技術層解決了兩個基本問題：臨界數(shù)據(jù)壓縮的值和臨界通信傳輸速率的值。語義通信的數(shù)學理論和語義的數(shù)學表征可以歸結為語義信息論的問題。盡管目前語義信息論沒有公認且統(tǒng)一的理論框架，但近些年來，學術界和工業(yè)界對語義信息論的研究越來越多。2021 年，華為公司提出的后香農時代信息通信技術（ICT）領域的十大挑戰(zhàn)問題[4]，將語義信息論列為基礎理論的首要問題。本文中，我們關注語義信息論的核心概念，介紹語義熵、語義率失真和語義信道容量方面的進展。

1 語義熵

語義信息的度量問題是語義信息理論的基礎。熵是對隨機變量不確定性的度量，語義熵是對語義不確定度或信息量大小的度量。到目前為止，對語義熵直觀且通用的數(shù)學描述仍然是一個具有挑戰(zhàn)性的難題：一方面語義基本內涵不易定義從而難以度量；另一方面人們對語義的產生機理和過程并不明確[5-7]。

1）語義熵起源于前香農時代，與自然語言的分析相關[8]。針對語言任務，1952 年，R. CARNAP 和Y. BARHILLEL[9]提出了語義熵的概念，用邏輯概率來衡量一個句子所包含的語義信息量，即：

其中，m(e)是指事件e在所有可能情況下為真的概率，也就是事件e的邏輯概率。可以看出，一個句子為真的邏輯概率越大，包含的信息量就越小。但是，這產生了一個悖論，即任何事實與其自身矛盾時會具有無窮大的信息量，如Hs(e ∧?e)（表示“事件e與事件非e”發(fā)生的概率）為無窮大。2004年，L. FLORIDI[10]提出強語義信息理論，用與真實事件之間的距離來表示語義信息量的大小，解決了這一悖論。2011 年，S. D'AFLONSO[11]基于真理相似性對語義信息進行了定量描述。L. FLORID和S. D'AFLONSO的方法衡量的是某一事件相對于參考事件的信息，信息值總是在0～1。然而，這些度量都依賴于參考事件的存在。從本質上講，他們的工作提供了兩個句子之間語義相似度的度量，而不是語義不確定性或信息量大小的測量。2011 年，遵循R.CARNAP 的定義，J. BAO、P. BASU 等[12]采用命題邏輯拓展了m(e)的表示，進一步拓展了語言任務中語義熵的含義。

2）針對智能任務，I. D. MELAMED[13]提出了一種測量文本中單詞的語義熵的方法。具體而言，對于一個詞w，語義熵可以被表示為：

其中，H(T|w)代表了翻譯不一致性，表示一個詞被翻譯成不同的方式所帶來的不確定性，T表示目標詞的集合，N(w)表示w的空鏈接的貢獻，表示從一種語言翻譯到另一種語言時遇到困難的可能性，F(xiàn)(w)是w 的頻率。對于分類任務，LIU X. D.、JIA W. J. 等[14]引入匹配度和隸屬度的概念來定義語義熵。隸屬度是模糊集理論中的一個難以解析的概念，一般是根據(jù)經驗來給定。定義? 為語義概念，μ?(x)為每個x ∈X的隸屬度。對于某個類別Cj，匹配度Dj(?)定義為：

對于類別Cj，其語義熵定義為HS(?)=?Dj(?)log Dj(?)。將X 中所有類的語義熵相加，可以得到集合X 上的整體語義熵。

A. CHATTOPADHYAY 等[15]提出一種量化任務相關的語義熵，他們將語義熵定義為關于數(shù)據(jù)X的語義查詢的最小數(shù)量，其答案足以預測任務V，可以表示為：

3）語義是對信號的理解，知識在語義的產生過程中充當了語義編碼和表示的角色，發(fā)揮了重要作用。J. CHOI等[16]基于邏輯概率，從知識庫的角度研究一個句子的語義熵。具體而言，記知識庫為K，用p[K?q]表示句子q相對于知識庫K正確的概率，簡化為pq= p[K?q]，則q相對于K的語義熵為：

眾所周知，擴展模式可以把簡單的事物組合成復雜的系統(tǒng)，甚至產生智能。在人類的語言系統(tǒng)中，主謂賓、定狀補的成分組成了句子，可以表達出單個單詞所不可能具有的含義。受此啟發(fā)，XIN G. T.和FAN P. Y.[17]認為智能語義應當是可以擴展的，語義熵的表示形式要體現(xiàn)知識擴展的理念。在語義的擴展中，知識層面發(fā)生了碰撞。語義正是在知識碰撞作用下，與信號作用的產物。例如，Apple Inc.屬于商業(yè)公司類別，thirteen 屬于數(shù)字類別，但是它們的碰撞可能會產生一個單詞——iPhone，屬于移動通信產品類別。用X1和X2表示信號，和表示兩個知識實例，則語義熵可以表示為，其中⊕表示擴展，⊙表示碰撞。

4）不同于邏輯概率或統(tǒng)計概率模型，針對不同任務和背景，語義熵的推導形式也各不相同。A. KOLCHINSKY 與D. H. WOLPERT[18]將語義信息定義為描述系統(tǒng)與其所處環(huán)境之間關系的語法信息。M. KOUNTOURIS 和N. PAPPAS[19]使用Rényi熵對語義信息進行度量。N. J. VENHUIZEN 等[20]基于背景知識的語言理解模型推導出語義熵。C. LU[21]引入廣義信息論，基于貝葉斯公式、邏輯概率和模糊集合等理論對語義信息進行數(shù)學度量描述。

2 語義率失真

在香農信息論中，率失真理論解決了失真情況下的編碼問題。若信源為X～p(x)，編碼后的表示為，率失真度量為，則率失真函數(shù)為：

如果R > R(D)，則存在編碼方法使得平均失真趨向于D。如果R < R(D)，則這樣的碼序列不存在。

在語義通信中，在語義層面進行信息提取與編碼表示，有助于進一步壓縮語義信息的冗余，提取最重要的語義特征，從而提高語義傳輸?shù)挠行?。J. LIU 等[22]將語義率失真定義為：

其中，X1、X2分別是兩個用戶的語義表示，Y 是邊信息。2022 年，P. A. STAVROU 和M. KOUNTOURIS[24]進一步研究了在漢明失真度量下的特征。

語義率失真理論直接對應編碼技術，有效的語義編碼工作具有高復雜性和挑戰(zhàn)性。目前，用雙失真度量的方式來表示語義編碼是較普遍的做法。Y. SHAO等[25]用語義失真LU和語義成本DU來定義語義編碼的可達區(qū)域。語義失真反映了接收方和發(fā)送方在語義理解上的差異，語義成本則代表了信息的簡潔性或可理解性，它可以是相應比特序列的長度。語義成本定義可表述為：若存在一個語義編碼方案U使得DU=D，LU= L，則稱失真-成本區(qū)域(L,D) 是可達的。P.AGHELI[26]等對多用戶的語義編碼進行了研究，發(fā)送端向具有兩個不同目標的接收端傳輸語義，用戶根據(jù)最大化兩個接收端的語義感知效用函數(shù)的加權和，分配所選數(shù)據(jù)包到達的最佳實際碼字長度。Y. XIAO 等[27]提出了策略語義通信的率失真理論。該將博弈論模型與率失真理論相結合，以表征語義編碼器和解碼器之間的信息交互對通信失真性能的影響。

3 語義信道容量

信道容量是信息論的中心問題，也是信息論中最著名的成果。對于一個輸入為X、輸出為Y的離散無記憶信道，信道容量被定義為：

信道容量指出了在傳輸信息時可達速率的上界。所有小于信道容量C的碼率都可在無差錯條件下可達，而所有大于信道容量的碼率是不可無差錯達到的。也就是說，對任意的碼率R < C，存在誤差概率趨于0 的一個(2nR,n)碼序列；反之，如果碼率R > C，那么誤差概率將遠離0。

語義信道容量的相關研究工作較少。T. OKAMOTO[28]認為語義信道容量可以表示為通過語義信道傳輸?shù)恼Z義信息的最大速率或者最大語義通信量與通信數(shù)據(jù)大小的比率。一方面，在該速率下，可以通過語義信道發(fā)送語義信息，并在語義信道的輸出端恢復信息；另一方面，在信道上的語義數(shù)據(jù)信息傳輸速率不可能超過信道的語義容量。

2011，J. BAO等[12]對語義信道容量做出如下定義：

對任意? > 0 和R < Cs，存在一種編碼策略，使得語義錯誤的最大概率小于?。其中，X是信源，V是傳輸任務，Z是語義表示，I(X; V)是信源X和傳輸任務V之間的互信息，H(Z|X)表示編碼的語義不確定度，是任務V的接收消息的平均邏輯信息。

語義信道容量可以高于或低于香農信道容量I(X:V)，這取決于語義編碼策略和接收機解釋所收到消息的能力。若，則意味著接收者可以處理語義歧義，接收者可以用收到的語句回答問題，語義壓縮可以實現(xiàn)更高的傳輸速率。在這種情況下，CS高于香農容量。若H(Z|X)< 0，接收者不能解決原本存在的語義歧義，接收者無法根據(jù)收到的語句回答問題，CS低于香農容量。

4 語義信息論展望

如果說目前語義通信處于幼兒期，那么語義信息論則處于嬰兒期，仍然有大量開放性問題尚未解決，例如：

1）語義、語義熵、語義編碼器是否存在通用的數(shù)學表示形式？還是可以分類表示？

2）語義通信的基本性能極限是什么？由于語義通信旨在讓傳輸?shù)姆柧_地傳達內容含義，因此語義通信的基本性能極限難以用一個具體的容量值描述，應由技術層和語義層所共同決定，其形式應體現(xiàn)多維特點。涉及的極限問題包括但不限于網(wǎng)絡容量、最優(yōu)編碼、數(shù)據(jù)傳輸速率對語義傳輸速率的影響等，可能還需要兼顧物理層通信速率與語義解碼器表達能力之間的均衡特征。

3）基于深度學習的語義通信系統(tǒng)的理論框架應如何發(fā)展？目前深度學習被廣泛用于信源信道聯(lián)合編碼和面向任務的通信結構設計，在智能處理服務中逐漸顯現(xiàn)其重要性。探索基于深度學習的語義通信的理論框架并給出理論指導，包括其合適的性能指標與語義相似度度量等是非常必要的。

5 結束語

語義通信作為一種新的通信結構，改變了傳統(tǒng)的數(shù)據(jù)傳輸范式，有望為大型智能處理服務帶來新氣象。然而，目前的語義通信研究剛剛起步，有大量的工作值得進一步研究，如知識共享框架、資源調度與分配、語義噪聲建模與度量等。本文從語義通信的理論角度出發(fā)，依次回顧了語義熵、語義率失真和語義信道容量等相關概念，梳理了語義信息論的相關發(fā)展，同時對未來語義信息論存在的開放性問題進行了簡單討論。希望這些問題能引起專家學者的關注，助力他們?yōu)檎Z義信息論的發(fā)展做出更多的貢獻。