人工智能物聯(lián)網(wǎng)中面向智能任務(wù)的語義通信方法

劉傳宏，郭彩麗,，楊洋，馮春燕，孫啟政，陳九九

（1.北京郵電大學(xué)先進(jìn)信息網(wǎng)絡(luò)北京實驗室，北京 100876；2.北京郵電大學(xué)網(wǎng)絡(luò)體系構(gòu)建與融合北京市重點實驗室，北京 100876）

1 引言

隨著物聯(lián)網(wǎng)（IoT,Internet of things）和人工智能（AI,artificial intelligence）技術(shù)的融合發(fā)展，萬物智能互聯(lián)成為時代所趨，大大激發(fā)了人工智能物聯(lián)網(wǎng)（AIoT,artificial intelligence of things）的繁榮發(fā)展[1-4]。在人工智能物聯(lián)網(wǎng)中，先傳輸原始數(shù)據(jù)而后執(zhí)行智能任務(wù)的傳統(tǒng)通信方式如圖1 所示，智能設(shè)備依靠大量的傳感設(shè)備（如攝像頭等）對外部感知并采集大量數(shù)據(jù)（如文本、圖片等）后，采用傳統(tǒng)的信源/信道編碼方案，經(jīng)過調(diào)制后將數(shù)據(jù)集中發(fā)送到邊/云服務(wù)器上；邊/云服務(wù)器對接收到的信號進(jìn)行解調(diào)和信道/信源解碼，得到恢復(fù)的原始數(shù)據(jù)，接著以恢復(fù)的數(shù)據(jù)為輸入，利用以深度學(xué)習(xí)為代表的人工智能技術(shù)對數(shù)據(jù)（如文本、圖片等）進(jìn)行理解和分析，從而完成一系列智能任務(wù)[5-7]，如圖像分類、目標(biāo)識別等。在AIoT 場景中，通信與智能計算深度融合，通信場景從傳統(tǒng)的人與人、人與物通信轉(zhuǎn)換為智能體間的通信。通信的目標(biāo)也不再是準(zhǔn)確傳輸比特數(shù)據(jù)或者精確傳遞信號波形，而是準(zhǔn)確理解傳遞的語義信息。這里的語義是指接收者正確理解發(fā)送者的信息內(nèi)容，即對原始數(shù)據(jù)更精煉的一種“達(dá)意”表示[8-9]。因此，傳輸語義信息的語義通信方法是一種新穎的通信范式，可將原始數(shù)據(jù)提取出智能計算所需的語義進(jìn)行傳輸，有效壓縮數(shù)據(jù)冗余，減少網(wǎng)絡(luò)傳輸?shù)膲毫?，降低智能任?wù)的處理時延。

目前已經(jīng)有一些初步的基于深度學(xué)習(xí)的語義通信方法研究[10-13]。針對文本數(shù)據(jù)，Xie 等[10]提出了基于Transformer 的語義通信系統(tǒng)，首次在句子層面明確了語義信息的概念，通過準(zhǔn)確恢復(fù)句子的語義信息來最大化系統(tǒng)容量和最小化語義誤差。在文獻(xiàn)[10]的基礎(chǔ)上，Xie 等[11]進(jìn)一步針對物聯(lián)網(wǎng)場景和無線衰落信道，同時考慮了星座圖的設(shè)計，提出了輕量化的深度學(xué)習(xí)語義通信系統(tǒng)，使模型更易于部署在IoT 設(shè)備上。針對圖像數(shù)據(jù)，Bourtsoulatze等[12]針對無線信道中的圖像傳輸任務(wù)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）的聯(lián)合信源信道編碼方法，實現(xiàn)通信系統(tǒng)各編解碼模塊間的聯(lián)合優(yōu)化。Lee 等[13]提出了圖像傳輸和識別聯(lián)合考慮的通信系統(tǒng)，相較于將通信傳輸和識別任務(wù)分開的傳統(tǒng)方法，所提方法可以獲得更高的識別精度?？偠灾?，相較于傳統(tǒng)通信方式，語義通信系統(tǒng)可以有效提取并傳輸數(shù)據(jù)的語義信息，降低實際傳輸?shù)臄?shù)據(jù)量，提升通信效率，同時對信道變化具有更強的穩(wěn)健性[10]。

基于語義通信的方式，將神經(jīng)網(wǎng)絡(luò)分開在設(shè)備和邊/云服務(wù)器上聯(lián)合處理不僅可以充分利用AIoT設(shè)備端的計算資源，而且可以大大降低待傳輸?shù)臄?shù)據(jù)量，同時將部分神經(jīng)網(wǎng)絡(luò)的參數(shù)存儲卸載到邊/云服務(wù)器上，緩解了設(shè)備的存儲壓力。例如，VGG16 網(wǎng)絡(luò)的參數(shù)量約528 MB，其中全連接層占75%以上[14]，將全連接層處理放到邊/云服務(wù)器上，可以降低設(shè)備端的存儲需求。此外，近些年來人們對用戶隱私和數(shù)據(jù)安全的重視度越來越高，將數(shù)據(jù)在發(fā)送端進(jìn)行初步特征提取，從而避免了數(shù)據(jù)的直接傳輸也可以很好地保護(hù)用戶隱私和數(shù)據(jù)安全。

然而，深度神經(jīng)網(wǎng)絡(luò)模型復(fù)雜，輸出的特征數(shù)據(jù)量較大，在時延敏感的任務(wù)中仍然難以滿足需求。因此，考慮AIoT 設(shè)備資源和通信資源受限的情況下，如何利用語義關(guān)系進(jìn)一步降低實際傳輸?shù)臄?shù)據(jù)量和通信系統(tǒng)復(fù)雜度，以在緩解通信壓力的同時保證智能任務(wù)的性能，促進(jìn)人工智能物聯(lián)網(wǎng)中通信傳輸與智能計算2 個過程的融合成為關(guān)鍵問題。

基于上述考慮，本文基于深度學(xué)習(xí)方法提出了針對智能任務(wù)的語義通信方法，引入神經(jīng)網(wǎng)絡(luò)的可解釋性，從語義概念（指智能任務(wù)中客觀表示的某一具體事物，如貓狗分類任務(wù)中的貓和狗）出發(fā)，將語義概念和特征圖（為CNN 提取的特征向量）進(jìn)行關(guān)聯(lián)，提取語義關(guān)系，在發(fā)送端利用提取的語義關(guān)系實現(xiàn)語義壓縮，大大降低待傳輸?shù)臄?shù)據(jù)量，使接收端最大程度地理解圖片的語義信息，在提升智能任務(wù)性能的同時節(jié)約通信資源，降低傳輸時延。本文的主要工作如下。

1) 針對數(shù)據(jù)傳輸和智能任務(wù)緊密融合的AIoT場景，基于深度學(xué)習(xí)方法提出了一種語義通信系統(tǒng)模型，綜合考量了IoT 設(shè)備的能耗和通信資源。

2) 針對圖像分類任務(wù)，提出了一種語義通信方法。以圖像分類任務(wù)為導(dǎo)向，關(guān)聯(lián)語義概念和特征圖，提取語義關(guān)系，并對特征圖進(jìn)行壓縮傳輸，從語義層面實現(xiàn)數(shù)據(jù)壓縮，減少IoT 設(shè)備功耗并降低傳輸時延。

3) 實驗和仿真結(jié)果證明了所提人工智能物聯(lián)網(wǎng)中的語義通信系統(tǒng)方法的可行性，相較于傳統(tǒng)通信方法，通信復(fù)雜度降低了99.2%，分類任務(wù)性能大大提升；此外，基于所提方法，在不同的特征提取網(wǎng)絡(luò)下，傳輸時延降低了約80%；同時在帶寬和時延受限的情況下，提升有效分類準(zhǔn)確率可高達(dá)約70%。

2 語義通信系統(tǒng)模型

本節(jié)將通信傳輸和智能任務(wù)相結(jié)合，基于深度學(xué)習(xí)方法提出針對智能任務(wù)的語義通信系統(tǒng)模型。首先給出人工智能物聯(lián)網(wǎng)中語義通信流程；然后提出語義通信系統(tǒng)模型，并針對系統(tǒng)模型中的具體模塊功能進(jìn)行詳細(xì)解釋。

圖2 為人工智能物聯(lián)網(wǎng)中的語義通信流程，實體部分主要由邊/云服務(wù)器和IoT 設(shè)備組成?；谡Z義通信的方式，資源受限的IoT 設(shè)備首先利用攝像頭采集圖像數(shù)據(jù)，然后利用本地的計算資源完成語義信息提取，接著經(jīng)語義壓縮后將對智能任務(wù)重要的語義信息傳輸?shù)竭?云服務(wù)器上。邊/云服務(wù)器平臺具有強大的計算能力和內(nèi)存，將接收到的特征數(shù)據(jù)輸入后續(xù)網(wǎng)絡(luò)進(jìn)行智能計算，完成智能任務(wù)，最終將智能任務(wù)結(jié)果返回給IoT 設(shè)備。

圖3 為針對智能任務(wù)的語義通信系統(tǒng)模型，主要可以分為發(fā)送端、物理信道和接收端3 個部分。發(fā)送端功能主要包括語義編碼、信道編碼和調(diào)制，其中語義編碼由特征提取、語義關(guān)系提取和語義壓縮組成；接收端功能主要包括解調(diào)、信道解碼和智能任務(wù)計算（如圖像分類任務(wù)為分類器，目標(biāo)檢測任務(wù)為檢測器等）。從圖3 可以看出，所提面向智能任務(wù)的語義通信方法將智能任務(wù)的處理過程與通信傳輸過程相融合，先在本地提取語義信息然后傳輸?shù)浇邮斩酥苯油瓿扇蝿?wù)，屬于先理解后傳輸?shù)耐ㄐ欧绞剑欢鴤鹘y(tǒng)通信方法先編碼傳輸原始圖片，然后在接收端提取語義信息完成智能任務(wù)，屬于先傳輸后理解的通信方式，傳輸與理解相對獨立；此外，語義通信方法利用神經(jīng)網(wǎng)絡(luò)實現(xiàn)語義編碼，而不再需要傳統(tǒng)的信源編碼，降低了通信系統(tǒng)的復(fù)雜度，這也是傳統(tǒng)方法與語義通信方法的另一主要區(qū)別。

IoT 設(shè)備利用攝像頭采集圖像數(shù)據(jù)，利用CNN對圖像進(jìn)行初步特征提取，得到一系列的特征激活圖，后續(xù)統(tǒng)稱為特征圖。假設(shè)語義通信系統(tǒng)模型的輸入是圖片I，提取特征的過程可表示為

其中，Sα(?)為特征提取網(wǎng)絡(luò)，α為網(wǎng)絡(luò)參數(shù)。

得到經(jīng)CNN 提取的特征圖后，考慮到對資源緊張的AIoT 場景的適用性，進(jìn)一步對實際傳輸?shù)奶卣鲌D進(jìn)行裁剪以實現(xiàn)語義壓縮，從而高效完成智能任務(wù)。為了實現(xiàn)這一功能，本文提出了語義關(guān)系提取和語義壓縮。

語義關(guān)系提取以式(1)提取到的特征圖為輸入，利用每個語義概念對應(yīng)的神經(jīng)元激活值對特征圖求梯度后取平均，得到特征圖對于語義概念的重要性權(quán)重。以此為依據(jù)，針對具體語義概念對特征圖進(jìn)行排序，得到語義概念和特征圖重要性排序之間的關(guān)系。針對語義概念c，對所有特征圖進(jìn)行排序，得到的特征圖排序結(jié)果為sc，可表示為

其中，C 為語義概念集合，為對語義概念c最重要的特征圖索引，為對語義概念c最不重要的特征圖索引，N為特征圖總數(shù)。

語義壓縮依據(jù)上一步得到的語義概念和特征圖排序間的關(guān)系，將不重要的部分特征圖進(jìn)行壓縮，僅保留重要的語義信息，從而實現(xiàn)去除冗余信息。經(jīng)語義壓縮的輸出X可表示為

其中，Cσ(?)為特征圖壓縮函數(shù)，σ為壓縮比例。語義壓縮有兩大好處：第一，降低了后續(xù)的計算資源需求；第二，大大減少了傳輸?shù)臄?shù)據(jù)量，降低了對通信資源的需求和傳輸時延。

在本文中，為了主要對比所提通信方法相較于傳統(tǒng)通信方法帶來的性能增益，暫時不考慮2 種通信方法中均存在的信道編解碼和調(diào)制解調(diào)部分。因此，可以看作壓縮后的特征圖直接經(jīng)無線信道傳輸，在接收端接收到的特征圖數(shù)據(jù)可表示為

其中，h為瑞利衰落信道的信道系數(shù)，n為加性白高斯噪聲（AWGN,additive white Gaussian noise）。依據(jù)香農(nóng)公式，傳輸速率表達(dá)式如式(5)所示[15]。

其中，B為信道帶寬，P為IoT 設(shè)備發(fā)送功率，N0為AWGN 功率譜密度。

設(shè)計通信系統(tǒng)的主要目標(biāo)是最大化系統(tǒng)容量，互信息可以用來衡量2 個變量之間的相關(guān)性，為了提高系統(tǒng)容量，降低信道噪聲對通信傳輸過程的影響，提升語義通信系統(tǒng)的穩(wěn)健性，本文考慮最大化語義通信中信道輸入和輸出間的互信息。信道輸入X和輸出Y之間的互信息計算可表示為

其中，(x,y)為輸入和輸出空間里的隨機變量對；p(x)為發(fā)送x的邊緣概率分布，p(y)為接收y的邊緣概率分布，p(x,y)為聯(lián)合概率分布，為給定x的條件下y的概率分布。大多情況下，互信息計算困難，但是互信息的上界是可以進(jìn)行估計的，借鑒文獻(xiàn)[16]的思路，利用上界逼近真實互信息，其上界可表示為

其證明過程如下。

真實互信息和上界間的差距定義為

針對分類任務(wù)，接收端將恢復(fù)后的特征圖Y輸入分類器網(wǎng)絡(luò)，輸出各類對應(yīng)的概率值

其中，p=[p1,p2,…,pM]，pk為圖片分為第k類的概率，M為總類別數(shù)，Qμ(?)為分類器網(wǎng)絡(luò)，μ為網(wǎng)絡(luò)參數(shù)。

整個分類網(wǎng)絡(luò)訓(xùn)練過程以最小化交叉熵和最大化互信息為優(yōu)化目標(biāo)，損失函數(shù)可表示為

其中，y=[y1,y2,…,yM]為樣本標(biāo)簽，如果樣本的類別是i，則yi=1，其余均為0；β取值為[0,1]，對互信息項進(jìn)行加權(quán)；I為信道輸入和輸出間的互信息。

3 針對圖像分類任務(wù)的語義通信方法

針對人工智能物聯(lián)網(wǎng)中的圖像分類任務(wù)，IoT設(shè)備利用特征提取網(wǎng)絡(luò)在本地完成圖像特征提取。然而，傳輸全部的特征圖仍然對設(shè)備功耗和傳輸時延提出了挑戰(zhàn)，針對這一挑戰(zhàn)，提出了針對圖像分類任務(wù)的語義通信方法。本節(jié)首先給出針對圖像分類任務(wù)的語義通信網(wǎng)絡(luò)結(jié)構(gòu)，然后分別提出圖像分類任務(wù)導(dǎo)向的語義關(guān)系提取方法和語義壓縮方法。

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 為所提針對圖像分類任務(wù)的語義通信神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以實現(xiàn)高效語義傳輸并最大程度地提高分類任務(wù)的準(zhǔn)確度。發(fā)送端首先將圖像調(diào)整為固定尺寸，利用深度CNN 提取特征，本文采用的CNN包括卷積層和池化層，卷積層可以提取輸入特征，多層可以逐漸提取更精細(xì)的特征。池化層可以降低網(wǎng)絡(luò)中隱藏層的維數(shù)，并降低后續(xù)層中的計算量。接著基于提取的語義關(guān)系對提取的特征圖進(jìn)行壓縮，進(jìn)一步降低實際傳輸?shù)臄?shù)據(jù)量。

參考文獻(xiàn)[10,17]的工作和結(jié)論，一些通信信道可以通過簡單的神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，如AWGN信道、乘法高斯信道和擦除信道等。在本文中，為了主要關(guān)注語義編碼，因此考慮AWGN 信道，并用一層神經(jīng)網(wǎng)絡(luò)表示。其物理意義解釋如圖5所示。

一層神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是輸入到輸出的一種映射關(guān)系，主要由神經(jīng)元的權(quán)重和偏置決定。這里由于已知信道的先驗信息即AWGN 信道，就可以設(shè)定神經(jīng)元的權(quán)重W為1，其他信道權(quán)重需要相應(yīng)修改；偏置b是添加的高斯隨機變量（模擬信道中的高斯噪聲），該隨機變量的方差對應(yīng)高斯噪聲的功率，主要由信噪比和發(fā)送功率決定。即Y=hX+n=WX+b。

接收端基于三層全連接層構(gòu)成分類器網(wǎng)絡(luò)，特征圖經(jīng)分類器及Softmax 層后輸出分類結(jié)果。互信息估計網(wǎng)絡(luò)由兩層全連接網(wǎng)絡(luò)組成。本文和現(xiàn)有語義通信系統(tǒng)的主要區(qū)別在于本文將通信傳輸和圖像分類任務(wù)相結(jié)合，從語義概念出發(fā)，利用語義關(guān)系進(jìn)行語義編碼和數(shù)據(jù)壓縮，提出了語義關(guān)系提取方法和語義壓縮方法。

3.2 語義關(guān)系提取

本節(jié)介紹圖像分類任務(wù)中基于梯度的語義關(guān)系提取方法，將語義概念和特征圖進(jìn)行關(guān)聯(lián)。

如圖4 所示，針對語義概念c的得分cy定義為最后一層全連接經(jīng)過Softmax 之前的神經(jīng)元激活值，Ak為最后一個卷積層的第k個特征圖，其寬度和高度分別為w和h。首先利用語義概念c的得分對第k個特征圖求梯度，然后經(jīng)過全局平均池化即可得到針對語義概念c的第k個特征圖的重要性權(quán)重，可表示為

相應(yīng)地，針對所有語義概念得到的特征圖權(quán)重矩陣可表示為

針對每一個語義概念，對所有的特征圖均進(jìn)行上述求梯度后取均值的操作，即可得到針對任一語義概念c和所有特征圖的重要性權(quán)重向量ωc；緊接著，針對每個語義概念，利用權(quán)重值對特征圖進(jìn)行排序，即可得到任一語義概念和特征圖重要性排序之間的對應(yīng)關(guān)系，即語義關(guān)系[19]，可表示為

綜上可知，本文提出的基于梯度的語義關(guān)系提取方法可以將語義概念和特征圖關(guān)聯(lián)起來；針對具體語義概念，將特征圖按照重要性進(jìn)行排序，實現(xiàn)了語義關(guān)系的提取，為后續(xù)語義壓縮提供了依據(jù)。

3.3 語義壓縮

基于得到的語義關(guān)系，可以依據(jù)實際的通信環(huán)境和資源對特征圖進(jìn)行壓縮，選取部分最重要的特征圖進(jìn)行傳輸，實現(xiàn)語義壓縮。

實際應(yīng)用中，對特征圖的壓縮準(zhǔn)則是至關(guān)重要的，顯而易見的是，特征圖的權(quán)重越低即重要性越低，則越可能被壓縮且不會對后續(xù)結(jié)果產(chǎn)生影響。因此，這里的問題轉(zhuǎn)化為如何選擇一個合適的壓縮閾值。

依據(jù)語義概念和特征圖重要性排序間的關(guān)系，實現(xiàn)特征圖壓縮，可表示為

其中，為壓縮閾值；n為針對每個語義概念實際傳輸?shù)闹匾卣鲌D個數(shù)，可表示為

其中，σ∈[0,1)為壓縮比例，對應(yīng)于發(fā)送端的語義壓縮程度，即σ越接近1，語義壓縮程度越大，實際傳輸特征圖的比例為1?σ；為向下取整。

壓縮的權(quán)重閾值可由式(19)得到。

實際傳輸?shù)奶卣鲌D中，針對語義概念ck最重要的n個特征圖索引可表示為

因此，實際經(jīng)信道傳輸?shù)奶卣鲌D索引可表示為

接著，將壓縮后的特征圖經(jīng)無線信道傳輸。邊/云服務(wù)器接收特征圖數(shù)據(jù)，輸入分類器網(wǎng)絡(luò)，輸出最后的分類結(jié)果，并將結(jié)果返回給IoT 設(shè)備。

將每張圖像的實際傳輸數(shù)據(jù)量記為d，則傳輸時延可表示為

設(shè)定每張圖像數(shù)據(jù)傳輸過程中的時延門限為t0，當(dāng)數(shù)據(jù)實際傳輸時延大于時延門限（t>t0）時，記作此次傳輸失敗[20]，也就無法完成后續(xù)圖像分類任務(wù)，判定為分類錯誤。

人工智能物聯(lián)網(wǎng)中針對圖像分類任務(wù)的語義通信算法如算法1 所示。

算法1針對圖像分類任務(wù)的語義通信算法

輸入待分類圖片I，壓縮比例σ=0.902 3

輸出分類結(jié)果p

1) 將待分類圖片輸入特征提取網(wǎng)絡(luò)，得到特征圖A；

2) 基于式(13)計算語義概念激活值對特征圖的梯度，得到特征圖對語義概念的重要性權(quán)重ω；

3) 針對同一語義概念，對特征圖依據(jù)重要性進(jìn)行排序，得到語義概念和特征圖排序的對應(yīng)關(guān)系s；

4) 基于式(17)利用語義重要性關(guān)系和設(shè)定的壓縮比例σ對特征圖進(jìn)行壓縮，得到實際傳輸?shù)奶卣鲌D索引向量Ts；

5) 將壓縮后的特征圖經(jīng)無線信道傳輸，計算傳輸時延t并和時延門限t0比較；

6) 若t

4 實驗結(jié)果

4.1 實驗設(shè)置

模型訓(xùn)練和測試數(shù)據(jù)集為STL-10 十分類數(shù)據(jù)集，包含10 類物體的圖片，對應(yīng)10 個語義概念，每類1 300 張圖片，500 張訓(xùn)練，800 張測試，每張圖片分辨率為 96 dpi×96 dpi。訓(xùn)練過程中，首先將圖片擴展到256×256，然后隨機裁剪為224×224，作為網(wǎng)絡(luò)的輸入。訓(xùn)練和測試環(huán)境為Ubuntu 16.04 +CUDA 10.1，編程語言為Python，深度學(xué)習(xí)框架為Pytorch1.7.0。

為了證明所提方法對于分類網(wǎng)絡(luò)的普適性，本文選擇經(jīng)典的 CNN 分類網(wǎng)絡(luò)（VGG16[14]和Resnet18[21]）作為特征提取網(wǎng)絡(luò)，應(yīng)用所提的語義通信方法進(jìn)行后續(xù)實驗仿真。下面分別介紹針對2 種網(wǎng)絡(luò)的初始化參數(shù)設(shè)置。

Resnet18 網(wǎng)絡(luò)。首先考慮到數(shù)據(jù)集為十分類任務(wù)，調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)最后一層輸出神經(jīng)元個數(shù)為10；接著用在ImageNet 數(shù)據(jù)集[22]上預(yù)訓(xùn)練好的參數(shù)初始化特征提取網(wǎng)絡(luò)參數(shù)，進(jìn)行后續(xù)訓(xùn)練。

VGG16 網(wǎng)絡(luò)。類似地，首先調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)最后一層輸出神經(jīng)元個數(shù)為10，并將VGG16 分類器部分兩層全連接神經(jīng)元個數(shù)由4 096 調(diào)整為1 000；接著用在ImageNet 數(shù)據(jù)集上訓(xùn)練好的參數(shù)初始化特征提取網(wǎng)絡(luò)參數(shù)，訓(xùn)練過程中，凍結(jié)前8 個卷積層參數(shù)，以加快訓(xùn)練速度。

本文設(shè)計互信息估計網(wǎng)絡(luò)和分類網(wǎng)絡(luò)迭代訓(xùn)練，首先，訓(xùn)練互信息估計網(wǎng)絡(luò)；其次，固定互信息估計網(wǎng)絡(luò)參數(shù)，訓(xùn)練語義通信網(wǎng)絡(luò)；再次，固定語義通信網(wǎng)絡(luò)參數(shù)，訓(xùn)練互信息估計網(wǎng)絡(luò)，如此迭代，直到達(dá)到收斂條件。

網(wǎng)絡(luò)訓(xùn)練均使用交叉熵為損失函數(shù)，具體訓(xùn)練參數(shù)設(shè)定如表1 所示，仿真參數(shù)設(shè)置如表2 所示。

表1 語義通信網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

表2 系統(tǒng)仿真參數(shù)設(shè)置

分類準(zhǔn)確率定義為

其中，Nt為待分類的圖片總數(shù)，Ns為分類正確的圖片數(shù)量。

在帶寬和時延限制條件下，為了同時考量通信性能和圖像分類任務(wù)的完成性能，本文提出有效分類準(zhǔn)確率為評價指標(biāo)。將傳輸和分類分別定義為事件A和事件B，由貝葉斯公式可知，有效分類準(zhǔn)確率定義為

其中，P(A=1) 為成功傳輸?shù)母怕剩瑸槌晒鬏敆l件下分類成功的概率，P(A=0)為傳輸失敗的概率，為傳輸失敗但分類成功的概率，考慮到傳輸失敗則分類失敗，即。則有效分類準(zhǔn)確率可以轉(zhuǎn)化為

其中，β為給定信噪比和語義壓縮程度時的分類準(zhǔn)確率，γ為給定帶寬和時延限制下，實際可以成功傳輸?shù)膱D片比例為P(A=1)。

由于本文提出的人工智能物聯(lián)網(wǎng)中面向智能任務(wù)的語義通信方法未改變智能任務(wù)的原始神經(jīng)網(wǎng)絡(luò)架構(gòu)，而是在發(fā)送端和接收端分別進(jìn)行部分網(wǎng)絡(luò)計算，因此并不會增加任務(wù)的處理開銷，反而由于壓縮了部分特征圖，可以略微降低接收端的計算量，這也是本文所提方法的優(yōu)勢之一；此外，相較于傳統(tǒng)通信方法，所提語義通信方法在發(fā)送端利用重要的語義信息替代了原始數(shù)據(jù)作為存儲和傳輸?shù)闹黧w，利用CNN 提取語義特征替代了復(fù)雜的傳統(tǒng)信源編碼，因此也并不會增加IoT 設(shè)備的存儲和計算壓力。后續(xù)主要針對分類任務(wù)性能進(jìn)行實驗及仿真驗證。

4.2 實驗結(jié)果分析

本節(jié)將對實驗和仿真結(jié)果進(jìn)行分析說明，將對比方案命名為傳統(tǒng)通信方式，即圖像先經(jīng)過傳統(tǒng)JPEG 編碼后傳輸，接收端經(jīng)過解碼恢復(fù)原圖，再輸入神經(jīng)網(wǎng)絡(luò)（Resnet18 或者VGG16）來完成分類任務(wù)。

4.2.1 語義通信和傳統(tǒng)通信方式下的分類性能對比分析

為了驗證所提語義通信方法相較于傳統(tǒng)通信方法更適合應(yīng)用于AIoT 場景中，且對信道有更強的穩(wěn)健性。本節(jié)實驗對比了所提語義通信方法和傳統(tǒng)通信方式的性能，同時驗證了在不同信道信噪比條件下，不同語義壓縮程度（即不同壓縮比例）對最終圖像分類任務(wù)性能的影響。為了驗證所提語義方法對分類網(wǎng)絡(luò)的普適性，同時基于VGG16 和Resnet18 網(wǎng)絡(luò)進(jìn)行實驗。實驗結(jié)果如圖6所示，壓縮比例為0 表示不對特征圖進(jìn)行壓縮而全部傳輸。

圖6(a)和圖6 (b)展示了相同的趨勢?；谏疃葘W(xué)習(xí)的語義通信方式分類任務(wù)性能遠(yuǎn)遠(yuǎn)好于傳統(tǒng)通信方式的分類任務(wù)性能，尤其是當(dāng)信噪比較低時，當(dāng)信道信噪比為0 時，傳統(tǒng)通信方式幾乎無法完成分類，而基于語義通信方式的分類精度可以達(dá)到90%以上。此外，相較于特征圖全部傳輸?shù)浇邮斩?，基于語義通信的壓縮方式在分類性能上會有一定的損失。然而，從以上2 個實驗結(jié)果可以看出，當(dāng)壓縮比例達(dá)到80%時，分類的精度在信噪比大于0時損失都很小，均在2%以內(nèi)。這說明本文所提的語義通信方法可以實現(xiàn)在幾乎不影響任務(wù)性能的前提下，大大降低了傳輸?shù)臄?shù)據(jù)量，降低了傳輸時延和通信負(fù)擔(dān)，比傳統(tǒng)的通信方式更適合于時延和功耗敏感的IoT 場景中。

4.2.2 不同壓縮傳輸方式下的分類任務(wù)性能對比分析

為了驗證所提語義通信方法在帶寬資源緊張的AIoT 場景中可以有效保障智能任務(wù)性能，本節(jié)實驗對比了不同壓縮傳輸方式下分類性能的差異，對比方案包括：1) 本文所提的語義壓縮傳輸方案；2) 實際場景中的隨機壓縮傳輸方案。考慮到實際場景中，帶寬資源受限，同時受到時延門限的限制，往往無法將全部特征圖經(jīng)無線信道傳輸?shù)浇邮斩?，因此考慮實際場景中存在的隨機丟包，相當(dāng)于對特征圖進(jìn)行隨機壓縮后傳輸。為了更好地比較實驗結(jié)果，與文獻(xiàn)[23]的實驗設(shè)置保持一致，這里將帶寬定性地定義為滿足時延限制條件下允許實際傳輸?shù)奶卣鲌D個數(shù)，實驗結(jié)果具體如圖7所示。

圖7(a)和圖7 (b)展示了語義壓縮傳輸方案和隨機壓縮傳輸方案下模型分類準(zhǔn)確率隨著信道帶寬的變化關(guān)系。2 個實驗結(jié)果具有相同的趨勢，也說明了本文所提方法對于分類網(wǎng)絡(luò)的普適性。在固定信道帶寬和信噪比時，語義壓縮傳輸方案可以提高模型分類準(zhǔn)確率，例如在信噪比為20 dB、允許實際傳輸?shù)奶卣鲌D個數(shù)為50 時，語義壓縮傳輸方案相較于隨機壓縮傳輸方案可以提高分類準(zhǔn)確率約30%。這是因為本文所提的語義壓縮傳輸在傳輸過程中，盡可能多地保留了圖片重要的語義信息，有利于更好地完成分類任務(wù)。同時從實驗結(jié)果可以看出，隨著信道帶寬和信噪比的增加，模型的分類準(zhǔn)確率也會上升。這是因為無論是傳輸更多的特征圖還是更好的信道條件，都可以保留更多的語義信息，從而有利于分類任務(wù)的完成，提高模型分類準(zhǔn)確率。

4.2.3 有效分類準(zhǔn)確率對比分析

為了驗證所提語義通信方法對資源緊張、時延敏感的AIoT 場景中的適用性，可以有效獲得智能任務(wù)性能的提升。本節(jié)比較了不同帶寬和時延限制條件下，基于語義關(guān)系的特征圖壓縮（壓縮比例設(shè)置為80%）和傳輸全部特征圖2 種方式的有效分類準(zhǔn)確率，基于VGG16 分類網(wǎng)絡(luò)，仿真結(jié)果如圖8所示。

從圖8(a)和圖8 (b)對比中可以得出，當(dāng)信道帶寬或者時延門限較小時，特征圖完全傳輸?shù)姆绞阶罱K幾乎無法完成分類任務(wù)，這是因為當(dāng)帶寬或時延門限較小時，實際可以完整傳輸?shù)膱D片數(shù)很少，導(dǎo)致有效分類準(zhǔn)確率很低。而經(jīng)過本文所提方法壓縮80%的特征圖后，傳輸時延也相應(yīng)降低了80%，即使在帶寬或時延門限較低的條件下，仍然可以有效傳輸部分重要的卷積核（即圖片語義可以得到有效傳輸），也即成功傳輸?shù)膱D片信息比例增大，也提高了有效分類準(zhǔn)確率，說明本文所提方法更適合應(yīng)用在帶寬資源緊張和時延要求敏感的AIoT場景中，提高模型的有效分類性能。

4.2.4 語義壓縮及信道傳輸對任務(wù)性能影響分析

為了分別分析所提語義通信方法中語義編碼和信道傳輸2 部分對智能任務(wù)性能的影響，本節(jié)基于2 種分類網(wǎng)絡(luò)，比較了原圖直接分類、語義編碼后直接分類和所提語義通信方法（語義編碼后經(jīng)信道傳輸再分類）的分類準(zhǔn)確率，分析結(jié)果如圖9 所示。由于原圖直接分類（分類準(zhǔn)確率為0.957 6）和語義編碼后直接分類（分類準(zhǔn)確率為0.945 0）均未考慮信道影響，這里的語義編碼中的語義壓縮比例為80%，因此圖中均為直線，不隨信噪比變化。其中原圖直接分類和語義編碼后直接分類之間的性能差異（圖中的①③）是由語義編碼引入的；語義編碼后直接分類和所提語義通信方法之間的性能差異（圖中的②④）是由信道傳輸（噪聲誤碼等）造成的。從圖9 可以看出，當(dāng)信道環(huán)境較差即信噪比較低時，語義編碼直接分類和所提語義通信方法之間的差異較大，這是由于信道傳輸造成的誤差越大，導(dǎo)致性能損失越大；隨著信噪比增大，信道中傳輸造成的性能損失逐漸減小。此外，還可以看出，低信噪比時，信道傳輸造成的性能損失占主要部分，以基于Resnet18 網(wǎng)絡(luò)在?10 dB 時為例，所提語義通信方法的準(zhǔn)確率為0.766 0，則信道傳輸帶來的性能損失為0.179 0，而語義編碼帶來的性能損失恒定為0.012 6；而當(dāng)信噪比增大到10 dB 時，信道帶來的性能損失降低到了0.006，甚至小于語義編碼帶來的性能損失。

4.2.5 復(fù)雜度對比分析

為了評估所提語義通信方法在AIoT 場景中的可行性，本節(jié)從理論和實驗2 個方面對語義通信方法和傳統(tǒng)方法的復(fù)雜度對比分析。

1) 理論復(fù)雜度對比分析。首先分析所提語義通信網(wǎng)絡(luò)的計算復(fù)雜度。由于所提語義通信網(wǎng)絡(luò)中計算量主要集中在卷積層，單個卷積層的計算量可表示為F×F×Din×Dout×W×H，其中，F(xiàn)×F為濾波器大小，Din為輸入通道數(shù)，Dout為濾波器數(shù)量，W×H為特征圖的尺寸，因此語義通信網(wǎng)絡(luò)的計算復(fù)雜度可以近似表示為O(I W IH)，其中IW和IH分別為輸入圖片的寬和高[12]。傳統(tǒng)通信方式計算量主要集中在JPEG 壓縮編解碼和分類任務(wù)2 個部分。JPEG 壓縮編解碼的計算復(fù)雜度與像素點數(shù)呈線性關(guān)系[24]，即O(I W IH)。然而傳統(tǒng)通信方式的計算復(fù)雜度為JPEG 壓縮計算復(fù)雜度加上分類任務(wù)計算復(fù)雜度，遠(yuǎn)遠(yuǎn)大于語義通信方法的計算復(fù)雜度。

2) 實驗復(fù)雜度對比分析。本文進(jìn)一步從實驗上比較了面向智能任務(wù)的語義通信方法和傳統(tǒng)通信方法的復(fù)雜度，以單張圖片完成分類任務(wù)的運行時間來衡量，具體結(jié)果如圖10 所示，縱坐標(biāo)運行時間為對數(shù)表示。運行測試程序的計算機的處理器為Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60 GHz，16 GB RAM，顯卡為Tesla M40 24 GB。

從圖10 可以得出，面向智能任務(wù)的語義通信方法所需的運行時間遠(yuǎn)小于傳統(tǒng)通信方法所需的運行時間，而且適用于不同的分類網(wǎng)絡(luò)，以Resnet18網(wǎng)絡(luò)為例，語義通信方法的運行時間僅為傳統(tǒng)方法的0.8%。這是因為語義通信方法利用分類網(wǎng)絡(luò)的特征提取部分實現(xiàn)信源編碼，同時利用語義關(guān)系實現(xiàn)數(shù)據(jù)進(jìn)一步壓縮，大大降低了傳輸和處理時延，因此面向智能任務(wù)的語義通信方法相較于傳統(tǒng)方法更適合應(yīng)用于對時延敏感的AIoT 場景中。本文未將訓(xùn)練時間進(jìn)行比較是因為針對AIoT 應(yīng)用，模型訓(xùn)練通常為離線完成而且僅需要執(zhí)行一次。

5 結(jié)束語

人工智能物聯(lián)網(wǎng)中，傳統(tǒng)的數(shù)據(jù)集中式云計算處理方式網(wǎng)絡(luò)傳輸數(shù)據(jù)量大，通信時延高，影響智能任務(wù)性能。針對這些問題，本文首先基于深度學(xué)習(xí)方法提出了針對智能任務(wù)的語義通信系統(tǒng)模型。特別地，本文研究了人工智能物聯(lián)網(wǎng)中帶寬和時延受限時的圖像分類任務(wù)，提出了針對圖像分類任務(wù)的語義通信網(wǎng)絡(luò)結(jié)構(gòu)，在IoT 設(shè)備上提取圖片特征圖，基于目標(biāo)導(dǎo)向的語義關(guān)系對特征圖進(jìn)行壓縮，有效緩解IoT 設(shè)備的功耗負(fù)擔(dān)，降低通信傳輸?shù)膲毫?。實驗結(jié)果驗證了本文所提方法的可行性和性能優(yōu)勢。同時順應(yīng)通信技術(shù)與人工智能緊密結(jié)合的大趨勢，本文所提方法為眾多智能場景下以圖像語義理解為主要手段的視覺任務(wù)的實現(xiàn)提供了一條新的思路。未來工作將繼續(xù)研究語義通信方法，考慮不同的信道類型，同時考慮聯(lián)合語義信道編解碼，另外擴展到目標(biāo)檢測等其他視覺任務(wù)和其他智能場景中，優(yōu)化語義提取方法，探究特定環(huán)境下最佳的壓縮比例，進(jìn)一步提升模型性能同時降低時延。