數(shù)據(jù)壓縮技術在通信中的應用

湯 敏

(江蘇第二師范學院 物理與信息工程學院，江蘇 南京 210000)

0 引言

在計算機文件中，會重復出現(xiàn)某些符號，相較于其他符號，這些符號的出現(xiàn)頻率較高或者字符在各個數(shù)據(jù)塊可預見的位置中出現(xiàn)，這些都屬于冗余部分，采用數(shù)據(jù)編碼的方式可將冗余部分去除、減少，也就是進行壓縮。冗余度壓縮具有可逆性，所以也被稱為無失真壓縮、無損壓縮。數(shù)據(jù)之間存在相關性，相鄰數(shù)據(jù)的相關性更加明顯。例如，圖片中的背景色彩均勻、電視信號相鄰兩幀的數(shù)據(jù)變化并不大，但呈現(xiàn)出的影響有很大不同，諸如此類都可以體現(xiàn)出數(shù)據(jù)之間的相關性。本研究采用變換方式將相關性去掉，達到壓縮的效果。

1 數(shù)據(jù)壓縮技術的發(fā)展

1.1 早期發(fā)展

計算機中常用的數(shù)據(jù)壓縮主要發(fā)揮節(jié)省空間和減少帶寬占用的作用。該技術的研究早在18世紀就已經開始，“實數(shù)舍入為十進制數(shù)”就是數(shù)據(jù)壓縮的基礎理論。19世紀對數(shù)據(jù)壓縮進行了初次嘗試，也就是莫爾斯代碼的出現(xiàn)。1939年，西方學者Dudey[1]研究制作了聲碼器，對聲音頻譜進行能量劃分，使其成為數(shù)目有限的頻帶，在各個頻帶中傳輸對應能級，以此達到壓縮的效果，但此時的研究還比較片面。在20世紀40年代才開始對數(shù)據(jù)壓縮進行系統(tǒng)性地研究，信息論逐漸有了雛形。早期，信息論研究以“已知消息中各個符號出現(xiàn)頻率”為主，嘗試對編碼進行架構，降低信息占用的空間。在數(shù)字計算機還沒有研發(fā)前就已經有很多相關研究，對當前的數(shù)字壓縮技術有很大的影響。

1.2 衍生算法

以各類研究結果、理論分析為基礎，衍生出了各種算法，如霍夫曼編碼等，在現(xiàn)代技術研究中依舊有很大的應用價值。數(shù)據(jù)壓縮技術主要有兩個研究方向：一是建立信源和數(shù)據(jù)模型，以此為基礎探索衡量數(shù)據(jù)壓縮質量和性能的技術指標；二是從工程技術研究的角度著手，構建可以發(fā)揮數(shù)據(jù)壓縮技術優(yōu)勢的系統(tǒng)，為工程應用提供服務，分析數(shù)據(jù)壓縮系統(tǒng)，了解具體的性能指標。簡而言之，就是從理論和實踐兩方面進行研究，但不論是哪一種，都是信息論研究中的重要組成部分，以信息熵研究為主，深入分析壓縮比、編碼方法，利用具體的方法編碼源數(shù)據(jù)，使數(shù)據(jù)流占據(jù)更少的空間。隨著計算機技術的發(fā)展，數(shù)據(jù)壓縮技術可以為信息存儲、傳輸提供技術支持，所以研究愈加深入和廣泛。隨著技術的發(fā)展和研究的深入，數(shù)字圖像信號、語音信號等信號技術在各個領域中廣泛應用。由于圖像信息會占用大量存儲空間，但該通信方式為非話業(yè)務的主要內容，所以要在圖像通信中廣泛應用數(shù)據(jù)壓縮技術，解決通信問題。

2 LZSSB算法在數(shù)字信號處理器中的應用

2.1 數(shù)字信號處理器的選擇

2.1.1 DSP應用優(yōu)勢

與普通的科學計算相比，數(shù)字信號處理有其獨特性，注重運算處理的實時性，為實現(xiàn)處理要求，研發(fā)了數(shù)字信號處理器(DSP)。DSP不僅具備微處理器的高速運算能力和控制功能，還可以更好地實現(xiàn)數(shù)字信號實時處理的目標，改動了處理器的結構，調整了指令系統(tǒng)和流程。DSP的數(shù)據(jù)總線與程序總線相互分離，采用哈弗和改進哈弗結構，相較于傳統(tǒng)結構形式，其指令執(zhí)行速度更高。DSP主要運用流水技術，各個指令利用片內多個功能單元執(zhí)行，具體包括獲取指令、譯碼、取數(shù)等步驟環(huán)節(jié)，可以提升時鐘頻率，使各個指令的執(zhí)行時間減少[2-4]。片內有很多條總線，取指令、數(shù)據(jù)存儲操作可以同步進行，采用輔助寄存器可以同時完成尋址任務，在尋址訪問后對內容進行自動修改，并且指向后續(xù)要訪問的地址。針對需要乘法累加運算的情況，DSP普遍配備獨立的乘法器、加法器。在相同時，鐘周期中可以完成兩種運算，既可以相乘，也可以累加。ADSP2106X等新型DSP在乘和加的基礎上，還可以進行減的運算，運算速度有了明顯的提升。很多DSP配備DMA通道控制器，同時采用串行通信口，與片內多總線結構形成良好的配合關系，極大地提升了數(shù)據(jù)塊的傳送速度。中斷處理器、定時控制器便于構成小規(guī)模系統(tǒng)，具有軟件和硬件的等待功能，可以匹配各類存儲器接口。

2.1.2 DSP與MPU，MCU的區(qū)別

DSP，MPU，MCU有明顯的使用區(qū)別。DSP的性能比較高，具有數(shù)值運算密集型的特點，滿足實時處理的要求；MPU在計算機中的應用比較廣泛；MCU主要對處理過程進行控制[5]。DSP的功能性較強，可以實時進行數(shù)字信號處理，在實際應用的過程中，可以對周期的乘和加的操作下達單獨指令。DSP采用比較獨特的尋址方式，在其他操作執(zhí)行的同時也可以修改地址寄存器的指針，既可以循環(huán)尋址，也可以進行位反序尋址，具有較強的功能性。在FIR濾波器中采用循環(huán)尋址的功能，可以將數(shù)據(jù)移動數(shù)量減少，在FFT中采用緊湊的存放旋轉因子表[6-7]。

2.1.3 位反序功能

為了使FFT快速完成，可以采用位反序功能。存儲器接口根據(jù)實時處理的需求設計，在單指令時間內可以訪問多次存儲器或訪問I/O設備。采用專門的指令控制，具有無附加開銷的循環(huán)功能，可以對指令進行延遲跳轉。指令字采用指令集和較長的專門指令，一個指令字可以對多個功能單元進行控制和操作。在小型化設計中，可以采用單片系統(tǒng)，具有明顯的應用優(yōu)勢。DSP的功耗比較低，通常在0.5～4 W。如果采用低功耗的設計模式，則功耗只有0.1 W，可以采用電池供電的方式，便于應用在嵌入式系統(tǒng)中。MPU的功耗相對較高，Power PC等功耗甚至超過20 W。

通過對比可以看出，DSP有更高的運算速度，處理速度明顯高于MPU，甚至達到10倍以上，并且可以無間斷地實時輸入和輸出數(shù)據(jù)。DSP具有結構單一的特點，采用匯編語言編程，可以預測任務完成時間，與結構和指令比較復雜的MPU相比，DSP的性能明顯跟高。例如，F(xiàn)IR濾波器應用DSP。FIR輸入一個數(shù)據(jù)對應各階段的濾波器系數(shù)都需要進行乘和加，不僅要進行取值和取數(shù)，還要采取專門的數(shù)據(jù)移動操作。DSP應用之后，可以在單周期中完成各個操作[8]。

2.2 數(shù)字信號處理器的應用

2.2.1 bit位轉換

壓縮算法的處理單元普遍為8 bit，在輸出的過程中，每次輸出都是8 bit。ADSP21065L芯片的片內存儲器可以設置的訪問形式有三種，分別是16位、32位和48位。因此不單純采用8位訪問的方式，要變換存儲器中的數(shù)據(jù)，確保數(shù)據(jù)與壓縮算法相符。如果采用32位字符，則每次輸入/輸出都是32 bit，通過改進算法適應DSP芯片，減小匹配長度，達到降低壓縮率的效果。

例如，輸入信息流：ABCDEFGABCDEEFGABC。設置4個緩沖區(qū)在編碼算法中，如果in_buffer1[]為1K，則in_buffer2[]為4K；out_buffer1[]為1K，則out_buffer2[]為4K。在讀取in_buffer1[]的1K數(shù)據(jù)時，將in_buffer1[]的數(shù)據(jù)向in_buffer2[]轉入。在轉移數(shù)據(jù)的過程中，需要在in_buffer1[]讀取數(shù)據(jù)，如果讀出in_buffer1[0]，則數(shù)據(jù)為32位，可以將該數(shù)據(jù)低8位在in_buffer2[0]中存儲，次低8位則在in_buffer2[1]中存儲，次高位在in_buffer2[2]中存入，高位在in_buffer2[3]中存入，以此類推。選擇8位處理單元作為壓縮編碼，已經編碼的數(shù)據(jù)向out_buffer2[]流放，緩沖區(qū)中低8位數(shù)據(jù)有效。在填滿緩沖區(qū)的情況下，應該向out_buffer1[]轉入數(shù)據(jù)，out_buffer2[0]低8位放入out_buffer1[0]的低8位，可以結合輸入原理和過程進行類推分析。在解壓處理的過程中，原理和流程基本相似。

2.2.2 處理數(shù)據(jù)流結束標志

在比較C語言算法的過程中，將文件中的數(shù)據(jù)讀取，再進行處理。采用EOF(-1)判斷文件結束是否可行，在讀入字符為-1的情況下，表示讀入的并不是正常字符，也就是文件結束符。在對二進制文件進行處理的過程中，將某字節(jié)中的二進制數(shù)據(jù)值讀入，結果如果是-1，同時為EOF值，則讀入的有用數(shù)據(jù)會依據(jù)“文件結束”的情況來處理。如果采用其他判斷方式，使用函數(shù)feof對文件是否結束進行判斷，能夠有效解決此類問題。如果已經結束，則feof(fp)的值為1(真)；反之為0(假)。在壓縮的過程中，可以通過函數(shù)計算的方式進行判斷分析，確定數(shù)據(jù)是否完成處理，斷定程序是否已經終止。

2.2.3 字典處理

字典更新可以采用2種方式：(1)在數(shù)據(jù)處理的過程中對字典進行更新，同時改變二叉樹，直到完成所有數(shù)據(jù)流處理；(2)緩沖區(qū)的數(shù)據(jù)處理完成之后，全部重新建立字典、二叉樹，以此來降低壓縮率，但可能會改變某些程序，造成系統(tǒng)開銷。在比較壓縮算法的過程中，可以編寫LZSSB程序。字典從current_position=1開始進行逐個增加，在達到buffer_size的情況下，數(shù)值為0，那么就從0開始增加。由此可以看出，程序中通常存在計算位置模的宏，這個宏可以在0～511區(qū)間循環(huán)。在數(shù)據(jù)處理的同時更新字典，二叉樹也隨之變化，這個過程主要依據(jù)函數(shù)delete_tree0實現(xiàn)，該函數(shù)的功能比較明顯。在字典中存入c字符的時候，widow[k]不是空的，而是已經存儲了字符old_c，此時需要從二叉樹中將節(jié)點k刪除，為字符c的處理奠定基礎，k的插入代表字符的更新。如果每次處理buffer_size字符結束后，都把壓縮數(shù)據(jù)傳輸出去，同時對字典、二叉樹進行重建，則以此為基礎修改LZSSB程序。也就是在current_position=0的情況下開始，到達511即處理完了所有緩沖區(qū)的數(shù)據(jù)，結束程序，可以將MOD_WINDOW去掉。因為不需要在處理的同時對二叉樹進行修改，可以將delete_tree()子程序去掉，相關函數(shù)也可以去掉。如果每次處理完buffer_size個字符，壓縮數(shù)據(jù)都會傳出，并且對字典和二叉樹進行重新構建和初始化設置。例如，修改之前程序處理512個字符需要周期為65CA8(H)，進行修改之后，周期會縮短到5BDOB(H)。

3 結語

綜上所述，結合通信的特點對壓縮算法以及改進方式進行分析，在計算機中應用模擬，對比各個算法的壓縮率。雖然LZSSB算法可以滿足系統(tǒng)對壓縮率和實時性的要求，但在信息時代背景下，技術在不斷的發(fā)展，人們的使用需求也日益提升，傳輸信息的數(shù)量會保持上漲的狀態(tài)，所以必須繼續(xù)研究壓縮算法。不僅如此，在數(shù)據(jù)處理技術日臻完善的情況下，應該擴大處理空間，縮減系統(tǒng)開銷，使數(shù)據(jù)壓縮技術可以在通信中充分發(fā)揮作用。